Η Google παρουσίασε έναν νέο αλγόριθμο βελτιστοποίησης μνήμης για AI inferencing, ο οποίος, σύμφωνα με τους ερευνητές, θα μπορούσε να μειώσει την ποσότητα της «μνήμης» που απαιτεί ένα μοντέλο τεχνητής νοημοσύνης τουλάχιστον κατά 6 φορές. Όπως αναφέρει το TechCrunch, αυτός ο αλγόριθμος «TurboQuant» αποτελεί ακόμα μια εργαστηριακή καινοτομία και όχι μια τεχνολογία που έχει δοκιμαστεί σε μεγάλη κλίμακα ή έχει εφαρμοστεί στον πραγματικό κόσμο, αλλά αν κάνει ό,τι ισχυρίζεται, θα μπορούσε να συμβάλει στη μείωση της τεράστιας ανισορροπίας μεταξύ προσφοράς και ζήτησης μνήμης, η οποία προκαλεί τόσες πολλές αλυσιδωτές επιπτώσεις στη βιομηχανία. «Παρουσιάζουμε ένα σύνολο προηγμένων, θεωρητικά θεμελιωμένων αλγορίθμων κβαντοποίησης που επιτρέπουν μαζική συμπίεση για μεγάλα γλωσσικά μοντέλα», αναφέρει η Google σε ερευνητική της εργασία. Η ιδέα είναι ότι το TurboQuant μειώνει τις απαιτήσεις μνήμης και βελτιώνει την απόδοση απόκρισης, μειώνει το latency, διατηρώντας παράλληλα την ακρίβεια. Στην πράξη, θα επέτρεπε στα μοντέλα τεχνητής νοημοσύνης να έχουν πρόσβαση σε περισσότερα δεδομένα συμφραζομένων, χρησιμοποιώντας λιγότερο χώρο και αποφεύγοντας τις ψευδαισθήσεις. Αυτά είναι τα είδη των επιτευγμάτων που αποτελούν το «Άγιο Δισκοπότηρο» κάθε αλγορίθμου συμπίεσης: Να κάνουν τα πάντα μικρότερα, και ευκολότερα στη μετακίνηση, χωρίς να χάνεται τίποτα στη διαδικασία. Η Google πρόκειται να παρουσιάσει τα βασικά συστατικά του TurboQuant στο ICLR 2026: το PolarQuant και το QJL, μια καινοτόμο μέθοδο εκπαίδευσης και βελτιστοποίησης. Μαζί, θα μπορούσαν να βοηθήσουν στην ανακούφιση του εμποδίου της μνήμης. Αν και δεν θα βοηθούσε πολύ για τα κέντρα δεδομένων εκπαίδευσης, τα οποία επίσης απαιτούν τεράστιες ποσότητες μνήμης, θα μπορούσε να μειώσει τις ανάγκες RAM των συστημάτων συμπερασμού. Πιθανότατα δεν θα βοηθούσε πολύ στην επίλυση της τρέχουσας κρίσης μνήμης, καθώς η ανάπτυξη θα χρειαζόταν χρόνο και οι παραγγελίες μνήμης έχουν ήδη κλειδωθεί για πολλούς μήνες. Αλλά ίσως θα μπορούσε να βοηθήσει να τερματιστεί η έλλειψη RAM πριν από το 2030. Η Google φαίνεται σίγουρη ότι είναι έτοιμη για ανάπτυξη μεγάλης κλίμακας. «Αυτές οι μέθοδοι δεν λειτουργούν απλώς καλά σε εφαρμογές του πραγματικού κόσμου· είναι αποδεδειγμένα αποδοτικές και λειτουργούν κοντά στα θεωρητικά κατώτατα όρια», αναφέρει. «Αυτή η αυστηρή βάση είναι που τις καθιστά ανθεκτικές και αξιόπιστες για κρίσιμα συστήματα μεγάλης κλίμακας.»
