Τα μοντέλα Gemma 4 αξιοποιούν τη νέα εκπαίδευση για τη μείωση του αποτυπώματος μνήμης στη συσκευή

Τα μοντέλα Gemma 4 της Google σημειώνουν πρόοδο στην αποδοτικότητα, εισάγοντας ένα πρωτοποριακό κόλπο εκπαίδευσης που μειώνει δραστικά το αποτύπωμα μνήμης τους στις συσκευές. Αυτή η πρόοδος είναι ιδιαίτερα σημαντική για εφαρμογές που εκτελούνται σε συσκευές άκρου δικτύου (edge devices) και smartphones, όπου οι υπολογιστικοί πόροι και η μνήμη είναι συχνά περιορισμένοι.

Ο πυρήνας αυτής της καινοτομίας βρίσκεται σε μια τεχνική γνωστή ως «εκπαίδευση με επίγνωση κβαντισμού». Ιστορικά, τα μοντέλα μηχανικής μάθησης εκπαιδεύονταν χρησιμοποιώντας δεδομένα υψηλής ακρίβειας (π.χ. αριθμούς κινητής υποδιαστολής 32-bit) και στη συνέχεια συμπιέζονταν, ή «ποσοτικοποιούνταν», σε χαμηλότερη ακρίβεια (π.χ. ακέραιους αριθμούς 8-bit) για ανάπτυξη σε συσκευές. Η πρόκληση με αυτή την παραδοσιακή προσέγγιση ήταν ότι ο κβαντισμός μετά την εκπαίδευση οδηγούσε συχνά σε αισθητή πτώση στην ακρίβεια και την απόδοση του μοντέλου.

Με την εκπαίδευση με επίγνωση κβαντισμού, τα μοντέλα εκπαιδεύονται έχοντας ήδη κατά νου τη διαδικασία κβαντισμού. Αυτό σημαίνει ότι το νευρωνικό δίκτυο μαθαίνει να αντισταθμίζει τα αποτελέσματα της χαμηλότερης ακρίβειας κατά τη φάση εκπαίδευσής του, διασφαλίζοντας ότι όταν τελικά κβαντιστεί για ανάπτυξη στη συσκευή, διατηρεί σχεδόν πανομοιότυπη απόδοση με το αντίστοιχο υψηλής ακρίβειας. Αυτό έχει ως αποτέλεσμα μικρότερα μεγέθη μοντέλων, ταχύτερους χρόνους συμπερασμού και χαμηλότερη κατανάλωση ενέργειας χωρίς να θυσιάζεται η ακρίβεια. Για τους προγραμματιστές, αυτό σημαίνει τη δυνατότητα εκτέλεσης πιο εξελιγμένης τεχνητής νοημοσύνης σε λιγότερο ισχυρό υλικό, ανοίγοντας νέες δυνατότητες για εφαρμογές τεχνητής νοημοσύνης στη συσκευή και ενισχύοντας την ιδιωτικότητα των χρηστών μέσω της τοπικής επεξεργασίας δεδομένων.