Tether lancia QVAC Fabric per il fine-tuning su smartphone

Grazie al nuovo framework QVAC Fabric di Tether, l’AI su dispositivo compie un salto di qualità, permettendo il fine-tuning di grandi modelli direttamente su smartphone e GPU consumer. QVAC Fab…

Grazie al nuovo framework QVAC Fabric di Tether, l’AI su dispositivo compie un salto di qualità, permettendo il fine-tuning di grandi modelli direttamente su smartphone e GPU consumer. QVAC Fabric porta il fine-tuning avanzato sugli smartphone
Tether, società nota per la stablecoin USDT, ha presentato QVAC Fabric, un framework di addestramento che consente di ottimizzare modelli linguistici di grandi dimensioni su dispositivi di uso comune come smartphone e GPU non Nvidia. Il framework fa parte della piattaforma QVAC dell’azienda e si basa sull’architettura BitNet di Microsoft, combinata con la tecnica LoRA. Insieme, queste soluzioni riducono in modo drastico memoria e potenza di calcolo necessarie per l’addestramento. stando a Tether, il sistema taglia i requisiti di memoria fino al 90% rispetto ai modelli standard a 16 bit. In questo modo risulta possibile eseguire modelli più grandi su telefoni, laptop e GPU di fascia medio-bassa. Modelli fino a 13 miliardi di parametri su iPhone 16
Gli ingegneri di Tether dichiarano di aver effettuato fine-tuning di modelli fino a 1 miliardo di parametri su smartphone in meno di due ore. Inoltre, modelli più piccoli richiedono solo pochi minuti.