Un recente studio peer-reviewed condotto da io. net ha acceso i riflettori su una rivoluzione silenziosa nel mondo dell’intelligenza artificiale: l’utilizzo di GPU consumer per ridurre drasticamen…
Un recente studio peer-reviewed condotto da io. net ha acceso i riflettori su una rivoluzione silenziosa nel mondo dell’intelligenza artificiale: l’utilizzo di GPU consumer per ridurre drasticamente i costi dell’AI.
Pubblicata e accettata dalla prestigiosa 6th International Artificial Intelligence and Blockchain Conference (AIBC 2025), la ricerca “Idle Consumer GPUs as a Complement to Enterprise Hardware for LLM Inference” rappresenta il primo benchmark aperto di cluster GPU eterogenei, testati direttamente sul cloud decentralizzato di io. Il cuore dello studio: RTX 4090 contro H100
Al centro dell’analisi troviamo un confronto tra le GPU consumer, come la popolare Nvidia RTX 4090, e le potenti GPU enterprise, in particolare la H100.
I risultati sono sorprendenti: configurazioni da quattro RTX 4090 raggiungono tra il 62% e il 78% della potenza di calcolo delle H100, ma a circa metà del costo operativo. In termini di efficienza economica, il costo per milione di token si attesta tra $0. 149, con una riduzione fino al 75% per carichi di lavoro batch o con tolleranza alla latenza. Efficienza e sostenibilità: un equilibrio possibile
Sebbene le H100 restino più efficienti dal punto di vista energetico – circa 3,1 volte in più per ogni token elaborato – lo studio sottolinea un aspetto spesso trascurato: sfruttare le GPU consumer inattive permette di prolungare la vita dell’hardware e ridurre le emissioni di carbonio, soprattutto se si attinge a reti elettriche ricche di fonti rinnovabili.
Fonte: The Cryptonomist