L’intelligenza artificiale conquista anche i computer vintage: un modello LLM gira su un PC con Windows 98
L’intelligenza artificiale continua a imporsi come uno dei protagonisti indiscussi del progresso tecnologico contemporaneo. Dai robot autonomi in grado di persuadere altri sistemi a cessare le proprie attività, fino all’integrazione nei processi aziendali, l’IA sta ridefinendo il modo in cui interagiamo con la tecnologia.
E mentre molte imprese hanno già optato per soluzioni che riducono drasticamente la manodopera umana — in alcuni casi fino al 90% — sostituendola con sistemi automatizzati, emergono esperimenti sorprendenti che rivelano la capacità dei modelli di linguaggio di funzionare anche su hardware obsoleto.
In un test che ha attirato l’attenzione del settore tecnologico, un gruppo di ricercatori è riuscito a far girare un modello ispirato a LLaMA 2 su un computer equipaggiato con Windows 98, un processore Pentium II da 350 MHz, e appena 128 MB di RAM — una configurazione che risale al lontano maggio 1997. Il risultato non è solo una curiosità tecnica, ma un segnale importante sulla direzione futura dell’accessibilità dell’intelligenza artificiale.
Un modello LLaMA 2 su un Pentium II: il segreto è BitNet
Alla base di questo esperimento c’è il lavoro di Andrej Karpathy, noto esperto di IA e collaboratore di EXO Labs, startup composta da ingegneri e ricercatori legati all’Università di Oxford. L’obiettivo dichiarato della società è quello di democratizzare l’accesso all’IA, rendendo le tecnologie avanzate fruibili anche su dispositivi a basso costo o con risorse limitate.
Grazie all’uso della nuova architettura BitNet, è stato possibile ottenere prestazioni sorprendenti. BitNet impiega pesi ternari, una tecnica che consente di ridurre drasticamente le dimensioni dei modelli, mantenendo tuttavia prestazioni accettabili. In questo caso, il modello impiegato ha gestito 260.000 parametri con una velocità di 39,31 token al secondo, il tutto su una macchina con risorse estremamente ridotte.
L’utilizzo di un modello da 7 miliardi di parametri ha richiesto appena 1,38 GB di spazio, rendendo possibile l’elaborazione direttamente via CPU, senza necessità di costose schede grafiche.
Secondo quanto riportato da TechSpot, EXO Labs afferma che, ottimizzando il modello per l’elaborazione su CPU, si può ottenere una efficienza superiore del 50% rispetto ai modelli a precisione completa. Teoricamente, persino un modello con 100 miliardi di parametri potrebbe essere eseguito su una singola CPU, raggiungendo velocità di elaborazione simili a quelle della lettura umana.
Accessibilità e innovazione: il futuro dell’IA anche su dispositivi a bassa potenza
Questo approccio rappresenta un passo cruciale verso una maggiore accessibilità della tecnologia AI. Consentendo l’esecuzione di modelli complessi su hardware datato o economico, si apre la possibilità di integrare l’intelligenza artificiale in una gamma molto più ampia di dispositivi, contesti e applicazioni. Dai sistemi embedded ai dispositivi educativi, fino ai mercati emergenti, il potenziale per una diffusione globale dell’IA si espande in maniera significativa.
La combinazione tra modelli efficienti e architetture leggere potrebbe dunque ridefinire le regole del gioco, permettendo non solo di ottimizzare le risorse, ma anche di portare l’intelligenza artificiale ovunque, anche dove finora era considerata inaccessibile.