I resistori protonici del MIT consentono al deep learning di decollare, in analogico

Portare le "melodie" analogiche nel mondo dei chip digitali, con prestazioni migliorate.

Un team di ricercatori del Massachusetts Institute of Technology (MIT) ha lavorato su un nuovo design di resistori hardware per la prossima era del ridimensionamento dell’elettronica, in particolare nelle attività di elaborazione dell’intelligenza artificiale come l’apprendimento automatico e le reti neurali.

Eppure, in quello che può sembrare un ritorno al passato (se un ritorno al futuro può esistere), il loro lavoro si concentra su un design che è di natura più analogica che digitale. Inserisci i resistori protonici programmabili - costruiti per accelerare le reti di intelligenza artificiale imitando i nostri neuroni (e le loro sinapsi di interconnessione) accelerando al tempo stesso il loro funzionamento un milione di volte - e questa è la cifra reale, non solo un'iperbole.

Tutto ciò viene fatto riducendo il consumo energetico a una frazione di quanto richiesto dai progetti basati su transistor attualmente utilizzati per carichi di lavoro di machine learning, come il record Wafer Scale Engine 2 di Cerebras.

Sebbene le nostre sinapsi e i nostri neuroni siano estremamente impressionanti dal punto di vista computazionale, sono limitati dal loro mezzo "wetware": l'acqua.

Mentre la conduzione elettrica dell'acqua è sufficiente al nostro cervello per funzionare, questi segnali elettrici funzionano attraverso potenziali deboli: segnali di circa 100 millivolt che si propagano nell'arco di millisecondi, attraverso alberi di neuroni interconnessi (le sinapsi corrispondono alle giunzioni attraverso le quali i neuroni comunicano tramite segnali elettrici). Un problema è che l'acqua liquida si decompone con voltaggi di 1,23 V - più o meno lo stesso voltaggio operativo utilizzato dalle attuali migliori CPU. Quindi è difficile semplicemente "riutilizzare" i progetti biologici per l'informatica.

"Il meccanismo di funzionamento del dispositivo è l'inserimento elettrochimico dello ione più piccolo, il protone, in un ossido isolante per modularne la conduttività elettronica. Poiché stiamo lavorando con dispositivi molto sottili, potremmo accelerare il movimento di questo ione utilizzando una forte energia elettrica campo, e spingere questi dispositivi ionici al regime operativo dei nanosecondi," spiega l'autore senior Bilge Yildiz, professore a Breene M. Kerr nei dipartimenti di Scienza e Ingegneria Nucleare e Scienza e Ingegneria dei Materiali.

Un altro problema è che i neuroni biologici non sono costruiti sulla stessa scala dei transistor moderni. Sono molto più grandi, con dimensioni che vanno da 4 micron (0,004 mm) a 100 micron (0,1 mm) di diametro. Quando le ultime GPU disponibili sono già dotate di transistor nella gamma di 6 nm (con un nanometro 1.000 volte più piccolo di un micron), puoi quasi immaginare la differenza di scala e quanti più di questi neuroni artificiali puoi inserire nello stesso spazio .

La ricerca si è concentrata sulla realizzazione di resistori a stato solido che, come dice il nome, creano resistenza al passaggio della corrente elettrica. Vale a dire, resistono al movimento ordinato degli elettroni (particelle caricate negativamente). Se utilizzare materiale che resiste al movimento dell'elettricità (e che quindi dovrebbe a sua volta generare calore) sembra controintuitivo, beh, lo è. Ma ci sono due distinti vantaggi nel deep learning analogico rispetto alla sua controparte digitale.

Innanzitutto, nella programmazione dei resistori, si includono i dati richiesti per l'addestramento nei resistori stessi. Quando programmi la loro resistenza (in questo caso, aumentando o riducendo il numero di protoni in determinate aree del chip), aggiungi valori a determinate strutture del chip. Ciò significa che le informazioni sono già presenti nei chip analogici: non è necessario trasportarne di più dentro e fuori verso banchi di memoria esterni, che è esattamente ciò che accade nella maggior parte dei progetti di chip attuali (e RAM o VRAM). Tutto ciò consente di risparmiare latenza ed energia.

In secondo luogo, i processori analogici del MIT sono architettati in una matrice (ricordate i core Tensor di Nvidia?). Ciò significa che sono più simili alle tue GPU che alle tue CPU, nel senso che conducono operazioni in parallelo. Tutti i calcoli avvengono simultaneamente.

Il design del resistore protonico del MIT funziona a temperatura ambiente, che è più facile da raggiungere rispetto alla temperatura compresa tra 38,5 ºC e 40 ºC del nostro cervello. Tuttavia consente anche la modulazione della tensione, una caratteristica richiesta in qualsiasi chip moderno, consentendo di aumentare o diminuire la tensione di ingresso in base ai requisiti del carico di lavoro, con conseguenze sul consumo energetico e sulla temperatura in uscita.