IBM е създала аналогов процесор за изкуствения интелект с ниска консумация на енергия. Този пробив може да реши проблема с високото енергийно потребление, характерно за големите езикови модели, такива като ChatGPT.
Големите езикови модели, стоящи зад такива технологии, като ChatGPT, са много сложни. Те съдържат милиарди изчислителни възли и изискват множество връзки между тях. Това води до постоянни заявки към паметта и съответно голяма консумация на енергия.
Един от начините за решаване на този проблем е комбинирането на паметта с блоковете за обработка на данните. IBM и Intel вече са арзработили чипове, в които на всеки неврон се предоставя необходимата памет за изпълнение на своите функции. Алтернатива на този подход е изпълнение на операцията директно в паметта, което беше демонстрирано при използване на phase-change памет.
IBM представи нов чип на базата на фазово-променяща памет, който се доближава до функционален процесор за изкуствен интелект (ИИ). В статия, публикувана в Nature, компанията показа, че нейният хардуер може да изпълнява разпознаване на реч с приемлива точност и значително по-малко енергия.
Фазовата памет се разработва отдавна. Тя съчетава в себе си дългия сорок за експлоатация на флаш паметта и производителност, сравнима със сегашната оперативна памет. Тази памет работи на базата на нагряване на малък участък от материал и контролиране на скоростта на неговото охлаждане.
Подобно поведение се оказва идеално за невронните мрежи. В последните всеки възел получава входен сигнал и като се основава на своето състояние определя колко от този сигнал да бъде предаден по-нататък. Благодарение на свойствата на фазово променящата се памет, тази сила може да се представи във вид на отделен бит памет, работещ в аналогов режим.
Когато съхраняваме информация, тя използва две основни състояния – включено и изключено. Тези състояния са създадени по такъв начин, че да се минимизират грешките при съхраняване на данни. Но интересното е, че можем да настроим тази памет така, че тя да приема всяко междинно значение между Включено и Изключено, създавайки аналогово поведение. Това прилича на регулиране на силата на звука – от ниска до висока, където всяко ниво представлява плавен градиент на потенциалните значения. По този начин можем да използваме тези междинни значения за показване на различна “сила” или важност на връзките в невронните мрежи.
IBM вече е демонстрирала ефективността на този подход. Но описаният чип е доста по-близо до функционален процесор. Той съдържа всичко необходимо за създаване на отделни възли и работи в мащаб, подобен на големите езикови модели.
Основният компонент на новия чип е така наречената плочка – масив от отделни битове фазова памет (представете си квадратна мрежа) с размери 512 на 2048 единици. Всички чип съдържа 34 такива плочки, което е равно приблизително на 35 млн бита фазова памет.
Гъвкавостта на работа на процесора позволява да се контролира силата на всяка връзка чрез промяна на броя на битовете. Освен това, възможна е комуникацията между чиповете, което позволява да се разделят големи задачи между няколко чипа.
За демонстрация на работата изследователите са използвали процесор за разпознаване на реч. Той е успял да изпълни 12,4 трилиона операции на всеки ват консумирана мощност при най-голяма производителност. Това е много пъти по-малко от потребяваната мощност на традиционните процесори за изпълнение на еквивалентни операции.
Но трябва да отбележим, че чипът на IBM е оптимизиран за работа само с определени невронни мрежи. Той също така не е подходящ за обучение на изкуствен интелект, а процесът на обучение на невронната мрежа трябва да бъде адаптиран за този процесор.