Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич

О своих нейроморфных амбициях заявляет и другой крупнейший производитель интегральных микросхем — корейская компания Samsung [1695].

В августе 2023 г. исследователи из компании IBM на страницах журнала Nature рассказали о новом нейроморфном процессоре, предназначенном для задач распознавания речи [1696]. В основе устройства: 35 млн PCM-элементов, объединённых в 34 ячейки, система массово-параллельного обмена данными между ячейками и аналоговая периферийная схема с низким энергопотреблением, которая позволяет достичь производительности 12,4 трлн синаптических операций в секунду на ватт потребляемой мощности. В своих тестах разработчики смогли успешно запустить на пяти таких процессорах нейросеть MLPerf8 с 45 млн параметров, основанную на архитектуре RNNT (Recurrent neural-network transducer, Рекуррентный нейросетевой трансдьюсер).

Практически одновременно другая группа исследователей из IBM опубликовала в Nature Electronics статью [1697] про гибридный процессор, предназначенный для инференса (исполнения) нейросетевых моделей. Этот процессор сочетает цифровые вычисления, выполняемые схемой, основанной на 14-нм комплементарной технологии металл — оксид — полупроводник, с аналоговыми вычислениями во встроенной PCM-памяти (Analogue in-memory computing, AIMC). Устройство состоит из 64 ядер, соединённых в единую сеть. В зависимости от выбранной степени точности процессор позволяет достичь производительности от 2,48 до 9,76 трлн операций в секунду на ватт. Исследователи успешно запустили на нём нейросети с архитектурами ResNet и LSTM, получив точность, практически не уступающую точности тензорных процессоров.

Сегодня число проектов нейроморфных чипов, находящихся на разной степени готовности, перевалило за десяток. Это и DYNAP (Dynamic Neuromorphic Asynchronous Processor, Динамический нейроморфный асинхронный процессор) от компании aiCTX (AI Cortex) [1698], и Dynamic Vision Sensor (Динамический зрительный сенсор) от iniVation [1699] (обе компании связаны с ETH-Zürich), и нейроморфный процессор Akida от компании BrainChip, и RAMP (Reconfigurable Analog Modular Processor, Реконфигурируемый аналоговый модульный процессор) от Aspinity [1700], и совместный китайско-сингапурский Tianjic [1701], и Eyeriss от MIT [1702], и EIE (Efficient Inference Engine, Эффективный движок для выполнения [нейросетевых моделей]) из Стэнфорда [1703], и российский «Алтай» от новосибирской компании «Мотив» [1704] и так далее.

Подробный обзор [1705] существующих нейроморфных систем был опубликован в конце июля 2020 г. в журнале Nature, однако новые устройства подобного рода появляются едва ли не ежемесячно — сегодня это весьма горячее направление развития технологий. Развитие специализированного оборудования для задач машинного обучения — мощный двигатель прогресса в области ИИ. И хотя новая коннекционистская весна опиралась по большей части на тензорные процессоры — главную сегодня «рабочую лошадку» индустрии глубокого обучения, — ситуация может измениться в любой момент, поскольку в наши дни множество усилий учёных и инженеров направлено на изучение существующих альтернатив, в первую очередь всевозможных нейроморфных архитектур. Исследователи из Национального института стандартов и технологий США разработали искусственные синапсы на базе нанотекстурированных магнитных джозефсоновских контактов [1706], китайские учёные предлагают искусственные синапсы на базе графеновых ферроэлектрических транзисторов [1707], в Южной Калифорнии разработаны синаптические транзисторы на базе выровненных углеродных нанотрубок [1708], разрабатываются различные типы оперативной памяти с интегрированными вычисляющими элементами (Computational RAM).

В начале 2022 г. в журнале Science была опубликована работа [1709] группы американских учёных, которым удалось создать полностью реконфигурируемую нейроморфную структуру на базе никелата перовскита — по сути, речь идёт об устройстве, реализующем нейронную сеть, архитектура которой может изменяться под воздействием электрических импульсов. Всего через полторы недели после этой работы, уже в Nature Communications, увидела свет статья [1710] шведских учёных, посвящённая исследованию другого потенциального физического субстрата для нейроморфных вычислений — электромеханически переключаемых углеводородов на основе [8]аннуленов.

Чаще всего экспериментальные мемристоры создаются на базе тех же технологий, что и различные массивы памяти, однако в 2022 г. в журнале Science вышла новая любопытная статья. В ней исследователи Массачусетского технологического института утверждают, что компоненты, оптимизированные для долговременного хранения информации, плохо подходят для осуществления регулярных переходов между состояниями, необходимых для постоянно подстраиваемых синаптических связей искусственной нейронной сети. Дело в том, что физические свойства, обеспечивающие долговременную стабильность, обычно плохо сочетаются со свойствами, обеспечивающими быстрое переключение. Для решения проблемы скорости исследователи разработали программируемые резисторы, проводимость которых регулируется введением или удалением протонов в канал, состоящий из фосфоросиликатного стекла (ФСС). Этот механизм отдалённо напоминает принцип работы биологических нейронов, в которых ионы переносят сигналы через синаптические щели. Разработанное устройство имеет три вывода, два из которых являются по существу входом и выходом синапса, а третий используется для применения электрического поля, которое в зависимости от направления стимулирует движение протонов из резервуара в канал из ФСС или обратно (чем больше протонов в канале, тем выше его сопротивление). Эту схему работы устройства исследователи придумали ещё в 2020 г., однако они не сразу догадались использовать ФСС. Именно такое решение позволило резко увеличить скорость переключения устройства: наноразмерные поры в структуре ФСС позволяют протонам очень быстро перемещаться через него, и ещё ФСС способно выдерживать очень сильные импульсы электрического поля, а более мощные электрические поля позволяют протонам перемещаться гораздо быстрее. Поскольку напряжение выше 1,23 вольта заставляет воду, составляющую основную часть клеток, расщепляться на водород и кислород, то электрические поля в мозге должны быть относительно слабыми. Во многом поэтому длительность неврологических процессов обычно составляет миллисекунды. В отличие от биологических синапсов вышеописанное устройство способно работать при напряжении до 10 вольт и с импульсами длительностью до 5 нс. Вдобавок размеры таких устройств измеряются всего лишь нанометрами, что делает их в 1000 раз меньше биологических синапсов [1711]^, [1712].

Создание систем такого рода открывает перед нейроморфной инженерией новые удивительные перспективы.

5.3.11 Перспективные вычислительные технологии

В эпоху повсеместного торжества микроэлектроники учёные продолжают поиск альтернативных технологий, способных в будущем стать базой вычислительных машин. В качестве одной из возможных замен «классических» устройств рассматриваются машины, в основу которых будут положены эффекты квантовой физики, — так называемые квантовые компьютеры. По мнению учёных, они смогут решать многие вычислительные задачи намного быстрее, чем современные ЭВМ [1713].