Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич

В издании «Перцептронов» 1972 года присутствует рукописное посвящение памяти Фрэнка Розенблатта, погибшего в результате несчастного случая на лодке, человека, по всей видимости окончательно разбитого в результате «дела Перцептрона» [1297].

Честно говоря, мой личный драмометр сломался ещё на неловком каламбуре про потопленные коннекционистские исследования.

Вот что писал Пейперт спустя почти два десятилетия после вышеописанных событий: «Пытались ли мы с Минским убить коннекционизм и как мы относимся к его воскрешению? Здесь требуется нечто более сложное, чем оправдания. Да, был некоторый налёт враждебности, стоящий за исследованиями, о которых сообщалось в „Перцептронах“, и было некоторое раздражение тем, как развивается новое движение; частично наша мотивация была связана, как мы прямо признали в нашей книге, с тем фактом, что финансирование и силы исследователей растрачиваются, как мне представляется и сейчас (поскольку история о новых мощных нейросетевых механизмах серьёзно преувеличена), на вводящие в заблуждение попытки использовать коннекционистские методы в практических приложениях. Но большая часть мотивации для написания „Перцептронов“ возникла из более фундаментальных проблем, многие из которых явно затрагивают разделение между сетевиками и программистами» [1298].

Важно понимать, что ограничения, о которых писали в своей книге Минский и Пейперт, относятся к отдельным архитектурам нейронных сетей в применении к некоторым классам задач. Многих заявлений, приписываемых Минскому и Пейперту, они попросту никогда не делали. Например, Минский и Пейперт никогда не утверждали, что нейронные сети неспособны выполнять операцию XOR (исключающее или). Хотя единичный искусственный нейрон может вычислять только небольшое число логических предикатов, было общеизвестно, что сети, составленные из таких элементов, могут вычислять любую возможную логическую функцию. Об этом писали ещё Мак-Каллок и Питтс, которые даже показали, что при помощи предложенных ими нейронов можно создать машину Тьюринга. Это упоминается как в «Принципах нейродинамики» Розенблатта, так и в «Перцептронах».

Некоторые авторы идут ещё дальше, утверждая, например, что «Минский и Паперт доказали, что простые пресептоны (sic!) могут решать только очень узкий класс линейно сепарабельных задач» [1299]. К сожалению, в данном случае мы имеем дело с глубоко укоренившимися заблуждениями [1300].

В действительности Минский и Пейперт показывают, что перцептроны с единственным ассоциативным слоем не могут вычислять некоторые предикаты, если по крайней мере один из нейронов в ассоциативном слое не связан ненулевым весом с каждым из входов [1301]. Это противоречило надежде некоторых исследователей на сети с несколькими слоями «локальных» нейронов, каждый из которых будет соединён лишь с небольшим количеством входов. Такие сети в вычислительном плане гораздо более выгодны, чем громоздкие полносвязные сети.

На обложке ранних изданий книги Минского и Пейперта изображены туго закрученные спирали. Помимо деморализации противника (у меня нет другого объяснения фиолетовым линиям на красном фоне и красным на зелёном), эти изображения иллюстрируют две проблемы, на которых сконцентрирован анализ авторов. Одна из спиралей представляет собой единичный замкнутый контур, а вторая — два несвязанных замкнутых контура. Предикаты, вычисление которых затруднительно для сравнительно простых перцептронов, —это связность [connectedness], а также чётность, под которой понимается способность перцептрона отличить картинку с нечётным количеством фигур от картинки с их чётным числом (операция XOR является частным случаем этой проблемы). В общем-то, проблема определения чётности или нечётности минимально различимых перцептроном объектов является наихудшим случаем.

Генри Блок, математик из Корнеллского университета, работавший с Розенблаттом над перцептронами, детально разобрал критику Минского и Пейперта, уделив среди прочего внимание зацикленности последних на вопросах чётности и связности: «Другим свидетельством этой разницы во взглядах [между Розенблаттом и Минским/Пейпертом] является озабоченность Минского и Пейперта такими предикатами, как чётность и связность. Человек не может воспринимать ни чётность больших множеств (количество точек на газетной фотографии чётное или нечётное!), ни связность (на обложке книги Минского и Пейперта [«Перцептроны»] есть два объекта: один является связным, другой нет. При помощи визуального осмотра практически невозможно определить, что есть что). Розенблатт был бы рад приблизиться к человеческим возможностям и, скорее, негативно отнёсся бы к машине, которая вышла бы за их пределы, поскольку он стремился моделировать именно человеческое восприятие» [1302].

Минский и Пейперт сосредоточили своё внимание на проблемах, которые считали удобными для подтверждения собственной позиции. Своим ответом Блок показал, что эти же проблемы могут интерпретироваться иначе и что в иной интерпретации их существование может даже служить доводом в пользу перспективности нейросетевого подхода. Для Минского и Пейперта это были очень тревожные, аномальные проблемы. Исследователи нейронных сетей знали о трудностях, с которыми элементарные перцептроны сталкивались в некоторых задачах задолго до того, как Минский и Пейперт начали развивать свою критику в середине 1960-х гг. [1303] Например, среди тринадцати требующих решения проблем перцептронов, перечисленных в «Принципах нейродинамики», Розенблатт упоминает необходимость изучения возможных механизмов разделения фигур (фигура-фон) и исследования формирования абстрактных понятий и распознавания топологических или метрических отношений [1304]. Однако для коннекционистов наличие этих проблем не было сильным аргументом против нейросетевого подхода. По их мнению, элементарные перцептроны были только первой стадией исследования нейронных сетей. Розенблатт открыто признавал ограничения элементарных перцептронов, но относился к ним совершенно иначе, чем его критики. Для сторонников символьного подхода такие проблемы, как связность и чётность, были решающими аргументами против расширения исследований перцептронов вообще. Но для Розенблатта, Блока, Уидроу и прочих ограничения элементарных перцептронов были указанием на необходимость создания и исследования более сложных перцептронов. Коннекционисты подчёркивали положительные свойства элементарного перцептрона (его сходимость, подобие естественным нейронным сетям, его распределённую память, устойчивость к повреждениям, параллелизм и т. д.) и заявляли, что необходимы дальнейшие исследования более продвинутых моделей для того, чтобы получить возможность решать задачи более сложные, чем те, решения которых могут быть найдены элементарным перцептроном [1305].

Блок писал: «…Простой перцептрон (который состоит из набора входов, одного слоя нейронов и одного выхода без обратной связи или перекрёстной связи) совсем не то, что энтузиаст перцептронов мог бы считать типичным перцептроном. Его больше интересуют перцептроны с несколькими слоями, обратной связью и перекрёстными связями… сначала был изучен простой перцептрон, и для него была доказана „теорема сходимости перцептрона“. Это было обнадёживающим результатом не потому, что простой перцептрон сам по себе является адекватной моделью мозга (что, разумеется, не так; ни один из существующих перцептронов не может даже начать соревноваться с мышью!), а поскольку он продемонстрировал, что адаптивные нейронные сети в их простейших формах в принципе могут обучаться. Это говорит о том, что более сложные сети могут демонстрировать более интересное поведение. Минский и Пейперт иначе смотрят на роль простого перцептрона… Таким образом, то, что перцептронисты брали как временную опору, Минский и Пейперт интерпретируют как конечную структуру» [1306].