Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич
По вопросу о более сложных перцептронах, чем элементарный, Минский и Пейперт в своей книге 1969 г. ограничились лишь несколькими комментариями. Они сформулировали (ныне печально известное) пессимистическое «интуитивное суждение» о невозможности разработки эффективных методов обучения многослойных сетей: «Перцептрон уже показал, что его стоит изучать, несмотря на серьёзные ограничения (и даже благодаря им!). Он обладает многими свойствами, достойными внимания: линейность; интригующая теорема об обучении [о сходимости перцептрона]; очевидная простота как образца устройства для параллельных вычислений. Нет оснований предполагать, что любое из этих достоинств распространяется на его многослойный вариант. Тем не менее мы считаем, что важной исследовательской задачей является выяснение (или опровержение) нашего интуитивного суждения о том, что обсуждаемое расширение бесплодно. Разве только будет открыта какая-нибудь мощная теорема о сходимости или будет найдена некоторая глубокая причина, в силу которой для многослойной машины невозможно найти „теорему об обучении“, представляющую какой-либо интерес» [1307].
На мой взгляд, наиболее интересным вопросом является вопрос о том, действительно ли книга Минского и Пейперта оказала столь глобальное влияние на направление исследований по крайней мере на целое десятилетие. Вот что сообщает по этому поводу Бернард Уидроу:
Когда вышла книга Минского и Пейперта под названием «Перцептроны», я каким-то образом получил её экземпляр. Издатели присылают мне миллионы книг, так что эта однажды оказалась у меня в офисе. Я посмотрел на эту книгу и увидел, что они проделали серьёзную работу, и в этой книге была хорошая математика, но я сказал: «Боже мой, какой пасквиль». Я был так рад, что они назвали эту вещь перцептроном, а не адалайном, потому что на самом деле они в основном говорили об адалайне, а не о перцептроне. Я чувствовал, что они достаточно узко определили, что такое перцептрон, что они смогли доказать, что он практически ничего не мог сделать. Задолго до этой книги я уже успешно адаптировал MADALINE, который представлял собой целый набор нейронных элементов. Всё это беспокойство и муки по поводу ограничений линейной разделимости, которая является главной темой данной книги, давно преодолены.
Мы уже перестали работать над нейронными сетями. Насколько я знал, никто не работал над нейронными сетями, когда вышла эта книга. Я не мог понять, в чём смысл этого, какого чёрта они это сделали. Но я знаю, сколько нужно времени, чтобы написать книгу. Я подумал, что они, должно быть, решили написать эту книгу очень давно, чтобы нанести удар по данной области, сделать всё возможное, чтобы понатыкать булавок в воздушный шар. Но к тому времени, когда книга вышла, эта область уже ушла. Никто не занимался этим.
Я думаю, что эта книга приобрела значение со вторым пришествием нейронных сетей, когда они вернулись. Тогда люди начали оглядываться на эту книгу, и некоторые из них, слабые духом, были обескуражены. Это не значит, что книга неинтересна и не ценна. Напротив. Но у них было всего несколько маленьких примеров со множеством нейронов [нейронных сетей, состоящих из более чем одного нейрона]. Я думаю, что большая часть сказанного в книге относится к единичному нейрону. Я обнаружил, что, конечно же, один нейрон не может делать всё, но то, что он может сделать, это чертовски интересно. Один нейрон не может выучить всё, ну и что с того? [1308]
Если пытаться найти человека, который в действительности заметно повлиял на выделение ресурсов для коннекционистских проектов Розенблатта, то им был вовсе не Минский и тем более не Пейперт, а скорее Майкл Мэнсфилд, сенатор-демократ от штата Монтана и лидер сенатского большинства (1957–1961), с подачи которого была принята так называемая поправка Мэнсфилда 1969 г. (Public Law 91-121). Эта бюджетная поправка запретила финансирование за счёт военного бюджета исследований, в которых отсутствует прямая или явная связь с конкретной военной функцией.
С конца 1950-х до середины 1960-х гг. финансирование науки в США пережило период беспрецедентного роста. Его начало восходит к периоду после Второй мировой войны, но пик темпов роста приходится на конец 1950-х – начало 1960-х гг. Именно на этот период пришлась поддержка проектов Розенблатта со стороны Управления военно-морских исследований (Office of Naval Research, ONR). В то время ONR активно финансировало проекты, не связанные с прикладными областями, а поддержка науки возросла до беспрецедентного уровня. Причиной этой небывалой щедрости стал запуск Советским Союзом первого искусственного спутника Земли. Непосредственной реакцией на запуск спутника стал Закон о реорганизации обороны 1958 г., в соответствии с которым было создано Управление перспективных исследовательских проектов Министерства обороны США (Advanced Research Projects Agency, ARPA). Сегодня эта организация известна под названием DARPA.
Позже многие учёные с ностальгией оглядывались назад, на послевоенный период, когда, основываясь на опыте Манхэттенского проекта, такие учреждения, как Управление военно-морских исследований, предоставляли щедрое финансирование университетам без каких-либо условий. Однако золотой век в исследовательской сфере продлился недолго. Растущая озабоченность оборонных ведомств краткосрочными эффектами финансируемых ими исследований была отражена в поправке Мэнсфилда. Именно она подтолкнула Министерство обороны к поддержке более краткосрочных прикладных исследований. В том числе поправка коснулась финансирования проектов Розенблатта со стороны ONR, ведь в их отношении учёный никогда не заявлял о возможности получения быстрой практической отдачи. Хотя Розенблатта нередко обвиняют в том, что он делал слишком громкие и преувеличенные заявления о возможностях перцептронов, но в действительности эта гипотеза не слишком подкреплена фактами.
Прекращение потока финансирования от военных не означало полной остановки работ Розенблатта, он продолжал работать над перцептронами и дальше [1309].
В целом в конце 1960-х гг. ландшафт коннекционистского ИИ выглядел следующим образом. Уидроу, так и не найдя эффективного алгоритма обучения многослойных сетей, переключился на телефонное оборудование на основе ADALINE. Группа исследователей из SRI переключилась на робототехнический проект, не предполагавший на тот момент использования нейросетевых моделей. Розенблатт занимался фоноперцептроном «Тобермори», а также увлекательными опытами над крысами до своей трагической смерти.
По воспоминаниям Ричарда О’Брайена, главы Отделения биологических наук Корнеллского университета во времена Розенблатта, Фрэнк мечтал, чтобы «Тобермори» смог увидеть мышь, бегущую по комнате, и сказать (вслух): «Я вижу белый объект с длинным хвостом, издающий писк, и, должно быть, это мышь». Таким образом, «Тобермори» сможет видеть, слышать и говорить, а также правильно сочетать все эти три элемента [1310].
По случаю смерти Розенблатта О’Брайен в 1971 г. в своей траурной речи в Конгрессе сказал: «…Всего несколько лет назад он [Розенблатт] получал сотни тысяч долларов в год на исследовательские гранты от агентств, которые считали, что его работа стоит того, но он стал жертвой поправки Мэнсфилда, и последние несколько лет эти деньги таяли, как летний снег. В последние несколько месяцев у него оставалось совсем немного».
А затем в малочисленном коннекционистском мирке на десятилетие воцарилась тишина, хотя даже это не совсем соответствует действительности, о чём мы поговорим несколько позже.
Завершая главу, мне хочется сказать несколько слов об обстоятельствах гибели Фрэнка Розенблатта, в отношении которых до сих пор существует ряд открытых вопросов. Большая часть современных источников воспроизводит скупую формулу некролога: погиб в результате несчастного случая на водах [boating accident], произошедшего в Чесапикском заливе в день его рождения, 11 июля 1971 г. [1311] При этом, по одной из версий, он утонул, катаясь на лодке вместе с двумя студентами [1312], по другой — в море была найдена его пустая лодка, но тело Розенблатта найдено не было [1313]. На основе последней версии некоторые авторы выдвигают предположение о самоубийстве Розенблатта, якобы вызванном крушением его надежд и критикой со стороны Минского и Пейперта [1314]. Его бывший аспирант Хэл Седжвик, однако, пишет по этому поводу следующее: «Хорошо зная Фрэнка, я с трудом верю в эту теорию» [1315].
