Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич
С другой стороны, при работе с генотипическими моделями бинарная алгебра логики может стать неадекватным задаче инструментом. Хотя конкретный экземпляр системы, созданной при помощи генотипического подхода, вполне может быть описан языком формальной логики, наибольший интерес представляют свойства класса систем, порождаемого заданными правилами их построения. Эти свойства лучше всего описывать статистически, поэтому теория вероятностей играет важную роль в генотипическом подходе [1173].
Мы уже упоминали про попытку Питтса применить статистическую механику к нейронным сетям, осуществлённую им под влиянием идей Винера. Вместе с Мак-Каллоком и учеником Рашевского Гербертом Лэндалом Питтс в 1943 г. опубликовал в «Бюллетене математической биофизики» работу «Статистическое следствие логического исчисления нервных сетей» (A Statistical Consequence of the Logical Calculus of Nervous Nets). Хотя топология сети в статье полагается по-прежнему неизменной, выдвигается предположение, что нервные импульсы генерируются в нейронах с различными частотами. Авторы вводят понятие «период латентного суммирования» [period of latent addition] — промежуток времени, в пределах которого нервные импульсы на входе нейрона суммируются (или же происходит торможение — в случае получения на этом промежутке времени импульса от нейрона, связанного с нашим нейроном тормозящей связью). Это расширение исходной модели, по мнению авторов, «позволяет нам производить определённые предсказания количественных характеристик ответа на основе количественных характеристик стимула. Эти предсказания можно сравнивать с наблюдениями и, если необходимо, изменять сети до тех пор, пока последующие предсказания не будут подтверждены» [1174].
В некотором смысле эта процедура напоминает обучение искусственной нейронной сети, хотя в действительности авторы работы формулируют несколько иную цель, а именно подбор параметров модели таким образом, чтобы её предсказания соответствовали «численно измеримым психическим феноменам», возникающим в результате нервной активности в биологической сети. Словом, речь идёт о создании достоверной модели естественной нейронной сети, а не об обучении искусственной нейронной сети для решения прикладных задач. Кроме того, чётких представлений о конкретных алгоритмах подбора параметров сети у создателей первой модели искусственного нейрона, по всей видимости, не было.
Тьюринг интересовался возможностью моделирования работы нейронных сетей по крайней мере с 1946 г., когда писал в одном из писем к Россу Эшби: «В работе над [компьютером] ACE [Automatic Computing Engine] меня больше интересует возможность создания моделей работы мозга, чем использование машины для прикладных вычислений. <…> Хотя мозг в действительности может работать, изменяя свои нейронные цепи за счёт роста аксонов и дендритов, мы, однако, могли бы создать модель внутри ACE, позволяющую нам делать то же самое без изменения существующей конструкции ACE, изменяться будут только хранящиеся в памяти машины данные…» [1175], [1176]
В неопубликованной работе под названием «Мыслящие машины» (Intelligent Machinery) [1177], написанной в 1948 г., Тьюринг описал сети нейроноподобных логических элементов, названных им «неорганизованными машинами» [unorganized machines].
Машины типа A, описанные в статье, состоят из случайно соединённых логических элементов, каждый из которых имеет два входа и один выход. Логические элементы имеют два состояния — 0 или 1. Это состояние в момент срабатывания элемента определяется при помощи логического вентиля «И-НЕ» — такие вентили называют также NAND-вентилями или элементами Шеффера в честь американского математика и логика Генри Шеффера, который в 1913 г. доказал, что функция «И-НЕ» (инверсия конъюнкции) является универсальной, которой можно заменить все другие логические функции.
Последовательностью срабатывания элементов управляет синхронизирующее устройство, подключенное к каждому из элементов. Это устройство через определённые интервалы времени одновременно посылает сигналы всем элементам, вызывая их срабатывание.
Тьюринг отметил, что последовательность внутренних состояний такой машины будет носить циклический характер, при этом длина цикла будет не более 2N, где N — число элементов в машине.
Затем Тьюринг предложил модификацию машины типа A, при которой в каждую связь «И-НЕ» между двумя элементами добавляется сеть из трёх элементов (где все связи тоже типа «И‑НЕ»):
Такая сеть выполняет роль модификатора сигнала. Несложно заметить, что в результате соединение может — в зависимости от значений, помещённых в «нижние» ячейки модификатора (две единицы, два нуля, ноль и единица), — приобрести три возможных типа поведения соответственно: 1) оно будет инвертировать проходящий через него сигнал, то есть заменять 1 на 0, а 0 на 1; 2) оно будет превращать все сигналы в 1; 3) оно будет чередовать поведение (1) и (2) в чётные и нечётные моменты времени. Машина с такими модификаторами соединений получила у Тьюринга название «машина типа B». Все машины типа B являются в то же время и машинами типа A, но не все машины типа A являются машинами типа B.
В целом сети Тьюринга напоминают сети Мак-Каллока и Питтса: даже использование цикла в качестве механизма памяти для хранения состояния модификатора отсылает нас к рассуждениям Питтса. Однако Тьюринг делает два важных шага вперёд. Во-первых, он рассматривает возможность моделирования работы сети на программном уровне при помощи электронной вычислительной машины общего назначения. А во-вторых, в его статье содержится целый раздел, посвящённый машинному обучению или, как называет его сам Тьюринг, «образованию машин» [Education of Machinery]! Для этого он анализирует возможные способы «организации неорганизованных машин». Тьюринг вносит изменение в архитектуру модификатора соединения, снабжая его двумя внешними входами.
Таким образом, работа соединения становится управляемой: подавая на входы A и B разные сигналы, можно добиться переключения поведения модификатора.
По словам Тьюринга, благодаря применению «соответствующих вмешательств, имитирующих обучение [education]», машина может быть обучена «выполнять любую требуемую работу при наличии достаточного времени и при условии достаточного количества элементов».
Тьюринг рассуждает о том, что настройка машины для выполнения конкретной операции может производиться как вручную, так и на основе системы подкреплений и штрафов, соответствующих удовольствию и боли у живых организмов. При этом сами принципы функционирования сети достаточно просты — в живой природе они могут быть описаны сравнительно небольшим набором генов, благодаря чему такие принципы могут быть выработаны в процессе эволюции. Некоторые исследователи считают, что в этих рассуждениях Тьюринг предвосхитил появление генетических алгоритмов, то есть алгоритмов, имитирующих процессы естественной изменчивости, скрещивания и отбора для решения различных задач оптимизации. Сегодня машины типа A и машины типа B часто называют нейронными сетями Тьюринга или просто сетями Тьюринга.
