Крис Фрит - Мозг и душа: как нервная деятельность формирует наш внутренний мир
Механизм, позволяющий научиться, что делать, чтобы получать награды (или избегать наказаний), тоже существует. Его называют алгоритмом временных различий. Используя этот метод, машина может определить наилучшую последовательность действий, которые требуется совершить, чтобы получить что-либо ценное. Этот метод известен также как "модель актера и критика". Одна часть программы, "актер", решает, какое следующее действие предпринять. Другая часть, "критик", оценивает, насколько удачным было это действие. Критик сообщает актеру обо всех ошибках, допущенных в предсказаниях. Удачным действием считается такое, после которого наше положение сейчас оказывается лучше, чем было до того. Критик всякий раз сообщает о происходящих изменениях ценности (отсюда "временные различия"). Ценность положения повышается после действий, которые приближают нас к награде. Это позволяет нам искать пути, ведущие к получению награды. Самой высокой ценностью обладает место возле самой награды. По мере удаления от награды ценность уменьшается. Двигаясь в сторону мест с более высокой ценностью, мы рано или поздно доберемся до награды. При этом, разумеется, в окружающем мире нет никаких отметок, указывающих ценность того или иного места. Эти отметки существуют лишь во внутренней модели мира, имеющейся у нас в мозгу и построенной благодаря опыту и обучению.
Рис. 4.5. Мозг представляет окружающий мир как пространство возможных наград (reward space).
Верхний рисунок: Карта конференц-центра. Составленная моим мозгом карта конференц-центра как пространства потенциальных наград.
Нижний рисунок: Я прибыл в незнакомый конференц-центр без карты. Стол с напитками скрыт за несколькими перегородками. Я могу найти его только методом проб и ошибок. После того, как я несколько раз нахожу стол с напитками, мой мозг создает карту конференц-центра как пространства потенциальных наград. Окраска отражает ценность (чем светлее, тем выше ценность). Если я буду двигаться в сторону участков, окрашенных светлее, я рано или поздно доберусь до стола с напитками. Но я не знаю, что руководствуюсь этой картой. Я просто иду к столу с напитками.
Вольфрам Шульц и специалисты по вычислительным системам Питер Даян и Рид Монтегю показали, что допаминовые нервные клетки ведут себя именно так, как следовало бы ожидать, исходя из того, что мозг обезьяны пользуется тем же методом обучения, что и машина, использующая алгоритм временных различий. Активность допаминовых клеток и отражает те ошибки в предсказаниях, которые позволяют обезьяне обучаться, не имея учителя. Этот механизм обучения работает отнюдь не только в нервных клетках обезьян. Обучением путем предсказаний можно объяснить также поведение пчел, которые ищут лучшие цветы, и людей, играющих в азартные игры.[99] В обоих случаях обучение путем предсказаний формирует карту возможных действий, на которой отмечено, какие действия с наибольшей вероятностью приведут к награде.
Составляемая мозгом карта мираПользуясь ассоциативным обучением, мозг составляет карту окружающего мира. По сути дела, это карта ценностей. На этой карте отмечены объекты, обладающие высокой ценностью, сулящие награду, и объекты, обладающие низкой ценностью, сулящие наказание. Кроме того, на ней отмечены действия, обладающие высокой ценностью, которые сулят успех, и действия, обладающие низкой ценностью, сулящие неуспех.
Стоя на пороге университетской столовой, я инстинктивно направляюсь туда, где смогу найти лучшую еду и напитки. Я направляюсь к столикам, за которыми обычно сидят мои друзья, и подальше от столиков, за которые часто садятся специалисты по молекулярной генетике и профессора английского языка. Я автоматически толкаю дверь, которая открывается вовнутрь, и прохожу, не задумываясь, туда, где подают горячее.[100] В какой-то момент администрация столовой может решить переставить столики и поменять дверь. Некоторое время я по-прежнему буду пытаться толкать дверь, которая теперь открывается наружу, но рано или поздно карта в моем мозгу будет автоматически подправлена.
Взяв свой обед, я сажусь за столик, и вскоре оказывается, как ни странно, что я сижу рядом с профессором английского языка и пытаюсь убедить ее, что все эти новые данные о том, как мозг познаёт окружающий мир, интересны и важны. Я говорю ей, что для нашего мозга окружающая действительность выглядит не какой-то звенящей разноцветной путаницей, а картой, на которой обозначены открытые перед нами возможности. И что эта карта открытых возможностей обеспечивает нашу глубокую связь с непосредственно окружающим нас миром. Стоит мне только увидеть вон ту кружку, как мой мозг уже начинает играть мышцами и сгибать мои пальцы на случай, если я захочу взять ее в руку.
Рис. 4.6. Наш мозг автоматически готовит программы действий в соответствии с окружающими объектами.
Умберто Кастьелло и его коллеги провели ряд экспериментов, показавших, как различные находящиеся в поле зрения предметы вызывают автоматическую активацию реакций (программы действий), требуемых, чтобы протянуть руку и взять в нее каждый из этих предметов, даже если у человека нет осознанного намерения брать их в руки. Этот было сделано путем очень точного измерения движений рук испытуемых при взятии различных предметов. Когда мы берем что-либо рукой, расстояние между большим пальцем и остальными пальцами заранее приводится в соответствие с размером предмета. Когда я тянусь за яблоком, я раскрываю руку шире, чем когда тянусь за вишней. Но если я тянусь за вишней, в то время как на столе, кроме вишни, есть еще и яблоко, то я раскрываю руку шире, чем обычно делаю, чтобы взять вишню. Действие, требуемое, чтобы взять вишню, попадает под влияние действия, требуемого, чтобы взять яблоко. Такое влияние возможного действия на совершаемое показывает, что мозг одновременно параллельно заготавливает программы для всех этих действий.
Я объясняю ей, что именно так наше сознание и встраивается в материальный мир. Именно так наш мозг и изучает окружающий мир без помощи учителя. Я особенно стараюсь убедить ее, что эти идеи – не пустые слова и жесты. Эти идеи подтверждаются строгими математическими уравнениями.
"Неужели вы утверждаете, – отвечает она, – что где-то в моем мозгу есть карты всех мест, где я когда-либо была, и инструкции, как взять в руки все предметы, которые я когда-либо видела?"
Я объясняю ей, что в этом-то, наверное, и состоит самая замечательная особенность этих алгоритмов обучения. У нас есть только одна карта, а не последовательность карт, уходящая в далекое прошлое. У этой карты нет памяти. Она напоминает калейдоскоп, через который мы смотрим на мир. Пока наши предсказания выполняются, узор остается неизменным. Ошибочное предсказание встряхивает этот узор, чтобы на его месте возник новый. Это позволяет нам постоянно подстраивать свое поведение под изменчивый мир.
"Может быть, вы и живете одним настоящим, – отвечает она, – но я смотрю на мир совсем иначе. Мое сознание наполняют сожаления о прошлом и надежды на будущее, а не сиюминутные ощущения настоящего. А кроме того, – добавляет она, – может быть, ваше сознание и встроено в материальный мир, но мое встроено в мир культуры, создаваемый мыслями и чувствами других людей. Если я и воспринимаю материальный мир, то именно потому, что это вовсе и не я. Это, отчего мне больно, когда я спотыкаюсь ногой о камень".
На это я ничего не успеваю ответить, потому что она уходит читать свою заключительную лекцию по теме "Поток сознания".[101]
Это замечание профессора английского языка напоминает нам о разительном несоответствии между тем, что наш мозг знает об окружающем мире, и восприятием мира нашим сознанием. Ассоциативное обучение позволяет объяснить, как наш мозг приобретает знания о мире, но все это происходит и остается почти без нашего ведома. Что же тогда представляет собой наше восприятие окружающего мира, обеспечиваемое нашим мозгом?
Как мозг встраивает нас в окружающий мир, скрывая это от нас
Но тут я понимаю, что она права. Что бы ни делал мой мозг, я сам, как и она, не ощущаю себя встроенным в материальный мир. Мои ощущения говорят мне, что я нахожусь в этом мире, но отделен от него. Мой мозг умело встроил меня в окружающий мир, но я не чувствую этой встроенности.
Проблема изучения собак, кошек и голубей состоит в том, что мы можем изучать только их поведение. Мы ничего не знаем об их ощущениях. Ассоциативное обучение у людей исследовали сравнительно мало, но мы знаем, что такое обучение проходит у людей точно так же, как у других животных. Что же мы ощущаем в процессе такого обучения? Лектор, которые обучался переходить на левый край подиума, чтобы студенты слушали его внимательно, похоже, обучался этому, сам не понимая, что происходит. Поставленные по всем правилам эксперименты демонстрируют тот же эффект.
