Николас Карр - Стеклянная клетка. Автоматизация и мы
При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с бо́льшим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.
Специалисты по этике особо подчеркнули, что люди при принятии морально значимых решений используют «гибрид» двух подходов – сверху вниз и снизу вверх. Человек живет в обществе, управляемом законами и другими ограничениями, которые направляют и контролируют его поведение. Многие люди принимают решения в согласии со своими религиозными и культурными убеждениями. Совесть тоже диктует свои правила, будь она врожденной или благоприобретенной в процессе воспитания. Большую роль играет жизненный опыт. Люди учатся быть нравственными существами по мере роста и взросления, сталкиваясь с необходимостью принимать этически оправданные решения в разнообразных ситуациях. Человек далеко не совершен, его нравственные устои проходят испытание при столкновении с проблемами, с которыми он раньше никогда не встречался. Единственный способ для роботов стать нравственными – это последовать нашему примеру и принять гибридный подход, то есть одновременно подчиняться правилам и учиться на собственном опыте. Но создание такой машины на данном уровне развития технологии невозможно. «В конечном итоге, – заключают специалисты по этике, – люди, возможно, смогут построить нравственных роботов, способных снизу вверх вырабатывать гибкую мораль, воспринимать и обрабатывать самые разнообразные вещи и сравнивать принятые решения с правилами, предписанными подходом сверху вниз». Но для этого надо понять, как программировать компьютеры, чтобы они могли обладать эмоциями, социальными навыками, сознанием и «чувством сопричастности миру» [6]. Другими словами, людям придется стать богами.
Едва ли армия будет так долго ждать. В статье, опубликованной в журнале военного колледжа армии США Parameters, Томас Адамс, военный стратег и подполковник в отставке, утверждает: «Логика, ведущая к созданию полностью автономных систем, неумолима. Благодаря скорости, размерам и чувствительности военных роботов война начинает предъявлять требования, превосходящие способность человека адекватно реагировать на них». Скоро наступит время, когда обычному человеку станет слишком сложно разобраться с новой техникой. «Люди становятся самым слабым звеном военной системы, – говорит Адамс, повторяя утверждения ориентированных на технологию гражданских создателей программного обеспечения, – и сохранение способности к контролю над ситуацией на поле боя становится в современных условиях почти невозможным. …Проблема заключается в том, что обязательно найдутся противники, которые решат, что нанести поражение ориентированным на человека системам можно только с помощью систем, ориентированных на технологию». В конце своей статьи Адамс выражает уверенность: «Наступит такой момент, когда военные действия на тактическом уровне станут уделом машин, а не людей» [7].
Предотвратить применение автономных роботов-убийц едва ли удастся не только по причине их высокой тактической эффективности. Их использование имеет много этических преимуществ. В отличие от живых солдат, роботы не будут подвержены действию инстинктов в горячке и суматохе боя, они не способны испытывать страх, и у них нет крови, в которой может бушевать адреналин. «Главное, – писал Хейнс, – они не будут действовать из мести, не поддадутся панике, гневу, злобе, предрассудкам или страху. Более того, если их специально на это не запрограммировать, машины не станут преднамеренно причинять страдания гражданскому населению, применять насилие и пытки» [8].
Роботы, кроме того, не лгут и не пытаются скрыть следы своих действий. Их можно запрограммировать так, чтобы они оставляли электронные метки на пути своего движения, что сделает их самыми надежными солдатами армии. Их применение (и это, пожалуй, самое важное) позволит избежать гибели и ранений живых солдат. Убивающий робот не только забирает жизни, но и сохраняет их. Как только людям станет ясно, что автоматические солдаты и оружие уменьшат вероятность того, что их сыновья и дочери будут убиты или искалечены на войне, давление на правительство станет непреодолимым, – народы потребуют автоматического ведения войн. «В конечном счете, – считает Хейнс, – не будет иметь никакого значения, что роботы лишены способности к человеческому суждению, здравого смысла, чувства перспективы, понимания скрытых намерений и человеческих ценностей». Отсутствие человеческих чувств у роботов в данном случае имеет даже свои преимущества, так как иначе их не смогли бы с легкостью отправлять на уничтожение.
Однако в действительности эта ситуация оказывается еще более щекотливой. «Военные и политические преимущества роботов имеют и собственные моральные ограничения. Их применение САР не просто изменит способ ведения сражений и стычек, – утверждает Хейнс. – Оно изменит отношение политиков и военных к вопросу о том, следует ли вообще начинать войну. Ненависть общества к потерям всегда удерживала политиков от объявления войн и подстегивала стремление к переговорам. Так как роботы уменьшат человеческую цену вооруженного конфликта, общество будет с большей легкостью отчуждено от военных дебатов и оставит решение вопроса о применении силы на усмотрение государства, что приведет к обыденности вооруженного конфликта. Киберсолдаты могут снизить для государства порог перехода к войне или другим конфликтам. Война перестанет быть последним средством решения политических споров» [9].
Внедрение нового класса вооружений всегда меняет природу ведения войны, а оружие, которое можно метать или взрывать издалека (катапульты, мины, мортиры, ракеты), оказывало и продолжает оказывать в этом отношении наибольший эффект, как предусмотренный, так и непреднамеренный. Последствия применения киберсолдат превзойдут все, что появлялось на полях сражений до сих пор. Первый же выстрел, самостоятельно сделанный роботом, прогремит на весь мир, навсегда изменив лицо войны, а может быть, и всего общества.
Социальные и этические вызовы, порожденные призраками роботов, запрограммированных на убийство, и самоуправляющихся машин, открывают очень важную и неприятную перспективу направления автоматизации в целом. Идею замещения традиционного способа действия автоматизированным трактовали как возможность замены любой работы путем деления ее на отдельные задачи, которые легче автоматизировать. Это представление надо, вероятно, расширить. По мере того как растет область приложений автоматизации, человечество начинает понимать, что общество не может быть разделено на не связанные между собой сферы деятельности – например, сферы труда, отдыха, государственной власти. Их нельзя автоматизировать по отдельности, чтобы не затронуть состояние других сфер, не изменить жизнь общества в целом. Все на свете взаимосвязано. Изменится оружие, и, как следствие, возникнет другой способ ведения войны. Эти связи становятся более тесными по мере распространения информации в компьютерных сетях. В какой-то момент автоматизация достигает критической массы и начинает формировать общественные нормы и этику. Люди постепенно видят себя и отношения с другими в совершенно ином свете. Личную деятельность они невольно начинают подгонять под технологию, играющую в наши дни все более значимую роль. Меняется и поведение людей. Они ждут от компьютера помощи и разочаровываются в тех редких случаях, когда ее не получают. «Программы стали настоятельной необходимостью, – как выражается Джозеф Вайценберг, специалист по вычислительной технике из Массачусетского технологического института. – Они становятся той материей, из которой люди строят свой мир» [10].
В девяностые годы, когда только начал надуваться пузырь доткомов, уже шли взволнованные разговоры о «вездесущей компьютеризации». Вскоре эксперты стали уверять нас, что наступает эра микрочипов. Они будут везде: в фабричных и заводских машинах, на полках складов, встроены в стены кабинетов, магазинов и жилых домов, зарыты в землю и полетят по воздуху. Будут вшиваться в одежду и даже плавать в нашей крови. Снабженные сенсорами и передатчиками, эти миниатюрные компьютеры станут измерять все мыслимые переменные величины – от усталости металла и температуры почвы до уровня сахара в крови и через интернет посылать данные в крупные центры их обработки. Там мощные компьютеры проанализируют переданную ими информацию и выдадут инструкции, как поддержать те или иные параметры на нужном уровне. Компьютеризация проникнет во все на свете. Автоматизация станет вездесущей. Мы окажемся в раю компьютерных фанатов, в мире программируемых машин.
