Николас Карр - Стеклянная клетка. Автоматизация и мы
Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?
Совершенных нравственных алгоритмов не существует, в настоящее время нет возможности свести этику к набору правил. Философы пытались сделать это в течение многих столетий, но потерпели фиаско. Любые самые холодные расчеты зависят от ценностей и интересов человека, принимающего решение. Рациональный выбор страховой компании может в случае наезда на собаку не совпасть с решением человека – не важно, сделал он его с расчетом или просто рефлекторно. «В эпоху роботов, – замечает политолог Чарльз Рубин, – люди все чаще будут сталкиваться с требованиями морали» [3].
Тем не менее такие алгоритмы придется – волей-неволей – писать. Мысль о том, что человек сумеет вычислить наиболее достойные выходы из моральных тупиков, может показаться упрощенной или даже отталкивающей, но роботам и программам придется просчитывать способы решения моральных проблем. До тех пор пока искусственный интеллект не обретет некоего подобия сознания и не будет способен чувствовать или хотя бы имитировать такие эмоции, как привязанность или жалость, никаких перспектив у наших электронных родственников не будет. Люди могут сколько угодно горевать о том, что предоставили автоматам возможность принимать морально значимые решения до того, как научили их нравственности, но власть выработанных тысячелетиями этических норм остается доминантой. Если выпустить машины в самостоятельное плавание, то придется перевести моральные коды в коды компьютерных программ.
Вот другой сценарий. Представим себе батальон, составленный из людей и солдат-роботов. В составе батальона есть взвод «компьютерных снайперов», занявших позиции на перекрестках и крышах домов города, который батальон защищает от нападения партизан. Один из роботов берет на лазерный прицел человека в гражданской одежде, держащего в руке мобильный телефон. Человек ведет себя – с точки зрения военного опыта – достаточно подозрительно. Робот, оценив текущую ситуацию и просмотрев базу данных о поведении террористов в таких случаях, мгновенно подсчитывает, что 68 % вероятность того, что это террорист, готовый привести в действие взрыватель бомбы, и 32 % – что это мирный житель, не замышляющий ничего дурного. В этот момент на улицу въезжает бронетранспортер с взводом солдат. Если человек готов взорвать бомбу, то рвануть может в любой момент. Война не имеет кнопки «пауза». Здесь нет места человеческим рассуждениям. Робот должен действовать. Что прикажет программа его винтовке: стрелять или не стрелять?
Если гражданские люди еще могут рассуждать об этических следствиях внедрения самоуправляющихся автомобилей и других самостоятельных роботов, то у военных нет времени на такие размышления. В течение многих лет Министерство обороны и военные академии изучают методы и последствия наделения боевых машин правом принимать решения о жизни и смерти. Ракеты и бомбы, сбрасываемые с беспилотных самолетов, давно уже никого не удивляют, хотя и стали предметом ожесточенных дебатов. У обеих сторон есть веские аргументы. Сторонники наделения машин таким правом утверждают, что беспилотники позволяют уменьшить потери в живой силе, а точность ударов сокращает масштабы разрушений и жертв по сравнению с традиционными способами ведения боевых действий. Противники считают такое бомбометание санкционированным государством массовым убийством. Они утверждают, что ракеты и бомбы часто убивают и ранят мирных жителей. Правда, надо сказать, что такие ракетные удары не являются автоматизированными, они просто подчиняются дистанционному управлению. Самолеты летят самостоятельно и сканируют местность, над которой пролетают, но решение о нанесении удара принимают военнослужащие, сидящие перед мониторами и выполняющие приказы командиров. В их понимании современные беспилотные самолеты-ракетоносцы ничем не отличаются от крылатых ракет и другого вооружения. На гашетку и спусковой крючок нажимают все же люди, а не машины.
Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.
В 2013 году Кристоф Хейнс, южноафриканский правовед, работающий над темой внесудебных решений, издал доклад о статусе и перспективах развития военных роботов [4]. От чтения этого сухого бесстрастного доклада по спине бегут мурашки: «Правительства, способные выпускать смертоносные автономные роботы, – писал Хейнс, – утверждают, что в настоящее время не рассматривается вопрос об их применении в вооруженных конфликтах или в каких-либо иных ситуациях. Однако история вооружений, – продолжает он, – позволяет предположить, что людям не следует слишком серьезно относиться к таким прогнозам. Надо помнить, что аэропланы и беспилотные самолеты поначалу использовались в вооруженных конфликтах только для разведки, а их боевое применение исключалось ввиду возможных негативных последствий. Опыт, однако, подтверждает, что, когда технология позволяет получить преимущество перед противником, подобные рассуждения просто отбрасываются в сторону. Как только появляется новый тип оружия, немедленно начинается гонка вооружений. В этой ситуации сила соблюдения собственных интересов может свести на нет всякие усилия по контролю над вооружением и его боевым применением».
Война гораздо в большей степени подчиняется шаблонам, чем гражданская жизнь. Есть определенные правила ведения боевых действий, иерархия командования и четко определенные стороны конфликта. Убийство не только не порицается, но и поощряется. Но даже на войне программирование морально значимых задач поднимает проблемы, которые не могут быть решены без предварительного урегулирования некоторых моральных аспектов. В 2008 году командование ВМС США поручило группе по этике и новым наукам Университета штата Калифорния подготовить доклад по этическим проблемам, возникающим в связи с возможным применением смертоносных автоматизированных машин, и выработать предложения по созданию «этически запрограммированных роботов» для военных целей. Специалисты по этике доложили, что существует, в принципе, два способа программирования морально обоснованных компьютерных решений: сверху вниз и снизу вверх. В первом случае все правила, программирующие решения робота, создаются заранее, и машина просто им следует «без изменений или гибкости». Невозможно предвидеть все ситуации, в которых может оказаться робот. «Ригидность программирования сверху вниз может привести к неприятным последствиям, – написали ученые, – когда события или ситуации, не предусмотренные или недостаточно проработанные программистами, заставляют робота поступать неверно или просто совершать ужасные вещи именно потому, что он жестко следует заданным правилам» [5].
При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с бо́льшим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.
