Алексей Турчин - Война и еще 25 сценариев конца света
Возражение 6. Послав нам программу с ИИ, внеземная цивилизация раскроет нам сам факт своего существования и свои координаты, технологию ИИ и сам факт ее возможности, ряд других технологий, которые этот ИИ создаст, а также, что особенно важно, откроет нам факт агрессивности своих намерений. И все это, в случае неудачной атаки, обернется против нее.
Комментарий: Подобные рассуждения носят только вероятностный характер и не могут гарантировать невозможность события. Отметим, что в случае войны на Земле те же соображения не препятствуют определенным агрессивным действиям.
Например, пушки раскрывают свое местоположение первым же выстрелом, но это не приводит к отказу от их использования. Кроме того, вряд ли сверхцивилизация отправит нам вместе с ИИ такие технологии, которые мы сами не открыли бы в ближайшие 100–200 лет (во всяком случае, не отправит – точнее, не позволит их расшифровать – до того, как будет уверена в победе). Возможно, что соблазн переиграть инопланетный ИИ (например, запустив его в полностью симулированном мире) будет одной из частей многоуровневой ловушки, которую она нам подстроит.
Наиболее серьезное возражение. «Продвинутая» цивилизация могла бы за несколько миллионов лет засеять всю нашу галактику способными к саморазмножению микророботами, которые могли бы реализовать любые цели у каждой звезды, в том числе без труда предотвратить развитие других цивилизаций.
Однако мы этого не видим – никто не помешал пока нашей цивилизации развиться. Разослать микророботов с заданиями было бы гораздо проще и надежнее, чем бомбардировать всю галактику SETI-посланиями, а раз этого нет, то нет и SETI-атаки внутри галактики.
Вероятно, за многие миллионы или даже миллиарды лет микророботы могли бы долететь даже из отдаленных галактик на расстоянии в десятки миллионов световых лет. В этом случае SETI-атака имела бы смысл только на больших расстояниях. Однако на таком расстоянии, вероятно, требуются принципиально новые способы модуляции сигналов, например, управление свечением активных ядер галактик; или передача узконаправленным лучом в сторону нашей галактики (но они не знают, где она будет через миллионы лет). Но цивилизация, способная управлять ядром галактики, может, вероятно, создать и звездолет, летящий с околосветовой скоростью, даже если его масса будет массой с планету.
Подобные рассуждения, безусловно, сильно снижают вероятность SETI-атаки, хотя и не опускают ее до нуля, так как мы не знаем всех возможных целей и обстоятельств. Масштабы космической стратегии могут быть непостижимыми для человеческого ума.
Насколько мы готовы противостоять угрозе сегодняСуществует протокол о действиях в случае обнаружения внеземного разумного сигнала.[38] Однако он предполагает скорее тщательную проверку информации, а затем широкое информирование о событии. В нем ничего не говорится об опасностях, которые может создавать само загруженное сообщение. В нем нет правила о том, что никогда и ни при каких обстоятельствах нельзя создавать механизмы, чертежи которых получены из космоса, и не запускать на компьютерах программы, загруженные по каналам SETI.
Это связано с тем, что ни широкая публика, ни сами исследователи SETI не осознают рисков, связанных с загрузкой программ. Вероятно, это обусловлено тем, что осознание этого риска требует принятия двух допущений, каждое из которых по отдельности выглядит фантастическим: во-первых, что внеземные цивилизации существуют, а во-вторых, что возможна компьютерная программа, обладающая искусственным интеллектом. Вместе они кажутся просто находящимися за гранью фантастики. Кроме того, исследователи SETI – это энтузиасты своего дела, и им трудно признать, что их деятельность может быть опасной.
Можно сказать, что осознание данного риска катастрофически мало – за прошедшие почти 50 лет он упоминается только в трех публикациях. Это значительно отличает его от других рисков, например глобального потепления, которое исследуется тысячами ученых. Это наше неосознавание риска ведет к неготовности, а значит – к повышенной уязвимости.
Наилучшей защитой в данном контексте было бы то, что цивилизации в космосе встречаются крайне редко. Однако если бы это было так, наша безопасность оказалась бы сомнительной, потому что в этом случае парадокс Ферми срабатывает по принципу «оба хуже»:
• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать.
• Если внеземных цивилизаций нет, то это тоже плохо, так как придает вес гипотезе о неизбежности вымирания технологических цивилизаций.
Конечно, теоретически возможен вариант, когда по SETI придет полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не проводите экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это с целью лишить нас некоторых технологий. (Подтверждением стали бы аналогичные сообщения от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн проведения экспериментов с Х-частицами.
Поэтому я не призываю отказаться от SETI-поисков окончательно, тем более что такие призывы бесполезны. Однако важно повысить осознание рисков в SETI-сообществе, а без этого любые дальнейшие меры бесполезны.
Возможно, было бы полезно:
Во-первых, отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. Возможно, до него осталось 10–30 лет, а значит, можно потерпеть.
Во-вторых, важно было бы скрывать сам факт получения SETI-сигнала, его суть и месторасположение источника, с тем чтобы избежать его повторного скачивания.
В-третьих, можно обдумать способы глушения SETI-сигнала, если он будет признан опасным, и международного запрета на его прием, хранение и анализ, аналогично тому, как действует запрет в отношении ядерных секретов и оборудования.
Проще всего заметить те цивилизации, которым выгодно о себе сообщать. Важно понять, какова причина этой выгоды и не может ли эта выгода быть для нас опасной.
С этим риском связан интересный методологический аспект. Несмотря на то, что я уже давно размышляю на темы глобальных рисков и читаю о них, я обнаружил эту опасную уязвимость в SETI только через год после начала исследований. Задним числом я смог найти еще примерно четырех человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть еще не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.
C точки зрения нашего основного вопроса о неопределенности, здесь сталкиваются два фактора – это вопрос о возможности внеземного разума и вопрос о реальности и опасности ИИ. Следствием является крайне малое число людей, которые принимают данный риск всерьез – гораздо меньшее, чем число людей, исследующих либо возможность ИИ и его риски, либо возможность существования внеземного разума и проблемы связи с ним.
Наложение двух неопределенностей делает результирующий эффект менее вероятным, но не в той мере, в какой люди считают его невероятным. Наоборот, новые открытия могут взаимно усиливать друг друга, как ракета и ядерная бомба взаимно усиливают поражающую силу друг друга. Если вопрос о враждебности человеку ИИ, созданного на Земле, является спорным, то ИИ, загруженный по каналам радиосвязи из космоса, почти наверняка будет враждебным. Единственное исключение – это ситуация, когда цивилизация-благотворитель рассылает по Вселенной такой ИИ, который помогает начинающим цивилизациям справиться с трудностями роста (но все-таки затем она рассылает себя дальше).
Рекомендуемая литератураКэрриган Р. Следует ли обеззараживать сигналы seti. – 2006.
http://www.proza.ru/texts/2007/11/20/582.html
Хойл Ф., Эллиот Дж. Андромеда. – 1962.
Виндж В. Пламя над бездной. – 2003.
Глава 12
Глобальное потепление – верить или нет?
В проблеме глобального потепления слились все аспекты непредсказуемости, которые влияют на оценку рисков глобальной катастрофы. Разумеется, многие читатели сейчас воскликнут: я знаю, это нарочно придумали транснациональные корпорации, чтобы достичь того-то и того-то! Однако насколько вы можете быть уверены в том, что так оно и есть на самом деле? Безусловно, гораздо легче быть уверенным на 100 процентов, чем на 75, – такова человеческая природа. Тем более что уверенность, что кто-то делает что-то нарочно и назло, включает эмоциональный комплекс «борьбы с врагами», который резко повышает уверенность в себе и снижает критичность восприятия. Таким образом, тема глобального потепления является своеобразным «средством для прочистки» своей готовности воспринимать сложное и непонятное в условиях интенсивного информационного шума.
