Алексей Турчин - Война и еще 25 сценариев конца света
Сейчас мы остановимся на аспекте предотвращения глобальных рисков, связанном с созданием всеобщей системы наблюдения за людьми. Пользуясь словами Павла Пепперштейна, автора романа «Мифогенная любовь каст», я буду называть это явление «компьютерным тоталитаризмом».
Требования к системе и ее «естественные» изъяныСистема наблюдения, способная служить предотвращению глобальных рисков, должна обладать определенными свойствами.
Прежде всего, следует учитывать, что система всеобщего контроля, предназначенная для устранения правонарушений, не обязана распространяться глобально или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков, а именно препятствующая деятельности био– и нанохакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно в том «темном уголке», который не охвачен такой системой.
Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нано-биохакеров». Но как узнать, за кем именно следить? Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков? Очевидно, что нет. Но и следить за пенсионеркой Марьиванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.
Система всеобщего контроля должна действовать ДО того, как реальное правонарушение совершено, то есть ДО того, как написан опасный вирус. Следовательно, она должна вычислять потенциальных террористов по косвенным признакам. Такая система работала при тоталитарных режимах, когда на всякий случай арестовывали всех подозрительных людей. Очевидно, что террористы будут стремиться избегать контроля такой системы и противостоять ей. В силу этого любой антиглобалист, протестующий против тотального наблюдения, будет причисляться к потенциальным террористам. И чем жестче будет система контроля, тем больший протест она будет вызывать и тем большее число террористов, глобально же борющихся с ней, порождать. Таким образом, система всеобщего контроля не уменьшит реальное число террористов.
Следующая проблема, связанная с системой всеобщего слежения, состоит в том, что у нее есть, по определению, белое пятно: те, кто следит, оказываются вне наблюдения. Любые организации сталкиваются с такой проблемой и, чтобы бороться с ней, создают «службы внутренней безопасности» – но это только уменьшает размер «слепого пятна», но не устраняет его.
Другая очевидная проблема – это возможность злоупотреблений, так как любая система, созданная для предотвращения глобальных рисков, может работать и для устранения мелких правонарушений, для политического контроля и для собственного выживания в конечном счете.
В середине 90-х Пепперштейн первым обратил мое внимание на то, что компьютеры предоставляют возможность организовать идеальное тоталитарное общество с полным контролем над каждым человеком. После терактов 11 сентября, создания и затем утечек в Интернет огромного количества баз данных эта идея стала общим местом.
Безусловно, система контроля над гражданами может «помочь» в очень многих случаях. Например, чтобы отвратить несознательных индивидов от незаконного копирования музыки, употребления неприличных слов, переедания, злоупотребления наркотиками и алкоголем, нарушения правил дорожного движения. Но все это не имеет отношения к проблемам устранения глобальных рисков.
Или, точнее, имеет, но весьма специфическое: если бы все наши ошибки были обнаружены (а человек по своей природе не может не ошибаться), то каждый заслуживал бы места в тюрьме. Страна, установившая такой контроль над гражданами, стала бы тюрьмой. Более того, для реализации такой системы потребовалось бы изменить природу человека: вероятно, только генетически модифицированные и «чипованные» люди никогда не ошибаются. Но такое изменение означало бы, что природе человека, его творческим способностям будет нанесен значительный ущерб, и, возможно, подобное изменение повлекло бы за собой даже катастрофические последствия.
Далее, для эффективной работы контролирующая система должна превосходить по качеству материала (и по уровню организации) контролируемую. Однако в отношении систем действует тот принцип, что их сложность взаимно со-настраивается, то есть если в городе есть преступники, то в полицию рано или поздно проникнет коррупция. Это означает, что всемирная система контроля может быть успешно вскрыта хакерами, которые смогут тем или иным образом обманывать ее и даже использовать в своих целях.
Только сверхчеловеческая система тотального контроля, созданная искусственным интеллектом, будет иммунна к таким атакам – однако в этом случае люди не смогут ее контролировать, и неизвестно, какие сбои в ней могут произойти.
Всемирное правительство и абсолютно прозрачное обществоПоскольку система, о которой идет речь, имеет смысл только как всемирная, то необходимым условием ее возникновения является наличие межгосударственного объединения, которое будет обладать реальными властными полномочиями. (То есть оно должно быть гораздо сильнее современной ООН.) При этом такое объединение будет иметь смысл только в том случае, если будет включать в себя все существующие государства и территории (а не просто их большую часть) и будет иметь права и ресурсы, чтобы развернуть соответствующую деятельность.
Опыт создания подобной конструкции уже есть. После 11 сентября США фактически попытались выстроить систему глобального контроля. Вначале, когда было свежо впечатление от терактов, почти все страны вступили в антитеррористическую коалицию, и она обладала силами и моральным правом атаковать те территории, которые не присоединились к ней, то есть, например, Афганистан. Затем, однако, последовала «реакция распада», так как у многих участников коалиции возникло ощущение, что их используют ради достижения совсем не тех целей, которые были заявлены вначале.
В дальнейшем, вероятно, будут и новые катастрофы, и новые коалиции, но на этом примере мы видим, какие трудности подстерегают такое объединение государств и насколько оно неустойчиво и подвержено «нецелевому» использованию.
Можно сделать следующее предположение: если бы на Земле существовало всемирное государство, то оно было бы менее подвержено такой неустойчивости. Однако такого государства нет, и без мировой войны оно не может возникнуть в ближайшей исторической перспективе (мировая война при этом чревата созданием и применением оружия судного дня). Таким образом, суммарный риск по созданию всемирного государства перевешивает возможные плюсы от его существования.
Надежность системы глобального контроля – если она все же будет построена, – вполне вероятно, может повышаться за счет непрерывного повышения ее жесткости и тотальности (во всяком случае, соблазн пойти таким путем вполне может возникнуть). В пределе такая система должна быть способна считывать мысли каждого человека и даже регулировать его поведение в случае приступов чрезмерной агрессии (что технологически ближе, чем мы можем себе представить). Но одна неверная команда, пущенная по такой системе, может подействовать сразу на всех людей на Земле и привести их к гибели. Такая система должна управляться искусственным интеллектом, но тогда люди превратятся в «биороботов». Если же такая система будет срабатывать достаточно редко, например, останавливая пьяного, когда он в ослеплении гневом заносит нож над своим другом, то, возможно, она имеет смысл.
Крайне важно то, что ошибка, совершенная централизованной системой, сразу распространится на всю Землю. Рассмотрим это на примере предлагаемой системы автоматического управления полетами авиалайнеров с земли в целях их защиты от захвата террористами и использования в качестве тарана. Понятно, что такая система затруднит действия террористов с пластмассовыми ножами, однако возникает гипотетический риск того, что управление самолетом будет перехвачено с земли; более того, при наличии злоумышленника в числе программистов, имеющих доступ к коду системы, возможно одновременно перехватить управление всеми в мире гражданскими самолетами, находящимися в воздухе (порядка тысячи), и развести их по разным целям (например, ядерным станциям). Хотя шансы такой катастрофы значительно меньше, чем шансы захвата нескольких самолетов вооруженными людьми, вероятный ущерб неизмеримо больше.
Чтобы избежать подобных проблем, Дэвид Брин и ряд других исследователей предложили систему, названную «reciprocal accountability». Ее суть в создании абсолютно прозрачного общества, в котором каждый сможет следить за каждым. Повсюду будут расположены видеокамеры, возможно, даже распылены некие нанотехнологические следящие устройства, и любой со своего компьютера сможет следить за любой точкой земного шара.
