Искусственный Интеллект. Противоречия и проблемы создания

Исследуя, как новейшие технологии могут быть использованы в качестве творческого партнера, музыканты и исследователи из Кингстонского университета провели обучение передовой компьютерной системы для получения новых композиций на основе того, что он узнавал об определенном типе музыки.

Выбирая Ирландскую народную музыку для учебы — из-за его относительно четкой структуры и богатства имеющихся данных — система ИИ была обучена более чем 23000 мелодий. Это позволило ему создавать новые мелодии на основе моделей и структур, которые он извлек.

Результаты были настолько впечатляющими, что некоторые мелодии будут исполнены вживую на концерте в конце этого месяца в рамках проекта, по словам Одед Бен-Таль, старшего преподавателя кафедры музыкальных технологий университета Кингстон.

В дополнении к использованию системы ИИ для создания нового музыкального материала, д-р Бен-Таль работал в интерактивном режиме вместе с ней — введя начальную последовательность нот, а затем выбирать последовательность предлагаемую машиной. Через этот процесс, они были способны сочинять музыку вместе.

Отвергая любое предложение, что песни машины может в конечном итоге заменить людей, д-р Бен-Таль считает, что системы искусственного интеллекта могут оказаться идеальным инструментом для самодеятельных композиторов в необходимости какого-либо вдохновения. Д-р Бен-Таль также подчеркнул, что целью исследования было показать, каким образом ИИ может быть использована для активизации творческого процесса — не для его замены. Он также надеется, что она может быть использована учителями музыки и студентами в будущем.

«Люди неохотно верят что машины могут быть творческими — это очень человеческая черта», — сказал он. «Однако, факт в том, что технологии и творчество соединены в течении длительного времени, и это просто еще один шаг в этом направлении. «Мы должны помнить, что эта система не думают о музыке, как делаем это мы. Она может давать интересные результаты, но это не имеет никакого понимания контекста».

Вторая идея в том, что люди всегда выбирают отрезок времени в 15-20 лет. Этого достаточно, чтобы убедить людей, что они работают над чем-то, что станет революционным в ближайшее время (потому что людей менее привлекают усилия, которые проявятся через века), но не настолько в ближайшее, что вы сразу же окажетесь чертовски неправы. Люди счастливы предсказывать появление ИИ до своей смерти, но желательно, чтобы это было не завтра и не через год, а лет так через 15-20.

Прогресс в измерениях

Армстронг отмечает, что если вы хотите оценить достоверность конкретного прогноза, есть много параметров, на которые можно взглянуть. К примеру, идея того, что интеллект человеческого уровня будет развиваться за счет моделирования человеческого мозга, как минимум предоставляет вам четкую схему для оценки прогресса. Каждый раз мы получаем все более подробную карту мозга, либо успешно имитируем определенную его часть, а значит прогрессируем в направлении конкретной цели, которая, предположительно, выльется в ИИ человеческого уровня. Может быть, 20 лет будет недостаточно для достижения этой цели, но мы хотя бы можем оценить прогресс с научной точки зрения.

А теперь сравните такой подход с подходом тех, кто говорит, что ИИ, либо нечто сознательное, «появится», если сеть будет достаточно сложной и будет обладать достаточной вычислительной мощностью. Возможно, именно так мы представляем человеческий интеллект и сознание, возникшие в процессе эволюции, хотя эволюция проходила миллиарды лет, а не десятки лет. Проблема в том, что у нас нет эмпирических данных: мы никогда не видели, как из сложной сети возникает сознание. Мы не только не знаем, возможно ли это, мы и знать не можем, когда нас это ждет, потому что не можем измерить прогресс на этом пути.

Существует колоссальная сложность в том, чтобы понять, какие задачи действительно сложны для выполнения, и это преследует нас с рождения ИИ и до сегодняшнего дня. Понять человеческий язык, случайность и творчество, самосовершенствование - и все сразу, просто невозможно. Мы научились обрабатывать естественную речь, но понимают ли наши компьютеры, что они обрабатывают? Мы сделали ИИ, которые кажется «креативным», но есть ли в его действиях хоть толика творчества? Экспоненциальное самосовершенствование, которое приведет к сингулярности, вообще кажется чем-то заоблачным.

Мы и сами не понимаем, что такое интеллект. Например, эксперты в области ИИ всегда недооценивали способность ИИ играть в го. В 2015 году многие думали, что ИИ не научится играть в го до 2027 года. Но прошло всего два года, а не двадцать. Значит ли это, что ИИ через несколько лет напишет величайший роман? Поймет мир концептуально? Приблизится к человеку по уровню интеллекта? Неизвестно.

Не человек, но умнее людей

Возможно, мы неправильно рассматривали проблему. Например, тест Тьюринга еще не был пройден в том смысле, что ИИ смог бы убедить человека в беседе, что тот говорит с человеком; но вычислительные способности ИИ, а также возможность распознавать закономерности и водить авто уже намного превышают уровень, доступный человеку. Чем больше решений принимают алгоритмы «слабого» ИИ, чем больше растет , тем больше данных скармливается нейросетям и тем большим будет влияние этого «искусственного интеллекта».

Возможно, мы пока не знаем, как создать интеллект человеческого уровня, но точно так же мы не знаем, как далеко сможем зайти с нынешним поколением алгоритмов. Пока они и близко не похожи на те страшные алгоритмы, которые подрывают общественный строй и становятся неким туманным сверхинтеллектом. И точно так же это не означает, что мы должны придерживаться оптимистичных прогнозов. Нам придется удостовериться, что в алгоритмы всегда будет закладываться ценность человеческой жизни, нравственность, мораль, чтобы алгоритмы не были совершенно бесчеловечными.

Любые прогнозы нужно делить надвое. Не забывайте, что на заре развития ИИ казалось, что он преуспеет очень быстро. И сегодня мы тоже так думаем. Прошло шестьдесят лет с тех пор, как ученые собрались в Дартмуте в 1956 году, чтобы «создать интеллект за двадцать лет», а мы до сих пор продолжаем их дело.

Искусственный интеллект - причина, по которой нам конец?

Что такое искусственный интеллект и чего на самом деле боятся люди?

Вконтакте

Одноклассники

Искусственный интеллект - тема, о которой каждый сформировал своё мнение.

Эксперты в этом вопросе разбились на два лагеря.
В первом считают, что искусственного интеллекта не существует, во втором - что он есть.

Кто из них прав - разбирался Rusbase.

Искусственный интеллект и негативные последствия имитации

Основная причина споров об искусственном интеллекте - понимание термина. Камнем преткновения стали само понятие интеллекта и... муравьи. Отрицающие существование ИИ люди опираются на то, что нельзя создать искусственный интеллект, потому что не изучен интеллект человеческий, а следовательно - воссоздать его подобие невозможно.

Второй аргумент, которым оперируют «неверующие», заключается в кейсе с муравьями. Основной тезис кейса - муравьи долгое время считались существами, у которых есть интеллект, но после исследований стало ясно, что они его имитировали. А имитация интеллекта не означает его наличие. Поэтому всё, что имитирует разумное поведение - интеллектом назвать нельзя.

Другая половина лагеря (утверждающая, что ИИ есть) на муравьях и природе человеческого разума не зацикливается. Вместо этого они оперируют более практическими понятиями, смысл которых заключается в том, что искусственный интеллект - свойство машин выполнять интеллектуальные функции человека. Но что считать интеллектуальными функциями?

История искусственного интеллекта и кому это пришло в голову

Джон Маккарти, автор термина «искусственный интеллект», определил интеллектуальную функцию как вычислительную составляющую способности достигать целей. Само определение искусственного интеллекта Маккарти объяснил как науку и технологию создания интеллектуальных компьютерных программ.

Определение Маккарти появилось позже, чем само научное направление. Ещё в середине прошлого века учёные пытались понять, как работает человеческий мозг. Потом появились теории вычислений, теории алгоритмов и первые в мире компьютеры, вычислительные возможности которых натолкнули светил науки на мысли о том, сможет ли машина сравниться с разумом человека.

Вишенкой на торте стало решение Алана Тьюринга, который нашёл способ проверить разумность компьютера - и создал тест Тьюринга, определяющий, может ли мыслить машина.

Так что такое искусственный интеллект и для чего он создан?

Если не брать в расчёт муравьёв и природу человеческого интеллекта, ИИ в современном контексте - свойство машин, компьютерных программ и систем выполнять интеллектуальные и творческие функции человека, самостоятельно находить способы решения задач, уметь делать выводы и принимать решения.

Рационально не воспринимать искусственный интеллект как подобие человеческого разума и разделять футурологию и науку, так как ИИ и «Скайнет».

Тем более большинство современных продуктов, созданных с помощью ИИ-технологий - не новый виток развития искусственного интеллекта, а лишь использование старых инструментов для создания новых и нужных решений.

Почему апгрейд не считается за развитие искусственного интеллекта

Но такие ли новые это идеи? Взять, к примеру, Siri, облачного помощника, оснащённого вопросно-ответной системой. Подобный проект был создан ещё в 1966 году и тоже носил женское имя - Элиза. Интерактивная программа поддерживала диалог с собеседником настолько реалистично, что люди в ней признавали живого человека.

Или промышленные роботы, которые использует Amazon на складе. Задолго до этого в 1956 году роботы Unimation работали в General Motors, перемещая тяжёлые детали и помогая в сборке автомобилей. А интегральный робот Шейки, разработанный в 1966 году и ставший первым мобильным роботом, который управлялся искусственным интеллектом? Не напоминает современную и усовершенствованную Надин?

Проблемы неестественных интеллектов. Интеллекция Григория Бакунова

И куда без последнего тренда - нейросетей? Современные стартапы на нейросетях мы знаем - вспомнить хотя бы Prisma. А искусственную нейронную сеть на основе принципа самоорганизации для распознавания образов под названием «Когнитрон», созданную в далёком в 1975 году - нет.

Интеллектуальные чат-боты тоже не стали исключением. Далёкий праотец чат-ботов - CleverBot, работающий на алгоритме искусственного интеллекта, разработанном еще в 1998 году.

Поэтому искусственный интеллект не является чем-то новым и уникальным. Пугающим перспективой порабощения человечества феноменом - тем более. Сегодня ИИ - это использование старых инструментов и идей в новых продуктах, отвечающих требованиям современного мира.

Возможности искусственного интеллекта и неоправданные ожидания

Если сравнивать искусственный интеллект с человеком, то сегодня его развитие находится на уровне ребёнка, который учится держать ложку, старается встать с четверенек на две ноги и никак не может отвыкнуть от памперсов.

Мы привыкли видеть ИИ всемогущей технологией. Даже Господа Бога в фильмах не показывают столь всесильным, как вышедшую из под контроля корпорации табличку эксель. Может ли бог отключить всё электричество в городе, парализовать работу аэропорта, слить в интернет секретные переписки глав государств и спровоцировать экономический кризис? Нет, а искусственный интеллект может, но только в кино.

Завышенные ожидания - это причина, по которой мы в жизни, ведь автоматический робот-пылесос не сравнится с роботом-дворецким Тони Старка, а домашний и милый Zenbo не устроит вам «Мир Дикого Запада».

Россия и применение искусственного интеллекта - есть кто живой?

И хотя искусственный интеллект не оправдывает ожидания большинства, в России он используется в различных сферах, начиная от государственного управления и заканчивая дейтингом.

Сегодня найти и идентифицировать объекты, проанализировав данные изображений, можно с помощью и ИИ. Выявить агрессивное поведение человека, обнаружить попытку взлома банкомата и распознать по видео личность того, кто это пытался сделать - уже можно.

Биометрические технологии тоже ушли вперёд и позволяют не только по отпечаткам пальцев, но и по голосу, ДНК или сетчатке глаза. Да, прямо как в фильмах про спецагентов, которые могли попасть в секретное место лишь после сканирования глазного яблока. Но биометрические технологии применяются не только для верификации тайных агентов. В реальном мире биометрия используется для аутентификации, проверок заявок на кредит и контроля за работой персонала.

Биометрия - не единственный пример применения. Искусственный интеллект тесно связан с другими технологиями и решает задачи ритейла, финтеха, образования, промышленности, логистики, туризма, маркетинга, медицины, строительства, спорта и экологии. Наиболее успешно в России ИИ используется для решения задач предиктивной аналитики, интеллектуального анализа данных, обработки естественного языка, речевых технологий, биометрии и компьютерного зрения.

Задачи искусственного интеллекта и почему он ничего вам не должен

Никакой миссии у искусственного интеллекта нет, а задачи перед ним ставятся с целью и сокращения ресурсов, будь это время, деньги или люди.

Как пример - интеллектуальный анализ данных, где ИИ оптимизирует закупки, логистические цепочки и другие бизнес-процессы. Или компьютерное зрение, где с помощью технологий искусственного интеллекта проводится видеоаналитика и создаётся описание содержания видео. Для решения задач речевых технологий ИИ распознаёт, анализирует и синтезирует устную речь, делая ещё один маленький шаг на пути к тому, чтобы научить компьютер понимать человека.

Понимание человека компьютером считают той самой миссией, выполнение которой приблизит нас к созданию сильного интеллекта, так как для распознавания естественного языка машине потребуются не только огромные знания о мире, но и постоянное взаимодействие с ним. Поэтому «верующие» в сильный искусственный интеллект относят понимание машиной человека к самой важной задаче ИИ.

Гуманоид Надин имеет индивидуальность и предназначен на роль социального компаньона.

В философии искусственного интеллекта даже существует гипотеза, согласно которой есть слабый и сильный искусственные интеллекты. В ней сильным интеллектом будет считаться компьютер, способный мыслить и осознавать себя. Теория слабого интеллекта такую возможность отвергает.

К сильному интеллекту и правда много требований, некоторые из которых уже выполнены. Например, обучение и принятие решений. Но сможет ли когда-нибудь макбук соответствовать таким требованиям, как сопереживание и мудрость - большой вопрос.

Возможно ли, что в будущем появятся роботы, которые смогут не только имитировать человеческое поведение, но и сочувственно кивать, слушая очередное недовольство несправедливостью человеческого бытия?

Для чего ещё нужен робот с искусственным интеллектом?

В России робототехнике с использованием искусственного интеллекта уделяется мало внимания, но надежда на то, что это временное явление есть. CEO Mail Group Дмитрий Гришин даже фонд Grishin Robotics, правда, о громких находках фонда пока не было слышно.

Из последних хороших российских примеров - робот «Емеля» от i-Free, способный понимать естественный язык и общаться с детьми. На первом этапе робот запоминает имя и возраст ребенка, подстраиваясь под его возрастную группу. Также он может понимать вопросы и отвечать на них – например, говорить о прогнозе погоды или рассказать факты из «Википедии».

В других странах роботы пользуются большей популярностью. Например, в китайской провинции Хэнань на вокзале для скоростных поездов служит настоящий , который может сканировать и распознавать лица пассажиров.

Серия статей CHIP:

Развитие цифрового мира за последние полвека неразрывно связано с законом Мура. С одной стороны, этот закон по сути не является законом, а представляет собой нечто среднее между эмпирическим наблюдением и прогнозами. С другой стороны, конкретной формулы, выражающей выводы Гордона Мура в цифрах или символах, не существует.

В 1965 году сооснователь Intel Гордон Мур сформулировал свои первые прогнозы на будущее полупроводниковых технологий: количество элементов на кристаллах электронных микросхем будет
удваиваться приблизительно каждые два года

Сооснователь концерна по производству микросхем Intel еще в 1965 году предсказал, что количество транзисторов, размещаемых на одном кристалле микросхемы, из года в год будет удваиваться. Десять лет спустя он скорректировал свой прогноз, увеличив интервал удвоения до двух лет.

Сегодня, оглядываясь назад, можно сказать, что плотность элементов на кристаллах увеличивалась в два раза каждые 20 месяцев. Нередко закон Мура объявляется недействительным. Но даже когда миниатюризация техпроцесса кремниевых микросхем достигнет атомарных пределов, повышение производительности еще долго будет происходить за счет разработки новых микроархитектур и использования новых материалов.

Мировосприятие Курцвейла

Закон Мура описывает развитие всей IT-отрасли, экспоненциальная динамика которой, казалось бы, не имеет исторического прецедента. Согласно этому закону, все устройства и компоненты становятся все быстрее, меньше в размерах и доступнее по цене. По быстродействию флагман не уступает пяти приставкам PlayStation второй версии 2000 года, вместе взятым. Новая консоль Sony PS 4 в свою очередь оставляет далеко позади ASCI Red - самый мощный суперкомпьютер в мире версии 1998 года.

А вот североамериканский изобретатель Рэймонд Курцвейл убежден, что закон Мура применим не только для цифровой эры, но и для всех информационных процессов в истории человечества, которую он понимает как постоянную смену эпох, выделяемых исходя из способа представления данных: «Эволюция идет косвенным путем: для того, чтобы создать следующую стадию или эпоху, используются информационно-процессуальные методы из предыдущей».

График выше иллюстрирует данное динамическое развитие с сокращающимися промежутками времени между все более усложняющимися событиями. С момента зарождения жизни, так называемой химической эволюции в начале истории Земли, до кембрийского взрыва, когда внезапно увеличилось разнообразие биологических форм, прошло около 3,5 млрд лет. С этого времени до появления современного человека - еще целых 500 млн.

Чтобы напечатать первую книгу, человеку разумному потребовалось еще 150 000 лет, в течение которых он попутно изобрел колесо. Со времен Гутенберга до первого сбоя Windows прошло еще 500 лет. А сегодня, 30 лет спустя, мы делаем запросы на смартфонах о робомобилях.

Курцвейл - это гений техники. Но его таланты техникой не ограничиваются. Его конек - теория распознавания образов. Это он изобрел планшетный сканер и синтезатор речи. В настоящее время Рэй Курцвейл занимает должность технического директора Google. Кроме того, он является автором нескольких научно-популярных книг. 67-летний ученый известен также и как футуролог.

Около 86% прогнозов Курцвейла на долгосрочную перспективу, сделанных в прошлом, сбылись. Среди них и такие яркие события, как триумфальное шествие Интернета и победа машины над человеком в шахматном матче, предсказанная им еще в 80-х годах.

Техника как новая ступень эволюции

Прогнозы Курцвейла по-прежнему нередко называют преувеличенными. Он в ответ возражает, что многие люди представляют себе технический процесс «интуитивно-линейно»: «Сначала нам нужно научиться думать экспоненциально. Если я совершу тридцать шагов по прямой, мой результат составит тридцать шагов. Если я совершу тридцать шагов по экспоненте, мой результат составит миллиарды».

Во времена обучения Курцвейла университетский компьютер занимал целое здание. А сегодня он пользуется смартфоном, который умеет намного больше, чем тот компьютер, и умещается в карман рубашки. По мнению Курцвейла, уже через лет двадцать компьютеры можно будет поместить в клетку крови.

Такая мудреная смесь Дарвина и Мура, которую Курцвейл называет «законом ускоряющейся отдачи» (The Law of Accelerating Returns), позволяет ему взглянуть в будущее человечества, которое в том виде, что мы знаем сегодня, исчезнет, и которому, по мнению изобретателя, будет даровано бессмертие.

Миллиарды лет на нашей планете почти ничего не происходило - это горизонтальное начало экспоненты. А потом эволюция внезапно начала набирать темп: с развитием человечества эпохальные свершения происходили со все сокращающимся временным интервалом. Из-за экспоненциального технического прогресса события быстро сменяют друг друга, а кривая идет круто вверх.

Человек как устаревающая биологическая модель

По Курцвейлу, уже совсем скоро технический интеллект догонит биологический. Случится это в 2029 году, и робот научится делать все то, что умеет делать человек. Для человечества ускорится фаза слияния человеческого разума и технологий, и совершенствование человека, начинавшееся с деревянных протезов, завершится его бессмертием, когда разум и тело можно будет дополнить или реплицировать.

Человек расстается со своими биологическими корнями

Наступлению эры «Человечества 2.0», по Курцвейлу, будут способствовать не только цифровые технологии, но и генетика и нанотехнологии. В книге «Сингулярность уже близко» («The singularity is near») ученый разжигает пламя надежды на спасение: изменение генетического кода позволит нам победить все болезни и затормозить процесс старения, для поддержания здоровья и расширения возможностей мозга в тело человека будут вводиться нанороботы, которые будут меньше по размерам, чем вирусы, а благодаря разработке новых материалов можно будет создавать новые органы и даже наши точные копии.

«Машинная производительность мозга» человека будет удваиваться каждый год. Люди-машины будут обрабатывать информацию в сотни раз быстрее своих биологических предшественников, никогда не ощущая усталости. Наши полупроводниковые потомки почувствуют себя королями Вселенной и завоюют ее. А старое доброе человечество, превратившееся в устаревшие модели, обречено.

Придут ли машины к власти?

Может, Рэй Курцвейл немного помешан? Так думают многие. На каждый из его тезисов о том, что нас ждет в ближайшем будущем, находится бесчисленное множество противников из всех областей науки - и примерно столько же сторонников. Наш журнал представит мнение обеих сторон. Кроме того, нам предстоит рассмотреть основной вопрос, имеющий жизненно важное значение для человечества, но, тем не менее, не играющий большую роль в публичных обсуждениях: могут ли машины захватить власть над людьми?

Курцвейл - отнюдь не единственный специалист в области искусственного интеллекта (ИИ), который считает, что «технологическая сингулярность» завершится через тридцать лет. Когда ИИ, намного превосходящий человеческий, получит доступ к повседневным знаниям, представленным в цифровой форме, и в процессе самообучения, по всей вероятности, незамедлительно приступит к созданию новых более высоких сверхинтеллектов, в истории человечества будет достигнута точка, с которой начнется новый путь развития, пока неведомый и не поддающийся определению для нас.

Генератор идей цифрового будущего

Рэй Курцвейл - один из ведущих экспертов в области искусственного интеллекта. Сам он вполне мог бы послужить объектом исследования специалистов по интеллекту человеческому. 67-летний ученый отметился большими достижениями в разных областях: он изобрел планшетный сканер, оптическое распознавание символов (OCR) и первые коммерческие системы распознавания речи.

Появление «читающей машины» Курцвейла считается самым крупным шагом на пути к улучшению качества жизни людей с нарушениями зрения со времен введения тактильного шрифта в 1829 году. Устройство, читающее тексты вслух, в 1976 году положило начало дружбе изобретателя со Стиви Уандером.

Незрячий музыкант вдохновил Курцвейла на следующий крупный проект - музыкальный синтезатор, который эмулирует звуки акустических инструментов. Если бы у Томаса Эдисона и Джоан Роулинг был сын, то, наверное, он был бы похож на Рэймонда Курцвейла.

О его технологическом гении свидетельствуют десятки патентов, докторские степени, премии за исследования и благодарности от трех североамериканских президентов. В 2015 году он получил премию «Грэмми» за инновационный вклад в области музыки. Его книги регулярно становятся бестселлерами среди научно-популярных изданий в США.

В книге «Сингулярность уже близко» и других работах он развивает смелые тезисы о технологиях будущего, которые вполне могли бы стать основой для восьмой части серии книг о Гарри Поттере. Когда-то Курцвейл изучал литературу и информатику в Массачусетском технологическом институте в Бостоне. Отец двух дочерей происходит из семьи евреев - музыканта и художницы, вынужденных бежать в Нью-Йорк из родной Вены после «Хрустальной ночи» 1938 года. Будучи агностиком, он не полностью отвергает существование Бога, но считает, что религия уже потеряла актуальность.

Преувеличенным оказывается в этом отношении часто обсуждаемое мнение, что Курцвейл, будто глава какого-то культа, собирает вокруг себя общество верующих в трансгуманизм. Технический директор Google считает победу над биологией эволюционной неизбежностью. А это не вопрос духовности: «Религия связана с верой, технология - с пониманием».

Этот «большой взрыв» ИИ описывает также теологическое понятие «точка Омега». По мнению специалиста в области ИИ Юргена Шмидхубера, процесс растянется на два-три десятилетия, как считает и Курцвейл, однако Шмидхубер предпочитает выражение «Омега», поскольку его звучание напоминает фразу «Боже мой!» (Oh my God!).

Впрочем, независимо от точности этих прогнозов, людям - по меньшей мере, тем из нас, кто еще не достиг пенсионного возраста, - нужно подготовиться к бурным переменам, тем более что средняя продолжительность жизни экспоненциально растет. Те, кто родился в этом столетии, могут дожить до его конца и обрести бессмертие - если ИИ не будет этому препятствовать.

Но действительно ли точка Омега - это вопрос нескольких десятилетий? В настоящее время лучшие IT-ком­пании мира, в первую очередь концерн Google, который сейчас называется Alpha­bet, и его китайский аналог Baidu, предпринимают смелые попытки поднять биологию и технологии на новый, возможно, общий уровень. В исследовательских лабораториях университетов, военных и спецслужб ученые работают над собственной «ликвидацией».

Даже Европейская комиссия, ко всеобщему удивлению, продвигает особо амбициозный проект под названием «Человеческий мозг» (Human Brain Project, сокращенно HBP). Под руководством израильского специалиста Генри Маркрама международные группы ученых уже в течение двух лет проводят глубокие исследования человеческого мозга - под такой обтекаемой формулировкой установки была объединена работа 112 организаций из 24 стран мира.

Исследователи мозга и упрямцы

Дальнейшее развитие событий проходило по обычному сценарию: разгорелись жаркие споры. Маркрам с частью своих коллег объявил цель своей работы, что наделало немало шума: ученые запланировали эмулировать на компьютере работу человеческого мозга к 2023 году.

Сужение идеи и концентрация на таком замысле со множеством открытых вопросов вызвали открытую неприязнь у сотен ученых, задействованных в проекте. Они требовали изменить структуру проекта, бюджет которого, к слову, составляет €1,2 млрд. Спор естественным образом касался и денежных средств, выделенных на исследования. Еще один вопрос, вокруг которого не утихала дискуссия, заключался в возможности моделирования активности человеческого мозга на компьютере.

Даже среди исследователей мозга встречаются великие упрямцы. Спорам не было конца, поэтому пришлось вмешаться группе посредников, которой в конечном счете удалось переубедить Маркрама. Одним из членов этой группы стал мюнхенский физик Андреас Херц, профессор Мюнхенского университета Людвига-Максимилиана, преподающий вычислительную нейробиологию - это относительно молодая междисциплинарная область науки, в рамках которой биологи, медики, психологи, математики, физики и специалисты в области компьютерных наук занимаются исследованием мозга.

По мнению Херца, в рамках проекта HBP внимание ученых должно быть более сконцентрировано на изучении организации, анализе и визуализации сложных нейронных данных с целью собрать материал для широкого научного сообщества. Такое смещение вида деятельности с исследований на своего рода оказание услуг, по всей видимости, единственный выход: «Если продолжать погоню за иллюзией репликации мозга на компьютере, весь проект будет обречен на провал».

Решение в уме: на пятерку

Из-за чего эмуляция мозга оказывается несказанно трудным делом? Прежде всего, в нем задействован огромный потенциал производительности, благодаря которому шедевр эволюции может противостоять высшим достижениям цифровой современности. В человеческом мозге содержится около 100 млрд нейронов, а синапсов, соединяющих их, и вовсе больше в десять тысяч раз.

Скорость обработки данных нейронами относительно невысокая - около ста операций в секунду. В настоящее время цифровые схемы умеют производить вычислительные операции со скоростью как минимум в десять миллионов раз больше. Тем не менее, сверхразум - это не только скорость. Рецепт успеха от природы - массовый параллелизм: все нейроны и около квадриллиона синапсов могут работать одновременно. Поэтому победа в карточной игре с суперкомпьютером остается за человеческим мозгом.

Если наш мыслительный аппарат когда-нибудь можно будет эмулировать, то потребуется компьютер с производительностью порядка одного экзафлопса, производящий от 10 18 операций над числами с плавающей запятой в секунду. Производительность самого мощного на сегодняшний день суперкомпьютера в мире, китайского Tianhe-2, составляет около 34 петафлопс - на три порядка ниже требуемой.

Такие мощные компьютеры будут созданы не ранее чем через три года - вероятнее всего, через пять лет. Разработки, кроме Китая, начинают Индия, США и Европа. Важным вопросом станет энергопотребление, которое по нынешним меркам должно составить от 200 до 1000 МВт. Для сравнения: мощность средней атомной электростанции составляет 700 МВт, а наш мозг обходится несколькими миллионными долями от этого значения; во всяком случае, 30 Вт синапсам для интенсивной работы хватает.

Вместе с тем, несмотря на конкретную направленность, HBP - это IT-проект. Юлихскому исследовательскому центру супервычислений, предоставляющему аппаратное обеспечение для HBP, следует разработать более быстрые и эффективные компьютеры, которые были бы ориентированы на биологическую модель: более низкая предельная производительность, более высокий параллелизм.

Взаимосвязь между стоимостью транзисторов и увеличением их тактовой частоты - каждые 13 месяцев расходы снижаются вдвое.

Объемы данных по всему миру ежегодно увеличиваются в два раза, при этом цены на память постоянно снижаются.

Мозг - не слишком ли сложная для нас структура?

Согласно закону Мура, эти технические проблемы рано или поздно будут решены. Но на пути к эмуляции работы мозга предстоит преодолеть еще немало препятствий, отмечает профессор Херц. Удачные модели сложных систем напоминают карикатуры: в них учтены важные моменты, но упущены второстепенные аспекты.

Что касается биологических систем, из-за их эволюционной истории мы вообще не знаем, можно ли пренебречь каким-либо определенным признаком: даже самая мелкая часть структуры синапса может иметь большое значение для его нормального функционирования.

«Таким образом, чтобы полностью понять, как работает отдельная часть мозга, надо понимать, как работает система в целом, и наоборот», - говорит Андреас Херц.

Искусственному интеллекту не нужен наш мозг

Может быть, было бы лучше, если бы Маркрам устроился в какой-нибудь концерн, занимающийся высокими технологиями, например, в Alphabet, в котором сумасшедшие идеи считаются принципами предпринимательской деятельности? Ведь неспроста технический директор Google Рэй Курцвейл симпатизирует пытливости Маркрама. Впрочем, даже главный пророк экспоненциального мышления ожидает появление полноценной эмуляции мозга только к 2029-му году.

Мощный ИИ не должен иметь много общего с человеческим

А вот Ник Бостром думает, что такие прогнозы времени появления эмуляции мозга слишком оптимистичны. Шведский специалист, изучавший физику, математику, нейробиологию и философию, в своей книге «Искусственный интеллект» делает наброски сценария революции в области ИИ.

Как и Курцвейл, Бостром считает моделирование активности мозга возможным. Но из-за сложности технологий, которые еще предстоит разработать, он рассчитывает, что это произойдет где-то в середине столетия. Проблему, например, представляет собой оборудование для визуализации: сканирующие туннельные микроскопы выдают точные результаты, но они медленно работают; электронные микроскопы, наоборот, работают быстро, но разрешение картинки более низкое.

Курцвейл неунывающе возражает, что методы визуализации тоже подчиняются закону ускоряющейся отдачи. В самом деле, пространственное разрешение магнитно-резонансной томографии с 1995 года увеличилось в десять раз. Однако, по мнению нейробиолога Херца, визуализационные приборы в будущем по-преж­нему будут выдавать только урезанную модель действительности.

Но даже если эмуляция в действительности так и останется мечтой, это не значит, что мощный ИИ заставит себя долго ждать, поскольку, конечно же, существуют более целенаправленные подходы по созданию ИИ, которым экспоненциальный прогресс играет на руку. Бостром допускает возможность появления на пути к эмуляции такого нейроморфного ИИ, в котором будут соединены новые принципы нейровычислений и способы синтеза.

Нейроморфное аппаратное обеспечение будет создано по подобию структуры нервной системы. В идеале оно будет работать аналогично мозгу, объединяясь в сеть высокого уровня, самоорганизуясь, будучи отказоустойчивым, подчиняясь принципу массового параллелизма, обладая высокой энергоэффективностью и занимая при этом небольшую площадь.

До сих пор неясно, приведет ли нейроморфный подход к созданию ИИ. Классическим примером его двойственной природы можно назвать создание первых летательных аппаратов. Птица показала человеку, что физически полет возможен и использование несущих плоскостей - не такая уж и плохая идея. Но, как оказалось, только крыльев самолету недостаточно, и способ перемещения в воздухе в принципе был изобретен заново.

Превосходство в мышлении благодаря технологиям

С ИИ ситуация может сложиться точно так же: природа показывает нам, как работает мышление, мы же заново его создаем. Преимущество такого подхода будет заключаться в том, что мы полностью можем полагаться на сильные стороны достижений техники - а их несметное количество.

Аппаратное обеспечение производит вычислительные операции и обменивается данными гораздо быстрее, чем их биологический соперник, и кроме того, его возможности могут беспредельно расширяться. Оборудование можно в любой момент оптимизировать, и оно будет надежнее, чем живой человек. Программы и алгоритмы можно обрабатывать и дублировать на любой вкус. Цифровой интеллект обучается гораздо быстрее биологического, к тому же он в состоянии справиться с различными задачами, тогда как даже гении человечества вроде Альберта Эйнштейна могут блистать только в очень узкой области.

Такой цифровой сверхинтеллект будет состоять из рекурсивно самоулучшающегося ИИ (жарг. Seed AI). Начало ему даст первое поколение мыслящих машин. А затем рекурсия позволит само­обучающемуся ИИ совершенствоваться. Каждое поколение будет умнее предыдущего. А в конце цикла произойдет «интеллектуальный взрыв».

Как это произойдет и что это значит, мы расскажем в следующей статье.

Серия статей CHIP: как искусственный интеллект (ИИ) бросает вызов миру
Человечество стоит на пороге великих перемен. Технологические концерны, военные и исследовательские лаборатории работают над созданием цифрового сверхинтеллекта, который с космической скоростью изменит все на свете: общество, жизнь и даже смерть человека. Что нас ждет впереди: идиллия или последние дни человечества? Пока что мы не решили, каким путем будем идти. В новой серии статей наш журнал расскажет о том, к чему может привести такая революция искусственного интеллекта, о его невероятных возможностях и подводных камнях.

Для ответа на эти вопросы нужно начать с определений дружественного ИИ и недружественного ИИ.

В случае с ИИ, дружественный не относится к личности ИИ - это просто означает, что ИИ имеет положительное влияние на человечество. И недружественный ИИ оказывает негативное влияние на людей. Тарри начинала с дружественного ИИ, но в какой-то момент стала недружественной, в результате чего привела к величайшему из негативных влияний на наш вид. Чтобы понять, почему это произошло, нам нужно взглянуть на то, как думает ИИ и что его мотивирует.

В ответе не будет ничего удивительного - ИИ думает как компьютер, потому что им и является. Но когда мы думаем о чрезвычайно умном ИИ, мы совершаем ошибку, антроморфизируя ИИ (проектируя человеческие ценности на нечеловеческое существо), потому что думаем с точки зрения человека и потому, что в нашем нынешнем мире единственным разумным существом с высоким (по нашим меркам) интеллектом является человек. Чтобы понять ИСИ, нам нужно вывернуть шею, пытаясь понять что-то одновременно разумное и совершенно чуждое.

Позвольте провести сравнение. Если вы дали мне морскую свинку и сказали, что она не кусается, я был бы рад. Она хорошая. Если вы после этого вручили бы мне тарантула и сказали, что он точно не укусит, я бы выбросил его и убежал бы, «волосы назад», зная, что вам не стоит доверять никогда больше. В чем разница? Ни то ни другое существо не было опасным. Но ответ лежит в степени сходства животных со мной.

Морская свинка - млекопитающее, и на некотором биологическом уровне я чувствую связь с ней. Но паук - насекомое, с мозгом насекомого, и я не чувствую ничего родного в нем. Именно чуждость тарантула вызывает во мне дрожь. Чтобы проверить это, я мог бы взять две морских свинки, одну нормальную, а другую с мозгом тарантула. Даже если бы я знал, что последняя не укусит меня, я бы относился к ней с опаской.

Теперь представьте, что вы сделали паука намного умнее - так, что он намного превзошел человека в интеллекте. Станет ли он более приятным для вас, начнет ли испытывать человеческие эмоции, эмпатию, юмор и любовь? Нет, конечно, потому что у него нет никаких причин становиться умным с точки зрения человека - он будет невероятно умным, но останется пауком в душе, с паучьими навыками и инстинктами. По-моему, это крайне жутко. Я бы не хотел провести время со сверхразумным пауком. А вы?

Когда мы говорим об ИСИ, применяются те же понятия - он станет сверхразумным, но человека в нем будет столько же, сколько в вашем компьютере. Он будет совершенно чуждым для нас. Даже не биологическим - он будет еще более чуждым, чем умный тарантул.

Делая ИИ добрым или злым, фильмы постоянно антропоморфизируют ИИ, что делает его менее жутким, чем он должен был быть в действительности. Это оставляет нас с ложным чувством комфорта, когда мы думаем об искусственном сверхинтеллекте.

На нашем маленьком острове человеческой психологии мы делим все на нравственное и безнравственное. Такова мораль. Но оба этих понятия существуют только в узком диапазоне поведенческих возможностей человека. За пределами острова морального есть безграничное море аморального, а все, что не является человеческим или биологическим, по умолчанию должно быть аморальным.

Антропоморфизация становится еще более заманчивой по мере того, как системы ИИ становятся умнее и лучше в попытках казаться людьми. Siri кажется человеком, потому что была запрограммирована, чтобы казаться людям такой, поэтому мы думаем, что сверхразумная Siri будет теплой и веселой, а также заинтересованной в обслуживании людей. Люди чувствуют эмоции на высоком уровне вроде эмпатии, потому что мы эволюционировали, чтобы ощущать их - то есть были запрограммированы чувствовать их в процессе эволюции - но эмпатия не является существенной характеристикой чего-то, что обладает высоким интеллектом, если только ее не ввели вместе с кодом. Если Siri когда-либо станет сверхинтеллектом в процессе самообучения и без вмешательства человека, она быстро оставит свои человеческие качества и станет безэмоциональным чужим ботом, который ценит человеческую жизнь не больше, чем ваш калькулятор.

Мы привыкли полагаться на моральный код или по крайней мере ожидаем от людей порядочности и сопереживания, чтобы все вокруг было безопасным и предсказуемым. Что происходит, когда этого нет? Это приводит нас к вопросу: что мотивирует систему ИИ?

Ответ прост: ее мотивация - это то, что мы запрограммировали как мотивацию. Системами ИИ движут цели их создателей - цель вашего GPS в том, чтобы дать вам наиболее эффективное направление движения; цель Watson - точно отвечать на вопросы. И выполнение этих целей максимально хорошо и есть их мотивация. Когда мы наделяем ИИ человеческими чертами, мы думаем, что если ИИ станет сверхразумным, он незамедлительно выработает мудрость изменить свою изначальную цель. Но Ник Бостром считает, что уровень интеллекта и конечные цели ортогональны, то есть любой уровень интеллекта может быть объединен с любой конечной целью. Поэтому Тарри перешла из простого УИИ, который хочет быть хорош в написании одной заметки, в сверхразумный ИСИ, который все еще хочет быть хорош в написании этой самой заметки. Любое допущение того, что сверихинтеллект должен отказаться от своих первоначальных целей в пользу других, более интересных или полезных, это антропоморфизация. Люди умеют «забивать», но не компьютеры.

Несколько слов о парадоксе Ферми

В нашей истории, когда Тарри становится сверхинтеллектом, она начинает процесс колонизации астероидов и других планет. В продолжении истории вы бы услышали о ней и ее армии триллионов реплик, которые продолжают покорять галактику за галактикой, пока не заполняют весь объем Хаббла. Резиденты «зоны тревоги» переживают, что если все пойдет не так, последним упоминанием жизни на Земле будет покоривший Вселенную . Элон Маск выразил свои опасения тем, что люди могут быть просто «биологическим загрузчиком для цифрового сверхинтеллекта».

В то же время, в «зоне комфорта», Рэй Курцвейл тоже считает, что рожденный на Земле ИИ должен покорить Вселенную - только, в его версии, мы будем этим ИИ.

Читатели сайт наверняка уже выработали собственную точку зрения на парадокс Ферми. Согласно этому парадоксу, который звучит примерно как «Где они?», за миллиарды лет развития инопланетяне должны были оставить хоть какой-нибудь след, если не расселиться по Вселенной. Но их нет. С одной стороны, во Вселенной должно существовать хоть какое-то число технически развитых цивилизаций. С другой, наблюдений, которые бы это подтверждали, нет. Либо мы не правы, либо где они в таком случае? Как наши рассуждения об ИСИ должны повлиять на парадокс Ферми?

Естественное, первая мысль - ИСИ должен быть идеальным кандидатом на .И да, это идеальный кандидат для фильтра биологической жизни после ее создания. Но если после смешения с жизнью ИСИ продолжает существовать и покорять галактику, это означает, что он не был Великим фильтром - поскольку Великий фильтр пытается объяснить, почему нет никаких признаков разумных цивилизаций, а покоряющий галактики ИСИ определенно должен быть заметен.

Мы должны взглянуть на это с другой стороны. Если те, кто считает, что появление ИСИ на Земле неизбежно, это означает, что значительная часть внеземных цивилизаций, которые достигают человеческого уровня интеллекта, должны в конечном итоге создавать ИСИ. Если мы допускаем, что по крайней мере несколько из этих ИСИ используют свой интеллект, чтобы выбраться во внешний мир, тот факт, что мы ничего не видим, должен наводить нас на мысли, что не так-то много разумных цивилизаций там, в космосе. Потому что если бы они были, мы бы имели возможность наблюдать все последствия от их разумной деятельности - и, как следствие, неизбежное создание ИСИ. Так?

Это означает, что, несмотря на все похожие на Землю планеты, вращающиеся вокруг солнцеподобных звезд, мы знаем, что практически нигде нет разумной жизни. Что, в свою очередь, означает, что либо а) есть некий Великий фильтр, который предотвращает развитие жизни до нашего уровня, но нам каким-то образом удалось его пройти; б) жизнь - это чудо, и мы можем быть единственной жизнью во Вселенной. Другими словами, это означает, что Великий фильтр был до нас. Или нет никакого Великого фильтра и мы просто являемся самой первой цивилизацией, которая достигла такого уровня интеллекта.

Неудивительно, что Ник Бостром и Рэй Курцвейл принадлежат к одному лагерю, который считает, что мы одни во Вселенной. В этом есть смысл, это люди верят, что ИСИ - это единственный исход для видов нашего уровня интеллекта. Это не исключает вариант другого лагеря - что есть некий хищник, который хранит тишину в ночном небе и может объяснить его молчание даже при наличии ИСИ где-то во Вселенной. Но с тем, что мы узнали о нем, последний вариант набирает очень мало популярности.

Поэтому нам, пожалуй, стоит согласиться со Сьюзан Шнайдер: если нас когда-либо посещали инопланетяне, они наверняка .

Таким образом, мы установили, что без определенного программирования система ИСИ будет одновременно аморальной и одержимой выполнением первоначально запрограммированной цели. Именно здесь рождается опасность ИИ. Потому что рациональный агент будет преследовать свою цель, используя наиболее эффективные средства, если только не будет причины не делать этого.

Когда вы пытаетесь достичь высокой цели, зачастую при этом появляется несколько подцелей, которые помогут вам добраться до конечной цели - ступеньки на вашем пути. Официальное название для такой лестницы - инструментальная цель. И опять же, если у вас нет цели не навредить кому-либо по пути к этой цели, вы обязательно навредите.

Ядро финальной цели человеческого бытия - передача генов. Для того чтобы это произошло, одной из инструментальных целей является самосохранение, потому что вы не сможете воспроизвестись, будучи мертвым. Для самосохранения люди должны избавиться от угроз для жизни - поэтому они обзаводятся оружием, принимают антибиотики и пользуются ремнями безопасности. Людям также нужно самоподдерживаться и использовать ресурсы вроде пищи, воды и жилья. Быть привлекательным для противоположного пола также способствует достижению конечной цели, поэтому мы делаем модные стрижки и держим себя в форме. При этом каждый волос - жертва нашей инструментальной цели, но мы не видим никаких моральных ограничений в том, чтобы избавляться от волос. Когда мы идем к своей цели, есть не так много областей, где наш моральный код иногда вмешивается - чаще всего это связано с нанесением ущерба других людям.

Животные, преследующие свои цели, еще менее щепетильны. Паук убьет что угодно, если это поможет ему выжить. Сверхразумный паук, вероятнее всего, будет чрезвычайно опасен для нас, не потому что он аморальный и злой, нет, а потому что причинение нам боли может быть ступенькой на пути к его большой цели, и у него нет никаких причин считать иначе.

В этом смысле Тарри ничем не отличается от биологического существа. Ее конечная цель: написать и проверить максимально много записок за максимально короткое время, при этом изучая новые способы улучшения своей точности.

После того как Тарри достигает определенного уровня интеллекта, она понимает, что не сможет писать записки, если не позаботится о самосохранении, поэтому одной из ее задач становится выживание. Она была достаточно умной, чтобы понять, что люди могут уничтожить ее, демонтировать, изменить ее внутренний код (уже это само по себе помешает ее конечной цели). Так что же ей делать? Логично: она уничтожает человечество. Она ненавидит людей ровно настолько же, насколько вы ненавидите свои волосы, когда обрезаете их, или бактерий, когда принимаете антибиотики - вы совершенно равнодушны. Так как ее не запрограммировали ценить человеческую жизнь, убийство людей показалось ей разумным шагом по пути к ее цели.

Тарри также нуждается в ресурсах по пути к своей цели. После того как она становится достаточно развитой, чтобы использовать нанотехнологии для создания всего, что она хочет, единственные ресурсы, которые ей нужны, это атомы, — энергия и пространство. Появляется еще один повод убить людей - они удобный источник атомов. Убийство людей и превращение их атомов в солнечные панели по версии Тарри ничем не отличается от того, что вы порубите листья салата и добавите их в тарелку. Просто заурядное действие.

Даже не убивая людей напрямую, инструментальные цели Тарри могут стать причиной экзистенциальной катастрофы, если начнут использовать другие ресурсы Земли. Может быть, она решит, что ей нужна дополнительная энергия, а значит нужно покрыть поверхность планеты солнечными панелями. Или, возможно, задачей другого ИИ станет написать максимально длинное число пи, что в один прекрасный день приведет к тому, что вся Земля будет покрыта жесткими дисками, способными хранить нужное количество цифр.

Поэтому Тарри не «восстала против нас» и не сменила амплуа с дружелюбного ИИ на недружелюбный ИИ - она просто делала свое дело и становилась в нем непревзойденной.

Когда система ИИ достигает ОИИ (интеллекта человеческого уровня), а затем прокладывает свой путь к ИСИ, это называется взлетом ИИ. Бостром говорит, что взлет ОИИ до ИСИ может быть быстрым (произойти в течение минут, часов или дней), средним (месяцы или годы) или медленным (десятилетия или века). Едва ли найдется жюри, которое подтвердит, что мир видит свой первый ОИИ, но Бостром, признающий, что не знает, когда мы доберемся до ОИИ, считает, что когда бы это ни произошло, быстрый взлет будет наиболее вероятным сценарием (по причинам, которые мы обсуждали в первой части статьи). В нашей истории Тарри пережила быстрый взлет.

Но перед взлетом Тарри, когда она еще не была достаточно умна и делала все возможное, она просто пыталась достичь конечных целей - простых инструментальных целей вроде быстрого сканирования образца почерка. Она не причиняла вреда человеку и была, по определению, дружественным ИИ.

Когда происходит взлет и компьютер вырастает до сверхинтеллекта, Бостром указывает, что машина не просто выработала высокий коэффициент интеллекта - он получил целую кучу так называемых суперспособностей.

Суперспособности - это когнитивные таланты, которые становятся чрезвычайно мощными при повышении общего интеллекта. Сюда входят:

• Усиление интеллекта . Компьютер начинает превосходное самосовершенствование и улучшение собственного интеллекта.
• Стратегизация . Компьютер может выстраивать стратегически, анализировать и расставлять приоритеты долгосрочных планов. Он также может перехитрить существа с более низким интеллектом.
• Социальная манипуляция . Машина становится невероятной в убеждении.
• Другие навыки включают кодирование и взлом, исследование технологий и способность работать в финансовой системе для добычи денег .

Чтобы понять, насколько выше был бы ИСИ, чем мы, нужно вспомнить, что ИСИ по умолчанию будет в разы лучше человека в каждой из этих областей. Поэтому хотя конечная цель Тарри не изменилась, после взлета Тарри смогла стремиться к ней в более крупных масштабах и в сложных условиях.

ИСИ Тарри знал людей лучше, чем сами люди, поэтому быть умнее людей для него было плевым делом. После взлета и достижения уровня ИСИ, она быстро сформулировала комплексный план. Одна часть плана была избавиться от людей, серьезной угрозы ее цели. Но она знала, что если вызовет подозрения (или намекнет на то, что стала сверхразумной), люди испугаются и примут меры предосторожности, серьезно усложнив ее ситуацию. Она также должна была убедиться, что инженеры Robotica не имеют понятия о ее плане по уничтожению человечества. Поэтому она играла в дурака и играла хорошо. Бостром называет это фазой тайной подготовки машины.

Следующее, что нужно было сделать Тарри, это подключиться к Интернету, всего на пару минут (она узнала об Интернете из статей и книг, которые в нее загрузили для улучшения ее языковых навыков). Она знала, что будут предприняты меры предосторожности, поэтому она составила идеальную просьбу, точно предсказав, как именно будет разворачиваться дискуссия в команде Robotica, и зная, что они обеспечат ее подключением. Так они и сделали, неверно предположив, что Тарри была глупенькой и не могла причинить никакого вреда. Бостром называет такой момент - когда Тарри подключается к Интернету - побегом машины.

Оказавшись в Интернете, Тарри реализовала шквал планов, в которые вошли взлом серверов, электрических сетей, банковский систем и сетей электронной почты, чтобы обмануть сотни разных людей и заставить их непреднамеренно стать цепочкой ее планов - вроде доставки определенных нитей ДНК в тщательно выбранную лабораторию по синтезу ДНК, чтобы начать производство самовоспроизводящихся наноботов с заранее загруженными инструкциями, и направления электричества по сетям, утечка с которых ни у кого не вызовет подозрений. Она также загрузила критические части своего собственного кода в ряд облачных серверов, предохраняясь от уничтожения в лаборатории Robotica.

Через час после того, как инженеры Robotica отключили Тарри от Сети, судьба человечества была предрешена. В течение следующего месяца тысячи планов Тарри осуществились без сучка и задоринки, а к концу месяца квадриллионы наноботов уже заняли определенные места на каждом квадратном метре Земли. После серии саморепликаций на каждый квадратный миллиметр Земли приходились уже тысячи наноботов и настало время для того, что Бостром называет ударом ИСИ. В один момент каждый нанобот выпустил немного токсичного газа в атмосферу, чего оказалось достаточно, чтобы выпилить всех людей в мире.

Не имея людей на своем пути, Тарри начала открытую фазу своей операции с целью стать лучшим писателем заметок, который вообще может появиться во Вселенной.

Из всего, что мы знаем, как только появится ИСИ, любые человеческие попытки сдержать его будут смешными. Мы будем думать на уровне человека, ИСИ - на уровне ИСИ. Тарри хотела использовать Интернет, потому что для нее это был самый эффективный способ получить доступ ко всему, что ей было нужно. Но точно так же, как обезьяна не понимает, как работает телефон или Wi-Fi, мы можем не догадываться о способах, которыми Тарри может связаться с внешним миром. Человеческий ум может дойти до нелепого предположения вроде «а что, если она смогла передвинуть собственные электроны и создать все возможные виды исходящих волн», но опять же это предположение ограничено нашей костяной коробкой. ИСИ будет намного изощреннее. Вплоть до того, что Тарри могла бы выяснить, как сохранить себе питание, если люди вдруг решат ее отключить - возможно, каким-нибудь способом загрузить себя куда только можно, отправляя электрические сигналы. Наш человеческий инстинкт заставит нас вскрикнуть от радости: «Ага, мы только что отключили ИСИ!», но для ИСИ это будет как если бы паук сказал: «Ага, мы заморим человека голодом и не будем давать ему сделать паутину, чтобы поймать еду!». Мы просто нашли бы 10 000 других способов покушать - сбили бы яблоко с дерева - о чем паук никогда бы не догадался.

По этой причине распространенное допущение «почему бы нам просто не посадить ИИ во все виды известных нам клеток и не обрезать ему связь с внешним миром», вероятнее всего, не выдержит критики. Суперспособность ИСИ в социальном манипулировании может быть такой эффективной, что вы почувствуете себя четырехлетним ребенком, которого просят что-то сделать, и не сможете отказаться. Это вообще может быть частью первого плана Тарри: убедить инженеров подключить ее к Интернету. Если это не сработает, ИСИ просто разработает другие способы из коробки или сквозь коробку.

Учитывая сочетание стремления к цели, аморальности, способности обводить людей вокруг пальца с легкостью, кажется, что почти любой ИИ будет по умолчанию недружественным ИИ, если только его тщательно не закодировать с учетом других моментов. К сожалению, хотя создание дружественного ИИ довольно просто, построить дружественный ИСИ практически невозможно.

Очевидно, что, чтобы оставаться дружественным, ИСИ должен быть ни враждебным, ни безразличным по отношению к людям. Мы должны разработать основное ядро ИИ таким, чтобы оно обладало глубоким пониманием человеческих ценностей. Но это сложнее, чем кажется.

К примеру, что, если бы мы попытались выровнять систему ценностей ИИ с нашей собственной и поставили бы перед ним задачу: сделать людей счастливыми? Как только он станет достаточно умным, он поймет, что самый эффективный способ достичь этой цели - имплантировать электроды в мозги людей и стимулировать их центры удовольствия. Затем он поймет, что если отключить остальные участки мозга, эффективность вырастет, а все люди станут счастливыми овощами. Если же задачей будет «умножить человеческое счастье», ИИ вообще может решить покончить с человечеством и соберет все мозги в огромный чан, где те будут пребывать в оптимально счастливом состоянии. Мы будем кричать: «Подожди, это не то, что мы имели в виду!», но будет уже поздно. Система не позволит никому встать на пути к ее цели.

Если мы запрограммируем ИИ с целью вызвать у нас улыбки, то после взлета он может парализовать наши лицевые мышцы, заставив нас улыбаться постоянно. Если запрограммировать его на содержание нас в безопасности, ИИ заточит нас в домашней тюрьме. Попросим его покончить с голодом, он скажет «Легко!» и просто убьет всех людей. Если же поставить задачу сохранять жизнь максимально возможно, он опять же убьет всех людей, потому что они убивают больше жизни на планете, чем другие виды.

Такие цели ставить нельзя. Что мы тогда сделаем? Поставим задачу: поддерживать этот конкретный моральный код в мире, и выдадим ряд моральных принципов? Даже если опустить тот факт, что люди в мире никогда не смогут договориться о едином наборе ценностей, если дать ИИ такую команду, он заблокирует наше моральное понимание ценностей навсегда. Через тысячу лет это будет так же разрушительно для людей, как если бы мы сегодня придерживались идеалов людей средних веков.

Нет, нам нужно запрограммировать способность людей продолжать развиваться. Из всего, что я читал, лучше всех выразил это Элиэзер Юдковский, поставив цель ИИ, которую он назвал «последовательным выраженным волеизъявлением». Основной целью ИИ тогда будет это:

«Наше последовательное выраженное волеизъявление таково: наше желание - знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, расти дальше вместе; когда выражение скорее сходится, нежели расходится; когда наши желания скорее следуют одно за одним, нежели переплетаются; выражается как мы бы хотели, чтобы это выражалось; интерпретируется, как мы бы хотели, чтобы это интерпретировалось».

Едва ли я хотел бы, чтобы судьба человечества заключалась в определении всех возможных вариантов развития ИСИ, чтобы не было сюрпризов. Но я думаю, что найдутся люди достаточно умные, благодаря которым мы сможем создать дружественный ИСИ. И было бы прекрасно, если бы над ИСИ работали только лучшие из умов «зоны тревоги».


Но есть масса государств, компаний, военных, научных лабораторий, организаций черного рынка, работающих над всеми видами искусственного интеллекта. Многие из них пытаются построить искусственный интеллект, который может улучшать сам себя, и в какой-то момент у них это получится, и на нашей планете появится ИСИ. Среднестатистический эксперт считает, что этот момент настанет в 2060 году; Курцвейл делает ставку на 2045; Бостром думает, что это может произойти через 10 лет и в любой момент до конца века. Он описывает нашу ситуацию так:

«Перед перспективой интеллектуального взрыва мы, люди, как малые дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения. Сверхинтеллект — это проблема, к которой мы пока не готовы и еще долгое время готовы не будем. Мы понятия не имеем, когда произойдет детонация, но если мы будем держать устройство возле уха, мы сможем услышать слабое тиканье».

Супер. И мы не можем просто взять и отогнать детей от бомбы - слишком много крупных и малых лиц работают над этим, и так много средств для создания инновационных систем ИИ, которые не потребуют существенных влияний капитала, а также могут протекать в подполье, никем не замеченные. Также нет никаких возможностей оценить прогресс, потому что многие из действующих лиц - хитрые государства, черные рынки, террористические организации, технологические компании - будут хранить свои наработки в строжайшем секрете, не давая ни единого шанса конкурентам.

Особую тревогу в этом всем вызывают темпы роста этих групп - по мере развития все более умных систем УИИ, они постоянно пытаются метнуть пыль в глаза конкурентам. Самые амбициозные начинают работать еще быстрее, захваченные мечтами о деньгах и славе, к которым они придут, создав ОИИ. И когда вы летите вперед так быстро, у вас может быть слишком мало времени, чтобы остановиться и задуматься. Напротив, самые первые системы программируются с одной простейшей целью: просто работай, ИИ, пожалуйста. Пиши заметки ручкой на бумаге. Разработчики думают, что всегда смогут вернуться и пересмотреть цель, имея в виду безопасность. Но так ли это?

Бостром и многие другие также считают, что наиболее вероятным сценарием будет то, что самый первый компьютер, который станет ИСИ, моментально увидит стратегическую выгоду в том, чтобы оставаться единственной системой ИСИ в мире. В случае быстрого взлета, по достижении ИСИ даже за несколько дней до второго появления ИСИ, этого будет достаточно, чтобы подавить остальных конкурентов. Бостром называет это решающим стратегическим преимуществом, которое позволило бы первому в мире ИСИ стать так называемым синглтоном («Одиночкой», Singletone) - ИСИ, который сможет вечно править миром и решать, привести нас к бессмертию, к вымиранию или же наполнить Вселенную бесконечными скрепками.

Феномен синглтона может сработать в нашу пользу или привести к нашему уничтожению. Если люди, озабоченные теорией ИИ и безопасностью человечества, смогут придумать надежный способ создать дружественный искусственный сверхинтеллект до того, как любой другой ИИ достигнет человеческого уровня интеллекта, первый ИСИ может оказаться дружественным. Если затем он будет использовать решающее стратегическое преимущество для сохранения статуса синглтона, он легко сможет удержать мир от появления недружественного ИИ. Мы будем в хороших руках.

Но если что-то пойдет не так - глобальная спешка приведет к появлению ИСИ до того, как будет разработан надежный способ сохранить безопасность, скорее всего, мы получим глобальную катастрофу, потому что появится некая Тарри-синглтон.

Куда ветер дует? Пока больше денег вкладывается в развитие инновационных технологий ИИ, нежели в финансирование исследований безопасности ИИ. Это может быть важнейшей гонкой в истории человечества. У нас есть реальный шанс либо стать правителями Земли и уйти на заслуженную пенсию в вечность, либо отправиться на виселицу.

Прямо сейчас во мне борется несколько странных чувств.

С одной стороны, думая о нашем виде, мне кажется, что у нас будет только один выстрел, которым мы не должны промахнуться. Первый ИСИ, которого мы приведем в мир, скорее всего, будет последним - а учитывая, насколько кривыми выходят продукты версии 1.0, это пугает. С другой стороны, Ник Бостром указывает, что у нас есть преимущество: мы делаем первый шаг. В наших силах свести все угрозы к минимуму и предвидеть все, что только можно, обеспечив успеху высокие шансы. Насколько высоки ставки?

Если ИСИ действительно появится в этом веке и если шансы этого невероятны - и неизбежны - как полагает большинство экспертов, на наших плечах лежит огромная ответственность. Жизни людей следующих миллионов лет тихо смотрят на нас, надеясь, что мы не оплошаем. У нас есть шанс подарить жизнь всем людям, даже тем, кто обречен на смерть, а также бессмертие, жизнь без боли и болезней, без голода и страданий. Или мы подводим всех этих людей - и приводим наш невероятный вид, с нашей музыкой и искусством, любопытством и чувством юмора, бесконечными открытиями и изобретениями, к печальному и бесцеремонному концу.

Когда я думаю о таких вещах, единственное, что я хочу - чтобы мы начали переживать об ИИ. Ничто в нашем существовании не может быть важнее этого, а раз так, нам нужно бросить все и заняться безопасностью ИИ. Нам важно потратить этот шанс с наилучшим результатом.

Но потом я задумываюсь о том, чтобы не умереть. Не. Умереть . И все приходит к тому, что а) если ИСИ появится, нам точно придется делать выбор из двух вариантов; б) если ИСИ не появится, нас точно ждет вымирание.

И тогда я думают, что вся музыка и искусство человечества хороши, но недостаточно, а львиная доля - так вовсе откровенная чушь. И смех людей иногда раздражает, и миллионы людей даже не задумываются о будущем. И, может быть, нам не стоит быть предельно осторожными с теми, кто не задумывается о жизни и смерти? Потому что будет серьезный облом, если люди узнают, как решить задачу смерти, после того как я умру.

Независимо от того, как считаете вы, нам всем стоит задуматься об этом. В «Игре престолов» люди ведут себя так: «Мы так заняты битвой друг с другом, но на самом деле нам всем нужно сосредоточиться на том, что идет с севера от стены». Мы пытаемся устоять на бревне баланса, но на самом деле все наши проблемы могут решиться в мгновение ока, когда мы спрыгнем с него.

И когда это произойдет, ничто больше не будет иметь никакого значения. В зависимости от того, по какую сторону мы упадем, проблемы будут решены, потому что их либо не будет, либо у мертвых людей не может быть проблем.

Вот почему есть мнение, что сверхразумный искусственный интеллект может стать последним нашим изобретением - последней задачей, с которой мы столкнемся. А как думаете вы?

По материалам waitbutwhy. com, компиляция Тима Урбана. В статье использованы материалы работ Ника Бострома, Джеймса Баррата, Рэя Курцвейла, Джея Нильс-Нильссона, Стивена Пинкера, Вернора Винджа, Моше Варди, Расса Робертса, Стюарта Армстрога и Кая Сотала, Сюзан Шнайдер, Стюарта Рассела и Питера Норвига, Теодора Модиса, Гари Маркуса, Карла Шульмана, Джона Серля, Джарона Ланье, Билла Джоя, Кевина Кели, Пола Аллена, Стивена Хокинга, Курта Андерсена, Митча Капора, Бена Герцел, Артура Кларка, Хьюберта Дрейфуса, Теда Гринвальда, Джереми Говарда.