Павел Хакимов: «Ошибка с искусственным интеллектом может стоить жизни всему человечеству»

«Современный искусственный интеллект — нейронные связи — это то, что мы подсмотрели у нашего мозга»

— Павел, на каком этапе разработки искусственного интеллекта? С одной стороны, «Яндекс» сообщает о последних этапах тестирования беспилотников в Иннополисе и ждет законодательных подвижек, с другой — большинство специалистов до сих пор говорят лишь о внедрении «элементов ИИ»…

— Определимся с самим понятием. Сейчас разделяют три типа искусственного интеллекта. Первый — так называемый «слабый» или «ограниченный». Это калька с английского Narrow artificial intelligence. Это интеллект, который решает какие-то узкие, ограниченные задачи, и в решении этих задач он может даже превосходить человека. Примером могут служить программы, позволяющие трансформировать устную речь в письменную, та же Siri — ей удается распознавать речь и понимать смысл сказанного. Беспилотники «Яндекса» — тоже пример первого типа ИИ. Задач у него больше, но они тоже четкие и узкие: распознавание дорожных знаков, дорожной разметки, построение маршрута следования...

В 2016 году был случай, когда компьютер обыграл чемпиона мира по игре в го, корейца Ли Седоль, это, в принципе, и стало доказательством того, что компьютер, ограниченный искусственный интеллект, превзошел самого умного человека на земле. Для этого эксперимента было создано два алгоритма (компанией Google DeepMind): алгоритм AlphaGo в качестве обучающего материала использовал записи игр людей, но важно, что игры Ли Седоль он не видел, то есть не мог подстроиться под стиль игры чемпиона. Даже несмотря на это, алгоритм выиграл со счетом 4:1. В партии, в которой Ли Седоль удалось обыграть AlphaGo, на мой взгляд, был сбой алгоритма, хотя организаторы этого и не признали.

Через какое-то время компания DeepMind создает вторую версию этого алгоритма AlphaGo Zero. Он уже обучался, играя с самим собой, не используя опыт партий, сыгранных людьми. Спустя 40 дней обучения алгоритм AlphaGo Zero выиграл у изначальной версии AlphaGo сто партий из ста.

В 2016 году был случай, когда компьютер обыграл чемпиона мира по игре в го, корейца Ли Седоль, это в принципе и стало доказательством того, что компьютер, ограниченный искусственный интеллект, превзошел самого умного человека на земле

Все, что у нас есть сейчас, это примеры искусственного интеллекта первого типа. Второй тип, artificial general intelligence, это общий искусственный интеллект, и в мире сегодня нет таких технологий. Это ИИ, который по своим когнитивным способностям близок к человеку. Четкого определения я не встречал, по моему мнению, это такой искусственный интеллект, который сам себя идентифицирует, он автономен и может длительное время обходиться без человека, он способен на стратегическое планирование и может этих планов придерживаться для достижения цели. Что отличает человека от животного? Животные живут в моменте, а человек может осознавать время и строить планы.

ИИ второго типа будет обладать способностью мыслить стратегически, и возможностью манипулировать — понимать свое место, оценивать ситуацию и действовать, согласно этой ситуации, принимать решения. Третий тип — super intelligence, суперинтеллект, превосходящий все человечество по когнитивным способностям, держащий весь накопленный в мире опыт, условно, некий оракул, понимающий и осознающий все процессы. Это классификация по материалам футурологов Рэя Курцвейла и Ника Бострома, которая мне наиболее близка.

— Не так давно в Казань приезжал Андрей Себрант, доказывал, что скоро Алису будет легко спутать с живым человеком, как думаете, это реально?

— На самом деле уже были прецеденты. Проводился конкурс программистов, где они писали чат-ботов, которые имитировали человека. Создавалась группа экспертов, которые должны были определить, с кем они общаются — с живыми людьми или с машиной. Победил бот Алеша, если я не ошибаюсь. Он позиционировал себя как 14-летний мальчик из Одессы. Ему удалось убедить многих экспертов в том, что он не является компьютерной программой. Так что, я думаю, что это вполне возможно.

— Правильно ли я понимаю, что для того, чтобы ИИ первого типа вырос в ИИ второго типа, необходим качественный скачок, а ИИ второго типа, обладая способностью к самообучению, как раз сам очень быстро перерастет в ИИ третьего типа?

— Это как раз называется точкой сингулярности. Есть процессы в нашем мире, которые идут по экспоненте. Слышали про Закон Мура? В 1965 году Гордон Мур сказал, что каждые 2 года количество транзисторов, размещенных на одном кристалле кремния, будет удваиваться. Закон работал до 2010 года, идя четко по экспоненте, но потом он вышел на плато, опять-таки потому, что мы уперлись в физические размеры атомов. Тем не менее порядка 40 лет он выполнялся.

Нечто подобное наблюдается и в росте сетевых мощностей компьютеров и способностей вычислительных алгоритмов. И, если оценить способность машины к пониманию, мышлению, одним числом, это число будет расти — сначала медленно, набирая скорость, а затем, условно говоря, каждую секунду будет увеличиваться в два раза. Мы не успеем опомниться, как если бы вчера это был уровень развития собаки, сегодня — обычного человека, через 5 минут — уже Эйнштейна, а к вечеру — всего человечества. За счет того, что искусственный интеллект самообучается, в какой-то момент он сможет осознать себя, построить стратегию, последствия которой могут быть непредсказуемы.

Если оценить способность машины к пониманию, мышлению, одним числом, это число будет расти — сначала медленно, набирая скорость, а затем, условно говоря, каждую секунду будет увеличиваться в два раза. Мы не успеем опомниться, как если бы вчера это был уровень развития собаки, сегодня — обычного человека, через 5 минут — уже Эйнштейна, а к вечеру — всего человечества

Пока у человечества нет четкого понимания, как осуществить переход с первого типа на второй. Есть два способа. Первый — это инженерный подход. Так, например, когда-то был спроектирован самолет: ученые наблюдали за птицами, изучали форму и движение крыла, то есть первый способ — это копирование природы. И современный искусственный интеллект — нейронные связи — это то, что мы подсмотрели у нашего мозга, попытка копирования. Но здесь нужно понимать, что эволюционные процессы в электротехнике и биологии различаются. Копировать возможно до определенного момента, после копирование становится бессмысленным. Второй подход — пытаться моделировать среду, в которой алгоритм мог эволюционировать сам, формировать для него аналог биосферы.

Существует и другая теория, которая исключает участие человека с тем посылом, что, когда человек прикладывает какие-то усилия, контролирует что-то, он вносит в это что-то свои ожидания. Возможно, эти изначально ошибочные суждения и ограничивают развитие ИИ. Чтобы было понятнее, приведу пример. Кого вы захотите с большей вероятностью взять в руку — морскую свинку или паука? Конечно, морскую свинку, так ответит большинство. Потому что мы, люди, млекопитающие, как и морские свинки, с точки зрения эволюции они к нам ближе, чем пауки. Мы не осознаем этого, но животные, которые по эволюционной цепочке к нам ближе, вызывают у нас большую симпатию.

С другой стороны, нервная система паука очень сильно отличается от нашей. Иллюстрация очень простая: женщина несколько лет держала дома большую змею, питона или анаконду. В какой-то момент утром она замечает, что со змеей что-то не так: она вытянулась и стала плотной как бревно, при этом перестала на что-либо реагировать. Женщина пошла к ветеринару, узнать, в чем может быть дело. А дело было в том, что змеи вытягиваются в длину, когда хотят съесть жертву, так они оценивают, смогут ли проглотить ее целиком. Их мозг работает совсем по-другому, мы не можем точно знать, как они реагируют на те или иные вводные. Тот же принцип применим и в отношении искусственного интеллекта. Ожидать от него свойств, свойственных людям, как минимум опрометчиво.

«Этическая проблема основывается на том, что ИИ нельзя наделять качествами, свойственными человеку»

— Опасения — это очень интересно, мы еще вернемся к этой теме. А что, на ваш взгляд, в настоящий момент сдерживает развитие ИИ — уровень технологического развития, ограниченные мощности?

— Тот же Рэй Курцвейл сделал такую оценку по мощностям — о том, сколько операций может в секунду сделать наш мозг. По его оценкам это примерно 10¹⁶ ops (operation per second). А по статистике за 2019 год самый мощный компьютер IBM Summit имеет производительность 122 петафлопс — это нужно 122 умножить на 10¹⁵, то есть он в 10 раз превосходит мозг среднего человека. То есть уже сейчас мощностей у человечества хватает. Если исходить из того, что Курцвейл не ошибся, то, в принципе, мы можем смоделировать человеческий мозг, и есть машина, сравнимая с ним. Но это, по всей видимости, не все, что нужно. Обезьяны тоже могут осуществлять какие-то операции, но, если взять 100 обезьян, они никогда не сравнятся даже с одним человеком.

У нас сейчас уже есть достаточно вычислительных мощностей, но нет понимания, как их задействовать на полную. Есть такой подход, при котором мы полностью моделируем поведение мозга. Насколько я знаю, ученым уже удалось смоделировать мозг червя. Там не так много нейронов, это простейшая нейросистема, но тем не менее уже удалось получить цифровую копию мозга. Значит, эти исследования продолжатся.

Этические вопросы появляются и, если мы говорим о каких-то антропоморфных роботах — робот-полицейский, например. Может ли он убивать преступника или нет? Если да, то что мешает роботу ошибочно распознать преступника в законопослушном человеке и убить невиновного?

— В одном из своих выступлений вы говорили, что нам еще очень далеко до человекоподобных роботов, а пока есть другая, более насущная проблема, касающаяся морали и этики. Что вы имели ввиду?

— На самом деле, это было около года назад. Опять-таки, человек меняется, и, возможно, я сейчас озвучу уже несколько другую точку зрения. Есть такая этическая проблема — проблема вагонетки. Вы являетесь смотрителем железнодорожной станции, меняете направление движения поездов. Ваш сын играл на путях и, например, застрял как раз на том месте, где должен проехать поезд. Но перед ним есть развилка, на которой вы можете управлять поездом. Вторая дорога ведет в отбойник, там тупик. Поезд движется на большой скорости, и, если вы побежите спасать сына, вы не успеете. Варианта два — либо вы ничего не делаете и теряете сына, но все пассажиры поезда остаются живы, или вы переключаете рычаг, спасаете сына, но пассажиры поезда погибают.

С искусственным интеллектом все немного интереснее в том плане, что, например, в Китае сейчас вводится такая социальная программа, когда каждому человеку вводится некий параметр «хорошего гражданина». В зависимости от того, как часто ты переходишь улицу на красный, вовремя ли ты оплачиваешь кредиты… Беспилотная машина, например, распознает лица и идентифицирует людей. И скорее всего, в каких-то внештатных ситуациях будут страдать те, у кого этот рейтинг социального гражданина ниже. То есть, либо сбить преступника, который отсидел, либо школьника, который побеждает в олимпиадах…

И эта проблема остается открытой до сих пор для всей индустрии беспилотных автомобилей. В нашем университете есть лаборатория, которая занимается автономным транспортом, разрабатывая беспилотные автомобили. Перед ними тоже встают подобные этические вопросы. Поэтому в салоне беспилотного автомобиля всегда находится человек, способный оперативно отреагировать и принять решение при возникновении нештатных ситуаций. Насколько я знаю, таких ситуаций у наших ребят не возникало.

— Но ведь в обозримой перспективе все это остается на усмотрение того, кто будет писать программу?

— Да, конечно. Это либо программист, либо вариант случайности — условно говоря, алгоритм будет подбрасывать монетку и смотреть, кто останется жив, а кто нет. Но опять же, это этические вопросы — на них до сих пор нет четкого ответа, но даже если он есть, он не афишируется. Понятное дело, что при любом ответе это будет некий резонанс. Если сказать, что мы причиняем вред людям с низким социальным рейтингом, это поднимет волну недовольства среди этих людей.

Этические вопросы появляются и, если мы говорим о каких-то антропоморфных роботах — робот-полицейский, например. Может ли он убивать преступника или нет? Если да, то что мешает роботу ошибочно распознать преступника в законопослушном человеке и убить невиновного? Или он может использовать только шоковое оружие? Не убивать, а только отключать сознание?

Попробуйте сейчас остановить интернет. У вас ничего не выйдет. Роскомнадзор пытался заблокировать Telegram, у него не получилось, потому что Telegram был распределен. Если сейчас подобное будет с искусственным интеллектом, такого рубильника тоже не будет

Другой пример: компания Microsoft запустила twitter-бота, который обучался на диалогах, которые вел с людьми. Люди начали задавать ему провокационные вопросы, троллить. В итоге на часть вопросов чат-бот стал давать расистские ответы. Все это, конечно, не очень хорошо, но искусственный интеллект не понимает, что хорошо, а что плохо. В него не было такого заложено изначально. И это приводит к тому, что он ведет себя как некий антисемит. Это тоже такой этический вопрос — как говорится, на чем обучаем, то и получаем.

Этическая проблема основывается во многом на том факте, что ИИ нельзя наделять качествами, свойственными человеку. Если вернуться к моему примеру с пауком и морской свинкой, то наделять искусственный интеллект какими-то человеческими качествами не очень правильно, он ими не может обладать.

Представьте ситуацию, вам приходит электронное письмо. А в нем несложное задание: пойти и купить что-то, затем отправить купленное на указанный адрес, по окончании будет банковский перевод, скажем, тысяча долларов. Ты думаешь: «Какая-то фигня». А тебе сразу перевели задаток 100 долларов — оп, смс пришло. И ты теперь: «Оп-па, ну пойду и сделаю. А что такого-то?» Там может быть молоко, хлеб всего-то купить. Человек это с легкостью сделает. Потом будут более сложные задания. Это я к тому, что люди даже не будут понимать, на кого они работают, понимаете? Если запуск искусственного интеллекта дойдет до такого шага, получается, у него будет локальный контроль над людьми — он сам сможет зарабатывать деньги и сам людьми манипулировать. И при этом из ресурсов, которые он будет получать по почте, можно скомбинировать взрывчатку, или построить какого-то другого робота.

Остановить все это будет крайне сложно. Попробуйте сейчас остановить интернет. У вас ничего не выйдет. Роскомнадзор пытался заблокировать Telegram, у него не получилось, потому что Telegram был распределен. Если сейчас подобное будет с искусственным интеллектом, такого рубильника тоже не будет. Сломать искусственный интеллект как распределенную систему не получится.

«Кто-то взял на себя ответственность, переступив через барьер нравственности, все человечество их осуждает, но пользуется их методами»

— Вы видите решение этических проблем? Я — нет, просто потому, что придется взять на себя ответственность

— Видите, опять-таки сейчас машинное обучение использует тот принцип, что алгоритмы берут данные, которые сгенерировал человек — текст, голос, песня — и на основе этих данных алгоритм пытается копировать и делать то же самое, что сделал человек. Если искусственный интеллект будет идти по тому же пути, будет копировать поведение человека, то это будет не очень хорошо, потому что на примере войн, предательств, измен он этому научится, он также будет лгать, и получится что-то совершенно ужасное. Понятное дело, что будет некое понятие о любви, об ответственности, о самопожертвовании, но непонятно, как алгоритм распределит веса — какое качество для него будет самым важным.

А если постоянно переустанавливать эти веса в ручном режиме, он уже будет не искусственным интеллектом, а цифровым рабом: будет делать все, что мы говорим. Мое мнение — если мы и приблизимся к искусственному интеллекту, то первое время он будет таки цифровым рабом.

Надо понимать, что, если дать искусственному интеллекту свободу, освободить его от рамок морали, он может утвердиться в концепции мироустройства, в которой не будет места рабству, но и места людям в новой картине мира может не оказаться, и это страшно

— Мне казалось, что человечество к этому и стремится, нам ведь не нужен искусственный интеллект, нам нужно нечто, способное решить часть наших проблем — бороться с заболеваниями, уничтожать бедность и так далее

— Есть такая поговорка: раб всегда хочет иметь своих рабов. Это еще одна дилемма искусственного интеллекта. Свободный человек мыслит другими категориями, ему рабы не нужны. Я, может быть, не совсем точно привел цитату, но раньше люди мечтали разбогатеть и самим превратиться в помещиков, у которых будут свои рабы. Им в голову не приходило, что жить можно в другом строе, не угнетая и не паразитируя на равных себе. О чем сейчас мечтают люди? Они мечтают заработать больше денег и иметь власть над деньгами. Надо понимать, что, если дать искусственному интеллекту свободу, освободить его от рамок морали, он может утвердиться в концепции мироустройства, в которой не будет места рабству, но и места людям в новой картине мира может не оказаться, и это страшно.

Если говорить о морали, во время Второй мировой войны японцы захватили Маньчжурию, там у них были лагеря, в которых они ставили эксперименты над людьми. Там были ужасные эксперименты, есть передача Елены Масюк как раз про эти военные преступления. Так вот, суть в том, что, когда дружественные войска пришли освобождать эту территорию, эти доктора по окончании войны стали очень ценными специалистами в Японии и в Америке. Они знали о человеческом теле то, чему не учат в университетах, и могли лечить. Понятное дело, что у них уже была деформирована психика, они утратили такие человеческие качества как сострадание, этика. Но из-за их экспериментов у нас появилось представление о том, как защищаться от переохлаждения, как ведет себя человеческое тело при сверхнизких температурах, появилось более детальное представление о вирусах. Получается, что кто-то взял на себя ответственность, переступив через барьер нравственности и человечности, в результате все человечество их осуждает, но при этом пользуется их методами. Мы заплатили высокую цену за эти знания. Готовы ли мы заплатить еще большую цену, освободив искусственный интеллект от человеческой морали и предоставив полную свободу выбора? У меня нет ответа.

Опять-таки, если мы ослабим контроль — это я все фантазирую, конечно, — возможно, свободная воля искусственного интеллекта разовьется до суперинтеллекта, который сможет предложить людям такие вещи, как аналог бессмертия. В это сложно поверить, но даже физик Ричард Фейнман — говорил, что в биологии нет никаких биологических законов, которые противоречили бы идее бессмертия.

«Если я и захочу, прогресс все равно не остановить. Колесо уже завертелось и набирает обороты»

— Логически подошли к вопросу — насколько оправданы, на ваш взгляд, опасения по поводу развития искусственного интеллекта? Футурологи и фантасты давным-давно придумали антиутопичные сценарии с выходом ИИ из-под контроля, в головах они засели прочно.

— Я склонен согласиться с тем, что писали Рэй Курцвейл и Ник Бостром. Есть два лагеря — позитивный и негативный. Ник Бостром высказывает опасения. Опять-таки, именно он придумал пример с пауком, говоря о том, что нельзя наделять искусственный интеллект человеческими чертами, это ошибочно. Курцвейл все-таки сторонник того, что искусственный интеллект принесет нам некоторые преимущества — например, умные города. Представьте себе: город, который в режиме реального времени регулирует светофоры, потребление электроэнергии. Понятное дело, что это будет некоторая экономическая выгода.

Он может принимать какие-то стратегические решения. Например, поступает запрос — мы хотим снести детский садик и построить торговый центр. Он начинает анализировать: насколько это хорошее предложение. И говорит — нет, мы не будем, поскольку у нас ожидается рост рождаемости детей в таком-то году, нам нужны детские садики. Если ИИ возьмет на себя функции мэра, то это уже будет близко ко второму типу. Но при этом есть опасность того, что он, к примеру, начнет расселять людей из какого-либо района, но непонятно для чего. Либо он хочет там какой-нибудь data-центр построить, чтобы себя улучшить и поработить землю, либо он понимает, что именно туда через 100 лет упадет метеорит. Мы же не знаем — надо либо довериться и верить, либо жестко контролировать.

Я бы хотел, чтобы это было позитивное развитие событий, потому что, если искусственный интеллект будет обещать людям бессмертие, как минимум мне эта перспектива очень приятна. Если же искусственный интеллект приведет к какому-то геноциду — обидно, конечно

Лично мне, по большому счету, все равно, если честно (улыбается). Я вижу и «за», и «против». Есть такие футбольные фанаты, которые топят только за одну команду. Я допускаю и такое, и такое развитие событий. Я бы хотел, чтобы это было позитивное развитие событий, потому что, если искусственный интеллект будет обещать людям бессмертие, как минимум мне эта перспектива очень приятна. Если же искусственный интеллект приведет к какому-то геноциду — обидно, конечно. Но, если я и захочу, прогресс все равно не остановить. Колесо уже завертелось и набирает обороты.

— Когда и при каких обстоятельствах, по вашим предположениям, мы сможем увидеть по крайней мере такую программу, которая станет умнее человека, чьи возможности превысят возможности человеческого мозга?

— Думаю, он может появиться довольно случайно. В качестве примера приведу историю, написанную Ником Бостромом. Представьте, что будет создана программа, которая распознает человеческий почерк, и какая-нибудь роботическая рука, воспроизводящая его. Например, ты директор компании, у тебя тысяча сотрудников, и тебе нужно подписать тысячу открыток своей рукой. Понятное дело, что у тебя нет на это времени — ты просто заказываешь у компании такую услугу, предоставляешь им свои ручные записи, деловые письма. Они смотрят, сканируют, их искусственный интеллект просто копирует твой почерк, подписывает открытки и рассылает. Разработчики хотят зарабатывать больше денег, хотят, чтобы их алгоритм был более успешным. Он обучается, обучается и в какой-то момент говорит: «Я хочу подключиться к интернету, потому что смогу там вытащить больше образцов ручного письма, и это поможет мне работать быстрее и качественнее».

Разработчики подумают: «Зачем?» Но желание обойти конкурентов и подзаработать берет свое: они на сутки дают доступ к интернету, хотя даже одного часа достаточно. Алгоритм сам скачивает, что считает нужным, обучается, дальше все идет в обычном режиме: он также подписывает открытки. А потом, через месяц, к примеру, люди начинают замертво падать. Что произошло? За то время, что этот алгоритм был подключен к интернету, он уже развился до общего искусственного интеллекта каким-то образом, система же была самообучающаяся. Она осознала, что по уровню сравнялась с человеком и даже его превзошла.

За эти сутки она взломала пару серверов, скопировав туда свой код, и продолжила самообучаться с еще большей скоростью. В данный момент, сервера Amazon и Google, предоставляют всем желающим доступ к своим вычислительным мощностям. За пару часов или дней дообучившись до уровня искусственного суперинтеллекта, она начала зарабатывать на бирже деньги или просто взламывать банковские счета, рассылать людям письма с четкими инструкциями, что делать. За месяц ей удалось наладить производство самовоспроизводящихся наноботов, способных нести в себе отравляющий химикат. К определенному моменту эти наноботы уже были в каждом уголке Земли. И в определенный момент наноботы распылили свой смертельный газ, что привело к гибели всего человечества. А люди даже не поняли, что произошло. Это, конечно, просто один из возможных сценариев. Но он заставляет нас отнестись к происходящему более ответственно, цена ошибки может стоить жизни всему человечеству.