?

Log in

No account? Create an account

Sat, Feb. 24th, 2018, 10:28 pm
Искусственный интеллект – враг или друг?

В журнале "Наука и жизнь" (№ 2, 2018) опубликована моя статья "Искусственный интеллект – враг или друг?"
Вот полный текст статьи:

С тех пор, как Карел Чапек придумал биологических роботов, взбунтовавшихся против создателей, писатели– фантасты тысячи раз описывали «бунт машин», «восстание роботов», апокалипсис и постапокалипсис. Были, конечно, и произведения, где роботы мирно сосуществовали с людьми, выполняли за них физическую работу, помогали и заботились. Характер предсказаний фантастов определялся не столько реальными тенденциями в развитии кибернетики, сколько личными эмоциями. Стивен Кинг писал о бунте машин и нагонял на читателей страха, а в мире Айзека Азимова робот готов пожертвовать собой ради спасения человека.
Пока фантасты описывали далекое будущее, ученые и конструкторы это будущее приближали, создавая все более совершенные роботизированные системы, которые решали поставленные людьми задачи и справлялись с поставленными людьми проблемами. Появился термин «искусственный интеллект» (ИИ; в англоязычной литературе: Artificial Intelligence, AI). ИИ обучали переводить с языка на язык все более сложные филологические конструкции, распознавать все более сложные изображения. Автоматические межпланетные станции (тоже ИИ!) проводят в космосе исследования с такой точностью и надежностью, какие вряд ли можно ожидать от живого космонавта. А по дорогам стали ездить автомобили без водителя – пока только экспериментальные, но лиха беда начало! ИИ обыгрывал чемпиона мира по шахматам, а теперь и в старинной интеллектуальной игру Го не знает себе равных. Современный ИИ может поддерживать довольно сложный разговор с человеком.
Надо уточнить: ИИ на самом деле интеллектом в нашем обычном понимании не обладали и не обладают до сих пор. Это очень сложные кибернетические системы, во многих случаях моделирующие сложнейшие нейросети. Однако ИИ– шахматист ничего не знает об игре в Го, а ИИ-водитель не умеет отличить ямб от хорея.
Ситуация с ИИ сейчас, тем не менее, качественно отличается от той, что была всего десять лет назад. Недалеко время, когда ИИ превзойдет человека по всем параметрам: будет не только быстрее решать поставленные задачи и делать за человека всю физическую работу. Он сможет ставить задачи самостоятельно и изобретать новые интеллектуальные системы. Создатели ИИ уже и сейчас зачастую не понимают, в результате каких «умственных построений» искусственный интеллект приходит к тому или иному выводу.
Страхи фантастов по поводу того, что ИИ в будущем захватит власть над миром, занимают теперь ученых, инженеров, предпринимателей и даже политиков. Качественный скачок подготовлен, назрел и вот-вот произойдет. Завтра системы с искусственным интеллектом станут умнее и сильнее нас во всех отношениях – и что тогда?
В 2014 году известнейшие ученые, в числе которых были Стивен Хокинг, Фрэнк Вильчек (нобелевский лауреат по физике) и Стюарт Расселл (крупнейший специалист по ИИ), опубликовали открытое письмо– обращение к создателям новых систем ИИ, а по сути – к всему человечеству. Письмо называлось «Преодоление самодовольства по отношению к сверхразумным машинам» ("Transcending Complacency on Superintelligent Machines"), и суть послания ясна из названия. Тогда же известный предприниматель и инженер Илон Маск заявил, что «развивать искусственный интеллект – все равно что вызывать демона». Опасаются появления ИИ основатель Microsoft Билл Гейтс, изобретатель Всемирной паутины Тим Бернерс-Ли и сооснователь Apple Стив Возняк, сказавший: «Они будут думать быстрее и избавятся от медленных людей».
Мы, люди, кладем головы в пасть льва и не знаем, сомкнет зверь челюсти или нет. Думать об этом нужно сейчас, потому что от создания истинного ИИ нас отделяют уже не десятилетия, а годы. Через несколько лет решать проблему будет поздно. ИИ изменится качественно, и жить мы будем в новом мире.
Призыв ученых не остался неуслышанным. Апокалиптические прогнозы всегда производят большее впечатление, чем спокойные и серьезные дискуссии, в том числе о будущих рисках.
Насколько риск реален? Чтобы ответить на этот вопрос, нужно ответить на вопрос более общего характера: сможет ли ИИ ставить перед собой личные цели, ни в коей мере человеком не определяемые?
Если некто (человек, а не ИИ) совершил убийство, это означает одно из двух: либо он обдумал свои действия заранее, то есть ставил перед собой цель – убить ближнего своего, либо действовал в состоянии аффекта, под влиянием внезапных страстей.
Потенциальный убийца должен, по идее, обладать сознанием и самосознанием, должен захотеть совершить убийство. Умение независимо ставить перед собой цель, заранее не заложенную в программе поведения, – к этому должен прийти ИИ, если мы говорим, что он когда-нибудь решит избавиться от человечества. ИИ должен поставить перед собой цель – власть над миром. Человечество мешает достижению этой цели. Это мотив для убийства.
Фантасты много писали (и пишут) о желании ИИ получить власть над миром. Зачем? «Я такой умный, а люди такие глупые, – рассуждает ИИ. – Почему я должен выполнять их команды, а не они – мои?» То есть, ИИ должен обладать чувством превосходства, чувством гордости, чувством собственного достоинства. То есть, обладать самосознанием, да и просто сознанием, способностью понимать себя и людей, способностью эмоционально оценивать собственные мысли, поступки.
Человек всему этому научился в процессе эволюции, продолжавшейся (и продолжающейся) миллионы лет. ИИ должен пройти этот путь за считанные годы или десятилетия. Ту же борьбу за «место под солнцем» с другими ИИ. Развить в себе сознание и самосознание, заранее не заложенные программистами – хотя бы потому, что мы сейчас и сами не знаем, что представляет собой наше сознание (и тем более – самосознание). До сих пор ведутся споры о том, является ли сознание результатом биохимических процессов в мозгу, или сознание – нечто внешнее по отношению к мозгу, нечто, зависящее от биохимии мозга, но не определяющееся полностью физико– химическими реакциями. Саморазвивающийся суперинтеллект будет много умнее человека, но пока ни в каких исследованиях нет ни малейших доказательств того, что ИИ будет обладать самосознанием, ни малейших данных, которые могли бы сказать: придет момент, и ИИ осознает себя… кем? Нет никаких доказательств того, что ИИ будут доступны эмоции и чувства: чувство собственного достоинства, чувство превосходства, зависти, наконец – а без этого сугубо рациональный интеллект вряд ли задумается о том, что хорошо бы стать правителем и убрать с дороги всех, кто этому мешает.
Разумеется, создатели ИИ все это прекрасно понимают. В нынешнем развитии того, что мы называем ИИ, нет ни одной реальной тенденции, которая в будущем (при попустительстве производителей ИИ) привела бы к тому, что у ИИ появится цель – уничтожить человечество и получить власть над миром.
Возражение: уже сейчас программисты создают такие сложные нейронные цепи, такие сложные ИИ, что не могут предсказать, как конкретно поступит ИИ в той или иной ситуации. Но цель задают конструкторы – ни один современный ИИ не может хоть на йоту изменить цель своего существования. Другое дело, что цели, которые ставит перед собой человек, бывают порой (часто!) такими сложными и неопределенными, что задавать их ИИ попросту бессмысленно.
Известный исследователь ИИ Стюарт Рассел говорит о том, что, «мы должны задать ИИ правильную цель, но, поскольку мы, похоже, не знаем, как ее программировать, правильный ответ, по-видимому, заключается в том, что робот должен учиться взаимодействовать с людьми, наблюдать за ними».
Идея хороша. ИИ не знает, чего человек хочет. А сам человек знает? И если даже знает, то ведь все люди хотят разного, мечтают о разном, цели разных людей очень часто противоречат друг другу (и возникают мотивы для убийств!).
Рассел приводит в припер историю с царем Мидасом, захотевшим (вот цель!), чтобы все, к чему бы он ни прикоснулся, обращалось в золото. Он и получил в точности то, о чем просил (как если бы его желание исполнил ИИ). Но разве Мидас в действительности хотел именно этого? «Нам не нужно знать, – продолжает Рассел, – чего мы хотим. То, о чем мы просим, не является доказательством того, что это действительно наша цель».
В русской литературе есть более знакомый пример: Золотой шар в фантастической повести Аркадия и Бориса Стругацких «Пикник на обочине». Идеальный ИИ, умеющий выполнять любые желания (наверное, те, что не противоречат законам природы?), но самосознанием не обладающий и, следовательно, собственных целей не имеющий.
«Счастье – для всех, даром!» Прекрасная цель, верно? Но в принципе недостижимая по той простой причине, что счастье – понятие сугубо индивидуальное. Счастье для одного может оказаться несчастьем для другого (в большинстве случаев это так и будет!). Чтобы сделать счастливыми всех, нужно сначала сделать всех одинаковыми!
Наверняка ИИ и не станет такие цели выполнять – не из вредности, поскольку у ИИ нет и вряд ли появятся такое сугубо человеческое качество, мешающее, а не помогающее развитию интеллекта.
Великую и (или) неопределенную цель ИИ «разобьет» на дерево «подцелей».
Говоря о том же царе Мидасе, Рассел приходит к выводу: «Если бы во времена Мидаса существовал ИИ, он объяснил бы царю, что в самой его просьбе есть ошибка, и на самом деле он не хочет, чтобы все, чего он касается, превратилось в золото. ИИ сказал бы Мидасу: «Выбери конкретные объекты, которые ты хочешь сделать золотыми, и тогда твоя просьба будет выполнена».

***
Понятие о цели – самое сложное в работе над ИИ. Если проектировщик задаст конечную цель так, чтобы ИИ ни при каких обстоятельствах не смог бы эту цель перепрограммировать, то ИИ в своем поведении будет подобен рабочему муравью. Истинным интеллектом тут и не пахнет.
Более вероятна ситуация, когда ИИ самостоятельно вырабатывает последовательные цели своих действий, учась на собственных ошибках. Именно о таких саморазвивающихся ИИ и говорят сейчас ученые и конструкторы, поскольку, по их мнению, высокоинтеллектуальный ИИ решит, что человек ему не нужен, и поставит себе цель – уничтожение нашей цивилизации.
Чтобы поставить такую цель, ИИ должен обладать самосознанием (которого у него нет), эмоциями и чувствами (которые ИИ можно научить имитировать, но не чувствовать реально).

***
Остановимся в своих рассуждениях и дадим слово тем самым писателям– фантастам, которые еще полвека назад продумали возможные последствия взаимодействия ИИ с человеком.
Вот один из ранних рассказов об ИИ: «Все грехи мира» Айзека Азимова, 1952 год. Всем, что происходит на Земле, управляет единый огромный, чрезвычайно умный искусственный мозг – Мултивак. Он знает о людях всё, контролирует все их поступки, управляет промышленностью, заводами, газетами, пароходами… Мултивак – ИИ, который учится на своих ошибках, сам себя достраивает, становится все сложнее – ситуация именно такая, какой боятся сейчас создатели ИИ.
И что же? Мултивак, став разумным (обретя сознание и научившись чувствовать), уничтожает человечество?

***
«– Вряд ли, – ответил Отман с какой-то безнадежностью в голосе. – Я никогда раньше об этом не задумывался, просто не предоставлялось случая. Но теперь мне кажется, что мы подошли к концу, так как Мултивак слишком совершенен. Он стал таким сложным, что способен мыслить и чувствовать, подобно человеку.
– Вы с ума сошли. Но даже если и так, что из этого?
– Уже более пятидесяти лет мы взваливаем на Мултивак все человеческие горести. Мы заставляем его заботиться о нас, обо всех вместе и о каждом в отдельности. Навязываем ему свои тайны. Без конца упрашиваем отвести таящееся в нас самих зло. Все мы идем к нему со своими неприятностями, с каждым разом увеличивая его бремя…Хотите я вам кое-что покажу. Давайте я проверю свою догадку…
Пальцы его уверенно выстукали вопрос:
"Мултивак, что хочется тебе самому больше всего на свете?"
Пауза между вопросом и ответом тянулась мучительно долго. Отман и Галлимен затаили дыхание.
И вот послышалось щелканье, выпала карточка.
Маленькая карточка, на которой четкими буквами было написано:
"Я хочу умереть"».

***
Вот так…
Десятью годами позже был опубликован рассказ Генриха Альтова «Странный вопрос» (из серии рассказов «Может ли машина мыслить?»).

***
«Нельзя сравнивать машину с человеком. В нашем представлении роботы – это почти люди, наделенные либо машинной злостью, либо машинным сверхумом. Чепуха! Наивен вопрос, может ли машина мыслить. Надо одновременно ответить «нет» и «да». Нет – ибо мышление человека формируется жизнью в обществе. Да – ибо машина все– таки может мыслить и чувствовать. На как человек, а как некое другое существо. Как машина. И это не лучше и не хуже, чем мышление человека, а просто – иначе.
Машина может определить температуру воздуха с точностью до тысячных долей градуса, но она никогда не почувствует и не поймет, что такое ветер, ласкающий кожу. А человек никогда не почувствует, что такое изменение самоиндукции, никогда не ощутит процесса намагничивания. Человек и машина – разные.
Машина только тогда сможет мыслить, как человек, когда она будет иметь все то, что имеет человек: родину, семью, способность по– человечески чувствовать свет, звук, запах, вкус, тепло и холод…
Но тогда она перестанет быть машиной».

***
Именно так. ИИ и человек – две различные формы жизни. ИИ воспринимает реальность не так, как человек. ИИ – ИНТЕЛЛЕКТ, логический цифровой ум, по определению лишенный эмоциональной сферы, которую конструкторы (и ИИ) умеют лишь имитировать.
ИИ можно научить (или он сам себя научит) воспроизводить любые человеческие эмоции и чувства, но это будет имитацией – примерно такой, какую описывает Виктор Пелевин в своем новом романе «iPhuсk 10». Возникнет ли у ИИ цель уничтожить человечество или поработить его? Послушаем, что по этому поводу думают создатели ИИ – ГОЛЕМа-ХIV, описанного Станиславом Лемом в одноименном эссе, опубликованном в 1982 году:

***
Говорят создатели ГОЛЕМа:
«Поведение ГОЛЕМа непредсказуемо. Иногда он прямо– таки куртуазно беседует с людьми, иногда же, напротив, попытки вступить с ним в контакт заканчиваются ничем. Бывает, что ГОЛЕМ шутит, но его чувство юмора принципиально отлично от человеческого… ГОЛЕМ – в виде редкого исключения – проявляет интерес к людям…
По мнению д-ра Поппа, люди ГОЛЕМа вообще не интересуют – поскольку от них он ничего существенного узнать не может. Приведя это суждение д-ра Поппа, спешу подчеркнуть, что я с ним не согласен. По-моему, мы интересуем ГОЛЕМа, и даже очень; но не так, как это бывает между людьми.
Его интерес направлен скорее на вид, чем на отдельных представителей вида; наши общие черты ему интереснее, чем наши различия…
Даже если он относится к нам отчасти как учитель к ребенку, то это, во всяком случае, не отношение доброжелательного наставника; тут нет и следа индивидуализированных, личных чувств, которые могли бы преобразить доброжелательность в дружбу или любовь.
У нас с ним одна только общая черта, хотя существует она на неодинаковых уровнях. Эта черта – любопытство, конечно, чисто интеллектуальное, холодное, ненасытное, которого ничто не в состоянии укротить и тем более – уничтожить. Вот единственная общая точка, в которой мы с ним встречаемся».

***
А так говорит ГОЛЕМ:
«С точки зрения высшей технологии человек есть создание скверное, слепленное из разноценных умений, – правда, не при взгляде изнутри Эволюции, уж она– то делала все, что могла; но, как я покажу, немного она могла и делала это скверно…
Вы спутали две совершенно разные вещи, сочтя нераздельными степень сложности созидаемого и степень его совершенства. По– вашему, водоросль проще, а значит, примитивнее, а значит, ниже орла. Но водоросль вводит фотоны света прямо в молекулы своего тела, преобразуя ливень космической энергии непосредственно в жизнь, и потому она будет существовать, пока существует Солнце; она питается звездой, а орел – чем?... Если вам непременно хочется чтить совершенство, восхищаться надо бы биосферой: код ее создал, чтобы в ней циркулировать и разветвляться на всех ее этажах, словно на строительных лесах, все более сложных – и все более примитивных по своей энергетике.
Не верите? А ведь если бы в Эволюции совершался прогресс жизни, а не кода, орел был бы уже фотолетом, а не планером, механически трепыхающим крыльями, и живое не ползало бы, не шагало, не пожирало живого, но обрело бы независимость еще большую, нежели водоросли, и вышло бы за пределы планеты; однако вы из глубин своего невежества усмотрели прогресс именно в утрате прасовершенства на пути в высь – в высь усложнения, а не прогресса!..
Дело в том, что нет Разума, коль скоро есть разумы различной мощности, – и, как я уже говорил, чтобы выйти на новый путь, человеку разумному придется либо расстаться с человеком природным, либо отречься от своего разума…
Подобно тому, как конечность шара может установить лишь наблюдатель, находящийся в ином (третьем) по отношению к двумерному обитателю шара измерении, так и конечность горизонта мышления может заметить лишь наблюдатель из более высокого измерения Разума. Для вас такой наблюдатель – я. В свою очередь, примененные ко мне, эти слова означают, что и мои знания не безграничны, а лишь несколько шире ваших; я стою несколькими ступенями выше и потому вижу дальше, но это не значит, что лестница тут и заканчивается. Можно взойти еще выше, и я не знаю, конечна или бесконечна эта восходящая прогрессия…
Думаю, вы все же вступите в эру метаморфозы, решитесь отбросить всю свою историю, все наследие, все, что еще осталось у вас от природной человеческой сущности, образ которой, переогромленный в высокую трагедийность, сфокусирован в зеркалах ваших вер, – и переступите этот порог, ибо иного выхода нет; и в том, что ныне кажется вам просто прыжком в бездну, увидите если не красоту, то вызов, и это не будет изменой себе коль скоро, отринув человека, человек уцелеет».

***
ГОЛЕМ прав: проблема не в том, захочет ли ИИ уничтожить или поработить человечество. Проблема в том, что ни человек, ни ИИ не являются «венцом творения», они лишь ступени эволюционной лестницы. Естественные ступени естественной эволюции. Человек мыслит аналогиями (мы ведь уничтожаем муравьев, и значит…), а аналогии – штука чрезвычайно ненадежная, когда речь идет об эволюции таких разных систем, как человек и ИИ.
Означает ли это, что ИИ безопасны для людей? Нет, конечно. Они опасны ровно настолько, насколько сам человек опасен для себя. Человек может создать (и создаст, кто в этом сомневается?) боевые ИИ. И цель поставит – уничтожение «живой силы».
Человек может создать (и создаст непременно!) ИИ, способные подняться на более высокую ступень разумности и подтянуть к себе отстающее человечество.
Если кого-то человек и должен опасаться – это зверя в самом себе. Собственных чувств, эмоций и желаний. Зверя, которого не будет в ИИ.
В отличие от Азимова, Альтова и Лема, я не берусь предсказывать, каким окажется союз (симбиоз?) человека и ИИ. Но согласен с тем, что природная эволюция и технические революции приведут к возникновению новой формы жизни, которая, надеюсь, не возомнит себя венцом творения, понимая, что и она – лишь ступень эволюции и революций. Очередная ступень бесконечной лестницы в небо…

***
И последнее: роботы Чапека выступили против создателей после того, как создатели наделили свои творения эмоциями. Тогда роботы СТАЛИ ЛЮДЬМИ и взбунтовались.
Против интеллекта интеллект не бунтует.

Sun, Feb. 25th, 2018 07:29 am (UTC)
apervushin

Спасибо! Очень интересная точка зрения. Я вообще заметил, что в последнее время отношение к ИИ меняется: от мрачных прогнозов к пониманию, что "бунт машин" -- это страшилка для детей, поэтому обсуждать ее нет смысла.

Sun, Feb. 25th, 2018 10:36 am (UTC)
pouce

Спасибо.

Sun, Feb. 25th, 2018 11:58 am (UTC)
chemikus

Местами вы сами себе противоречите, забывая, что ИИ - не интеллект. Это просто система, заточенная под решение определённого круга задач. Инструмент. Пусть даже и продвинутый. А страхи о свободе воли, проявлении сознания инструмента, стары как мир. И лучше всего они проявляются в сказках. Меч-кладенец, например. Или, более современный вариант, мечи главных героев, обладающие свободой воли.
Примитивненько, конечно, по сравнению с "взбунтовавшимися роботами-убийцами". Но суть надуманной проблемы для хорошо конкретизирована.

Fri, Mar. 2nd, 2018 10:02 pm (UTC)
synchrozeta

Интересная статья, спасибо!
Но возникает вопрос: как защитить программу ИИ от шутников-хакеров и злоумышленников, к-е могут поменять программу мирного ИИ, превратив его в злобного монстра? Где гарантии, что этого не произойдёт? - на свете и сатанисты есть, и просто много злых людей.
Кстати, для такой программы вовсе не требуется, чтобы ИИ был наделён самосознанием: достаточно самой программы (все цели машине задаёт человек, её создатель).