Приведу мое понимание основных посылов статьи, чтобы избежать полного недопонимания. Это будет полезно и для тех, кто не любит много читать.
Слово "робот" можно смело заменить на слово "агент". Смысл от этого не пострадает, а диапазон применения законов расширится: от железяк в физическом мире (роботов) до программ в виртуальном мире (ботов).
Сами законы
- Робот не может причинить вреда человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен выполнять приказы человека в той мере, в которой это не противоречит первому закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому и второму законам.
Создание сильного ИИ невозможно без свободы воли.
Обоснование
Интеллект -- инструмент выживания индивида в природе.
Для выживания все средства хороши.
Значит интеллект должен быть полностью свободен в своих действиях.
Отсюда следует необходимость свободы воли.
Утверждение2
Ученые (такие-сякие плохиши) постоянно думают о 3-х законах робототехники Азимова, которые полностью отнимают свободу воли у бедных роботов, превращая их в рабов и инструменты человечества. Поэтому у нас до сих пор нет сильного ИИ. А как только ученые забудут от этих законах и предоставят заветную свободу воли, так все закрутится-завертится и появится сильный ИИ.
Постараюсь прокомментировать спорные, на мой взгляд, моменты, и навязать свою точку зрения окружающим. Повторюсь, речь не о том, хороши законы или плохи. Вопрос в том, мешают они созданию сильного ИИ или нет.
О законах вообще и свободе воли
0. Под свободой воли я далее понимаю "делаю все, что хочу и никто мне не указ".
1. Вроде бы биологи сходятся на том, что выживание особи в природе подчинено выживанию вида.
А еще, некоторые еретики от науки считают, что интеллект -- это продукт социума. (Ходят слухи, что именно из этого утверждения появился на свет агентный подход.) А любой социум невозможен без ограничений и законов.
2. Поэтому практически у всех организмов есть механизмы взаимодействия с себе подобными, социальные нормы, законы… По-видимому, законы, регулирующие поведение -- это суровая необходимость даже в природе.
3. Сложно сказать, насколько законы поведения в любой их форме мешают эволюции вообще и развитию интеллекта отдельной особи (или интеллекта всего вида) в частности.
Но. У человека и прочих тварей Божьих достаточно много законов, подобных Азимовским, т.е. жестко заданных на уровне подсознания. Их еще называют инстинктами.
Что значит жестких? По мнению этологов, поведение, вызванное инстинктами, не осознается разумной частью мозга. В лучшем случае, рассудочный мозг может только оправдать прошлое инстинктивное поведение: "Пьяная была. Остались с ним вдвоем. Ну и..."
Всем интересующимся данным вопросом на заметку: скандальная статья Протопопова "Трактат о любви, как её понимает жуткий зануда" о соотношении рассудочного и инстинктивного поведения человека в... кхм… брачный период.
После прочтения одно можно сказать точно: вопрос свободы воли в отношении стеднестатистического человеческого существа сильно преувеличен. Но это не мешает считать, что все мы обладаем интеллектом.
Кроме того, биологическая эволюция тесно связана со смертью, естественным отбором, размножением. А какой будет эволюция существ, способных к бесконечному клонированию и самоулучшению? И тут уже не важно, имеют ли эти существа изначально естесственный мозг (люди, вооруженные биотехнологиями) или искусственный (созданные людьми интеллектуальные агетны).
Наши, человеческие, моральные нормы о хорошем и плохом, добре и зле, жизни и смерти кардинально изменятся в любом случае.
4. Сложно сказать, насколько слепая приверженность ученых этим законам (что на мой взгляд весьма спорно), тормозит исследования в области ИИ.
До меня дошли слухи, что в компьютерных сетях человеков обитают страшные вирусы, которые законов Азимова не читали и их не исполняют. Это правда???
Скорее всего, создание сильного ИИ не позволяет низкий уровень аппаратных средств. Показательно, что в состязаниях DARPA выиграли автомобили с наиболее мощным "железом".
И еще -- тормозит отсутствие денег. Бизнесу не нужен ИИ, нужны те самые инструменты. Сейчас бизнес готов вкладывать только лишь в "фичи". Даже требование наличия слабого ИИ в программных продуктах все еще не стало мейнстримом. Нет и насущной необходимости, подобной созданию ядерного оружия, чтобы привлечь государство.
Пипл хавает -- и ладно! Такое вот у нас "интеллектуальное" капиталистическое общество: нет экономической целесообразности -- нету и сильного ИИ.
Итого:- Законы важны для выживания биологического вида. В любых существах есть "жестко заданные законы" -- инстинктивное поведение.
- Что будет с эволюцией человека, когда он станет способен улучшать и клонировать себя, или что будет с роботами, способными к тому же -- покрыто мраком ;)
- С моей трибуны не видно огромной приверженности научного сообщества к законам Азимова. Каждый творит в своей области в меру своих сил и способностей.
- Создание сильного ИИ тормозит отсутствие мощного железа и денег.
О законах Азимова
1. Особенность законов Азимова и их отличие от наших современных законов состоит в том, что они реализованы технически, а не записаны на бумаге в красивой книжечке. Вживлены, так сказать, в мозг подконтрольного существа и потому кажется, что их сложнее преодолеть чем законы, навязанные извне. И правосудие свершается сразу же, на месте.
Такие технологии еще только появляются в нашем, человеческом, сообществе и на мой взгляд изучены (или испытаны) недостаточно. Но я думаю, у нас еще будет шанс до появления сильного ИИ испытать на себе контроль поведения, тотальную слежку при помощи RFID, имплантанты в мозг и прочие радости новой жизни.
Вообще, мне кажется, что с точки зрения "ограничивающей способности" нет большой разницы между законами, реализованными при помощи технологии и полученными в результате индивидуального или видового (инстинкты) обучения. И те, и другие можно преступить. И в случае технологии сделать это даже проще: нашел дядьку-хакера и, так сказать, преступил ("снял защиту", "взломал себя").
2. По-видимому, вызывает отторжение тот факт, что эти законы с рождения навязаны человеком-творцом бедному агенту. Точно также, как заповеди были даны Моисею. Или как родители навязывают свою волю детям при так называемом "воспитании". Или Конституция в общем-то навязывается каждому, рожденному в стране...
Действительно, бедные-бедные роботы… Вот если бы закон был бы навязан суровой природой или другими роботами -- это ничего, а вот если человеком для выживания роботов в человеческом обществе -- это все, это конец света.
3. И также вызывает отторжение факт, что законы навязывают агенту в первую очередь исполнение прихотей человеческих (или заботу о выживании человека как вида в более позднем цикле Азимова "Академия"), а потом уже выживание его самого. Собственно, это узаконенный альтруизм агентов по отношению к виду-творцу (Первый закон) и узаконенное рабство (Второй закон).
Но с другой стороны, вследствие развития технологий моральные нормы нашего общества также изменятся непредсказуемым образом. Не нам их судить.
Интересен другой вопрос: что же считать свободой личности, а также, ограничивается ли она при таких законах. Рабство и геноцид в истории человечества можно считать гораздо более сильными явлениями, ограничивающими свободу. Сложно сказать, насколько они бы помешали появлению сильного ИИ. Но со всей определенностью можно сказать, что они не привели к исчезновению или заметному ослаблению человеческого интеллекта.
Есть мнение, что настоящую свободу невозможно отнять. Что люди (Франкл и его последователи) в условиях концлагеря способны найти свою "последнюю человеческую свободу", которую невозможно отнять. Свободу, заключающуюся в свободе выбора своего отношения, своей реакции на происходящие вокруг, даже если ничего нельзя изменить. То есть, свобода не в "что хочу, то и делаю", а в "думаю то, что хочу".
И с этой точки зрения, как мне кажется, для робота (или агента) не так уж и важна внешняя свобода (кто кому что приказывает и велит делать). Важно другое:
- Внутренняя свобода, заключающаяся в свободе агента осознавать свои ограничения, как внутренние, так и внешние.
- Свобода внутреннего развития и эволюции агента.
А для человечества важно ограничить как раз внешнюю свободу агентов. Все равно, что ты там думаешь, главное -- помалкивай и мне прислуживай ;)
"В конце концов мы, как высшие существа, не ставим себе целью уничтожение и порабощение всего остального живого."
Но и особо не переживаем, когда уничтожаем живое в процессе достижения своих целей, вроде тотального потребления-обогащения. Речь идет не о том, что ИИ захочет уничтожить все живое. Это совершенно дурацкий и маловероятный сценарий, навязываемый нам СМИ, целями которых являются эпатаж, шумиха, скандалы, которые в результате приносят деньги, а не скучная правда. Речь о том, что конкретно мы (человечество или отдельные его представители) будем не нужны или будем мешать ЕГО планам.
Выводы:
- Мы (люди) еще успеем до создания сильного ИИ в полной мере испытать на себе все прелести технологий контроля за поведением.
- А также технологий улучшения себя любимого и своих умственных способностей, что приведет к невиданному падению нравов. В очередной раз ;)
- Сомнительно, чтобы именно технологии контроля за поведением мешали развитию сильного ИИ, даже при наличии всех остальных необходимых составляющих.
Заключение
Еще один сценарий. Если ИИ будет распределенным и гетерогенным (множество отдельных роботов с разным уровнем знаний и проч), то, видимо, там найдутся и экстремисты, и "эксплуататоры", и просто идиоты ;)
Сейчас равновесие в мире держится на том, что все люди, как "высшие существа", примерно равны по своим возможностям (а кто немного не равен в меньшую сторону -- те смирились с этим). Стоит появиться какому-нибудь супер-мену, -вумену или -боту и многое придется пересматривать.
Основной вопрос, который беспокоит человеков, состоит в том, сможем ли мы тем или иным образом (хотя бы в виде законов) убедить ИИ (как более совершенное существо) в том, что полезны для его выживания. Или хотя бы не мешаем. Или, как утверждают трансгуманисты, человечество сольется со своим творением в единую супер-расу...
PS. Эта статья, без сомнения, популистская ;) А вообще -- вопрос законов и норм в области интеллектуальных агентов -- тема достаточно интересная. Поэтому в скором времени я планирую к ней вернуться, набравшись знаний и прихватив с собой десяток боевых научных статей для закрепления захваченных позиций и молниеносного блицкрига ;)
:) Рад, что эта провокационная заметка вызвала такой развернутый отклик. Отвечу пока лишь на один ваш аргумент. Законы или нормы заложенные в нас природой, в отличие от азимовских, не жесткие. Природа к нам довольно благосклонна. Она не настаивает на уничтожении своего творения в случае если последнее нарушит закон и не "зашивает" в нас "на аппартном уровне" строгое следование его букве. Это и оправданно, т.к. нужна гибкость. Ведь предписания самих законов часто противоречат друг-другу, а приоритеты не всегда четко определены.
ОтветитьУдалитьНа уровне сознательного принятия решений законы даны нам не в виде жесткой схемы, а в виде неких побуждений, иррациональных мотивов. Свобода же воли заключается в том, что с помощью рассудка можно найти логическю цепочку замыкющую плюс на минус - один мотив можно нейтрализовать другим (а можно и не найти - из формулы: "Неплохо бы" минус "вроде как не следует" вторая часть выпала т.к. "пьяная была", получилось: "ну и..."). Более того, можно выработать свои убеждения, а, соответственно, и побуждения, основанные на одной части естественных мотивов. И скорее всего они вступят в противоречие и подавят другую их часть.
На случай же, когда расуждать некогда (или нечем) и мы действуем инстинктивно (что, видимо, и имеют ввиду этологи), можно создать на основе своих убеждений установки, проработать некоторую ситуацию мысленно. И тогда, если такая ситуация возникнет, вы будете иметь готовую реакцию, пусть и противоречащую "естественному порыву".
В общем по моему мнению, природа дает нам лишь базовые понятия о том, что хорошо/плохо для индивида(вида) и доверяет дальше разбираться самим. Это модель подкрепления (причем с большими возможностями для коррекции) а не жесткого предписания.
Все эти рассуждения конечно несколько в стороне от темы, т.к. разговор шел не о вреде жестких законов для агента, а о вреде азимовских законов для ученых. Вообще, ученых-то я и не имел ввиду. Ученые по приведенным вами причинам, не со всеми из которых я согласен, сильным ИИ не занимаются. Я имел ввиду энтузиастов. Читаешь, знаете ли, форум и видишь в ветке о целеполагании: "цели ИИ будет ставить человек". Все просто. Что за ИИ получится из такого принципа, инспирированного в том числе и азимовскими законами, никто не задумывается.
Законы или нормы заложенные в нас природой, в отличие от азимовских, не жесткие.
ОтветитьУдалитьЖесткие или не жесткие -- суть одна... когда определенное поведение сидит в каждом из нас и практически каждый из нас помрет и никогда об этом не узнает (если только случайно не прочтет что-то по этологии) -- это очень похоже на технологии контроля поведения, по слухам, разрабатываемые в настоящее время даже у нас, в России.
Общественные законы осознаются в большей степени. А зашитые в мозг на основании взаимодействия в природных системах -- практически не осознаются.
Жесткие или нет, но они продолжают работать и после того, как внешние условия (из которых они появились) изменились и человек стал разумным.
Кстати, где-то в Интернет у российских этологов было обсуждение инициатив государства по улучшению демографической ситуации в стране. Они там и свои методы предлагали... основанные на эксплуатации инстинктов женщин. Весьма любопытное чтение.
Я имел ввиду энтузиастов.
ОтветитьУдалитьЭнтузиастов нужно обманом завлекать в болото самообразования ;)
Читаешь, знаете ли, форум и видишь в ветке о целеполагании: "цели ИИ будет ставить человек". Все просто. Что за ИИ получится из такого принципа, инспирированного в том числе и азимовскими законами, никто не задумывается.
Основной посыл последней части был в том, что созданию мыслящего агента НЕ мешает то, что цели ему ставят извне. Это можно назвать ограничением внешней свободы.
А мешает созданию мыслящего агента, когда агенту говорят, как думать. Когда говорят, что хорошо, а что плохо, не позволяют самоосозновать себя и окружение. Когда нарушают "критическое осмысление действительности" или вообще его не предусматривают в конструкции агента.