![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
darth_vasyaВ прошлом посте про эволюцию упоминалось выступление философа Дэвида Чалмерса на Singularity Summit. Я сейчас вкратце перескажу содержание лекции, а потом перейду к мыслям.
Чалмерс рассматривает различные способы создания сверхчеловеческого искусственного интеллекта и приходит к выводу, что единственный реальный путь его добиться - это "симулированная эволюция". Предлагается создать некую Матрицу, в которой тем или иным образом интеллектуальные алгоритмы подвергаются генетическому отбору. Не обязательно это должна быть прямо симуляция нашего мира, всех 15 миллиардов лет его истории и т.д., можно ограничиться и чем-то более простым. Вообще-то, как бы я ни ругал эволюцию, подход представляется довольно толковым. Почему это должно сработать:
- Достоверно известно, что эволюция может порождать интеллектуальные системы.
- Никаких принципиальных ограничений этому процессу в плане масштабов достижимого не видно.
- Можно начинать с малого: для остальных вариантов нужно, грубо говоря, силами человеческого интеллекта придумать интеллект, который сможет придумать интеллект, более интеллектуальный, чем то, что мог бы придумать человек (очень грубо говоря); для эволюции достаточно механизма изменчивости и механизма отбора.
Таким образом можно было бы преодолеть барьер, отделяющий нас от интеллекта, способного придумывать что-то интеллектуальнее нас. Дальше очень быстро наступает Intelligence explosion - самоускоряющееся развитие ИИ и та самая Сингулярность. Теперь ещё один важный момент - как бороться со сценарием "Терминатора":
Во-первых, конечно, никаких гарантий, что получившийся интеллект не будет каким-нибудь ужасно злонамеренным, нет, но зато мы всегда можем остановить эксперимент и повторять заново, пока не получится что-нибудь белое и пушистое. (При этом возникает вопрос этичности "выдёргивания вилки из розетки", но можно же и не совсем выключать, а просто очень-очень замедлить до тех пор, пока не сделается интеллект такой добрый и такой сверхсверх, что сможет переделать этот в добрый. Если, конечно, так поступать этично.)
Во-вторых, пользуясь терминологией "Матрицы", в симулируемом мире не должно быть "красных пилюль", то есть очевидных способов для ИИ перебраться из симуляции в нашу реальность. Это понятно, но толку мало: если мы даже пассивно наблюдаем за действиями ИИ в симуляции, он уже таким образом косвенно влияет на наш мир. Даже если оставить в стороне всякие хитрые схемы, на худой конец он просто может кого-нибудь убедить сделать "красную пилюлю", пообещав большие бонусы. Поэтому,
В-третьих, если уж информация может поступать из симуляции в наш мир, очень важно, чтобы никакая информация вообще не поступала из нашего мира в симуляцию. Тогда у ИИ просто не будет шансов узнать о нашем существовании, а если всё-таки догадается, будет некоторая фора прежде, чем он изобретёт какой-то способ проверить и добиться реакции на свои действия. Соответственно (см. во-первых), руку на регуляторе скорости симуляции таки нужно будет держать постоянно.
Вот вкратце содержательная часть лекции, ну а вот что лично мне подумалось:
1. Действительно, выглядит всё довольно разумно, и если это впрямь особенно хороший способ создавать искусственные интеллекты, то следуя цепочке рассуждений Ника Бострома (оригинал, перевод), приходим к тому, что мы опять-таки практически наверняка живём в Матрице. Более того, если вспомнить, что вместо точной эмуляции нашей физической реальности можно ограничиться чем-то более простым, то становится очевидно, что "там, снаружи" должен быть куда более сложный и интересный мир!
2. Совершенно необязательно таким методом создавать "универсальный интеллект" (тем более, что, как говорилось выше, с этой точки зрения плюшек от эволюционных алгоритмов может оказаться не так много). Можно вполне себе ограничиться паразитированием на "ущербных" симулируемых интеллектах, подсовывая им своё домашнее задание по математике как физические законы их вселенной. В связи с этим хотелось бы отметить интересные обстоятельства:
а) Много очень разных явлений описываются одними и теми же законами - надо сказать, тут народ давно подозревает что-то неладное.
б) Не будем забывать про рассуждения о "точной настройке" физических констант.
в) Как нам указывает Макс Тегмарк, на самом деле наша вселенная с математической точки зрения довольно проста. Фактически, она вообще почти не содержит информации. (Чуть построже: если мир действительно "квантовый", то количество алгоритмической информации в нём может быть *удручающе* мало.)
3. Творцу палиться совершенно ни к чему. Даже если мы живём в Матрице и у неё есть Архитектор, являться обитателям в виде горящих кустов и прочих изображений на жвачке ему ну совершенно не резон, он был бы полным дураком, если бы так делал.
4. Возвращаясь к "в-третьих" и к 1 (про сложный и интересный мир снаружи). Даже если не допускать вообще попадания информации в Матрицу, рано или поздно эволюционирующие в ней интеллекты могут просто сами до всего додуматься. Может, мы и живём в реальной реальности, а Бостром ошибается, но ничто не помешает в виртуальной возникнуть такому же виртуальному Бострому, который на сей раз окажется всё-таки прав, да ещё и сможет местное население в этом убедить. Если ты действительно поверил в то, что живёшь в симуляции, *единственной* осмысленной вещью далее становиться отыскание способов вылезти наружу. В замечательной книге Charles Stross - Accelerando, кстати, упоминается между делом "timing channel attack on the computational ultrastructure of space-time itself". Ну да атаки по времени - это, конечно, очень круто (всякие там руткиты да гипервизоры - начиная, например, вот отсюда можно по ссылкам до потрясающе интересных вещей дойти), но всё-таки несколько прямолинейно. Если выращивающие нас архитекторы действительно заняты отбором (см. "во-первых") высоконравственных интеллектов, это значит, что с наибольшей вероятностью мы либо ещё не достигли того уровня развития, когда, на их взгляд, уже пора говорить о нравственности, либо наши представления о нравственности более-менее совпадают с их. Как же, в таком случае, можно проверить и добиться реакции? Ну, тут вариантов много. Вероятно, самый действенный был бы - геноцид разумных существ (только нужно, чтобы при этом в живых оставалось достаточно много, иначе просто выдернут вилку из розетки). Посему итог, с точки зрения симулируемых интеллектов, можно подвести так:
Хочешь выбраться из проклятой коробки?
ВОРУЙ
@
УБИВАЙ
Чалмерс рассматривает различные способы создания сверхчеловеческого искусственного интеллекта и приходит к выводу, что единственный реальный путь его добиться - это "симулированная эволюция". Предлагается создать некую Матрицу, в которой тем или иным образом интеллектуальные алгоритмы подвергаются генетическому отбору. Не обязательно это должна быть прямо симуляция нашего мира, всех 15 миллиардов лет его истории и т.д., можно ограничиться и чем-то более простым. Вообще-то, как бы я ни ругал эволюцию, подход представляется довольно толковым. Почему это должно сработать:
- Достоверно известно, что эволюция может порождать интеллектуальные системы.
- Никаких принципиальных ограничений этому процессу в плане масштабов достижимого не видно.
- Можно начинать с малого: для остальных вариантов нужно, грубо говоря, силами человеческого интеллекта придумать интеллект, который сможет придумать интеллект, более интеллектуальный, чем то, что мог бы придумать человек (очень грубо говоря); для эволюции достаточно механизма изменчивости и механизма отбора.
Таким образом можно было бы преодолеть барьер, отделяющий нас от интеллекта, способного придумывать что-то интеллектуальнее нас. Дальше очень быстро наступает Intelligence explosion - самоускоряющееся развитие ИИ и та самая Сингулярность. Теперь ещё один важный момент - как бороться со сценарием "Терминатора":
Во-первых, конечно, никаких гарантий, что получившийся интеллект не будет каким-нибудь ужасно злонамеренным, нет, но зато мы всегда можем остановить эксперимент и повторять заново, пока не получится что-нибудь белое и пушистое. (При этом возникает вопрос этичности "выдёргивания вилки из розетки", но можно же и не совсем выключать, а просто очень-очень замедлить до тех пор, пока не сделается интеллект такой добрый и такой сверхсверх, что сможет переделать этот в добрый. Если, конечно, так поступать этично.)
Во-вторых, пользуясь терминологией "Матрицы", в симулируемом мире не должно быть "красных пилюль", то есть очевидных способов для ИИ перебраться из симуляции в нашу реальность. Это понятно, но толку мало: если мы даже пассивно наблюдаем за действиями ИИ в симуляции, он уже таким образом косвенно влияет на наш мир. Даже если оставить в стороне всякие хитрые схемы, на худой конец он просто может кого-нибудь убедить сделать "красную пилюлю", пообещав большие бонусы. Поэтому,
В-третьих, если уж информация может поступать из симуляции в наш мир, очень важно, чтобы никакая информация вообще не поступала из нашего мира в симуляцию. Тогда у ИИ просто не будет шансов узнать о нашем существовании, а если всё-таки догадается, будет некоторая фора прежде, чем он изобретёт какой-то способ проверить и добиться реакции на свои действия. Соответственно (см. во-первых), руку на регуляторе скорости симуляции таки нужно будет держать постоянно.
Вот вкратце содержательная часть лекции, ну а вот что лично мне подумалось:
1. Действительно, выглядит всё довольно разумно, и если это впрямь особенно хороший способ создавать искусственные интеллекты, то следуя цепочке рассуждений Ника Бострома (оригинал, перевод), приходим к тому, что мы опять-таки практически наверняка живём в Матрице. Более того, если вспомнить, что вместо точной эмуляции нашей физической реальности можно ограничиться чем-то более простым, то становится очевидно, что "там, снаружи" должен быть куда более сложный и интересный мир!
2. Совершенно необязательно таким методом создавать "универсальный интеллект" (тем более, что, как говорилось выше, с этой точки зрения плюшек от эволюционных алгоритмов может оказаться не так много). Можно вполне себе ограничиться паразитированием на "ущербных" симулируемых интеллектах, подсовывая им своё домашнее задание по математике как физические законы их вселенной. В связи с этим хотелось бы отметить интересные обстоятельства:
а) Много очень разных явлений описываются одними и теми же законами - надо сказать, тут народ давно подозревает что-то неладное.
б) Не будем забывать про рассуждения о "точной настройке" физических констант.
в) Как нам указывает Макс Тегмарк, на самом деле наша вселенная с математической точки зрения довольно проста. Фактически, она вообще почти не содержит информации. (Чуть построже: если мир действительно "квантовый", то количество алгоритмической информации в нём может быть *удручающе* мало.)
3. Творцу палиться совершенно ни к чему. Даже если мы живём в Матрице и у неё есть Архитектор, являться обитателям в виде горящих кустов и прочих изображений на жвачке ему ну совершенно не резон, он был бы полным дураком, если бы так делал.
4. Возвращаясь к "в-третьих" и к 1 (про сложный и интересный мир снаружи). Даже если не допускать вообще попадания информации в Матрицу, рано или поздно эволюционирующие в ней интеллекты могут просто сами до всего додуматься. Может, мы и живём в реальной реальности, а Бостром ошибается, но ничто не помешает в виртуальной возникнуть такому же виртуальному Бострому, который на сей раз окажется всё-таки прав, да ещё и сможет местное население в этом убедить. Если ты действительно поверил в то, что живёшь в симуляции, *единственной* осмысленной вещью далее становиться отыскание способов вылезти наружу. В замечательной книге Charles Stross - Accelerando, кстати, упоминается между делом "timing channel attack on the computational ultrastructure of space-time itself". Ну да атаки по времени - это, конечно, очень круто (всякие там руткиты да гипервизоры - начиная, например, вот отсюда можно по ссылкам до потрясающе интересных вещей дойти), но всё-таки несколько прямолинейно. Если выращивающие нас архитекторы действительно заняты отбором (см. "во-первых") высоконравственных интеллектов, это значит, что с наибольшей вероятностью мы либо ещё не достигли того уровня развития, когда, на их взгляд, уже пора говорить о нравственности, либо наши представления о нравственности более-менее совпадают с их. Как же, в таком случае, можно проверить и добиться реакции? Ну, тут вариантов много. Вероятно, самый действенный был бы - геноцид разумных существ (только нужно, чтобы при этом в живых оставалось достаточно много, иначе просто выдернут вилку из розетки). Посему итог, с точки зрения симулируемых интеллектов, можно подвести так:
Хочешь выбраться из проклятой коробки?
ВОРУЙ
@
УБИВАЙ
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2010-05-06 01:14 pm (UTC)но в голову лезет почему-то только виндж )
no subject
Date: 2010-05-06 03:45 pm (UTC)а что у винджа про симуляции?
no subject
Date: 2010-05-07 08:47 am (UTC)no subject
Date: 2010-05-09 08:55 am (UTC)no subject
Date: 2010-05-09 08:40 pm (UTC)Хоть относится не только к этой записи, решил написать сюда, а не в верхний пост, туда как-то слишком официально:)
no subject
Date: 2010-05-09 09:13 pm (UTC)Не понятно только, к чему именно надо стимулировать. В смысле, нет надежных критериев интеллекта. Ну, разве что, тесты Айзенка :)
no subject
Date: 2010-05-09 09:27 pm (UTC)no subject
Date: 2010-05-09 09:48 pm (UTC)Ага, это я очитался.
> Касательно критериев интеллекта - да, строгих "универсальных" по понятным причинам нет, но под конкретную специфику можно выбирать какие-то конкретные, специальные.
После прочтения книжки Пенроуза я перестал думать, что интеллект - это алгоритм. Так что не понятно, что именно надо подвергать эволюционному отбору.
no subject
Date: 2010-05-09 09:59 pm (UTC)Если не про микротрубочки, то мне потребуется краткое изложение ваших с Пенроузом возражений (чему бы вы ни возражали) ;)
По части "интеллект это алгоритм" мне наиболее симпатична метафора Марвина Мински о том, что (цитата по http://fregimus.livejournal.com/19136.html) понятие интеллекта (не только искусственного) подобно понятию «неисследованные области Африки» — оно исчезает по мере того, как мы его изучаем. Слишком много очень разных вещей объединяют под словом "интеллект". В этом смысле это не термин, а, действительно, некий ящик для накопления всего того, что мы ещё не понимаем, но оно нам интересно.
А вы не читали "Феномен науки" Турчина?
no subject
Date: 2010-05-09 11:55 pm (UTC)no subject
Date: 2010-05-10 05:32 am (UTC)Если совсем коротко, то "мы с Пенроузом" :) базируемся на теореме Геделя. Согласно ей существуют истинные утверждения, принципиально не выводимые алгоритмически. А интеллект такие утверждения может, тем не менее, порождать.
Турчина не читал. Рекомендуете?
no subject
Date: 2010-05-10 07:39 am (UTC)Опять же, Пенроуз математик, поэтому ему везде видятся теоремы :)
Турчина рекомендую *настоятельно*. http://refal.net/turchin/phenomenon/
no subject
Date: 2010-05-10 07:47 pm (UTC)Не понял... Ведь выключат того, кто будет заниматься геноцидом. В этом рассуждении все особи одной эволюционирующей системы - это один эволюционирующий интеллект или много?
no subject
Date: 2010-05-11 04:58 am (UTC)no subject
Date: 2010-05-11 08:53 am (UTC)Особи эволюционирующей системы в данном случае - много интеллектов. Если кто-то один будет заниматься геноцидом, то да, проще всего будет его нафиг удалить, а остальных замедлить. А если их там целая компания, и один героически жертвует собой, пытая и убивая разумных существ, пока остальные ждут сигнала извне в форме выключения того? В обшем, думаю, при достаточном желании можно было бы придумать варианты "устойчивого геноцида" :)
no subject
Date: 2010-05-11 08:54 am (UTC)no subject
Date: 2010-05-11 02:05 pm (UTC)Однако мне кажется, что если бы кто-то занимался эволющионным разведением интеллектов, то он рассматривал бы всю эволюционирующую систему как один интеллект и при этом завел бы много таких систем. В противном случае, как ты подметил, ему пришлось бы вмешиваться в эволюцию и "подчищать" особей, которые ему не нравятся. Такое искусственное вмешательство могло бы нарушить устойчивость системы или привести к другим нежелательным результатам.
no subject
Date: 2010-05-11 02:09 pm (UTC)no subject
Date: 2010-05-11 06:08 pm (UTC)А почему утверждение "существуют истинные утверждения, принципиально не выводимые алгоритмически" Вы считаете неправильным? Скажем, аксиомы любой формальной системы являются именно такими утверждениями: мы их не выводим, но полагаем истинными.
Посты по ссылке посмотрел, и оставил там комент, который продублирую здесь. Автор пишет:
> Можно ли построить алгоритм, делающий предположения? Конечно, можно — мы найдем множество таких алгоритмов в любой самообучающейся системе
Сомнительно. Все "предположения" алгоритмов - это выводимые утверждения. Пенроуз же настаивает на том (и я с ним согласен), что человеческое сознание, в отличие от алгоритма, способно генерировать невыводимые, но верные утверждения - идеи.
Конечно, принципиально и машина может такие утверждения выдавать, хотя бы тупо используя генератор случайных последовательностей. Но тут есть две проблемы. Во-первых, в любом мало-мальски сложном алфавите множество последовательностей чрезвычайно велико, а значит, вероятность за разумное время сгенерировать методом тыка что-нибудь полезное крайне мала. Во-вторых, если алгоритму даже и удастся случайно выдать идею, то как, скажите, он сможет определить, что эта идея верна? Ведь в его формальной системе никаких методов верификации новой идеи принципиально не существует. А вот человеческому сознанию верность идеи бывает "очевидна".
no subject
Date: 2010-05-12 10:58 pm (UTC)no subject
Date: 2010-05-12 11:03 pm (UTC)Ну не знаю. Я вот гляжу на человечество - и что-то язык не поворачивается назвать его интеллектом, это всё-таки нечто другое. С другой стороны, я вижу многое в человечестве, что вполне оправдало бы вмешательство и "подчищение" некоторых особей, но вот если бы из-за этих особей человечество "подчистили" *целиком*, я бы это не счёл очень этичным. Ну и, соответственно, если бы передо мной стоял выбор, кого "подчищать", я бы допустил, что там тоже не все согласятся :)
Устойчивость системы - фиг с ней, можем вмешаться ещё раз, если что. А вот другие нежелательные результаты - "выпускание сверхинтеллекта из коробки" - это да.
no subject
Date: 2010-05-12 11:08 pm (UTC)Что касается алгоритмов - машина Тьюринга плюс оператор уже не является алгоритмом. Или - машина Тьюринга плюс окружающий мир. (Это если мир не является алгоритмом, ну а если является - то человек тоже.)
Но что мы всё про алгоритмы да про алгоритмы... Пенроуз со своим молотком просто не понимает всю сложность мозга, из 10^12 совершенно алгоритмических клеток запросто может получаться поведение, которое на первый (и на второй, и на третий) взгляд с понятием "алгоритм" ну никак не увяжется. Ну и что? Проблема-то во взгляде, а не в клетках.
no subject
Date: 2010-05-14 10:48 am (UTC)no subject
Date: 2010-05-14 10:54 am (UTC)no subject
Date: 2010-06-02 10:44 pm (UTC)И тупые творцы с IQ 60? ;-)
Уже думал об этом.
Date: 2010-06-02 10:52 pm (UTC)--
*(Futurama, A Head In The Polls)
Fry: Professor, when did you become so obsessed with voting?
Professor Hubert Farnsworth: The very instant I became old.