Рациональность: От ИИ до Зомби [Элиезер Шломо Юдковски Less Wrong] (fb2) читать онлайн

«Я рассею все твои опасения, — ответил мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оги вытащил шляпу волшебника, украшенную полумесяцами и звездами.

Новичок взял шляпу, оглядел и возопил в отчаянии: «Да как она вообще может помочь!»

«Ты очень беспокоишься о взаимодействии одежды с теорией вероятности, — изрек Оги, — поэтому неудивительно, что для достижения понимания ты должен носить специальную шляпу».

Когда новичок завершил обучение, он взял себе имя Боузо1 и обсуждал рациональность не иначе как в клоунском наряде.

Эксперимент Аша о конформизме

Элиезер Юдковский

Соломон Аш, с помощью экспериментов, поставленных в 1950-е, а впоследствии хорошо воспроизводившихся, привлек внимание к явлению, которое сейчас известно как конформизм. В классическом эксперименте испытуемый видел загадку вроде той, что приведена на рисунке: «Какая из полос A, B, C той же длины, что и полоса X? Подумайте минутку, чтобы определиться с ответом».

Источник

Подвох был в том, что испытуемый проходил тест вместе с другими людьми, которые тоже смотрели на рисунок. Они играли роль других испытуемых, однако на деле были сообщниками экспериментатора. Эти «испытуемые» в эксперименте, один за одним, утверждали, что линия С той же длины, что и Х. Как много людей в такой ситуации согласились бы с этим очевидно неверным ответом, соглашаясь с мнением большинства? Каков по вашему мнению был их процент?

Три четверти испытуемых в эксперименте Аша дали «конформистский» ответ хотя бы раз. Треть испытуемых «подстраивалась» более чем в половине случаев.

Интервью после эксперимента показали, что хотя большинство участников заявили о своем неверии в данные ими конформистские ответы, несколько утверждали, что они на самом деле считали, что ответ большинства был верен.

Аша встревожили данные результаты:

«То, что обнаруженная нами склонность к конформизму в нашем обществе столь сильна … представляет собой определенную проблему. Перед нами встают вопросы о том, как мы получаем знания и какими ценностями руководствуемся при выборе действий.»

Вели ли себя испытуемые экспериментов Аша иррационально - нетривиальный вопрос. Теория Ауманна о согласии показывает, что честнейшие байесианцы не могут согласиться не соглашаться - если у них общие данные о их оценках вероятностей, их оценка будет одинаковой. Теорема Ауманна была доказана спустя больше чем двадцать лет после экспериментов Аша, однако она только формализует и укрепляет интуитивно понятную точку зрения - убеждения других людей часто являются легитимным свидетельством.

Если вы смотрите на рисунок, подобный приведенному выше, при этом зная тот факт, что другие люди в эксперименте были честны и смотрели на тот же рисунок, говоря, что С такого же размера, что и Х, каковы шансы, что только вы дали правильный ответ? Я не претендую на хорошее визуальное мышление - и не думаю таким образом, что я лучше среднего человека смогу определить, одинакового ли размера эти две линии. С точки зрения индивидуальной рациональности, я надеюсь, что заметил бы свое сильное замешательство и потом присвоил бы вероятность >50% мнению большинства.

С точки зрения групповой рациональности, мне кажется, что правильней всего для честного рационалиста было бы сказать, «Странно, но для меня одинаковыми выглядят В и Х. Но если мы все смотрим на один рисунок и отвечаем честно, у меня нет причины верить, что моя оценка лучше ваших.» Последняя часть важна - это намного менее выраженное заявление о несогласии, чем: «А, так перед нами оптическая иллюзия - я понимаю, почему вы считаете, что ответ С, но на самом деле ответ В.»

Так что нельзя автоматически признать испытуемых-конформистов в данных экспериментах иррациональными, основываясь только на тех данных, что я привел выше. Но, как можно ожидать, дьявол скрывается в подробностях экспериментальных результатов. Согласно мета-анализу сотен подобных опытов, который был сделан Смитом и Бондом (1996):

Конформность существенно возрастала, когда рядом с испытуемым добавляли трех сообщников экспериментатора, однако при дальнейшем увеличении их числа, до 10-15, не росла. Если бы люди использовали конформизм рационально, то мнение 15 испытуемых должно было бы быть существенно более сильным свидетельством, чем мнение трех.

Добавление человека, который не соглашается с мнением группы - который дает верный ответ или даже неверный, но отличающийся от выбора группы - резко снижает уровень конформизма, примерно на 5-10%. Если вы используете интуитивную версию согласия Ауманна, чтобы подумать о том, что когда один человек не соглашается с тремя, то правы скорее всего те трое, тогда в большинстве случаев вы должны бы приходить к тем же выводам, если 2 человека спорят с 6. (Это не автоматически верно, однако при прочих равных условиях - вполне.) С другой стороны, если вы относитесь к эмоционально неустойчивым людям, которым неприятно выделяться, то легко видеть, как даже единичный человек, который согласен с вами, или несогласен с группой, позволяет вам перестать так нервничать.

При этом, что неудивительно, испытуемые в случае, когда в группе помимо них был еще один несогласный с общим мнением, никак не связывали свой нонконформизм с присутствием этого человека. Подобно 90% водителей, которые считают, что водят выше среднего уровня - для некоторых из них это может быть истиной, но вряд ли верно для всех. Люди не знают о причинах своего конформизма или нонконформизма, что опровергает попытку защитить их, говоря, что это было проявлением рациональности. Например, в гипотезе, что люди социально-рационально выбирают лгать, чтобы не выделяться, было, что по крайней мере несколько человек в случае, когда в группе был один несогласный с общим мнением, сознательно не предвидели, что будет «осознанной стратегией», которой они будут следовать, когда встретятся с неанонимной оппозицией.

Когда нонконформист-одиночка вдруг начинает подстраиваться под группу, уровень конформизма испытуемых откатывается к столь же большой величине, как и в случае, когда не было никакого нонконформиста. Первым выступать против мнения группы весьма значимая (и трудная!) социальная деятельность, но ее нужно целенаправленно поддерживать.

Стабильным образом группы, состоящие полностью из женщин (женщина-испытуемая среди женщин — «подсадных уток»), в большей степени подвержены конформизму, чем целиком мужские группы. Подстраивалась более, чем в 50% случаев, примерно половина женщин, в то время как среди мужчин — треть. Если объявить, что средний человек делает выбор рационально, в то время как женщины, очевидно, более «конформисты», а мужчины более «бунтари», — то ни та, ни другая группа не рациональна по-настоящему.

Манипуляции с положением внутри-снаружи группы (то есть искусственное противопоставление подставных несогласных остальной группе) схожим образом показывает, что конформизм существенно выше среди людей, которые входят в группу.

Степень конформизма меньше в случае, когда используются более явные рисунки (например, тот, который приведен на этой странице), по сравнению с теми, где ошибка не столь заметна. Это трудно объяснить, если (все) испытуемые принимают социально рациональные решения с целью избегать того, чтобы выделяться.

Дополнение. Пол Кроули напомнил, что следует учесть падение уровня конформизма в случае, когда испытуемый может дать ответ так, чтобы группа его не слышала. Это также говорит против толкования в духе теоремы Ауманна.

Выражая беспокойство

Элиезер Юдковский

Ужасает в экспериментах Аша то, что людей легко заставить назвать черное белым, если поместить их в общество из людей, которые так говорят. Воодушевляет то, что даже при наличии одного-единственного несогласного с мнением толпы уровень конформизма существенно падает, причем для этого даже необязательно, чтобы этот несогласный говорил истину. И тоску наводит тот факт, что данный эффект является обратимым - если несогласный меняет свое мнение и начинает соглашаться с остальными, то уровень конформизма снова начинает расти.

Если вы являетесь нонконформистом для своей группы, то для нее это может быть реально полезно. Но это имеет свою цену. Вам надо будет продолжать этим заниматься, учитывая одновременно то, что вы можете и ошибаться.

Не так давно я получил занимательный опыт в виде обсуждения одного проекта с двумя людьми, у которых уже имелись заранее разработанные планы. По моему мнению, они были чересчур оптимистичны, и поэтому я внес ряд предложений, которые должны были увеличить запас прочности проекта. Вскоре к дискуссии присоединился четвертый участник, который принял сторону одного из тех двоих, и тоже начал вносить предложения. И где-то на этом этапе я осознал механизм работы сверхуверенности в группе - каждый раз, когда я начинал указывать на возможную проблему, четвертый участник тут же говорил что-нибудь ободряющее вроде «Не волнуйся, мы справимся с этим!»

Человек, работающий сам по себе, будет сомневаться просто по своей природе. В его голове постояно будут прокручиваться мысли вида «Точно ли я могу справиться с Х?», поскольку нет ничего предосудительного в том, чтобы сомневаться в собственных силах. Однако когда человек начинает работать в коллективе, поднимать такой вопрос касательно компетентности других людей становится невежливым. Вместе люди более оптимистичны, нежели поодиночке, они подавляют сомнения друг друга при помощи заверений, которые кажутся надежными, ведь человек редко осознает, что другие люди тоже подвержены внутренним сомнениям.

Это самая ужасная черта, которая была показана в экспериментах Аша - что любое беспокойство человека, согласного с группой, подавляется уверенными заявлениями прочих членов группы, которые обеспокоены тем, чтобы скрыть их собственное беспокойство и не понимают, что подобные опасения могут быть и у остальных. Данный феномен известен как «плюралистическое невежество».

Мы с Робином Хансоном долго спорили по поводу того, когда тот, кто претендует на звание рационалиста, должен осмеливаться не соглашаться с остальными. Моя позиция состояла в том, что у вас в любом случае нет никакого иного выбора, кроме как формировать свое мнение. Робин отстаивал более осторожную точку зрения, что вы - не просто другие люди - должны рассматривать возможность, что другие люди могут быть мудрее. В любом случае мы оба сходимся в том, что расширения теоремы Ауманна о согласии подразумевают чью-либо иррациональность в том случае, если наличествует общее знание о фактическом несогласии. В любом случае, каких бы позиций мы не придерживались, мы сходимся насчет скромности: что бы вам не говорили об индивидуализме, забудьте это и уделите внимание тому, что думают другие.

Итак. Смысл здесь в том, что рационалист должен рассматривать несогласие с группой как нечто весьма серьезное. Нельзя просто отмахнуться, сказав: «Каждый имеет право на свое мнение».

Я считаю, что наиболее важный урок, который можно извлечь из экспериментов Аша, заключается в необходимости отделять «выражение беспокойства» от «несогласия». Поднять тему, которую избегают все остальные, это не то же самое, что пообещать вообще не согласиться с группой в конце обсуждения.

Идеальный байесовский процесс, ведущий к принятию общего мнения, включает в себя обмен свидетельствами, которые непредсказуемы для слушателя. Результат соглашения Ауманна действителен только для общего знания, где вы знаете, я знаю, вы знаете, что я знаю и т.д. Статья Хансона «Мы не можем предвидеть несогласие» показывает картину того, как странно может выглядеть процесс конвергенции между идеальными рационалистами в оценке вероятности; это не похоже на то, словно два покупателя в магазине спорят по поводу цены.

К сожалению, в социуме не принято видеть разницу между «выражением недовольства» и «несогласием». Группа, состоящая из рационалистов, может понимать разницу, но по большей части люди не замечают нюансы этих выражений. Как только вы высказались, вы совершили необратимое социальное действие; вы становитесь гвоздем преткновения, возмутителем спокойствия группы, и вам не удаться отмотать все обратно. Все, кто расценил ваше беспокойство как обвинение в их некомпетентности касательно какой-либо задачи Х, вероятнее всего затаит на вас обиду, если в конце вы объявите о своем согласии с группой.

В эксперименте Аша мы видели как сила нонконформиста реально способна вдохновлять других. И этот же эксперимент показал, что сила конформизма не менее реальна. Если все в группе воздерживаются от высказывания личного мнения, то в конце концов воцаряется хаос. И в то же время не стоит забывать об уроках истории, которые показывают нам, какова цена за право быть одним из первых закричавших «А король-то голый!». Люди по своей природе не привыкли различать «выражение недовольства» и «несогласие даже с общеизвестным»; подобное разграничение является чертой рационалистов. Читая самые циничные книги о помощи себе (такие как «Государь» Макиавелли) вы могли встретить советы скрывать свой нонконформизм и соглашаться с группой, оставляя опасения при себе. И если вы все же решились первым указать на очевидный промах, не ждите, что группа будет благодарна вам за это.

В нонконформизме есть свои плюсы и минусы - как для «выражения беспокойства», так и для «несогласия» - и решение в любом случае только за вами.

Одинокий инакомыслящий

Элиезер Юдковский

Эксперимент Аша показал, что наличие одиночного инакомыслящего резко снижает частоту появления «конформистских» неправильных ответов. Проявлять индивидуализм легко, как показал эксперимент, если вас кто-то поддерживает. Все другие испытуемые в комнате, за исключением одного, говорят, что черное — это белое. Вы становитесь вторым, который говорит, что черное — это черное. И это кажется блистательным: двое, одинокие и непокорные повстанцы, против всего мира! (Дальнейшие интервью показали, что испытуемые, при наличии в группе инакомыслящего, испытывают по отношению к нему сильные товарищеские чувства — хотя, конечно, они не считают, что наличие инакомыслящего влияет на их собственный нонконформизм.)

Но вы в состоянии только присоединиться к протесту уже после того, как кто-нибудь окажется первым бунтарем, кто-нибудь, кто услышав, как все один за другим говорят, что черное — это белое, всё же скажет, что черное — это черное. И это, как показывает эксперимент, намного сложнее.

Бунтарь-одиночка не чувствует себя так, как будто идет в школу в черном рокерском балахоне и в берцах; скорее, он ощущает себя наряженным словно клоун.

В этом разница между тем, чтобы присоединиться к восстанию, и тем, чтобы покинуть стаю.

Если и есть что-то, чего я не могу выносить, так это притворство — вы могли заметить это, если читали какое-то время Overcoming bias. Ну, одинокий инакомыслящий является одной из наиболее распространенных, явно притворных характеристик. Каждый хочет быть ниспровергателем устоев.

Я не говорю, что акт присоединения к восстанию имеет меньшее значение. Есть восстания, стоящие того, чтобы к ним присоединиться. Требуется мужество, чтобы выдержать неодобрение группы, в которой вы состоите, или, что еще хуже, ее равнодушие. Нет нужды говорить, что поход на рок-концерт нельзя назвать восстанием. А вот, например, вегетарианство можно. Сам я не вегетарианец, но уважаю тех людей, которые это практикуют, поскольку я ожидаю, что требуется заметное количество тихого мужества, чтобы сказать людям, что гамбургеры не стоит есть. (Но только не в Bay Area, там это в порядке вещей.)

Однако, если вы скажете, что вы вегетарианец, люди будут думать, что понимают, почему, даже если это не так. Они могут не соглашаться. Они могут обидеться, если вы решите объявить это достаточно гордо, и даже, если на то пошло, они могут обидеться только потому, что их легко обидеть. Тем не менее, они будут знать, как к вам относиться.

Когда кто-нибудь ходит в школу в рокерском балахоне, учителя и прочие школьники понимают, какую роль в этом обществе он тем самым берет на себя. Эта роль именуется «Против Системы!» и является самым типичным способом протеста, который очевиден и понятен всем. Нет, правда, знаешь, я против Системы. Я не такой, как все, я бросаю вызов обывательскому мышлению, и люди возмущенно говорят «не знаю, зачем тебе…», но… на самом деле я не думаю каких-то вещей, до которых еще не додумался никто другой. Как кто-то сказал, «Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Что требует настоящего мужества — так это выдерживать открытое непонимание людей вокруг вас, когда вы делаете что-либо, что не вписывается в сценарий Обычного Восстания №37, что-либо, на что у них нет шаблона реагирования. Они не ненавидят вас за восстание, они просто думают, мол, странный чувак, и отворачиваются. Эта перспектива пугает куда сильнее. В этом различие между объяснением вегетарианства и объяснением крионики. В мире есть и другие сторонники крионики, но рядом с вами их нет. Вы должны объяснить суть этого в одиночку тем людям, которые считают, что это просто странно. Это не является запрещенным, но находится за границами стандартного мышления. Вы хотите чтобы после смерти вашу голову заморозили? Вы думаете, что это поможет вам избежать смерти? Что вы имеет в виду под информацией в мозгу? Э, что? Вы, что, псих?

Я испытываю желание найти объяснение постфактум в эволюционной психологии: вы можете собраться вместе с маленькой группой друзей и уйти из вашего племени, однако остаться в лесу одному — смерти подобно, по меньшей мере потомства вы точно не оставите. Мы не осознаем этого явно, но это не природа эволюционной психологии. Присоединяться к революции, о которой всем известно, страшно, однако куда страшнее делать что-то абсолютно иное. Что-то, что в древние времена могло не просто привести к расхождению во мнениях с группой, но к тому, что вы останетесь одиночкой.

Как в случае со свидетельствами о крионике, страх мыслить по-настоящему другим образом сильнее страха смерти. Охотники и собиратели были готовы встретиться лицом к лицу со смертью — это было частью их повседневной жизни, при охоте на больших млекопитающих или просто перемещении в мире, полном хищников. Им нужно было мужество, чтобы жить. Мужество отрицать стандартные способы мышления племени, вводить мысли, которые кажутся по-настоящему странными — ну, что возможно не особо хорошо служило их носителям. Мы не осмысливаем это явно; эволюционная психология работает не так. Мы, люди, устроены таким образом, что большинство из нас скорее пойдет прыгать с парашютом, нежели подписываться на крионику.

И это не высшая степень мужества. В мире не один крионист. Но только Роберт Эттингер сказал это первым.

Чтобы сделать революцию в науке, вы должны быть первым человеком, который возразит тому, что думают все. Это не единственный путь к величию в науке; это редкость даже среди великих. Никто не может совершить революцию в науке только попытками имитировать революционность. Вы можете попасть туда, только гоняясь за верным ответом в любой области, и не имеет значения, будет ли он революционен или нет. Но если, в свое время, если поглотив всю мощь и мудрость уже накопленных знаний, если, после всего этого и толики удачи, вы обнаруживаете, что погоня за точным ответом ведет на новую территорию… вот тут и появляется возможность проверить ваше мужество.

Настоящее мужество одинокого инакомыслящего, которое пытается изобразить каждая рок-группа.

Конечно не все, для чего требуется мужество, является хорошей идеей. Мужество нужно и для того, чтобы прыгнуть со скалы, но скорее всего при этом вы просто расшибетесь в лепешку.

Страх одинокого инакомыслящего препятствует хорошим идеям, однако не каждая идея, которая противопоставляет человека остальным, является хорошей. Смотрите также «Robin Hanson’s Against Free Thinkers». Наибольшая трудность в том, чтобы обладать новой истинной научной мыслью в «истинной» части.

На самом деле не обязательно отличаться от остальных только чтобы сделать вид отличающегося. Если вы делаете вещи по-другому только когда вы видите необыкновенно хорошую причину, у вас все равно будет более чем достаточно проблем, чтобы заполнить весь остаток вашей жизни.

Вокруг есть несколько настоящих сборников бунтарей. Церковь НедоМудреца, например, похоже, действительно направлена на приведение людей в замешательство, а не просто на то, чтобы обидеть их. И есть островки подлинной терпимости в мире, такие как конвенты научной фантастики. Есть некоторые люди, которые не боятся выходить из группы. Таких людей существует куда меньше, чем представляется, но они есть. Но все же научные революционеры встречаются редко. Вдумайтесь в это.

Теперь я, знаете ли, на самом деле бунтарь. Все думают, что они бунтари, но для меня это истина, видите ли. Я бы всегда носил клоунский костюм в школе. Мои разговоры были серьезными только с книгами, но не с другими людьми.

Но если вы думаете, что вы бы всегда носили этот клоунский костюм, тогда не гордитесь этим слишком сильно! Это всего лишь значит, что вам нужно прилагать усилия в противоположном направлении, чтобы избегать проявлять инакомыслие исключительно по привычке. Это то, что я должен делать, чтобы исправлять свою собственную природу. Другие люди имеют причины мыслить так, как они это делают, и игнорировать это — столь же плохо, как и бояться возражать им. Вы не хотели бы закончить как свободный мыслитель. Это не добродетель, как можно видеть — это лишь другое когнитивное искажение.

Культовая контркультовость

Элиезер Юдковский

В современном мире присоединиться к культу — возможно одна из наиболее плохих вещей, которые могут с вами произойти. В лучшем случае вы окажетесь в группе хороших, но запутавшихся людей, которые просто ошибаются, но не имеют против вас ничего плохого в принципе. Тогда вы всего лишь потратите много времени и денег, ничего не получив взамен. На самом деле, это описание подходит любому провалившемуся стартапу в Силиконовой долине. Что подразумевает под собой чертовски тяжелый опыт, если подумать. Так что да, это все же достаточно страшно.

Но настоящие культы намного хуже. Демонстративное проявление внимания и заботы к человеку, находящемуся в личном кризисе, как техника вербовки. Депривация сна. Стимулируемая апатия от тяжелой работы. Удаленные коммуны для изоляции новообращенного от друзей и семьи. Ежедневные собрания для исповеди в нечистых мыслях. Не является необычным для культов и забирать все деньги новообращенного — все сбережения плюс зарплата — заставляя его зависеть от культа даже в отношении еды и одежды. Голодание как наказание за неподчинение. Серьезный ущерб здоровью и промывка мозгов.

Принимая все это во внимание, наверное, я должен больше симпатизировать тем людям, которые ужасно нервничают, начиная делать что-то, что странно выглядит, по поводу того, не попали ли они в культ. Это не должно действовать мне на нервы. Хотя действует.

Момент первый: «культы» и «не-культы» это не отдельные естественные виды как собаки и кошки. Если вы посмотрите на любой список характеристик культа, вы увидите черты, которые легко обнаруживаются в политических партиях и корпорациях — «члены группы призывают не доверять внешней критике как имеющей скрытые мотивы», «иерархическая структура власти». Я постил групповые режимы неудач, типа раскола группы, смертельных спиралей счастья, некритичности и охлаждения испарением, каждый из которых усиливает другие. Когда все эти недостатки растут и встречаются друг с другом, они все вместе комбинируются в супер-Недостаток, глупее, чем каждая из составляющих его частей, типа Вольтрона. Но это не сущность культа; это его аттрактор.

Собаки рождаются со своей ДНК, а кошки со своей. В нашем мире нет существ, которые имели бы среднюю между ними ДНК. (Даже с учетом генетических манипуляций, далеко не просто создать существо с половиной собачьих генов и половиной кошачьих.) И невероятно, что кошачьи гены внезапно мутируют наполовину и дадут кошке половину собачьих характеристик, превратив ее в гибрида.

Человеческое сознание, когда думает о категориях, похоже, предпочитает сущности аттракторам. Оно хочет сказать «это культ» или «это не культ», и тем самым завершить задачу классификации. Если вы наблюдаете, что у Сократа десять пальцев, он носит одежду и говорит по-гречески, тогда вы можете сказать «Сократ — человек» и из этого вывести «Сократ уязвим к болиголову» без проведения тестов крови, чтобы подтвердить его смертность. Вы выводите человечность Сократа раз и навсегда.

Но если вы наблюдаете определенную группу людей, которая похоже проявляет внутригрупповое-внешнегрупповое разделение и видите эффект положительного ореола вокруг их Лучшей Штуки В Мире — которой может быть объективизм, вегетарианство или нейронные сети — вы не можете из свидетельств на данный момент вывести, достигли ли они уже некритичности. Вы не можете вывести, истинна ли их идея или ложна, или действительно полезна, но совсем не в той степени, как они думают. Из информации, собранной к текущему моменту, вы не можете вывести всегда ли они так вежливы, или они заманивают вас, чтобы изолировать от остальных и лишить вас сна и еды. Характеристики культа присутствуют не все и отсутствуют не все.

Если посмотреть поверх аргументов типа «Х это культ», «Х это не культ», то можно видеть, что одна сторона смотрит на список характеристик культа, находит те, что совпадают и говорит «Поэтому это культ!», а противная сторона находит список не совпадающих характеристик и возражает «Поэтому это не культ!».

Вы не можете сформировать точную картину динамики группового мышления используя данный вид эссенциализма. Вам нужно уделить внимание каждой характеристике отдельно.

При этом обратное глупости не есть ум. Если вы заинтересованы в центральной идее, а не в группе, которая ее реализует, то умные идеи могут иметь глупых последователей. Множество последователей Нью Эйдж болтали о «квантовой физике», однако это никак не свидетельствует против самой квантовой физики. Разумеется, глупые идеи тоже могут иметь глупых последователей. Из бинарного эссенциализма следует мысль, что если вы определяете, что группа является «культом», то их убеждения должны быть ложными, поскольку ложные убеждения являются характеристикой культа, равно как мех является одной из характеристик кошки. Если же вы интересуетесь идеей, то смотрите на нее, а не на людей. Культовость — это в большей степени характеристика групп, а не гипотез.

Вторая ошибка — это когда люди нервно спрашивают «Это же не культ, да?». Для меня это звучит так, словно они ищут уверений от рациональности. Понятие рационалиста не привязано к их виденью самого себя настолько, насколько этого заслуживает. Но даже не вдаваясь в детали, конечно любой может видеть, что нервный поиск уверений не лучший шаблон, в котором сознание может оценивать вопросы рациональности. При этом ваше любопытство не является искренним и вы не ищете способы проверить свои сомнения. Вместо этого вы приметесь искать некий внешний источник, который скажет вам, что культы используют депривацию сна для управления людьми, отметите, что Ваша-Любимая-Группа так не делает и сделаете вывод «Это не культ! Ура!». Если нет шерсти, то это не должна быть кошка. Весьма ободряюще.

Но любая деятельность стремится стать культом, и не имеет значения, осмысленна ли она сама по себе или глупа. Дихотомия «свои-чужие»

— часть человеческой природы, а не бич отдельных мутантов. Рациональность это исключение, а не правило. Вы должны прилагать постоянные усилия, чтобы поддерживать рациональность и не давать себе естественно съехать в энтропию. Если вы решили «Это не культ» и вздохнули с облегчением, тогда вы больше не будете прилагать усилий для противостояния обычным тенденциям съезжания в культ. Вы решите, что сущности культа тут нет и прекратите сопротивляться энтропии аттрактора культа.

Если вы ужасно тревожитесь о принадлежности к культу, тогда вы захотите убрать любое упоминание о любой характеристике, которая сигнализирует о культе. Но любая группа, которая видит цель в позитивном свете, рискует поддаться эффекту ореола и должна прилагать усилия, чтобы избежать смертельной спирали. Это истинно даже для обычных институтов, таких как политические партии — люди, которые думают, что либеральные или консервативные ценности могут вылечить рак и т.д. Это истинно для стартапов Силиконовой долины, как провальных, так и успешных. Истинно для пользователей Маков и пользователей Линукс. Эффект ореола не становится хорошим только потому, что все вокруг делают так же; если все пойду прыгать в пропасть, вы не пойдете. С ошибками в мышлении нужно сражаться, а не примиряться. Но если вы слишком тревожитесь о «Вы уверены, что это не культ?», тогда вы будете отказываться видеть любой знак культовости, поскольку это будет подразумевать, что вы в культе, и — это не культ!!! Так что вы не увидите настоящее поле боя, где обычные тенденции к культу либо наступают, либо отбрасываются.

Третья ошибка того, чтобы тревожно спрашивать «Это же не культ, да?» это то, что, я подозреваю, тревожность при этом присутствует там по неправильным причинам.

Почему группы, которые возносят свои Счастливые Штуки до небес, вдохновляют своих членов пожертвовать им деньги и добровольно работать на них без оплаты, формируют частные общины, в которых члены группы тесно связаны друг с другом, зовутся «религиями», а не «культами», если единственное отличие их в том, что они существуют больше нескольких сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике «Это же не культ, да?» не настолько тревожатся, когда уделяют внимание предвыборной гонке, принимая сторону демократов или республиканцев? Дихотомии «свой-чужой» и спирали счастья могут образовываться в политических дебатах, в основных религиях, в спортивных сообществах. Если бы тревожность происходила из страха сделать ошибку в рациональности, люди бы спрашивали «Это не дихотомия «свой-чужой»?» о политической гонке точно с тем же уровнем страха.

Есть легитимная причина бояться либертарианства меньше, чем культа летающего макаронного монстра, поскольку у либертарианства нет репутации использования депривации сна для обращения людей в свою веру. Однако у крионики тоже. Так почему же люди больше волнуются о том, что голова человека будет заморожена после остановки дыхания?

Подозреваю, что данная тревожность — это не страх веры в ложь и не страх физических увечий. Это страх оказаться одиноким инакомыслящим. Тревожность, в которую впадал испытуемые в экспериментах Аша, когда другие подопытные (на самом деле — сообщники экспериментатора) один за одним говорили, что линия С одинакова с Х, хотя испытуемый видел, что одинаковы В и Х. Страх отстать от группы.

Вот почему группы, убеждения которых существуют так долго, что стали казаться «нормальными», не провоцируют такой тревоги, как «культы», хотя при этом те же основные религии вполне могут забрать все ваши деньги и отослать вас в монастырь. Вот почему группы наподобие политических партий, которые очевидно ложны в рациональности, не провоцируют такой тревожности как «культы». Слово «культ» не используется для обозначения ошибок в рациональности; оно используется как ярлык для всего, что кажется странным.

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «Это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает, что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они — необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность — это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму, без сомнения, помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жизнь с сомнением не является добродетелью — назначение любого сомнения — это уничтожить само себя, либо подтвердившись, либо опровергнувшись, и сомнение — это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жизнь с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между тем, чтобы жить загнанным и тем, чтобы жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингулярности только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингулярность, очевидно, не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). Только потому, что что-то не является культом сейчас, не значит, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои фишки Го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов об ошибках культов в мышлении.

Люди, говорящие о «рациональности» также имеют повышенный фактор риска. Давать людям советы как думать — это по определению опасное занятие. Но это фактор риска, а не порок.

Оба моих любимых занятия имеют риск стать культом. Но почему-то я слышу вопросы вида «А вы уверены, что это не культ?» куда чаще, когда говорю о сильном ИИ, нежели когда говорю о теории вероятности и когнитивных науках. Я не знаю, выше ли один фактор риска другого, но знаю, что из этих двух занятий звучит страннее…

Проблема шесть с вопросом «Это же не культ, да?»…

Просто сам вопрос по себе ставит меня в весьма раздражающую безвыходную ситуацию. Настоящий Злой Гуру, конечно, использовал бы тревожность человека против него самого и придумал бы удобный и подробный аргумент, который объяснил бы Почему Это Не Культ, который человек хотел бы принять. Иногда у меня складывается такое впечатление, что это то, чего люди от меня хотят! Что бы я ни пытался писать о культовости и как ее избежать, я не могу избавиться от ощущения, словно я поддаюсь этому порочному желанию — что в конце концов я все же даю людям уверение. Даже когда говорю людям, что нужно постоянно бороться с энтропией.

Такое ощущение, что я — первый инакомыслящий в эксперименте Аша, который говорит остальным: «Да, линия Х на самом деле такая же как линия В, и нормально говорить, что это так». У них не должно быть необходимости спрашивать! Или, что даже хуже, ощущение такое, что я привожу подробный аргумент Почему Это Не Культ. Это неправильный вопрос.

Просто посмотрите на процессы мышления той группы сами и решите для себя, то ли это, частью чего вы хотите быть, как только отставите в сторону страх странного. Только вы ответственны за остановку себя от мышления в стиле культа, и не имеет значения, с какой группой вы на самом деле работаете.

Когда кто-либо спрашивает «Это же не культ, да?», то, вне зависимости от моего ответа, я всегда ощущаю себя так, словно защищаю что-то. Мне не нравится это чувство. Это не работа мастера-байесианца — уверять и успокаивать, и не работа рационалиста — защищаться.

Культы паразитируют на групповой тревожной потребности в уверениях. Вы не можете заставить тревожность уйти только пожелав этого, а ложная самоуверенность при этом будет только хуже. Если кто-либо ищет уверений — пусть даже уверений в том, чтобы быть рационалистом — это значит, что в его броне есть брешь. Умелый мечник концентрируется на цели, а не на том, чтобы оглядываться вокруг — не смеется ли кто над ним. Когда вы знаете, что вы пытаетесь сделать и зачем, вы будете знать, получается ли это у вас или нет, и помогает ли вам в этом ваша группа, или только мешает.

(Постскриптум: если кто-то придет к вам и спросит «Вы уверены, что это не культ?», не пытайтесь объяснить все вышеприведенное за один заход. Вы при этом недооцените понятийные расстояния. Человек скажет «Ага, так вы признаете, что это культ?» или «Стоп, ты говоришь, что я не должен обращать внимания на то, культ ли это?» или «Так… страх культа является признаком культа? Это звучит так, словно ты в культе». Так что последний раздражающий фактор — седьмой, если вы продолжаете считать — это то, что все это приходится очень долго объяснять.)

Умение отпускать

Важно уметь сказать «Упс»

Элиезер Юдковский

Я только что дочитал книгу о крахе компании Enron — «Самые умные парни в этой комнате». (Также я объявляю её победителем в номинации «Самое неподходящее название для книги».)

В медленном разложении и внезапном коллапсе компании Enron присутствовала достаточно типичная деталь — главные игроки никогда не признавались себе в том, что совершили большую ошибку. Когда катастрофа #247 разрасталась настолько, что для ее исправления требовалось изменение политики всей компании, они говорили: «Жаль, что это не сработало. Идея была такой хорошей. Как замаскировать эту проблему при составлении финансового отчета?» Вместо того, чтобы сказать: «Теперь кажется очевидным, что с самого начала эта затея была ошибкой». Или: «Я действовал очень глупо». Переломный момент — момент смиренного осознания, что существует действительно фундаментальная проблема — так и не наступил. После банкротства компании Джефф Скиллинг, ее бывший исполнительный директор и на короткое время генеральный директор, отказался следовать совету своих адвокатов и сослаться на Пятую Поправку — давая показания Конгрессу, он заявил, что Enron была великой компанией.

Не каждое изменение — это улучшение, но каждое улучшение — это обязательно изменение. Если мы признаём лишь небольшие локальные ошибки, мы сможем лишь немного изменить своё поведение. На крупные изменения мотивирует признание крупных ошибок.

В детстве я рос на научной фантастике и на чисто научной литературе, и от Хайнлайна до Фейнмана яучился путям Традиционной Рациональности. «Теории должны быть смелыми и фальсифицируемыми». «Получив контр-свидетельство, ты должен быть готовым принести героическую жертву и отказаться от собственных идей». «Приводи точные аргументы». «Старайся никогда себя не обманывать». И тому подобные размытые утверждения.

Воспитание в духе Традиционной Рациональности приводит к появлению спорщиков, которые рано или поздно сдаются, получив контр-свидетельства — какой-то горы свидетельств становится достаточно, чтобы изменить своё мнение на противоположное. Это важный шаг, и именно он отличает науку от религии. Но Традиционная Рациональность придаёт гораздо меньше значения скорости — умению сдаться как можно быстрее, умению встраивать свидетельства в свою картину мира настолько эффективно, что потребуется лишь минимум контр-свидетельств, чтобы разрушить особо ценное убеждение.

Я был воспитан в духе Традиционной Рациональности и полагал, что вполне могу считать себя рационалистом. Я перешел на Искусство Байеса (Лапласа/Джейнса/Тверски/Канемана) после того, как… впрочем, это долгая история. В общем, я принял такое решение, когда понял, что размытых советов, даваемых Традиционной Рациональностью, было недостаточно для того, чтобы уберечь меня от крупной ошибки.

Когда я наконец полностью признал свою ошибку, я оглянулся, чтобы посмотреть на тот путь, который привел меня к этому Ужасному Пониманию. И я увидел, что делал множество маленьких, еле заметных уступок, каждый раз неохотно отдавая очередную крошечную часть территории, пытаясь сделать как можно меньше выводов из каждой небольшой ошибки, признавая свою неправоту ровно настолько, чтобы она оставалась в пределах допустимого. И я осознал, что мог бы двигаться вперед гораздо быстрее, если бы просто воскликнул: «УПС!»

В этот миг я понял: «Мне нужно повысить уровень моей игры».

Признание крупной ошибки даёт огромное преимущество. Это больно. Однако это может изменить всю твою жизнь.

Важно находить свой переломный момент. Момент смиренного осознания, что существует действительно фундаментальная проблема, а не какое-то количество мелких ошибок, с которыми вы легко расправитесь.

Не стоит принимать красивую позу и гордиться тем, что ты умеешь признавать свои ошибки. Гораздо лучше делать всё правильно с первого раза. Но если ты допустил ошибку, лучше увидеть ее сразу. Даже с точки зрения физических ощущений боль от одной потери лучше, чем небольшие, но многочисленные мучения. Альтернатива — это вести войну с самим собой на протяжении многих лет. Альтернатива — это Enron.

С тех пор я неоднократно видел, как другие люди совершали серии своих маленьких уступок, каждый раз неохотно отдавая очередную крошечную часть территории. Замечая небольшие локальные ошибки, они никогда не признавались себе в крупных и каждый раз делали из них как можно меньше выводов. Вместо того, чтобы починить всё одним волевым усилием, они накладывали множество мелких заплаток, без которых обойтись было уже нельзя. Признаваясь в совершённой ошибке они никогда не говорили: «Я был дураком». Они прикладывали все усилия, чтобы уменьшить своё смущение. Они говорили: «В целом, я был прав», или «Это вполне могло сработать», или «Я по-прежнему уверен в том, что то-к-чему-я-так-привязан может принести нам пользу». Защищая свое чувство гордости, они делали все, чтобы эта ошибка повторилась еще раз, и гордость приходилось защищать снова.

Лучше проглотить горькую пилюлю одним кошмарным глотком.

Предложение спятить

Элиезер Юдковский

Когда я был очень молод — думаю, мне было тогда лет тринадцать, возможно, четырнадцать, — я думал, что нашел опровержение диагонального аргумента Кантора — известной теоремы, утверждающей, что действительных чисел больше, чем рациональных. О, какие мечты о славе и почёте роились в моей голове!

Моя идея заключалась в том, что, раз каждое целое число можно разложить на степени двойки, то можно отобразить целые числа на множество подмножеств целых чисел просто записывая числа в двоичной системе. Например, 13, оно же 1101, будет соответствовать подмножеству {0, 2, 3}. Прошла целая неделя, прежде чем мне пришло в голову, что, наверное, мне стоит применить диагональный аргумент Кантора к моей умной конструкции, и, конечно, нашелся контрпример — двоичное число… 1111, не соответствующее никакому конечному целому числу.

Я нашел этот контрпример и понял, что моя попытка опровержения была неверной, и мои мечты о почёте и славе рухнули.

Сначала я был несколько разочарован.

Я подумал: «Рано или поздно я доберусь до этой теоремы! Пусть моя первая попытка не удалась, но когда-нибудь я опровергну диагональный аргумент Кантора!» Я возмущался этой теоремой, ведь она упрямо оставалась верной, лишая меня славы и почёта. Поэтому я принялся искать другие опровержения.

А потом я кое-что осознал. Я осознал, что я ошибся, и понял, что теперь, когда я понимаю свою ошибку, оснований подозревать ложность диагонального аргумента Кантора у меня не больше, чем оснований подозревать ложность любой другой из основных теорем математики.

И ещё я очень хорошо понял, что передо мной была возможность стать фриком от математики и всю оставшуюся жизнь писать профессорам-математикам сердитые письма зелеными чернилами (когда-то я прочитал книгу о математических фриках).

Я не хотел для себя такого будущего, так что я немного посмеялся и оставил эти поиски. Я попрощался с диагональным аргументом Кантора, и перестал сомневаться в нём.

И сейчас я не помню, подумал ли я об этом тогда, или мне пришло это в голову позже… что ведь это ужасно несправедливое испытание для ребенка тринадцати лет. Получается, я должен был оказаться достаточно рациональным уже в этом возрасте или потерпеть неудачу навсегда.

Чем вы умнее, тем в более раннем возрасте вас впервые посетит идея, которая покажется вам действительно революционной. Мне повезло, что я понял свою ошибку сам, что мне не понадобился другой математик, который бы указал на неё, возможно, привив мне вместе с тем чувство вины. Мне повезло, что опровержение оказалось достаточно простым для меня. Наверное, я бы оправился и в противном случае. Потом, уже во взрослом возрасте, я оправлялся и от гораздо худшего. Но если бы я пошёл по неправильной дороге так рано, смог ли бы я потом выработать этот навык?

Интересно, скольким из тех людей, которые пишут сердитые письма зелеными чернилами, было тринадцать, когда они совершили эту первую и фатальную ошибку. Интересно, сколько из них во время этой первой ошибки подавали большие надежды.

Я допустил ошибку. Это всё. Я не был на самом деле прав в глубине души. Я не одержал моральную победу. Я не проявил амбициозности, скептицизма или какой-то ещё чудесной добродетели. Это не было разумной ошибкой. Я не был наполовину прав, не был хоть сколько-нибудь прав. Мне пришла в голову мысль, которая бы не появилась у меня, если бы я был мудрее – вот и всё, что можно об этом сказать.

Если бы я оказался неспособен признаться в этом сам себе, если бы я интерпретировал свою ошибку как проявление добродетели, если бы ради гордости я продолжал настаивать на том, что остаюсь хоть немного правым, тогда я бы не освободился. Я бы продолжил искать ошибку в диагональном аргументе. И, рано или поздно, я мог бы её найти.

Пока вы не признаёте, что были неправы, вы не можете жить своей жизнью. На вашу самооценку будет влиять старая ошибка.

Всякий раз, когда у вас возникает желание держаться мысли, которая бы никогда не пришла вам в голову, если бы были мудрее, перед вами открывается возможность стать фриком — даже если вы никогда не начнёте писать сердитые письма зелеными чернилами. Если никто не озаботится спором с вами или если вы никогда не станете никому излагать свою идею, вы все равно можете оказаться фриком. Фрика определяет неумение отказаться от идеи.

Это не правда. И не содержит правды глубоко внутри. Это не полуправда и даже не подобие правды. Это всего лишь мысль, которую вам не стоило думать. Не у каждой реки есть золотое дно. Люди совершают ошибки, и не все их ошибки являются скрытыми достижениями. Люди совершают ошибки. Так случается. Скажите «упс» и живите дальше.

Хватит уже надеяться

Элиезер Юдковский

Кейси Серин, 24-летний веб-программист, не имеющий опыта в сфере недвижимости, должен банкам 2,2 миллионов долларов. Он подал заявления на ипотеку, чтобы купить одновременно 8 различных домов в разных штатах. Часть денег он потратил на проживание и на семинары по обучению вложения денег в недвижимость (он брал ипотеку на большую сумму, чем стоили его дома). Похоже, он ожидал роста рынка.

Но это ещё не самая грустная часть истории. Самая грустная часть заключается в том, что он до сих пор не сдался. Кейси Серин не принимает поражения. Он отказывается объявить о банкротстве или устроиться на работу, он всё ещё думает, что может преуспеть в сфере недвижимости. Он продолжал тратить деньги на семинары. Он попытался получить ипотеку на 9-й дом. Он не ошибался, он просто набирался опыта.

Вот что происходит, когда мы отказываемся терять надежду.

Это поведение может показаться очень глупым, но эта ситуация заставляет меня вспомнить двух экономистов, получивших Нобелевскую премию…

… а именно Роберта Мертона и Майрона Шоулза из инвестиционного фонда Long-Term Capital Management.

Первые три года фонд LTCM загребал огромные прибыли. А в 1998 ошибки, которые использовал фонд, начали исчезать. Другие люди научились делать то же самое, и стратегия фонда перестала работать.

Фонд LTCM отказался терять надежду. Привыкнув к 40% дивидендам каждый год, они брали больше и больше кредитов для совершения сделок, а прибыль получали всё меньше и меньше. Когда у фонда всё пошло наперекосяк, акционерный капитал был 4,72 млрд долларов, кредиты — 124,5 миллиарда, деривативы — 1,25 триллиона.

В каждой профессии есть свои пути быть умным. В каждой профессии есть свои навыки, которые нужно освоить, и правила, которым нужно следовать. Поэтому кто-нибудь может подумать, что изучение «рациональности» в целом не принесёт большого успеха в реальной жизни. И всё же мне кажется, что способность не быть глупым — это очень полезный навык во многих профессиях. Искусство не превращать маленькие ошибки в большие не слишком зависит от того, применяете вы его в области хедж-фондов или в любви. И один из ключевых принципов этого искусства: будьте готовы признать, что вы проиграли.

Как правильно сомневаться

Элиезер Юдковский

Однажды, когда я рассказывал о Пути, я упомянул, что практически все организованные системы верований существуют для того, чтобы убегать от сомнений. Один из слушателей заметил, что иезуитов в этом обвинить никак нельзя, поскольку они умышленно практиковали сомнение: вступающим в орден, по его утверждению, говорили сомневаться в христианстве, сомневаться в существовании Бога, сомневаться в своём призвании, сомневаться в том, что они смогут выдержать пожизненные обеты целомудрия и нищеты. Я спросил у него: «О, но ведь предполагалось, что они справятся с этими сомнениями, верно?» Слушатель ответил: «Нет, они сомневались во всём этом скорее всего потому, что эти сомнения могли усилиться».

Поиск в интернете не дал мне возможности подтвердить или опровергнуть эти утверждения. (Если кто-нибудь из читателей готов помочь мне в этом вопросе, я буду очень признателен.) Но описанный сценарий кажется мне очень интересным и стоящим обсуждения, независимо от того, действительно ли он имел место в отношении иезуитов. Если иезуиты практиковали умышленное сомнение, делало ли это их, хоть и отчасти, рационалистами?

Думаю, я должен признать, что в (гипотетическом) сценарии выше иезуитов действительно нельзя обвинять в «бегстве от сомнений». Однако, такое (гипотетическое) поведение всё равно кажется мне очень подозрительным. Сомнения не должны пугать настоящего рационалиста. Описанное выше поведение для меня выглядит как программа десенсибилизации по отношению к страху — так арахнофобам в тщательно подготовленных условиях показывают пауков.

Но тем не менее, они ведь поощряли сомнения вступающих в орден, верно? Важно ли, что они это делали не по самым лучшим причинам? Разве для рационалиста это не остаётся достойным деянием?

Любое любопытство ищет способы уничтожить себя. Не бывает любопытства, которое не хочет получить ответы. Но если человек получает ответ, если человек удовлетворяет своё любопытство, восхитительная тайна перестаёт быть тайной.

И точно также любое сомнение существует для того, чтобы уничтожить какое-то конкретное убеждение. Если сомнение не в состоянии разрушить свою цель, оно умирает — но это всё равно развязка. Конец, пусть и печальный. Сомнение, которое не разрушает ни себя, ни свою цель, с таким же успехом может не существовать вовсе. Сам процесс сомнений не может раскрутить маховик рациональности, для этого нужно их разрешение.

Каждое улучшение — это изменение, но не каждое изменение — улучшение. Каждый рационалист сомневается, но не все сомнения рациональны. Сомнения делают человека рационалистом не больше, чем белый медицинский халат делает человека врачом.

Рациональное сомнение появляется по какой-то конкретной причине — имеется какой-то конкретный повод, чтобы подозревать, что некоторое убеждение ложно. Такая причина в свою очередь подразумевает цепочку расследований, которая или уничтожит это убеждение, или уничтожит сомнение. Это верно даже для очень абстрактных сомнений, вроде: «Интересно, можно ли объяснить эти даты какой-то более простой гипотезой?» В этом случае расследование — это попытки придумать более простую гипотезу. Чем дольше поиски не приводят к успеху, тем кажется всё менее вероятным, что следующий шаг выкладок приведёт к успеху. В какой-то миг цена на поиск превышает ожидаемую прибыль, и поиск прекращается. И здесь уже нельзя утверждать о полезности сомнений. Сомнение, которое не приводит к расследованию, с таким же успехом может вовсе не существовать. Неразрешаемое сомнение не делает ничего. Оно не приводит ни к движению вперёд, ни к движению назад.

Если у вас действительно есть религиозная вера (а не просто убеждение, что вы верите), зачем вам говорить вступающим в ваш орден, чтобы они размышляли о сомнениях, которые умрут неразрешёнными? Представьте студентов-физиков, которым говорят, чтобы они изо всех сил сомневались, не была ли ошибкой революция двадцатого века. Мол, вдруг на самом деле верна ньютоновская механика. Если вы на самом деле не сомневаетесь, зачем вам это изображать?

Однако, мы все хотим, чтобы нас считали рациональными. И многие убеждены, что сомнение — это добродетель рационалиста. Но гораздо меньше людей понимают, что для сомнения нужны конкретные причины и неразрешённые сомнения ничего не стоят. Вместо этого люди думают, что сомнение — это скромное поведение, демонстрация подчинения, направленная на поддержание иерархии в племени (ранее я писал, что практически та же проблема существует со скромностью). Грандиозная публичная сцена сомнений поможет убедить себя в том, что ты рационалист, примерно также, как надевание медицинского халата.

Для избежания притворных сомнений помните:

Рациональное сомнение существует, чтобы уничтожить конкретное убеждение. Если оно не в состоянии уничтожить свою цель, оно умирает.

Рациональное сомнение появляется по каким-то конкретным причинам сомневаться в соответствующем убеждении.

Неразрешённое сомнение ни к чему не ведёт.

Сомнение, которое не ведёт к исследованиям, с тем же успехом может не существовать вовсе.

Не стоит гордиться самим актом сомнения. Однако, когда ты закончил разрывать в клочки очень ценное для тебя убеждение, это вполне повод для гордости.

Хотя для того, чтобы взглянуть в лицо своим сомнениям, нужна смелость, помните, что идеальный разум сомнениями вообще не испугать.

Вы способны справиться с реальностью

Элиезер Юдковский

Правда не перестаёт быть правдой.

Признание не сделает её хуже.

Отказ узнавать правду не заставит её исчезнуть.

И именно с правдой вам придётся взаимодействовать.

Невозможно жить в неправде, ибо её не существует.

Люди способны вынести правду,

Ведь она и так их окружает повсюду.

-

Юджин Джендлин

Размышление о любопытстве

Элиезер Юдковский

Первая добродетель — это любопытство.

— Двенадцать добродетелей рациональности

Будучи рационалистами, мы обязаны подвергать критике себя и свои убеждения… не так ли?

Подумайте, какой эффект окажет на вас мысленная установка «Я обязан критиковать свои убеждения». Роджер Желязны однажды отметил разницу между «желанием быть автором» и «желанием писать». Как сказал Марк Твен: «Классика — это то, что каждый хотел бы уже прочесть и никто не хочет читать». Критика из чувства долга ведет к желанию иметь убеждения, уже прошедшие проверку, чтобы не считать свою веру слепой. Это не тоже самое, что хотеть проверить свои убеждения по-настоящему.

В ходе такой проверки вы рискуете стать жертвой мотивированной остановки. Вы анализируете возражение, приводите контраргумент, останавливаетесь. Повторяете с парой других возражений, ощущаете чувство выполненного долга, останавливаетесь. Так вы достигнете своей подсознательной цели: избавиться от когнитивного диссонанса «я — рационалист, не подвергнувший критике свои убеждения». Считайте это стремлением получить статус рационалиста — попыткой ощутить «теплое чувство» удовлетворения.

Теперь ваши оценки вероятностей будут достаточными для оправдания своих изначальных планов и убеждений, но недостаточными для возникновения сомнений со стороны других рационалистов или самого себя.

Истинное же любопытство будет тянуть вас к информации, кажущейся наиболее перспективной с точки зрения сдвига в оценке убеждений, либо к той, что наименее похожа на все известное вам до этого. Последующее распределение оценок вероятности, скорее всего, будет отличаться от изначального — должен будет произойти сдвиг в одну из сторон, и любое направление будет одинаково приемлемым, если ваше любопытство является искренним.

Сравните это с неосознанным желанием оставаться на знакомой территории, чтобы закончить свою проверку как можно быстрее, отметить свои убеждения и планы как «проверенные» и вернуться к своему привычному состоянию.

Что до моего взгляда на истинное любопытство и его силу — смотрите Сказ о науке и политике. Каждый персонаж служит иллюстрацией разных уроков. Последний из них, Феррис, является воплощением чистого и невинного любопытства, которое сопровождается легкостью и стремлением к поиску новых свидетельств.

Как писала Урсула К. Ле Гуин: «У невинности нет сил бороться со злом. Но у нее есть силы творить добро».1 Простое и невинное любопытство может обернуться простым тупиком на пути; поэтому обучение рациональности с сопутствующей этому изощренностью должно быть очень аккуратным, если мы хотим стать сильнее. Тем не менее, легкость и стремление к искренности в своих поисках можно сохранить.

Как сказано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже обладаете знанием, или же не хотите знать вовсе — сомнения будут бесцельными, а навыки не найдут своего применения. Любое любопытство стремится себя уничтожить — нет любопытства, которое не жаждет найти ответ.

Подобной альтернативы искреннему любопытству просто не существует. «Жгучее желание знать — гораздо сильнее, чем торжественная клятва искать только правду». Но нельзя обрести любопытство простым усилием воли — как нельзя усилием воли заставить свою ногу чувствовать тепло, когда она чувствует холод. Иногда все, что у нас есть — это торжественные клятвы.

Так что же делать с «долгом»? Для начала можно попытаться разжечь свой интерес во время «обязательных» проверок — следить за проявлениями искреннего интереса или даже искреннего невежества и желания его устранить. Попутно можно уделять особое внимание неприятным и болезненным размышлениям, которых вы стараетесь избежать — это вовсе не какое-нибудь «негативное мышление».

Также можно вспомнить о Законе сохранения ожидаемого свидетельства. Для каждого нового вопроса, для каждой новой крупицы свидетельства математическое ожидание апостериорной вероятности должно быть равна априорной вероятности. Когда вы задаёте вопрос, вы должны в равной степени ожидать, что ваше убеждение изменится как в одном направлении, так и в другом. Не каждое новое свидетельство должно разворачивать ваше убеждение на 180 градусов — сдвигать вероятность его истинности с 70% до 30% — но если изначальная вероятность равна 70%, вы должны быть готовы поменять ее как на 71%, так и на 69%. Вы не сможете заранее предугадать направление этого сдвига (в среднем), потому что по законам теории вероятности, если вы знаете, куда вы направляетесь — вы уже находитесь там. Если вы готовы к честной проверке, готовы к тому, что каждое новое свидетельство действительно может сдвинуть ваше убеждение как вверх, так и вниз — вы сможете сохранять свой интерес и оставаться по-настоящему любопытными.

Если рассматриваемый вами аргумент новым не является, почему на нем сосредоточено ваше внимание? К нему бы вас привело искреннее любопытство? Не атакуете ли вы неосознанно сильные стороны своего убеждения вместо слабых? Не повторяете ли вы одно и то же свидетельство?

Если вы сможете не повторять одни и те же аргументы в свою поддержку и понемногу снижать оценку своего убеждения с каждым новым поступающим свидетельством, возможно, со временем вы сможете от этого убеждения даже отказаться — понять, что ветер свидетельств дует против вас.

Есть еще одно средство для поддержания любопытства — я его называю Литанией Тарского, которая в действительности является мета-литанией, имеющей для каждого отдельного случая свою формулировку (подходящую именно для этого случая). Например, если я очень сильно хочу узнать, содержит ли закрытый ящик бриллиант, тогда вместо мечтаний обо всех последствиях такого развития событий я могу повторять такую Литанию Тарского:

Если в ящике есть бриллиант,

Я хочу верить, что в ящике есть бриллиант.

Если в ящике бриллианта нет,

Я хочу верить, что в ящике бриллианта нет.

Я не буду цепляться за веру, которой не хочу.

И лишь после этого можно размышлять о возможности отсутствия бриллианта в ящике, и о вытекающих из этого преимуществах того, что вы будете верить в его отсутствие, и о соответствующих недостатках ситуации, при которой вы будете верить в его наличие. См. также Литанию Гендлина.

Обнаружив у себя хоть крохотную долю истинной неопределенности, берегите ее, как путник бережет свой костер. Если вы сможете разжечь эту неопределенность в пламя любопытства, оно подарит вам легкость и стремление к поиску истины, даст вашим сомнениям цель, а навыкам — их применение.

1.Урсула К. Ле Гуин. На последнем берегу (1972).

Законы рациональности беспристрастны

Элиезер Юдковский

Традиционная Рациональность пользуется языком социальных норм. Нарушение норм трактуется как жульничество — то есть, отказ от кооперации. Если ты хочешь меня в чём-то убедить, ты обязан предоставить определённое количество свидетельств. Если ты пытаешься от этого увильнуть, то всем ясно: ты жульничаешь. Теория должна делать смелые предсказания сама, а не просто воровать предсказания, сформулированные другими теориями. Теория должна давать возможность себя опровергнуть, а не избегать трусливо огня критики — это членский взнос клуба качественных теорий.

Правила Традиционной Рациональности выглядят очень похожими на обычаи, управляющие жизнью человеческих обществ, и поэтому их легко передавать из уст в уста. Люди замечают общественное мошенничество лучше, чем изоморфные ему нарушения абстрактных логических правил. Однако, если рассматривать рациональность как общественные обязательства, можно прийти к некоторым странным выводам.

Например, существуют верующие, защищающие свои убеждения фразой: «Ты сам не можешь обосновать свою веру в науку!». Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! У тебя есть точно такие же!»

В глазах байесианцев, мозг — аналитическое устройство. Оно собирает перепутанные свидетельства и превращает их в карту, которая изображает местность. Принципы рациональности — это законы в том же смысле, что и второй закон термодинамики: чтобы получить надёжные убеждения необходимо вычислимое количество свидетельств, также как и надёжное охлаждение содержимого холодильника требует вычислимого минимума свободной энергии.

Теоретически, законы физики инвариантны относительно обращения времени, поэтому, в принципе, существует ничтожно малая — настолько малая, что отличить её от нуля могут только математики — вероятность того, что холодильник спонтанно охладит сам себя, сгенерировав при этом электричество.

Представь, что ты ни разу не был в Нью-Йорке. Сможешь ли ты нарисовать его точную подробную(English) карту, сидя в комнате с закрытыми жалюзи и не имея доступа в интернет? Теоретически да, но вероятность этого немногим больше ничтожно малой вероятности самозаморозки холодильника.

Прежде чем начать рисовать карту незнакомой местности, плесни немного воды в чашку при комнатной температуре. Подожди, пока она самостоятельно замёрзнет, и лишь после этого приступай к самому занятию. Таким образом можно убедиться, что приём «игнорируй бесконечно малые вероятности успеха» работает. Часто бывает сложно осознать, что твоя карта неверна (особенно, если ты никогда не бывал в Нью-Йорке), но всегда можно убедиться в том, что вода сама по себе не замерзает.

Если правила рациональности — это законы общества, то, кажется, что можно оправдать поведение Х, если указать, что остальные ведут себя также. Было бы несправедливо требовать свидетельства от тебя, если мы все не можем их предоставить. И справедливое общество обязательно осознает, что все мы одинаково грешны и смягчившись, милосердно освободит всех от обязательства предоставлять свидетельства в пользу своих убеждений. Затем наступит свобода, равенство и братство, и будем мы жить долго и счастливо.

Если же правила рациональности — это математические законы, то все попытки что-то оправдать бессмысленны. Бесполезно зачитывать вслух 30 причин, согласно которым ты не можешь упасть с обрыва. Даже если все проголосуют за то, что нечестно требовать электричества для заморозки продуктов, это никак не повлияет на идущие внутри холодильника процессы. Даже если все согласятся с тем, что тебе не обязательно посещать Нью-Йорк, карта всё равно окажется неверной. Госпожа Природа не прислушивается к людским просьбам, и Госпожа Математика тоже.

Так что — вернёмся к Традиционной Рациональности, сформулированной как социальные нормы — не думай, что заявление «нет ничего страшного в моих необоснованных убеждениях о X, ведь у всех есть какие-то необоснованные убеждения» сойдет тебе с рук. Если обе заключившие контракт стороны нарушили свои обязательства, человек-судья может решить не применять санкции ни к кому. Но если два инженера соберут два механизма одинаково плохо, ни один механизм не заработает. Одна ошибка не может оправдать другую. Если я что-то делаю неправильно, тебе это никак не поможет и не освободит тебя от исполнения правил. Страдать мы будем оба.

Когда речь идёт о законах либеральной демократии, каждый имеет право на свои убеждения. Когда речь идёт о законах природы, никто не имеет права на абсолютную точность. Мы не арестовываем людей за то, что они верят в странные вещи (по крайней мере, в адекватных странах). Но никто не может аннулировать закон о том, что для получения точных убеждений необходимы свидетельства. Даже единогласное решение всей человеческой расы не имеет веса в суде Природы.

Физики не решают, какими должны быть законы природы, физики просто угадывают, каковы они на самом деле. Рационалисты не решают, какими должны быть законы рациональности, рационалисты просто угадывают, каковы они на самом деле. Нельзя рационализировать то, что не было рациональным с самого начала. Даже если кто-то ухитрится убедить всех физиков мира в том, что законы гравитации на него не распространяются, то всё равно, шагнув со скалы, он упадёт.

Даже фраза «это решаем не мы» слишком антропоморфна. Нет никакой вышестоящей инстанции, способной делать исключения в законах. Существуют лишь причина и следствие.

Помни об этом, когда будешь просить разрешения нарушить закон всего лишь этот раз. Мы не можем выдать разрешения. Это просто не в нашей власти.

Оставь путь к отступлению

Элиезер Юдковский

Когда вы окружили врага,

Всегда оставляйте ему путь к отступлению.

Пусть он видит,

Что есть альтернатива смерти.

— Сунь-цзы, «Искусство войны»1

Всё, хватит на них давить. Наоборот, сбавим прессинг.

— Лоис Макмастер Буджолд, «Комарра»2

Вчера вечером я разговаривал с нерационалисткой, которая случайно зашла на встречу местных рационалистов. Она только что объявила, что (а) верит в существование души и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?». По растерянности, промелькнувшей на её лице, было понятно, что этот вопрос никогда не приходил ей в голову. Я не хочу сказать, что в этом есть что-то плохое — она показалась мне хорошим человеком, у которого нет ни малейшей подготовки в области рациональности — как и у большинства других представителей человечества. Мне действительно надо написать эту книгу.

Большая часть последующего разговора посвящалась вопросам, уже раскрытым на сайте Overcoming Bias [Эта книга представляет из себя переработанные статьи, и изначально эти статьи публиковались на сайте overcomingbias.com — Прим.перев.]: если вам что-то очень любопытно, то скорее всего, вы сможете придумать хороший способ это проверить, старайтесь сперва приобретать точные убеждения, а затем позвольте эмоциям опираться на них, ну и так далее. Однако, этот разговор напомнил мне об одном соображении, которое я пока ещё тут не раскрыл:

— Постарайтесь как можно лучше себе представить, – предложил я ей, – как выглядел бы мир, где нет душ, и как бы вы поступали в таком мире. Не думайте обо всех причинах, почему это невозможно. Просто примите это как допущение и представьте последствия. Чтобы вы могли подумать: „Ладно, если душ нет, то я могу просто заключить контракт на крионирование“ или „Если Бога нет, я всё равно могу просто быть добродетельной“, а не просто ужасаться самой идее. Как я уже сказал раньше, вам стоит верить в правду, какой бы она ни была — это вопрос самоуважения. Однако, человеческая природа такова, что полезно сперва свыкнуться с убеждением и только потом оценивать свидетельства в его пользу.

Принцип в основе этой методики прост. Поступайте с собой так, как Сунь-цзы советует поступать с врагами – оставьте себе путь к отступлению. Если для вас непереносима сама мысль о потере работы, то эта перспектива может вас пугать гораздо сильнее, чем если вы точно подсчитали, на сколько хватит ваших сбережений, проверили вакансии на рынке труда в своей сфере занятости и тщательно распланировали, что будете делать в таком случае. Только в этом случае вы будете готовы честно оценить вероятность сохранения работы с учётом грядущих в следующем месяце сокращений. Будьте настоящим трусом и в деталях составьте план отступления. Мысленно представьте себе каждый шаг. Желательно, ещё до выхода на поле боя.

Для того, чтобы представить себе неприятное состояние дел всего лишь в качестве мысленного эксперимента, требуется меньше мужества, чем для того, чтобы оценить, какова на самом деле вероятность, что дела действительно состоят именно так. Но после первого сделать второе становится проще.

Помните, что байесианство любит точность: даже если пугающая вас перспектива действительно выглядит маловероятной, всё равно, чтобы получить количественную оценку вероятности, важно честно подсчитать все свидетельства за и против. Визуализация устрашающей идеи совершенно не означает признания, что глубоко внутри Вы считаете её возможной истиной. Вы можете представлять различные пугающие идеи просто из общих соображений о поддержании себя в хорошей ментальной форме. «Идея, о которой Вы не можете даже подумать, управляет вами больше, чем идеи, о которых вы громко говорите вслух». Такое случается, даже если эта невообразимая идея является ложной!

Методика оставления пути к отступлению для её правильного использования требует некоторый минимум честности по отношению к себе.

В первую очередь, вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают и к каким идеям Вы привязаны. Но это гораздо проще, чем честная оценка свидетельств по поводу идеи, которая вас пугает. Вам станет легче, если я скажу, что мне самому приходится пользоваться такой методикой? В конце концов, рационалист не отказывается от всех эмоций. Есть идеи, которые меня пугают, хотя я по-прежнему считаю их ложными. Есть идеи, к которым я привязан и знаю об этом, и всё равно считаю их истинными. Но тем не менее у меня есть план отступления: не потому, что я планирую отступать, а потому что изначальное наличие плана отступления помогает мне думать о проблеме, не привязываясь к ней.

Однако ещё большее испытание честности перед собой заключается в том, чтобы по-настоящему принять неприятное предположение в качестве предпосылки и продумать, как вы бы с ним справились. Когда мы сталкиваемся с неприятной идеей, наш первый импульс, естественно, подумать обо всех причинах, почему это может быть не так. Поэтому вы столкнётесь с некоторым количеством своего психологического сопротивления, если попытаетесь в точности представить, каким был бы мир и что бы вы в связи с этим делали, если бы самое-самое ценное убеждение было ложным или самое-самое пугающее убеждение было верным.

Подумайте обо всех людях, которые говорят, что без Бога была бы невозможной мораль. (И да, об этом зашла речь в том разговоре, так что я не выдумываю.) Если бы теисты могли представить свою настоящую реакцию на веру в то, что Бог не существует, они бы осознали, что, нет, они не отправились бы убивать младенцев. Они могли бы осознать, что атеисты реагируют на несуществование Бога примерно так же, как и они сами бы отреагировали, если бы в это поверили. Я говорю об этом, чтобы показать, что это весьма трудно: представить себе, как бы вы отреагировали, если бы поверили в противоположность какого-то из своих очень важных убеждений.

Кроме того, хоть это и довольно сложно осознать, но люди привыкают ко всему. Недавно парализованные люди через шесть месяцев не настолько этим опечалены, как они сами предполагали в начале, и тому подобное. Идея, что если бы ваше устрашающее убеждение оказалось истинным, то вы каким-то образом с ним бы свыклись, ничуть не более контринтуитивно. Паралитики привыкают, и вы бы привыкли.

Не забывайте также про литанию Гендлина и литанию Тарского. Правда не перестаёт быть правдой. Признание не сделает её хуже. Не бойтесь просто представить себе мир, которого боитесь. Если этот мир существует, то представив его мысленно, вы себе не навредите. А если он не существует, то от того, что вы его представите, тоже хуже не станет. И помните, когда визуализируете, что если ужасные явления в вашем воображении на самом деле истинны – чего может и не быть! – тогда вы наверняка хотели бы в них верить, и вам следует визуализировать и это тоже. Неверие вам не поможет.

Как много религиозных людей сохранили бы свою веру в Бога, если бы могли в точности представить себе гипотетический мир, в котором Бога нет, а они сами стали атеистами?

Оставлять путь к отступлению – мощная методика, но не простая. Честная визуализация требует меньше усилий, чем нужно, чтобы полностью признать, что Бог не существует, но всё равно требует усилий.

1.Автор цитирует текст по изданию Sun Tzu, The Art of War (Cloud Hands, Inc., 2004). Однако, приведённые им строки не вполне соответствуют соответствующим строкам известного в России перевода Николая Конрада: «… если окружаешь войско противника, оставь открытой одну сторону; если он находится в безвыходном положении, не нажимай на него». Прим. перев.

2.В переводе О.Г.Косовой. Прим. перев.

Кризис веры

Элиезер Юдковский

Если вы не готовы с одинаковой лёгкостью допустить оба варианта, это ещё не настоящий кризис веры.

Тор Шенкель

Многие в этом мире придерживаются убеждений, несостоятельность которых заметил бы даже десятилетний ребёнок, услышавший такое убеждение в первый раз. И речь идёт не о каких-то незначительных заблуждениях. Человек незашоренного ума играючи отказался бы от таких убеждений, если бы без колебаний применил к ним скептицизм десятилетнего ребёнка. Как выразился Premise Checker [Один из читателей overcomingbias во времена написания этого эссе. — Прим.перев.]: «Если бы идея бога не появилась до эпохи науки, только очень странный человек смог бы её придумать и всерьёз утверждать, что она всё объясняет».

Тем не менее, даже профессиональные учёные и выдающиеся специалисты в своих областях в наш день и век всё ещё недостаточно скептичны. Нобелевский лауреат Роберт Ауманн, автор теоремы Ауманна о согласии, является ортодоксальным иудеем. Я достаточно сильно уверен, что в тот или иной миг своей жизни Ауманн сомневался в своей вере. Однако, его сомнения не стали успешными. Мы меняем мнение реже, чем нам кажется.

Это должно пробрать вас до мозга костей. Ведь получается, что можно быть учёным с мировым именем, хорошо владеть теоремой Байеса и тем не менее не смочь отвергнуть убеждения, абсурдность которых бросается в глаза даже десятилетнему ребёнку с его незамутнённым взглядом. Получается, что давно закрепившееся в разуме убеждение способно создать себе неуязвимую защиту.

Что же делать с ошибкой, которая окопалась у вас в мозгу?

Ну, если вы поняли, что на самом деле имеете дело с ошибкой, значит вы с ней уже справились. Вопрос не в том, как отказаться от давно привычного ложногоубеждения Х, а в том, как понять, что давно привычное убеждение Х ложно. Сложно быть честным с собой, когда сам не знаешь, что правильно. Поэтому вопрос на самом деле звучит так:

Как вызвать у самого себя настоящий кризис веры в некое убеждение и допустить возможность альтернативных вариантов?

Как пример серьёзного испытания, которое мы все можем представить, возьмём религию. (У читателей, чьи родители были атеистами, не было этого важного жизненного испытания, поэтому в качестве довольно слабой замены я предлагаю им подумать об их религиозных друзьях). Однако, если вы не можете поставить себя на место верующего и считаете их всех злобными мутантами, значит вы не в состоянии вообразить, с какими внутренними испытаниями они на самом деле сталкиваются. Вы не в состоянии задаться вопросом:

Какая стратегия может помочь религиозному человеку отказаться от своей религии?

Уверен, что некоторые, едва взглянув на этот вопрос, уже начали потрясать стандартным списком атеистических аргументов. «Они должны признать, что байесовских свидетельств в пользу существования Бога не существует». «Они должны понять, что для оправдания поведения Бога в Библии они прибегают к многочисленным моральным уловкам». «Им надо научиться использовать бритву Оккама». Ну и так далее.

Нет! Нет, нет, нет! Именно такое оттарабанивание давно привычных аргументов в точности соответствует тому стилю мышления, из-за которого люди не спешат отказываться от своих религий. Если вы остаётесь в рамках собственных заранее заготовленных мыслей, если ваш мозг выдаёт ответ столь быстро, что вы даже не успеваете посмотреть на вопрос так, как будто видите его впервые, вы никак не сможете придти к кризису веры.

Возможно, дело в том, что слишком мало людей прочли книгу «Гёдель, Эшер, Бах» в достаточно раннем возрасте, но я часто замечал, что очень многие люди — даже с техническим образованием — не в состоянии мыслить на таком высоком уровне абстракции. Во время приступов особо сильного пессимизма я даже начинаю думать, что у верблюда действительно два горба.

Судя по всему, некоторые люди не могут перейти с объектного уровня «Воспользуйся бритвой Оккама! Ты должен понять, что твой Бог — это ненужное убеждение!» на мета-уровень «Попробуй не дать своему мозгу привычно действовать по шаблону!» Ведь для верующего человека ответ «Пути Господни неисповедимы, и наивно считать, что мы сможем их понять» настолько же привычен и так же быстро приходит на ум, как вам и вашим друзьям рационалистам приходит на ум бритва Оккама. Поэтому если вы считаете, что правильная стратегия заключается в «Воспользуйся бритвой Оккама!», вы похожи на верующего, который говорит, что правильная стратегия — это уверовать.

«Но… но бритва Оккама же на самом деле лучше, чем вера! Мы же не о любимом вкусе мороженого спорим! Если обратиться к истории, сразу понятно, что рассуждения, согласованные с законом Оккама, гораздо продуктивнее тех, что основаны на вере…»

Всё это так. Однако не имеет отношения к делу. А дело в том, что, когда вы всё это произносите, вы повторяете стандартные доводы в пользу своих убеждений. Доводы, которые уже укоренились у вас в мозгу. Устроить себе кризис веры — значит допустить, что наши стандартные умозаключения неверны и наши стандартные доводы тоже. Допустим, стандартным доводом в пользу Х является «Бритва Оккама!», и вы хотите испытать кризис веры относительно X. Тогда задайтесь вопросом, действительно ли бритва Оккама говорит в пользу X, действительно ли вы правильно понимаете бритву Оккама, и — если хотите по-настоящему глубоких сомнений — действительно ли простота является исторически либо логически обоснованным рабочим критерием в подобных случаях, и т. д. Если вы советуете религиозному человеку усомниться, что «вера» — это хорошее объяснение для X, то вам стоит посоветовать то же самое себе, то есть, приложить такие же серьёзные усилия и усомниться, что «бритва Оккама» — это хорошее объяснение для X.

(Подумайте обо всех людях, которые не понимают таких формулировок бритвы Оккама, как минимальная длина описания или индукция Соломонова. Подумайте о тех, кто считает, что бритва Оккама исключает многомировую интерпретацию или гипотезу симуляции. Этим людям стоит поставить под сомнение свою формулировку бритвы Оккама и своё представление о том, что простота — это что-то хорошее. Готов поспорить, что какое бы Х вы ни защищали в споре восклицанием «Бритва Оккама!», это X не дотягивает по простоте формулировки до закона гравитации).

Если «Бритва Оккама!» — это ваш привычный ответ, ваш стандартный ответ, если это ответ, который дают все ваши друзья, то вам стоит помешать своему мозгу моментально достраивать этот шаблон. Иначе устроить себе настоящий кризис веры не получится.

Лучше задать себе такие правила для размышлений: «Представить, что сказал бы скептик. Потом представить, что ему сказали бы в ответ. А теперь представить, что он ещё мог бы сказать и на что уже было бы сложнее ответить».

Или: «Сосредоточиться на самой неприятной мысли».

И самое главное правило:

«Стараться изо всех сил. Вкладывать столько же отчаянных усилий, сколько требуется верующему человеку, чтобы отринуть свою религию».

Ведь если вы не слишком стараетесь, то — как знать — может быть, ваша голова забита какой-нибудь чепухой, ничуть не менее абсурдной, чем религия.

Если вы не предпринимаете судорожных отчаянных усилий, чтобы стать рациональным (а именно такие усилия нужны, чтобы избавиться от религии), как вы осмеливаетесь верить во что бы то ни было? Ведь даже сам Роберт Ауманн верит в Бога.

Кто-то (уже не помню кто) однажды заметил, что люди в принципе способны отказаться от своей веры лишь до определённого возраста. Потом у них уже есть готовые ответы на все возражения, и становится слишком поздно. Это способ существования, который необходимо преодолеть. Это испытание вашей силы как рационалиста, и оно очень суровое. Но если вы не сможете его пройти, вы останетесь слабее, чем десятилетний ребёнок.

Но повторюсь: если вы понимаете, что убеждение ошибочно, то вы его уже побороли. Если вы уже пришли к заключению, что ваша религия не верна, то речь больше не идёт об отчаянных, судорожных попытках преодолеть последствия религиозного воспитания. Отчаянные усилия, о которых мы здесь говорим, нужны, чтобы понять, стоит ли избавиться от оков некоего убеждения или же сохранить его. Трудно быть честным с самим собой, когда не знаешь, какая дорога верна. Когда рационализация не кажется грехом.

Ради каждого сомнения устраивать себе полноценный кризис веры не стоит. Однако, вам стоит задуматься о нём, если:

убеждение давно укоренилось в вашей голове;

вам известно множество аргументов и контраргументов, связанных с этим убеждением;

вы уже как-то невозвратно вложились (в виде времени, денег, публичных заявлений) в это убеждение;

убеждение имеет какие-то важные эмоциональные последствия (заметим, что само по себе это не значит, что убеждение неверно);

на убеждение завязана ваша идентичность.

Эти тревожные признаки не означают, что убеждение совершенно точно ложно. Они лишь сигнализируют о том, насколько рисковано ваше убеждение и насколько трудно вам будет с ним расстаться, если оно неверно. Такие признаки можно найти как для католичества Папы Римского, так и для убеждённости Ричарда Докинза в эволюционной биологии. Однако, это не означает, что подобные убеждения — лишь дело вкуса. Уравнивать между собой любые глубоко укоренившиеся убеждения только в силу того, что они глубоко укоренившиеся, при этом напрочь игнорируя подкрепляющие их свидетельства, — это удел непросвещённых. Цель не в том, чтобы сохранять лишь поверхностные убеждения, а в том, чтобы построить карту, которая наиболее точно соответствует территории.

Разумеется, я подчёркиваю всё это для того, чтобы вы могли признаться себе: «Да, у моего убеждения есть эти тревожные признаки» без необходимости сказать: «Моё убеждение ложно».

Однако, упомянутые признаки указывают на то, что вам потребуются экстраординарные усилия, чтобы эффективно поставить под сомнение своё убеждение. Эффективно — значит так, чтобы действительно отказаться от этого убеждения, если оно ложно. Если вы не в состоянии сомневаться эффективно, то вы слепы, ибо ваш мозг будет безоговорочноцепляться за убеждение. Если сетчатка глаза посылает один и тот же сигнал, независимо от попадающих на неё фотонов, мы называем этот глаз слепым.

Когда же стоит устраивать себе кризис веры?

Ещё раз подумайте о совете, который вы дали бы верующему: если вы чувствуете в себе какую-то лёгкую неуверенность, но продолжаете изыскивать веские доводы в пользу своего убеждения, то вам, скорее всего, стоит испытать себя кризисом веры. Если ваше убеждение подкреплено свидетельствами надёжными, как гравитация, вам не о чем беспокоиться. Однако задумайтесь обо всех верующих, которые отчаянно продолжают считать, что Бог надёжен, как гравитация. Так что попробуйте представить, что сказали бы скептически настроенные люди о ваших «надёжных, как гравитация» аргументах. Одна из причин, почему кризис веры может провалиться, состоит в том, что вы вообще никогда не пытались оспорить своё убеждение. Вы никогда не говорили себе: «Вот здесь мне стоит как следует посомневаться».

Если вы понимаете, что ситуация действительно сложная, вам нужно сделать следующий шаг и устроить себе кризис веры. Однако, не стоит это делать в спешке, в первую попавшуюся свободную минуту. Не рвитесь побыстрее расправится с этим делом, ради оправдания: «Я сомневался, как и должен был поступить рационалист». Это не сработало бы для верующего, это не сработает и для вас. В день накануне отдохните, чтобы ваш ум был в хорошей форме. Заранее выделите себе несколько часов, в которые вас никто не побеспокоит. Найдите какое-нибудь тихое место. И предпримите отчаянную попытку призвать настоящее сомнение, которое разрушит ложные — и только ложные — из ваших глубочайших убеждений.

Элементы методики кризиса веры разбросаны по целому ряду эссе:

Избегая по-настоящему слабых мест убеждения. Один из первых соблазнов кризиса веры — начать с самых веских доводов в пользу своего убеждения, чтобы ещё раз отрепетировать хорошие ответы. Путь сомнений нужно начинать с поиска уязвимостей, а не с рассмотрения наиболее обнадёживающих аргументов.

Размышление о любопытстве. Роджер Желязны однажды противопоставил «желание быть писателем» и «желание писать». Точно так же различаются «желание разобраться» и «желание разбираться». Недостаточно заявить: «Подвергать критике собственные убеждения — это мой долг». Необходимо настоящее любопытство. А любопытство рождается только из неуверенности. Не упускайте из виду закон сохранения ожидаемых свидетельств, это поможет вам совершенствоваться шаг за шагом. Переходя к каждому новому пункту, аргументу или свидетельству, вы не должны предвидеть, в какую сторону сдвинется ваше убеждение. Таким образом вы сможете сохранять подлинное любопытство о том, к чему вы в итоге придёте.

Непосредственный взгляд. Используйте методы Пирсига, чтобы избежать привычных шаблонных мыслей, которые приходят на ум в первую очередь.

Литания Джендлина и литания Тарского. Люди способны вынести правду, ибо они уже живут в ней. Если убеждение верно, то лучше верить, что оно верно. Если убеждение неверно, то лучше отказаться от него. Вы могли бы посоветовать религиозному человеку как можно тщательнее представить мир, где нет Бога, и честно признать, что если Бога нет, то лучше верить, что Бога нет. Если человек в глубине души не способен это принять, значит он не сможет пройти путём кризиса веры. Так что сделайте честную попытку представить альтернативу вашему убеждению. Представить так, чтобы даже самый придирчивый скептик не смог придраться. Думайте о тех усилиях, которые потребовались бы верующему, чтобы представить себе атеистическую картину мира, не искажая эту картину ради собственного комфорта.

Старайтесь изо всех сил. Вспомните о понятии «иссёкэнмэй» [Японское слово, означающее совершить отчаянную попытку, подробнее раскрывается в эссе по ссылке. — Прим.перев.]. Приложите все силы, чтобы быть рациональным. Такие силы, которые потребовались бы Роберту Ауманну и всем великим учёным прошлого, которые так и не преодолели свою религиозность.

Генетическая логическая ошибка. Иногда люди соглашаются, что некоторый источник недостоверен, однако продолжают считать: «Но ведь идеи там всё равно правильные!» Если многие из ваших идей почерпнуты из таких источников, вам стоит быть крайне осторожным. (Например, кто-нибудь может прийти к мнению, что Библия всё-таки написана людьми, однако продолжать цепляться за идею, что она служит источником незаменимой этической мудрости).

Важно уметь сказать «Упс». Ужасную горькую пилюлю и в самом деле лучше проглотить одним глотком.

Единомыслие — противоположность двоемыслия. Замечайте мысли, которые вы гоните прочь. Мысли, которые успевают лишь на мгновение появиться в уголке вашего сознания, прежде чем вы откажетесь об этом думать. Если вы осознаете, о чём вы не думаете, вы сможете об этом подумать.

Аффективные смертельные спирали и Сопротивление аффективным смертельным спиралям. Аффективные смертельные спирали — это главные генераторы ложных убеждений, и без встряски кризисом веры от них не избавишься. Поскольку аффективные смертельные спирали могут начинаться и вокруг поистине прекрасных вещей, вам не нужно признавать, что ваше убеждение — ложь, чтобы пытаться противостоять их гало-эффекту в каждый отдельно взятый миг. Даже что-то по-настоящему хорошее стоит хвалить только искренне. Не делайте политические споры однобокими.

Не спешите предлагать решения. Не предлагайте никаких решений до тех пор, пока не обсудили проблему настолько подробно, насколько это возможно. Пусть ваш разум позже поймёт, каким должен быть ответ. Потратьте хотя бы пять минут, прежде чем сдаться. Это правило подходит всегда, и особенно, когда вы становитесь адвокатом дьявола.

Следующие методики тоже довольно важны в вопросах кризиса веры:

Цепочка про нижнюю строчку и рационализацию, где объясняется, почему всегда неправильно защищать в дискуссии только одну сторону.

Помните о подтверждающем искажении, мотивированном скептицизме и мотивированной остановке, чтобы не подходить избирательно к поиску доказательств, к поиску контраргументов и не останавливать дискуссию, если она становится опасной. Отсутствие альтернатив — это частный случай остановки дискуссии. частный случай для обоснованного скептицизма — это ложная скромность, когда вы смиренно признаёте, что никто не может знать чего-то. Причём речь идёт о том, чего вы сами и не хотели бы знать. Не надо выборочно придираться к контраргументам под предлогом их недостаточной авторитетности.

Остерегайтесь семантических стоп-сигналов, замечайте требование аплодисментов и сами выбирайте объяснить, поклоняться или пренебречь.

Прочувствуйте, что дьявол в деталях. Каждая деталь — отдельная ноша, поворотная точка.

В общем, и здесь, и на Overcoming Bias довольно много материала по этой теме. Кризис веры - это лишь поворотная точка и внезапная схватка на длинном пути иссёкэнмэй. На вечном пути бескомпромиссных попыток достигнуть уровня настолько великой рациональности, что все эти дурацкие глупые ошибки окажутся где-то далеко внизу. И в этой схватке вы сможете использовать на всю катушку все навыки, в которых вы так долго практиковались. Использовать против себя самого.

Успехов вам в вашей битве. Чудесного кризиса!

Ритуал

Элиезер Юдковский

Комната, где Джеффриссай принимал своих гостей, не владевших искусством бейзутсукай, была оформлена в самом строгом классическом стиле и выглядела весьма официально. Сквозь серебряную решётку, острые края которой чётко давали понять, что эта ограда не должна открываться, струились свежий воздух и солнечные лучи. Стены и пол из очень толстого стекла искажали находящееся за ними до полной неразличимости. Поверхность стекла украшали едва заметные непонятные узоры, которые словно вышли из-под руки творчески одарённого ребёнка (впрочем, так и было).

В доме Джеффриссая были комнаты и в другом стиле. Но когда-то он обнаружил, что эта лучше всего соответствует представлениям чужаков о вкусах Байесианского Мастера, и решил их в этом не разубеждать. В конце концов, такие бесхитростные развлечения тоже часть маленьких радостей жизни.

Гостья села напротив него: колени на подушке, ступни сзади. Её привели сюда исключительно дела Заговора. Наряд выдавал это: облегающий комбинезон из розовой кожи, закрывающий всё, включая кисти рук — вплоть до головы и волос, скрытых капюшоном. Впрочем, лицо оставалось открытым.

Итак, Джеффриссай решил принять её в этой комнате.

Он сделал глубокий вдох, затем выдохнул.

— Уверена ли ты?

— О-о-о, — протянула она. — Неужели мои советы поменяют твою точку зрения лишь в том случае, когда я абсолютно уверена? Разве не достаточно того, что я специализируюсь в этой области, а ты нет?

Губы Джеффриссая скривила лёгкая улыбка.

— Кстати, откуда тебе известно столь многое о правилах? У тебя никогда не было подготовки даже планковских масштабов.

— Разве это не очевидно? — сухо ответила она. — Вы, бейзутсукай, просто обожаете объяснять причины своих поступков.

Джеффриссай внутренне поморщился от мысли, что кто-то может нахвататься рациональности, лишь наблюдая, как другие люди говорят о ней…

— И не надо так внутренне морщиться на меня, — продолжила гостья. — Я не стремлюсь сама стать рационалисткой. Я хочу лишь победить рационалиста в споре. Уверена, что ты даже ученикам говоришь, что это огромная разница.

Неужели она читает меня как открытую книгу? Джеффриссай посмотрел наружу сквозь серебряную решётку. Солнечный свет отражался от склона горы. Всегда, всегда, каждый день золотые лучи солнца пронзают облака и падают на это место. Неизменная вещь этот свет. Далёкое Солнце, представленное этим светом, через пять миллиардов лет сгорит, но сейчас, в эту секунду, оно ещё светит. И это не изменить. Зачем желать, чтобы что-то сохранялось неизменным вечно? Ведь это желание уже исполнено настолько надёжно, насколько только можно. Парадокс постоянства и непостоянства: прогресс или потери существуют только в позднейшей перспективе.

— Ты всегда давала мне хорошие советы, — произнёс Джеффриссай. — Так было всегда. Всё время, которое мы знаем друг друга.

Она склонила голову, признавая его слова. Это истина, и нет нужды объяснять подразумеваемое.

— Итак, — сказал Джеффриссай. — Не спора ради, но лишь потому что я хочу узнать ответ. Ты действительно уверена?

Он не понимал, как она могла догадаться.

— Я вполне уверена, — ответила она. — Мы достаточно долго собирали статистику, и из тысячи случаев, подобных твоему, в девятьсот восьмидесяти пяти…

От вида его лица она расхохоталась.

— Я шучу. Конечно же, я не уверена. Решение исключительно за тобой. В чём я точно уверена, так это в том, что ты должен пойти и сделать все, что вы там делаете, когда совершенно всерьёз раздумываете, стоит ли отказаться от какого-то фундаментального основания собственного существования. Не сомневаюсь, что для таких случаев у вас есть какой-нибудь ритуал, пусть вы и не рассказываете о нём посторонним.

Джеффриссай задумался. С этим было трудно спорить. Особенно когда эксперт в обсуждаемой области утверждает, что ты, возможно, не прав.

— Я сдаюсь, — сказал Джеффриссай. В его исполнении эти слова прозвучали словно приказ об окончании дискуссии: «Нет нужды спорить дальше. Ты победила».

— О, избавь меня! — ответила она. Она поднялась с подушки быстро, но плавно — ни единого лишнего движения. Она не выпячивала свой возраст, но и не скрывала его. Подхватив его протянутую кисть, она поднесла её к своим губам в формальном поцелуе. — Прощайте, учитель!

— «Прощайте»? — переспросил Джеффриссай. Это слово означало расставание более серьёзное, чем если бы она ограничилась простым «до свидания». — Вообще-то я планировал нанести вам визит, миледи. И я всегда рад видеть вас здесь.

Не ответив, она направилась к дверям. В дверном проёме она замерла и, не оборачиваясь, сказала:

— Ничто уже не будет прежним.

Её движения ничуть не казались стремительными, но удалилась она так быстро, что могло показаться, что она просто исчезла.

Джеффриссай вздохнул. Но, по крайней мере, с этого момента и до самого испытания он знал, что делать. Все его действия определялись предписаниями.

Покинув свою официальную приёмную, Джеффриссай направился к своей арене. Оттуда он разослал сообщения своим ученикам, что во время завтрашних занятий они должны импровизировать без него, а позже он устроит им проверку.

И после этого Джеффриссай не делал ничего существенного. Он прочёл ещё сотню страниц учебника, который взял взаймы. Учебник оказался не слишком хорошим, впрочем, книга, что он отдал взамен, тоже была посредственной. Он бродил из одной комнаты своего дома в другую. Заглянул в несколько кладовых проверить, не было ли что-нибудь оттуда украдено (пропала колода карт, но и только). Время от времени его мысли возвращались к завтрашнему испытанию, и он позволял им течь свободно. Он старался совсем не управлять своими мыслями, лишь гнал те, которые уже приходили ранее. Также он не допускал любых заключений и выводов, даже мысль о том, куда должны течь его мысли.

Солнце садилось. Очистив свой разум, Джеффриссай какое-то время любовался закатом. Не думать ни о чём без необходимости постоянной концентрации и без огромных усилий было примером превосходного мастерства. Годы назад при таком упражнении с него пот лился ручьём. Но тренировки уже давно принесли свои плоды.

Когда он проснулся на следующее утро, хаотические ночные видения были свежи в его памяти. Стараясь сохранить это ощущение хаоса и память о снах, он спустился по лестнице на один пролёт, потом ещё на один, и ещё на один, и наконец оказался в самой неприглядной комнате из всех.

Она была белой. Это слово лучше всего описывало её цветовое оформление.

На одной из стен висели дощечки с надписями. Следуя традиционным практикам, их когда-то кропотливо нанёс юный Джеффриссай. С каждым движением кисти, что выводила слова, идеи врезались в его сознание. «Что может быть разрушено правдой, должно быть разрушено». «Люди способны вынести правду, ведь она и так их окружает повсюду». «Любое любопытство стремится себя уничтожить». На одной маленькой дощечке была лишь красная горизонтальная черта. Что угодно можно заменить символом, хотя даже Барды-Заговорщики не осмелятся признать такую гибкость и могущество визуальных образов.

На стене под дощечками виднелись два колонки значков. В столбце со знаком плюс было две записи. Со знаком минус — пять. Семь раз он входил в эту комнату. Пять раз он решил не менять своё мнение. Дважды он покинул комнату в какой-то степени другим человеком. Никакие правила не предписывали какое-либо соотношение между первым и вторым — подобные правила сделали бы абсурдной всю идею. Однако если за долгое время под знаком плюс не появилось бы ни одной записи, пришлось бы признать, что нет никакого смысла держать эту комнату, раз ты не умеешь её использовать. Ну или знание истины даровано тебе от рождения и ты прав во всём.

Джеффриссай сел на пол, но не лицом к дощечкам, а спиной к ним. Он смотрел на пустую белую стену, дабы ничто не могло отвлечь его. Мысленно он повторил вступительную мета-мнемонику, а затем множество под-мнемоник, на которые та ссылалась: семь главных принципов и шестьдесят две специальные техники, что вероятнее всего понадобятся во время Ритуала Изменения Убеждений. К этому Джеффриссай добавил ещё одну мнемонику, напоминающую ему четырнадцать его собственных самых стыдных оплошностей.

Он не сделал глубокого вдоха. Лучше сохранять спокойное дыхание.

И тогда он задал себе вопрос.

Машина в призраке

Сила интеллекта

Элиезер Юдковский

В своих черепах мы носим около полутора килограммов склизкой, серой, морщинистой субстанции, напоминающей скомканную туалетную бумагу.

Взглянув на этот неаппетитный комок жира, едва ли можно подумать, что это самая могущественная штука в изученной вселенной. Если бы вы никогда не читали книг по анатомии и увидели бы мозг, лежащий на улице, вы бы сказали «Фууу» и постарались, чтобы он не запачкал вашу обувь. Аристотель считал, что мозг — это орган, охлаждающий кровь. Он совсем не кажется опасным.

Пять миллионов лет назад, предки львов правили днём, а предки волков правили ночью. Правящие хищники были вооружены острыми, как лезвия бритвы, зубами и когтями, обладали мощными мышцами. Их добыча, в качестве обороны, эволюционировала бронированные панцири, острые рога, токсичные яды, камуфляж. Война велась на протяжении сотен эпох, и гонкам вооружений не было конца. Многие проигравшие покидали игру, но победителя так и не было видно. У одних видов были панцири, но другой вид эволюционировал вскрывать их. Одни виды становились ядовиты, но другие вырабатывали иммунитет к яду. У каждого вида была своя ниша - но кто мог бы жить и в морях, и в океанах, и на земле одновременно? Не существовало ни абсолютного оружия, ни универсальной защиты и не было причин считать, что нечто подобное возможно.

А затем наступил День Хлипких Существ.

У них не было ни брони, ни когтей, ни яда.

Если бы вы увидели фильм, в котором происходит ядерный взрыв и вам бы сказали, что это сделала земная форма жизни, вы бы ни за что не подумали, что ответственность лежит на Хлипких Существах. Ведь Хлипкие Существа не радиоактивны.

В начале, у Хлипких Существ не было ни реактивных истребителей, ни пулемётов, ни ружей, ни мечей. Ни бронзы, ни железа. Ни молотков, ни наковален, клещей, кузниц или же шахт. Всё, что было у Хлипких Существ - их хлипкие пальцы - слишком слабые, чтобы сломать дерево, не говоря уже о горе. Очевидно, не опасны. Чтобы разрубить камень потребуется сталь. Хлипкие Существа не могли выделить сталь. В окружающей среде не было готовых стальных клинков, которые можно было бы поднять хлипкими пальцами. Их тела и близко не могли генерировать температуры достаточные для того, чтобы плавить металл. Сама эта идея совершенно абсурдна.

Хлипкие Существа манипулируют ДНК? Это уже за пределами абсурдности. Хлипкие пальцы не настолько маленькие. Нет возможности получить доступ к ДНК с уровня Хлипких Существ, это всё равно, что взять атом водорода. Ну, технически они находятся в рамках одной вселенной, технически Хлипкие Существа и ДНК являются частью одного мира, единых законов физики, единой великой паутины причинности, но будем реалистичны: вы не смогли бы заглянуть так далеко.

Даже если бы Хлипкие Существа смогли бы когда-нибудь эволюционировать так, чтобы овладеть всеми этим умениями, на это потребовались бы миллиарды лет. Мы наблюдали за взлётами и падениями Жизни на протяжении эпох, и позвольте заметить, год – это даже не мгновение по меркам эволюции. Ну, конечно, технически год – это шестьсот триллионов триллионов триллионов триллионов Планковских интервалов. Но менее чем за шестьсот миллионов триллионов триллионов триллионов триллионов Планковских интервалов все равно ничего не происходит, так что спорить бесполезно. Хлипкие Существа, бегущие сейчас по саванне, ни за что не смогут облетать континенты, по крайней мере, ещё десять миллионов лет. Никто не способен заниматься сексом настолько часто.

Ну а теперь расскажите мне, как Искусственный Интеллект не сможет сделать ничего интересного через Интернет, если только человеческие программисты не построят ему роботизированное тело.

Я много раз наблюдал за реакцией, которую вызывает у людей слово «интеллект». Нередко первая мысль, что приходит им в голову определяет их отношение к технологической сингулярности. Часто первой ассоциацией к слову «интеллект» становится образ «книжного червя» — что-то вроде шахматного гроссмейстера, неспособного пригласить девушку на свидание, или профессора колледжа, неспособного выжить вне научного сообщества.

«Одного интеллекта недостаточно, чтобы преуспеть», — говорят люди, как будто харизма заключена в почках, а не в мозгу. «Интеллект не сравнится с пистолетом», — говорят они, как будто пистолеты выросли на деревьях. «Откуда Искусственный Интеллект возьмёт деньги?», — спрашивают они, словно первый Homo Sapiens нашёл долларовые купюры, упавшие с неба, а затем потратил их на покупки в магазинах, уже расположенных в том же лесу. Человечество появилось не в условиях рыночной экономики. Пчелы не продадут вам мёд в обмен на электронный перевод средств. Человек придумал деньги, и вот они существуют — для нас, не для пчёл, — потому что мы продолжаем в них верить.

Я всё пытаюсь объяснить, что воплощением интеллекта является вовсе не Дастин Хофман в «Человеке Дождя». Воплощение интеллекта — это человек. Точка. Это хлипкое существо, разрывающее вакуум, чтобы оставить отпечаток ноги на Луне. Внутри серого влажного комка жира заключена сила искать пути среди великой паутины причинности и находить, казалось бы, невозможное — сила, что иногда называется творческим подходом.

Люди — в частности венчурные капиталисты — иногда спрашивают: если MIRI удастся успешно создать полноценный ИИ, каким образом из этого можно будет извлечь прибыль? Это мы называем проблемой постановки задачи.

Хотя, вероятно, дело тут далеко не только в конфликте допущений. Немного творческого подхода позволяет людям представить, как отправиться на Луну, или исцелить оспу, или построить компьютеры. Но придумать способ, как сделать всё это разом, кажется совершенно невозможным. Пусть даже необходимая для этого сила расположена всего в нескольких сантиметрах от их глаз. Серые влажные штуки кажутся таинственными для серых влажных штук.

И таким образом, раз люди не вполне понимают, как это всё могло сработать, сила интеллекта кажется менее реальной. Это куда сложнее, чем представить, как столб пламени отправляет корабль на Марс. Перспектива полёта на Марс захватывает воображение. Но стоит кому-то пообещать и полет на Марс, и единую теорию поля, и доказательство гипотезы Римана, и лекарства от ожирения, рака, старения и глупости — ну это просто звучит неправдоподобно, вот и всё.

И это правильно. Это серьёзная ошибка нашего воображения: считать, что интеллект способен лишь на столь малое. Кто мог бы представить на заре времён, чего удастся добиться при помощи разума? Не исключено, что мы до сих пор не догадываемся, в чем состоят наши настоящие проблемы.

Но в то же время, поскольку сложно понять, каким образом один процесс владеет такими разнообразными силами, сложно представить, что одним махом он сможет решить даже столь простые проблемы, как ожирение, рак и старение.

Тем не менее один и тот же процесс смог исцелить оспу, и построить самолёты, и вывести пшеницу, и приручить огонь. Наша текущая наука может до конца не соглашаться касательно того, как именно он работает, но это не мешает ему работать. Если вы временно невежественны относительно явления, - это факт о вашем состоянии ума, а не о самом явлении. Пустая карта не соответствует пустой территории. Если кто-то не вполне понимает ту силу, что оставила следы на Луне, это никак не меняет того факта, что следы все ещё там - реальные следы на реальной Луне, оставленные реальной силой. И если бы кто-то понял эту силу достаточно глубоко, то смог бы создавать и направлять эту силу. Интеллект так же реален, как и электричество. Он всего лишь сильнее, опаснее, имеет куда более глубокое влияние на грядущую историю жизни во вселенной. И разобраться, как построить его генератор, немного сложнее.

Простая математика эволюции

Цель первой цепочки тома «Машина в призраке» — описать противоречия между историей нашего происхождения, нашим современным биологическим устройством и нашими стремлениями. Это потребует углубиться в описание эволюции сильнее, чем привычно для не биологов, которые часто обращают внимание лишь на поверхностные особенности естественного отбора.

Чуждый Бог

Элиезер Юдковский

«Удивительное свойство теории эволюции: любому она кажется понятной»

Жак Моно

Глядя на природу, человек всюду видит предназначение. Заячьи лапы сконструированы для бега. Лисьи челюсти идеально подходят для разрывания добычи. Увы, наше зрение нас здесь подводит: мы видим не то, что есть на самом деле.

В додарвиновские времена причины этой повсеместно наблюдаемой предназначенности были одной из величайших научных загадок. Богопоклонники твердили: «это сделал Бог» — ведь ты получаешь 50 бонусных баллов каждый раз, когда используешь слово «Бог» в предложении. Хотя, пожалуй, я здесь несправедлив. В те времена гипотеза божественного происхождения выглядела гораздо разумнее, чем её альтернативы. «Обнаружив в пустыне часы, — говорил Уильям Пейли — можно сделать вывод о существовании часового мастера».

Но стоит лишь внимательно рассмотреть всю кажущуюся предназначенность в Природе, вместо того, чтобы выбирать только удобные примеры — начинаешь замечать вещи, несовместимые с иудеохристианской концепцией всеблагого Творца. Лисы выглядят так, будто они спроектированы для охоты на зайцев. Зайцы выглядят так, будто спроектированы, чтобы убегать от лис. Творец что, не смог определиться?

Проектируя тостер, я не включаю в него один блок для нагревания теплового элемента, а другой — для его охлаждения. Это было бы глупо и расточительно. Кому могло прийти в голову запроектировать экосистему со всеми её хищниками и жертвами, вирусами и бактериями? Даже кактусы, будто специально придуманные, чтобы снабжать водой и пищей пустынных животных, покрыты неприятными колючками.

Картина становится гораздо более осмысленной, если предположить, что природу создавал не единственный Творец, а целый сонм мелких богов — как в индуизме или синтоизме. Такое предположение удобно объясняет и повсеместную предназначенность, и повсеместные конфликты. Множество богов действовало независимо, часто с противоположными целями. И лиса, и заяц были спроектированы — но различными, конкурирующими божествами. Интересно, кто‑нибудь уже предлагал это наблюдение как доказательство в пользу индуизма против христианства?

Иудеохристианская традиция постулирует, что Бог благосклонен. Ну, в общих чертах. В то же время, значительная часть наблюдаемой в природе предназначенности демонстрирует невероятную жестокость. Дарвин заподозрил, что Творец не соответствует общепринятой концепции, изучая наездников-ихневмонид. Их ядовитое жало лишь парализует, а не убивает жертву, что предохраняет её от порчи, позволяя личинкам ихневмонид в течение длительного времени пожирать её заживо. «Я не могу убедить себя в том, — писал Дарвин — что всеблагой и всемогущий Бог сотворил ихневмонид, намеренно предусмотрев пожирание ими живых тел гусениц, или сотворил кошку, заложив в неё желание играть с мышью»1. Интересно, озвучивал ли какой‑нибудь более ранний мыслитель эти факты как доказательство в пользу манихейства2 против монотеизма?

Сегодня мы все знаем разгадку: надо просто сказать «эволюция».

К сожалению, некоторых это «научное» объяснение вполне устраивает. Как будто «эволюция» — это такой волшебный источник предназначенности в Природе. Я уже приводил в качестве примера Шторм из Людей Икс, которая в результате одной мутации получила способность метать молнии. Как? Ну, есть такая штука — «эволюция», которая закачивает в Природу предназначенность. Изменения происходят посредством «мутаций»; если получить действительно большую мутацию, результатом станут реально большие полезные изменения. Например, Шторм получит способность метать молнии. Популярный источник суперспособностей — радиоактивность: радиация приводит к мутациям, так что чем мощнее радиация, тем мощнее будут мутации. Такая вот логика.

Но эволюция не позволяет любой предназначенности проникать в Природу. Именно это делает эволюцию столь успешной в качестве эмпирической гипотезы. Если бы эволюционная биология объясняла не только деревья, но и тостеры, она была бы бесполезна. Эволюционная теория — это не просто ткнуть пальцем в Природу и сказать «теперь предназначенность разрешена», или «так сделала эволюция». Сила любой теории не в том, что она объясняет, а в том, что она объявляет невозможным. Если ты придумал гипотезу, одинаково убедительно объясняющую любое событие, твои знания равны нулю.

«Многие люди, далёкие от биологии, — заметил(e) Джордж Уильямс — думают, что именно для их блага гремучие змеи отращивают на хвостах “погремушки”»3. Бзз‑з‑з! Неправильный ответ! Такая предназначенность не разрешена. Эволюция не позволяет произвольным всплескам предназначенности пробираться тут и там, перекраивая один вид для блага другого вида.

Движущая сила эволюции — систематическая корреляция между способами, которыми разные гены влияют на конструкцию организмов и количеством копий этих генов, которые добираются до следующего поколения. Чтобы «погремушки» росли на хвостах гремучих змей, «погремушечные» гены должны с каждым поколением встречаться всё чаще и чаще (на самом деле, не просто «погремушечные» гены, агены, кодирующие всё более сложные звуки, издаваемые «погремушками»; но погружаться в подробное описание всех тонкостей эволюционной биологии мы не будем, иначе эта статья никогда не закончится).

Нет никакой Эволюционной Феи, которая изучает текущее состояние природы и решает: «хм, хорошая идея!», увеличивая частоту «погремушечных» генов в популяции.

Подозреваю, что именно на этом месте спотыкается значительное число людей, изучающих эволюционную биологию. Они понимают, что «полезные» гены становятся более распространёнными, но слово «полезные» позволяет любой предназначенности прокрасться в рассуждение. Они вроде бы не верят в Эволюционную Фею, в то же время спрашивая, какие гены могли бы быть «полезны», имея в виду, в том числе, «пользу» не только для гремучих змей, но и для других видов.

Ключевой факт, который необходимо осознать — нет никакой Эволюционной Феи. Нет никакой внешней силы, решающей, какие гены должны «получить повышение». Всё происходящее происходит исключительно в результате работы самих генов.

Гены, кодирующие (всё более сложные) звуки «погремушки», должны становиться всё более распространёнными в генофонде гремучих змей исключительно благодаря самим звукам. В этом случае, вероятно, всё дело в том, что змеи с лучшими «погремушками» лучше выживают (а не в том, что они успешнее размножаются или способствуют более успешному размножению своих родственников).

Возможно, хищники опасаются звуков «погремушек» и стараются не наступать на гремучих змей. Возможно, «погремушка» на хвосте отвлекает внимание от змеиной головы. (Джордж Уильямс утверждал(e), что «результат схватки между собакой и змеёй почти полностью определяется тем, за какую часть собака схватит змею изначально — за голову или за хвост»).

Но это всего лишь змеиные «погремушки». Существуют гораздо более сложные способы, которыми гены могут приводить к увеличению частоты своего появления в следующем поколении. Ваши братья и сёстры разделяют с вами половину ваших генов. Ген, жертвующий одной единицей ресурса, чтобы предоставить три единицы ресурса брату, может передать будущему поколению несколько своих копий, пожертвовав одним из сконструированных им организмов (несущим лишь одну копию).

Если вы действительно хотите разобраться в деталях и тонкостях, купите книжку по эволюционной биологии; не существует царского пути. Но ключевая идея такова: эффект от наличия определённого гена должен напрямую увеличивать частоту появления этого гена в следующем поколении. Нет Эволюционной Феи, которая бы воздействовала извне. Нет ничего, что бы решало, какие гены «полезны» и, следовательно, должны появляться чаще. Должна быть прямая причинно-следственная связь, начало которой — в самих генах.

Это объясняет странные конфликты предназначенности в Природе и распространённую в ней жестокость. Объясняет даже лучше, чем орда синтоистских божеств.

Почему столь многое в Природе находится в постоянной войне с другими её частями? Потому что нет никакой единой Эволюции, которая управляла бы процессом. Есть лишь множество малых «эволюций», представленных отдельными размножающимися популяциями. Заячьи гены становятся более или менее распространёнными в популяциях зайцев. Лисьи гены становятся более или менее распространёнными в популяциях лис. Лисьи гены, которые конструируют лис, хорошо ловящих зайцев, создают больше собственных копий в следующем поколении. Заячьи гены, конструирующие зайцев, хорошо убегающих от лис, естественным образом встречаются чаще в следующем поколении зайцев. Отсюда словосочетание «естественный отбор».

Почему Природа так жестока? Мы, будучи людьми, смотрим на наездников-ихневмонид и решаем, что пожирать жертву заживо — жестоко. Если уж никак нельзя избежать пожирания жертвы заживо, мы постараемся хотя бы не причинять ей страданий. Ихневмонидам не стоило бы больших усилий добавить в состав парализующего яда обезболивающее. А что насчёт старых слонов, медленно умирающих от истощения после выпадения последнего комплекта зубов? Эти слоны всё равно уже не могут размножаться. Чего стоило эволюции — точнее, эволюции слонов — сделать так, чтобы старые слоны умирали сразу, не мучаясь так долго? Чего стоило эволюции сделать их смерть безболезненной, или усыплять их, чтобы безмятежное угасание сопровождалось приятными снами? Ничего. Всё вышеперечисленное никак не повлияло бы на шансы этого слона продолжить свой род.

Если бы речь шла о том, чтобы убедить другого человека, мы были бы в отличной позиции для переговоров и легко настояли бы на своём. Ведь от нашего оппонента потребовались бы лишь незначительные уступки: обезболить жертву, позволить слону умереть без мучений. Почему бы не пойти навстречу столь скромной просьбе? Ну пожалуйста, э‑э…

Нет никого, к кому мы могли бы обратиться со своими аргументами.

Люди подделывают свои оправдания, определяя желаемое одним способом, а потом оправдывая принятое решение чем‑нибудь другим. Нет никакой Феи Эволюции Слонов, которая пыталась бы (а) определить, что для слонов лучше всего и (б) определить, как оправдать это перед Эволюционным Надзирателем, который (в) не хочет, чтобы эволюционная приспособленность снижалась, но (г) не будет мешать в реализации идеи безболезненной смерти до тех пор, пока она не мешает никаким другим полезным генам.

В системе нигде нет места для защитника слонов.

Люди, нередко глубоко переживающие за благополучие животных, могут быть очень убедительны в своей аргументации в пользу того, как различные проявления милосердия не повредили бы репродуктивной приспособленности. Увы, эволюция слонов не использует ничего, что напоминало бы этот алгоритм; она не выбирает классные гены, про которые можно придумать реалистично звучащие аргументы в пользу их ценности для репродуктивной приспособленности. Алгоритм эволюции донельзя прост: гены, которые реплицируются чаще, становятся более распространёнными в следующим поколении. Как вода, текущая под гору — и с тем же уровнем великодушия.

Окидывая взором Природу, мы думаем обо всех усовершенствованиях, которые мы внесли бы в конструкцию организмов. После чего рационализируем, выдумывая причины, по которым желаемые нами улучшения увеличили бы репродуктивную приспособленность — таков наш политический инстинкт, желание «продать» вариант, предпочтительный для нас, под видом того, что хочет видеть наше начальство.

По этой схеме эволюционные биологи-любители делают тысячи удивительных и фантастически ошибочных предсказаний. Потому что биологи-любители делают свои заключения, более того — находят свои гипотезы в общем пространстве всех возможных идей — используя не тот алгоритм, который использует эволюция, делая свои «заключения».

Разумный инженер спроектировал бы человеческие вкусовые рецепторы так, чтобы они измеряли, сколько в еде содержится различных питательных веществ и сколько их нам необходимо. При нехватке жиров миндаль и чизбургеры казались бы невероятно вкусными, а при первых признаках приближающегося ожирения, или в случае нехватки витаминов, самым вкусным казался бы салат-латук. Но не существует Феи Человеческой Эволюции, которая бы заранее разумно спланировала и запроектировала универсальную систему для любых обстоятельств. Нехватка калорийной пищи была надёжным инвариантом окружающей среды древних людей. Поэтому гены организмов, любивших калории, стали встречаться чаще. Как вода, текущая под гору.

Мы — воплощённая история того, какие организмы фактически выжили и размножились, а не того, какие организмы должны были бы «по уму» выжить и размножиться.

Сетчатка человеческого глаза устроена очень криво: светочувствительные клетки находятся сзади, а нервы к ним прикреплены спереди, где собираются в пучок и сквозь сетчатку уходят вглубь черепа. Отсюда слепое пятно. Для инженера это выглядит просто тупо. У некоторых других организмов сетчатка развивалась независимо от нас и получилась гораздо лучше. Почему бы не переделать человеческую сетчатку?

Проблема в том, что никакая отдельная мутация не сможет переделать всю сетчатку сразу. Это инженер может переделать разом несколько частей или заранее предусмотреть пространство для будущих изменений. Но если отдельная мутация поломает какие‑то важные части организма, не имеет значения, сколь удивительные вещи Фея могла бы впоследствии выстроить на этой основе: организм погибнет, и частота появления соответствующего гена в популяции снизится.

Если развернуть клетки сетчатки глаза, не изменив соответственно нервные окончания и зрительный нерв, система в целом не будет работать. Не имеет никакого значения тот факт, что для Феи, или разумного инженера, это лишь первый шаг к более совершенной, модернизированной системе. Такой организм будет слеп. Эволюция неспособна предвидеть последствия, ведь это лишь зафиксированная история того, какие организмы фактически размножились. Эволюция столь же слепа, как человек с наполовину переделанной сетчаткой.

Обнаружив в пустыне часы, можно сделать вывод о часовом мастере. Когда-то некоторые люди это отрицали. Они утверждали, что жизнь «просто появилась», без необходимости в оптимизирующем процессе. Как мыши, спонтанно зарождающиеся в грязных тряпках4.

Если спросить, кто был ближе к истине — теологи, защищавшие концепцию Бога‑Творца, или интеллектуально неудовлетворённые атеисты, защищавшие идею спонтанного зарождения мышей, мы должны признать победу за теологами: эволюция — не Бог, но она ближе к Богу, чем к хаосу чистой энтропии.

Мутации случайны, но отбор — не случаен. Это не значит, что разумная Фея вмешивается и отбирает, но существует ненулевая корреляция между геном и частотой воспроизводства организма. За несколько миллионов лет отклонения аккумулируются, превращаясь в непреодолимую силу. Это не божество, но гораздо больше похоже на божество, чем на «снег» случайных помех на телеэкране.

«Творцы онтологически отличны от сотворённых существ, — сказал Дэмиен Бродерик(e)— или они не стоят бумаги, на которой описаны». Действительно, могущественный Скульптор Жизни сам не является существом. Он бестелесен, подобно иудеохристианскому богу. Он пронизывает всю Природу, воплощаясь в падении каждого листа. Он безбрежен, как поверхность целой планеты. Он существует миллиарды лет. Он не был сотворён, но неизбежно произрастает из самой структуры физических законов. Разве нельзя назвать Богом того, кто подходит под такое описание?

В то же время, Создатель не имеет и разума. Жизнь — его творение — по человеческим меркам спроектирована просто паршиво. В ней нет внутреннего единства, одни части конфликтуют с другими. А главное — она совсем не добра и не приветлива.

В каком‑то смысле, Дарвин открыл Бога — Бога, который не совпал с представлениями теологов, а потому прошёл незамеченным. Если бы Дарвин открыл, что жизнь создана разумным существом — бестелесным сознанием, которое любит нас и шарахнет молнией любого, кто в этом усомнится — люди бы воскликнули: «О боже мой! Это же Бог!»

Вместо этого Дарвин открыл странного, чуждого Бога — не успокаивающе «непознаваемого», но действительно непохожего на нас. Эволюция — не Бог, но если бы она была им, это был бы не Иегова. Это был бы Азатот Говарда Лавкрафта — слепой безумный Бог, хаотически бурлящий в самом центре бесконечности под монотонные всхлипы чудовищных флейт.

Что вы и могли бы ожидать, если бы внимательно посмотрели на Природу.

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они действительно верят в непознаваемое божество без конкретных, заранее известных им признаков с соответствующе высокой вероятностью. Кто‑то действительно верящий в столь неопределённое божество, немедленно опознал бы своего странного нечеловеческого создателя, когда Дарвин сказал своё «Ага!».

Вот цена заявлениям некоторых религиозных людей, утверждающих, что они с искренней непредвзятостью ожидают, когда наука обнаружит Бога. Наука уже обнаружила вполне богоподобного создателя людей, но не такого, о котором религиозные люди хотели бы узнать. Они ожидали обнаружения их Бога — божества очень конкретного типа, которого им хотелось бы узреть. Их ожидание будет бесплодным, ибо великое открытие уже сделано и победителем оказался Азатот.

Что ж, тем лучше для нас, людей. Мне нравится Создатель, которого я могу перехитрить. Лучше, чем быть домашним животным. Я рад, что наш Бог — Азатот, а не Один.

Примечание редактора: Перевод этого эссе взят с сайта Данилы Сентябова с его разрешения.

1.Francis Darwin, ed., The Life and Letters of Charles Darwin, vol. 2 (John Murray, 1887).

2.Манихейство — древняя религия, согласно которой материальный мир не сотворён единственным Создателем, а рождён в результате конфликта двух равноправных сил — всеблагого Света и бездуховного Мрака. Подробнее можно прочитать в Википедии. — Прим.перев.

3.Речь идёт о популярной идее, будто «погремушки» появились у змей «из гуманистических целей», чтобы оповещать окружающих об опасности. Источник цитаты — George C. Williams, Adaptation and Natural Selection: A Critique of Some Current Evolutionary Thought, Princeton Science Library (Princeton, NJ: Princeton University Press, 1966).— Прим.перев.

4.В Средние века было распространено представление о самозарождении мышей и других вредителей из «нечистот».— Прим.перев.

Чудо эволюции

Элиезер Юдковский

Чудо эволюции в том, что она вообще работает.

Я говорю буквально. Если уж вы хотите восторгаться эволюцией, именно это достойно восхищения.

Каким образом во вселенной впервые возникла оптимизация? Если некий разумный агент сотворил природу, кто сотворил разумного агента? Где первый создатель, у которого нет создателя? Загадка не в том, как уже первый этап этой последовательности может быть супер-разумным и супер-эффективным. Загадка в том, как он вообще мог появиться.

Эволюция разрешает бесконечную регрессию не потому, что она сверхумная и сверхэффективная, а потому, что она тупая, неэффективная, но всё равно работает. В этом и заключается чудо.

По профессиональным причинам мне часто приходится обсуждать медлительность, случайность и слепоту эволюции. После чего кто-нибудь говорит: «Вы только что сказали, что эволюция не способна планировать одновременные изменения и что эволюция крайне неэффективна, так как мутации случайны. Но разве не это же утверждают креационисты? Что вы не можете собрать часы, случайно перемешивая детали в коробке?»

Но нельзя возражать креационистам словами, что вы на самом деле можете собрать часы, тряся коробку с деталями. Просто эволюция работает не так. Если вы считаете, что эволюция действительно представляет из себя воздушные вихри, собирающие Боинги 747, то креационисты успешно исказили ваше представление о биологии — продали вам чучело.

В действительности сложные механизмы эволюционируют либо последовательно улучшаясь, либо приспосабливая уже существующие сложные механизмы под новую цель. Белки прыгают с дерева на дерево, используя лишь свои мышцы, но длина их прыжка в определенной степени зависит от аэродинамики их тел. И сейчас существуют белки-летяги, настолько аэродинамичные, что они могут парить на небольшие расстояния. Если бы птицы оказались уничтожены, потомки белок-летяг могли бы занять эту экологическую нишу в течении десяти миллионов лет, их летательные мембраны превратились бы в крылья. А креационисты говорили бы: «Что толку от половины крыла? Вы бы просто упали и разбились. Как бы птицебелки могли эволюционировать последовательно?»

Вот так одна сложная адаптация может породить новую сложную адаптацию. Сложность также может нарастать постепенно, начиная с одной случайной мутации.

Сначала появляется какой-нибудь ген А — простой, но хотя бы чуть-чуть полезный сам по себе, благодаря чему он распространяется в генофонде. Потом появляется ген B, от которого есть польза только в присутствии A, но так как A уже широко распространён в генофонде, в пользу B действует серьёзное давление отбора. Далее возникает модифицированная версия А*, которая зависит от B, но не разрушает зависимость B от А/А*. Потом появляется С, связанный с А*, и B*, который зависит от А* и С. И вскоре мы имеем «нечленимо сложный» механизм, который ломается, стоит вытащить одну деталь.

И тем не менее, вы всё ещё можете отследить путь обратно к единственному элементу: вы можете, не ломая механизм, сделать один элемент менее зависимым от другого, и, повторив это несколько раз, вы сможете вытащить деталь, не сломав механизм, и так пока не превратите механические часы в грубые солнечные.

Например: ДНК хранит информацию очень точно. В устойчивом формате, который позволяет осуществлять точную дупликацию. Рибосома переводит эту сохраненную информацию в последовательность аминокислот, в белок, который может принимать множество химически активных форм. Объединенная система, ДНК и рибосома, может создать любой белковый механизм. Но в чём польза от ДНК без рибосомы, которая переводит информацию в белки? В чём польза от рибосомы без ДНК, которая бы объяснила, какой белок производить?

От организмов не всегда остаются окаменелости, поэтому эволюционная биология не всегда может выяснить, как именно происходило последовательное улучшение. Но в данном случае мы действительно знаем, как это произошло. РНК способна переносить информацию и самореплицироваться, как и ДНК, хотя РНК и не так устойчива, а её копии не столь точны. И РНК, как и белки, способна принимать химически активные формы, хотя и не столь универсальные, как аминокислотные цепочки белков. Почти наверняка РНК — это одиночная А, которая предшествовала взаимозависимым А* и B.

Отметить, что РНК выполняет объединенную работу ДНК и белков плохо, столь же важно, как и отметить то, что она вообще её выполняет. Восхитительно, что одна единственная молекула может одновременно хранить информацию и управлять химическими процессами. Делать эту работу ещё и хорошо было бы совершенно лишним чудом.

Что же было первым репликатором на свете? Это вполне могла бы быть нить РНК, ведь, «по какому-то странному стечению обстоятельств», химические элементы, составляющие РНК — это те химикаты, что могли естественным образом появиться на добиологической Земле 4 миллиарда лет назад. Пожалуйста, обратите внимание: эволюция не объясняет возникновение жизни. Эволюционная биология не предназначена для объяснения первого репликатора, потому что первый репликатор не произошёл от другого репликатора. Эволюция описывает статистические тенденции репликации. Первый репликатор не был статистической тенденцией, он был просто случаем. Идея, что эволюция должна объяснять возникновение жизни — это настоящее соломенное чучело, ещё одно креационистское непонимание эволюции.

Если бы вы наблюдали за первичным бульоном в день возникновения первой самовоспроизводящейся молекулы, день, который изменил Землю, вас бы не впечатлило то, насколько хорошо этот первый репликатор воспроизвел себя. Первый репликатор наверняка копировал себя, как пьяная мартышка под ЛСД. Вы не увидели бы никаких признаков той тщательной тонкой настройки, которая воплощена в современных репликаторах, потому что первый репликатор был случайностью. Эта одинокая ниточка РНК, или химический гиперцикл, или узор в грязи, не обязана была воспроизводиться изящно. Достаточно было сделать это хоть как-то. И даже тогда — это всё ещё было невероятно, если воспринимать это как единичный случай. Но это должно было случиться только один раз, а приливных луж было очень много. И вот несколько миллиардов лет спустя репликаторы ходят по Луне.

Первая случайно самореплицирующаяся молекула была самой важной молекулой в истории. Но если бы вы восхваляли ее слишком сильно, приписывая ей всяческие способствующие воспроизводству возможности, вы бы упустили всю суть.

Не думайте, что в политических дебатах между эволюционистами и креационистами тот, кто восхваляет эволюцию больше всех, должен быть на стороне науки. Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все. Вы попадаете в креационистскую ловушку, настаивая, что да, торнадо может собрать Боинг 747! Разве это не здорово! Как чудесно разумна эволюция, насколько она заслуживает восхищения! Посмотрите на меня, я расписываюсь в своей верности науке! Чем больше я скажу хороших вещей о эволюции, тем больше я на стороне эволюции, против креационистов!

Но превознесение эволюции уничтожает истинное чудо: оно не в том, как хорошо эволюция создаёт вещи, а в том, что происходящий естественным образом процесс вообще способен что-то создавать.

Так что давайте избавимся от идеи, что эволюция прекрасно создаёт новые виды или чудесно управляет их судьбой, а мы, люди, должны подражать ей. Для человеческого интеллекта подражать эволюции как творцу было бы как для современной сложно организованной бактерии брать пример с первого репликатора как с биохимика. Как выразился Томас Гексли, «бульдог Дарвина»:

Давайте поймем раз и навсегда, что этический прогресс общества строится не на подражании космическому процессу и тем более не на бегстве от него, а на противостоянии ему.

Гексли сказал это не потому, что он не верил в эволюцию, а потому что он понимал её слишком хорошо.

Эволюции неразумны (но всё равно работают)

Элиезер Юдковский

В предыдущем эссе я писал:

Наука имеет очень конкретное представление о возможностях эволюции. И если вы превозносите эволюцию хоть на миллиметр выше, вы не «сражаетесь на стороне эволюции» против креационизма. Вы научно некорректны, вот и все.

В этом эссе я опишу некоторые широко известные неэффективности и ограничения эволюций. Я говорю «эволюции» во множественном числе, потому что цель эволюции лис прямо противоположна цели эволюции кроликов, и ни одна из них не может расспросить эволюцию змей, чтобы научиться выращивать ядовитые клыки.

Итак, я говорю здесь об ограничениях эволюции, но это не значит, что я пытаюсь пропагандировать креационизм. Это стандарный курс эволюционной биологии для продолжающих (если добавить выведение уравнений, будет продвинутый). Эволюции, ограниченные таким образом, всё ещё могут объяснить наблюдаемые биологические изменения; фактически эти ограничения как раз и придают им смысл. Помните, что прелесть эволюций не в том, насколько хорошо они работают, а в том, что они работают вообще.

Человеческий интеллект настолько сложен, что нет достаточно рабочего способа рассчитать, насколько он эффективен. Естественный отбор, хотя и не прост, - проще, чем человеческий мозг; как следствие, он медленнее и менее эффективен, как и подобает первому процессу оптимизации, который когда-либо существовал. На самом деле эволюции просты настолько, что мы можем точно рассчитать, насколько они глупы.

Эволюционные изменения медленны. Насколько? Предположим, есть полезная мутация, которая обеспечивает преимущество в приспособленности на 3%. В среднем, носители этого гена имеют в 1,03 раза больше детей, чем не-носители. При условии, что мутация распространяется свободно, сколько займёт её внедрение во всей популяции? Это зависит от численности населения. Ген, передающий 3% -ное преимущество приспособленности, распространяющееся среди 100 000 человек, потребует в среднем 768 поколения для достижения повсеместности в генофонде. Для населения в 500 000 потребуется 875 поколений. Общая формула такова:

требуемое количество поколений для фиксации гена в генофонде = 2*ln(N)/s

где N — размер популяции, а (1 + s) — приспособленность. (Если у каждого носителя этого гена в 1,03 раза больше детей, чем у не-носителя, s равняется 0,03). Таким образом, если размер популяции составляет 1 000 000 особей — примерная численность населения во времена охоты и собирательства — то потребуется 2763 поколения, чтобы ген, дающий преимущество на один процент, распространился в генофонде.

В этом нет ничего удивительного. Генам приходится самим выполнять всю работу, потому что нет никакой Феи Эволюции, которая бы наблюдала за генофондом и решала: «Хм, этот ген, кажется, быстро распространяется, надо раздать его всем!»

В условиях человеческой рыночной экономики любой, кто, оставаясь в рамках закона, получает 20% прибыли от инвестиций — особенно если за этим стоит очевидный, прозрачный механизм — стремительно получает ещё больше капитала от инвесторов, а другие начинают копировать его предприятие. Генам же приходится распространяться без помощи фондовых рынков, банков и подражателей. Как если бы Генри Форду пришлось сделать одну машину, продать её, купить деталей на ещё 1,01 машину (в среднем), продать эти машины, и так до тех пор, пока не дойдёт до миллиона.

Это если предполагать, что ген вообще распространится. Следующее уравнение проще и вовсе не связано с размером популяции:

вероятность закрепления гена = 2s

У мутации, которая несёт 3%-ное преимущество (что чертовски много для мутаций), 6% вероятность распространения в популяции, по крайней мере на этот раз. Мутации могут повторяться, но при популяции из миллиона особей и точности копирования 10^-8 ошибок на поколение вам придётся подождать сотню поколений, чтобы получить ещё один шанс, а потом у неё всё равно будет 6% шанс закрепиться.

И всё-таки в конечном итоге эволюции неплохо удаётся добираться до финальной точки. (Это лейтмотив.)

На развитие сложных адаптаций требуется очень много времени. Сначала появляется аллель А, который выгоден сам по себе, и уходит тысяча поколений, прежде чем он закрепится в генофонде. Только после этого аллель B, зависимый от А, может начать развиваться. Меховая шуба не станет серьёзным преимуществом, если у окружающей среды нет статистически достоверной склонности устраивать вам морозильник. А гены составляют часть окружающей среды для других генов, и если B зависит от A, то B не получит серьёзного преимущества, пока A не будет достоверно присутствовать в окружающей среде.

Предположим, что B дает преимущество 5% при наличии A, а без него не даёт никакого. Тогда до тех пор, пока A всё ещё имеет 1% -ную частоту в популяции, B даст преимущество только 1 из 100 раз, поэтому суммарное преимущество наличия B составляет 0,05%, а вероятность закрепления В составляет 0,1%. В случае развития сложной адаптации сначала гену А придётся развиваться на протяжении более чем тысячи поколений, потом гену B придётся развиваться ещё тысячу поколений, и тогда A∗ разовьётся ещё через тысячу поколений… и несколько миллионов лет спустя вы получите новую сложную адаптацию.

И при этом другие эволюции не перенимают её. Если эволюция змей разработает потрясающий новый яд, это не поможет эволюции лис или эволюции львов.

Сравните всё это с человеком-программистом, который может разработать новый сложный механизм с сотней взаимозависимых частей всего за один день. Как это вообще возможно? Я не знаю ответа, и предполагаю, что наука тоже не знает(en); человеческий мозг намного сложнее, чем эволюции. Я мог бы махнуть рукой и сказать что-то вроде «целенаправленная обратная цепочка с использованием комбинаторных модульных представлений», но это не помогло бы вам спроектировать своего собственного человека. Тем не менее: люди предусмотрительны и способны разрабатывать новые элементы системы c расчётом на то, что в будущем будут разработаны другие новые элементы; производить согласованные одновременные изменения в взаимозависимом механизме; учиться, наблюдая отдельные тестовые примеры; фокусироваться на проблемных точках и разбираться с ними, используя абстрактное мышление; придумывать, как ещё можно поиграть с настройками вместо того, чтобы ждать, что луч из космоса создаст удачное изменение. По меркам естественного отбора это просто волшебство.

Люди способны делать вещи, которые эволюции сделать не смогут (здесь можно поставить точку) за всё то время, сколько ещё проживёт Вселенная. Как однажды сказала выдающийся биолог Синтия Кеньон за обедом, на котором я имел честь присутствовать: «Один аспирант за час может сделать то, что эволюция не смогла за миллиард лет». Согласно текущим знаниям биологов, эволюции изобрели полностью вращающееся колесо в общей сложности трижды.

И не забывайте о том, что программист может запостить фрагмент кода в интернете.

Да, некоторые изделия эволюции впечатляют даже в сравнении с лучшими технологиями Homo sapiens. Но наш кембрийский взрыв только начался, мы едва только начали накапливать знание, примерно… четыре сотни лет назад? В чём-то биология всё ещё превосходит лучшие человеческие технологии: мы не можем создать самовоспроизводящуюся систему размером с бабочку. В других случаях человеческая технология делает биологию только так. У нас есть колёса, у нас есть сталь, у нас есть ружья, у нас есть ножи, у нас есть заострённые палки; есть ракеты, транзисторы, атомные электростанции. С каждым десятилетием наша чаша весов склоняется всё ниже.

Повторю: для человеческого разума искать вдохновение в конструкторском мастерстве естественного отбора — то же самое, как если бы сложная современная бактерия подражала бы неуклюжей биохимии первого репликатора. Первый репликатор, появись он в сегодняшней конкурентной среде, был бы мгновенно съеден. Та же участь ждёт и человека-проектировщика, который станет вносить в свои стратегии случайные точечные мутации и ждать 768 итераций тестов, прежде чем внести 3%-ное улучшение.

Не превозносите эволюции ни на миллиметр больше, чем они того заслуживают.

Далее в программе: ещё больше захватывающих математических ограничений эволюции!

Эволюция к вымиранию

Элиезер Юдковский

Существует очень сильно распространённое заблуждение, согласно которому эволюция работает на благо видов. Вы, наверное, слышали чьи-нибудь рассуждения о том, что два кролика производят на свет восемь крольчат потомства и тем самым «способствуют выживанию своего вида»? Современный эволюционный биолог никогда бы такого не сказал. Скорее бы он породнился с кроликом.

При обсуждении этого вопроса тоже необходимо одновременно держать в уме несколько абстрактных концепций и при этом не смешивать их. Эволюция не работает на уровне конкретных особей. Особи сохраняют те гены, с которыми были рождены. Эволюция оперирует на уровне популяций — видов — во времени. Возникает естественная тенденция думать, что раз Фея Эволюции работает на уровне видов, она, должно быть, оптимизирует ради этих видов. Но на самом деле меняются лишь частоты встречаемости генов в популяции, а они не увеличиваются и не уменьшаются в зависимости от того, насколько этот ген поможет виду в целом. Как мы увидим в дальнейшем, для вида вполне возможно эволюционировать к вымиранию.

Почему мальчиков и девочек рождается примерно одинаковое количество? (Не учитывая безумные страны, использующие технологии искусственного полового отбора.) Чтобы понять, почему это удивительно, учтите, что от одного мужчины могут забеременеть сразу 2, 10, 100 женщин. Не похоже, чтобы одинаковое количество самцов и самок было необходимо для обеспечения выживания вида. Это ещё более удивительно для большинства видов животных, у которых самец практически не участвует в выращивании потомства - в вопросе родительских инвестиций люди экстраординарны, даже среди приматов. Сбалансированное половое распределение обнаруживается даже у видов, где самец оплодотворяет самку, а затем исчезает в тумане.

Рассмотрим две группы на разных сторонах горы: в группе А каждая мать рожает 2 дочерей и 2 сыновей, в группе В каждая мать рожает 3 дочерей и 1 сына. Группа А и группа В будут иметь одинаковое количество детей, но в группе В будет на 50% больше внуков и на 125% больше правнуков. Можно подумать, что это серьёзное эволюционное преимущество.

Но стоит учесть: чем реже начинают встречаться самцы, тем более репродуктивно ценными они становятся - не для группы, а для отдельного родителя. У каждого ребёнка есть отец и мать. Поэтому в каждом поколении общее генетическое влияние всех самцов должно быть равно общему генетическому влиянию всех самок. Чем меньше самцов, тем больше индивидуальное генетическое влияние каждого из них. Если все самки вокруг действуют во благо группы и вида, рожая по самцу на десять самок, вы можете одержать полную генетическую победу, родив исключительно сыновей, каждый из которых (в среднем) будет иметь в десять раз больше внуков, чем у их кузин.

В результате, в то время как групповой отбор должен поощрять рождение большего количества дочерей, индивидуальный отбор поощряет равный вклад в рождение потомства обоих полов. Взглянув на статистику по рождаемости, нетрудно заметить, что в борьбе между этими двумя силами у Homo sapiens, сокрушительную победу одержал индивидуальный отбор.

(Технически, всё немного сложнее. Индивидуальный отбор поощряет равный родительский вклад в потомство обоих полов. Если рождение и/или воспитание самцов в два раза проще, то эволюционно стабильным состоянием будет популяция, в которой самцов в два раза больше чем самок. Если в популяции в целом рождается одинаковое количество самцов и самок, но рождение самцов в два раза проще, то вы опять же можете одержать генетическую победу, рожая больше самцов. Таким образом, пациенты родильного отделения должны отражать баланс родительских издержек в семье охотников-собирателей при выращивании мальчиков и девочек. Но знаете, не похоже, чтобы для семьи охотников-собирателей вырастить девочку было настолько более репродуктивно затратным, что рождение примерно одинакового количество мальчиков и девочек выглядело подозрительным.)

Естественный отбор — не о группах, не о видах и даже не об отдельных особях. У видов, практикующих половое размножение, отдельный организм не эволюционирует, он сохраняет те гены, с которыми был рождён. Особь — это одноразовый набор генов, который никогда не возникнет вновь. Как можно вести отбор на таком основании? Стоит заметить, что почти все ваши предки мертвы, как становится ясным, что «выживает сильнейший» — это огромное заблуждение. «Воспроизводство более приспособленных» — вот подходящая формулировка, хотя технически приспособленность и определяется исключительно в терминах воспроизводства.

В действительности, естественный отбор — о частотах генов. Чтобы получить сложную адаптацию, механизм с множеством взаимозависящих деталей, каждый новый ген в процессе эволюции зависит от остальных генов, в достаточной степени распространённых в генетической среде. Они должны часто встречаться. И чем сложнее механизм, тем больше должны быть эти частоты. Особенность естественного отбора проявляется в распространённости гена, увеличивающейся от 0.00001% до 99% генофонда. Увеличение распространённости — это информация в смысле теории информации, и оно необходимо, чтобы большие сложные адаптации эволюционировали.

Настоящая борьба естественного отбора не в конкуренции между организмами за ресурсы, это лишь морок и все его участники исчезнут в следующем поколении. Настоящая борьба в соревновании между аллелями за частоты в генофонде. Именно результат этой борьбы создаёт информацию, сохраняющуюся надолго. Два ревущих барана, столкнувшиеся рогами всего лишь тени на стене пещеры.

Абсолютно возможно для аллеля распространиться вплоть до повсеместности, победив в конкурентной борьбе альтернативный аллель, который был бы «лучше для всего вида». Если бы Летающий Макаронный Монстр магически создал вид, в котором половое разнообразие было бы идеально оптимизировано ради выживания всего вида – такое, что могло бы эффективно восстанавливать популяцию после событий приводящих к почти полному вымиранию, адаптироваться к новым экологическим нишам и так далее, – то эволюция быстро бы испортила это разнообразие с оптимального значения для вида к индивидуальному оптимальному значению одинакового вклада в потомство обоих полов.

Представьте «ген Фродо», который жертвует своим носителем, ради спасения всего вида от вымирания. Что же случится с распространённостью этого аллеля в результате? Она уменьшится. Спасибо и до свидания.

И если события, способные привести к вымиранию вида, возникают регулярно (назовём это «средой Баффи»), распространённость гена Фродо будет систематически понижаться, пока он не исчезнет. Вскоре после этого исчезнет и весь вид. Гипотетический пример? Возможно. Если человечество планирует остаться биологическим ещё один век, было бы хорошей идеей начать клонировать Ганди.

У вирусов существует противостояние между стремлением каждого вируса воспроизвестись как можно быстрее и выгодой от того, что носитель останется в живых достаточно долго, чтобы распространить болезнь. Это хороший пример группового отбора, существующий в реальном мире. Если вирус эволюционирует до такого состояния, когда давление группового отбора не справляется с давлением индивидуального, вирус может вскоре исчезнуть. Не знаю, зафиксированы ли случаи, когда какая-нибудь болезнь эволюционировала к вымиранию, но наверняка это происходило многократно.

Нарушители сегрегации нарушают работу механизмов, которые обычно гарантируют справедливость полового размножения. Например, существует нарушитель сегрегации в мужской половой хромосоме некоторого вида мышей, который приводит к рождению исключительно самцов, которые также несут в себе этот нарушитель сегрегации. Затем эти самцы оплодотворят самок, те родят исключительно самцов и так далее. Вы могли бы возмутиться: «Это же жульничество!» Но это человеческий взгляд: репродуктивная приспособленность аллеля невероятно высока, ведь он оставляет в два раза больше копий себя в последующем поколении, чем альтернативный, немутировавший аллель. Даже когда самки начинают встречаться все реже и реже, самцы, несущие в себе этот ген имеют не меньшие шансы на спаривание, чем любые другие самцы, и таким образом нарушитель сегрегации остаётся в два раза более приспособленным, чем альтернативный аллель. Предполагается, что настоящий групповой отбор мог сыграть свою роль в удержании распространённости этого гена на том небольшом уровне, на котором она и находится. В таком случае, если бы в результате эволюции мыши научились летать и мигрировать на зиму, они бы наверняка сформировали единую репродуктивную популяцию и эволюционировали к вымиранию, как только нарушитель сегрегации распространился бы по все популяции.

Около 50% генома кукурузы состоит из транспозонов - ДНК элементов, чья основная функция копировать себя в другие участки ДНК. Класс транспозонов, называемый «P элементами», похоже, впервые возник в геноме дрозофилы только в середине двадцатого века и за 50 лет распространился по всей популяции. У людей есть «Alu-элемент», транспозон примерно из 300 оснований. Он встречается в человеческом геноме где-то от 300 тысяч до миллиона раз. Возможно, от транспозонов виды и не вымирают, но пользы это не приносит точно: транспозоны вызывают больше мутаций, которые почти всегда опасны, поскольку уменьшают эффективную точность копирования ДНК. И, тем не менее, подобные жулики крайне приспособлены.

Представим, что в некотором виде с половым размножением возник идеальный механизм копирования ДНК. Так как большинство мутаций вредны, подобный набор генов будет преимуществом для своих носителей. Но как же полезные мутации? Раз они иногда возникают, не будет ли неспособность мутировать недостатком? Однако у видов с половым размножением полезные мутации, возникшие в способных мутировать особях, могут распространиться к потомкам неспособных. Таким образом, мутируемость оказывается чистым недостатком. Идеальный механизм копирования ДНК увеличивает свою распространённость вплоть до повсеместности. Десять тысяч лет спустя наступает ледниковый период, и весь вид исчезает. Он эволюционировал к вымиранию.

«Эффект свидетеля» заключается в том, что когда кто-то попадает в неприятность, одинокий человек с большей вероятностью вмешается,чем группа. Студенту колледжа при эпилептическом приступе в 85% случаев помогали одинокие прохожие и в 31% группы из пяти человек. Предположу, что родство в племени охотников-собирателей было достаточно сильно, чтобы создать давление отбора для помощи особям, напрямую не родственным. Однако, я допускаю, что даже в этом случае генетическая гонка вооружений могла способствовать тому, что при наличии нескольких потенциальных помощников лучше остаться сзади. Каждый откладывает свою помощь, рассчитывая, что поможет кто-то другой. В настоящее время перед лицом человечества стоит множество угроз, способных привести к вымиранию всего вида, и, должен сказать, не так уж много людей готовы выступить вперёд. Если мы проиграем этот бой, потому что на поле боя не выйдет практически никто, значит, мы эволюционируем к вымиранию — как, по всей видимости, большое количество видов, которых мы не можем наблюдать сейчас.

Раковые клетки достаточно успешны в теле, они благоденствуют и накапливают больше ресурсов, значительно опережая своих более послушных конкурентов. Некоторое время.

Многоклеточные организмы могут существовать лишь потому, что они развили мощные внутренние механизмы, подавляющие эволюцию. Если клетки начнут эволюционировать, то очень быстро эволюционируют к вымиранию: организм погибнет.

Не стоит восхвалять эволюцию за заботу об отдельной особи, ведь почти все ваши предки мертвы. Не стоит восхвалять эволюцию и за заботу обо всем виде: никому ещё не удалось обнаружить сложную адаптацию, которую можно объяснить лишь направленностью на сохранение вида в целом. Судя по всему, математика показывает, что это практически невозможно. И наоборот, вид вполне может эволюционировать к вымиранию. Не исключено, что человечество завершает этот процесс прямо сейчас. Нельзя даже похвалить эволюцию за заботу о генах: битва между двумя альтернативными аллелями за распространённость — это игра с нулевой суммой.

Приспособленность не всегда ваш друг.

Трагедия группового отбора

Элиезер Юдковский

До 1966 года было довольно естественным, что серьезные биологи отстаивают эволюционные гипотезы, которые сейчас мы бы отнесли к магическому мышлению. Эти сумбурные идеи сыграли в развитии эволюционной теории важную историческую роль. Ошибки приводят к их исправлению — недальновидность английских королей привела к появлению великой хартии вольностей и конституционной демократии.

Например, Веро Вайн-Эдвардс, Вардер Алли и Дж. Л. Бреретон (а также многие другие) считали, что хищники будут добровольно воздерживаться от размножения, дабы избежать перенаселения их зоны обитания и истощения популяции их добычи.

Но эволюция не открывает шлюзы по собственному произволу. Нельзя объяснить погремушку гремучей змеи, утверждая, что она полезна для других животных, которых без этой погремушки укусила бы эта змея. Нет никакой внешней Феи Эволюции, которая решала бы, какой ген следует продвинуть: эффект гена должен как-то напрямую способствовать тому, чтобы он стал более распространенным в следующем поколении. Понятно, почему наше человеческое представление о прекрасном, видя популяцию лис, съевших всех зайцев, кричит: «Что-то нужно с этим сделать!» Но каким образом совокупность генов, обеспечивающих воздержание от размножения — представьте эту картину! — сделает себя более часто встречающейся в следующем поколении?

Человеку, создающему маленькую ухоженную игрушечную экосистему — в качестве развлечения, как модель железной дороги — скорее всего не понравится, если его тщательно сконструированные популяции лис и зайцев самоуничтожатся, когда лисы съедят всех зайцев, а затем сами умрут от голода. Так что человек будет возиться с игрушечной экосистемой до тех пор, пока экосистема не станет выглядеть мило и ухоженно, а ограничитель размножения лис — очевидное решение, которое тут же возникает в нашем человеческом мозгу. Природа — не человек, разумеется, но это не обязано останавливать нас. Особенно, когда мы знаем, что бы мы сделали по эстетическим причинам. Нам всего лишь нужно придумать правдоподобные аргументы, которые убедят природу хотеть того же по эволюционным причинам.

Очевидно, что индивидуальный отбор не создаст особь, ограничивающую свое размножение. Особи, которые размножаются неограниченно, естественным образом оставят больше потомства, чем те, кто ограничивают себя.

(Дополнение: Индивидуальный отбор не способствует жертвованию возможностями размножения. Он определенно может способствовать возникновению особей, которые, после получения всех доступных ресурсов, используют их, чтобы произвести 4 больших яйца вместо 8 маленьких — не для того, чтобы сохранить ресурсы, а потому что это индивидуальное оптимальное значение для произведения количества яиц на вероятность выживания яйца. Это не спасает от трагедии общин.)

Но предположим, что популяция некоторого вида была разбита на две подпопуляции, которые были в основном изолированны и лишь иногда спаривались друг с другом. Затем, внезапно, подпопуляция, которая ограничивала свое размножение окажется в условиях, которые с меньшей вероятностью приводят к ее вымиранию и сможет отправить больше особей на чужие территории, и создать новые колонии, чтобы заселить места обитания исчезнувших популяций.

Недостаток этого сценария не в том, что он математически невозможен. Недостаток в том, что он возможен, но крайне маловероятен.

Главная проблема в том, что от ограничения размножения в некоторой группе выиграют не только члены этой группы. Если некоторые лисы будут рожать меньше щенков, которые едят зайцев, то несъеденные зайцы достанутся не только тем щенкам, что несут в себе гены ограниченного воспроизводства. Прочие лисы и их куда большее количество щенков, с радостью съедят всех оставшихся зайцев. Ген воздержания может выжить под давлением отбора только в том случае, если выгода от воздержания достаётся лишь воздерживающимся.

Если быть точным, необходимо выполнение условия C/B < FST, где C — это стоимость альтруизма для донора, B — выгода от альтруизма для получателя, а FST — пространственная структура популяции: среднее «родство» между случайно выбранным организмом и его случайно выбранным соседом, где «сосед» - это любая другая лиса, которая получает выгоду от альтруизма воздерживающейся лисы. (Насколько я понимаю, в этой статье выводится это неравенство, но с использованием других символов. Это лучшее, что мне удалось найти в сети.)

То есть, если цена воздержания от размножения достаточно мала, а наблюдаемая польза от меньшего голода достаточно велика по сравнению с наблюдаемой пространственной структурой популяций лис и зайцев, то аргумент группового отбора может работать?

Математически это крайне маловероятно. Например, в данной симуляции при условиях, что цена альтруизма составляет 3% от приспособленности, чисто альтруистические группы имеют приспособленность дважды превосходящую чисто эгоистические, размер подпопуляций 25 особей и 20% от всех смертей компенсируются пришельцами из другой группы получается неустойчивое равновесие между альтруизмом и эгоизмом. Если удвоить размер подпопуляций до 50, эгоизм закрепляется. Если увеличить цена альтруизма до 6%, эгоизм закрепляется. Если уменьшить вдвое выгоду от альтруизма, эгоизм закрепляется или значительно преобладает. Когда цена альтруизма превосходит 10%, группы должны быть очень маленькими — всего лишь около 5 членов — чтобы групповой отбор работал. Для лис, воздерживающихся от размножения, такие условия выглядят неправдоподобно.

Я думаю, сейчас многие уже догадались, что в научном споре сторонники группового отбора потерпели окончательное поражение. И решающим оказался не математический аргумент, а эмпирическое наблюдение: лисы не ограничивают свое размножение (я не помню, о каких конкретно видах шел спор, это были не лисы и зайцы), и действительно, системы хищник-жертва постоянно рушатся. В дальнейшем теория группового отбора в некотором смысле возродится, в совершенно иной форме. С математической точки зрения возможна структура «соседей», которая создаёт ненулевое давление группового отбора — пусть и не обязательно способное преодолеть противостоящее ему давление индивидуального отбора. Если вы не будете его учитывать, то ваши вычисления будут неверны. И эволюционные механизмы принуждения (не те, о которых говорилось изначально) кардинально изменили игру. Так почему же этот уже ставший историей научный спор стоит полноценного материала для Overcoming Bias?

Десять лет спустя после упомянутого разногласия, у одного биолога возникла отличная идея. Математические условия, при которых групповой отбор может победить индивидуальный, практически невозможно обнаружить в природе. Почему бы не создать их искусственно, в лаборатории? Майкл Дж. Вейд поставил такой эксперимент, последовательно отбирая популяции насекомых по меньшему количеству взрослых особей в подпопуляции. И каков же был результат? Насекомые в самом деле ограничили своё размножение и стали жить мире и покое с достаточным количеством еды для всех?

Нет. Взрослые особи приспособились поедать яйца и личинок, особенно личинок-самок.

Ну конечно же, отбор по малым размерам подпопуляций не будет отбирать индивидов, которые воздерживаются от их собственного размножения. Он будет отбирать тех, кто съедает чужих детей. Особенно девочек.

И как только у вас появляется результат эксперимента — который теперь кажется совершенно естественным — становится ясно, что сторонники группового отбора позволяли романтизму и человеческому чувству прекрасного затуманить их предсказания о природе.

Это показательный пример упущенной Третьей Альтернативы, в результате рационализации заранее определенной нижней строчки, порождающей фальшивое оправдание и мотивированную остановку. Сторонники группового отбора не пришли к своей идее с чистым, открытым умом, не стали непредвзято выводить следствия. Они начали с прекрасной идеи популяции лис, добровольно ограничивающих свое размножение, в соответствии с нуждами популяции зайцев, с идеи о природе в абсолютной гармонии. Затем они стали искать причину, по которой такое могло бы произойти и пришли к идее группового отбора. Затем, раз они уже знали, какой результат группового отбора они хотели бы получить, они не стали искать каких-либо менее прекрасных и эстетичных адаптаций, к которым бы привел групповой отбор с большей вероятностью. Если бы они действительно попытались спокойно и непредвзято представить результат отбора по маленькому размеру подпопуляции, устойчивой к голоду, они бы подумали о поедании детей других особей или каком-либо столь же «уродливом» исходе, причём задолго до того как представить столь же эволюционно невероятное, как индивидуальное воздержание от размножения!

Это также иллюстрирует позицию, которую я пытался объяснить в Самоуверенности Эйнштейна. При больших пространствах возможных ответов почти вся реальная работа уходит на то, чтобы выдвинуть один возможный ответ как заслуживающий рассмотрения. Если гипотеза привлекла внимание неоправданно — ваше чувство прекрасного предлагает красивый способ, каким Природа может работать, и в то же время естественный отбор не включает в себя Фею Эволюции, которая разделяет ваши ценности — одно это может обеспечить ваше поражение, разве что вы сможете полностью очистить свой разум и начать все заново.

В теории, глупейший человек на земле может сказать, что Солнце светит, и это не означает, что вокруг темнота. Даже если ответ предложен сумасшедшим под ЛСД, вы должны быть способны непредвзято вычислить свидетельства за и против и, если необходимо, разуверить себя.

На практике же сторонники группового отбора были обречены, так как их нижняя строчка появилась под действием их чувства прекрасного, а нижняя строчка природы была результатом естественного отбора. И не было никакой причины, почему эти два процесса могли оказаться взаимосвязанными, и они не оказались. И никакая сколь угодно яростная аргументация этого не изменила.

Если вы начнете со своих собственных желаний о том, что делать природе, подумаете о наблюдаемых причинах, по которым природа поступает так или иначе, а затем рационализируете крайне убедительный аргумент, почему природа должна следовать предпочитаемому вами исходу по природным же причинам, то природа, увы, всё равно вас не послушает. У вселенной нет ума и на неё не действует хитроумная политическая аргументация. Можно весь день спорить, почему гравитация на самом деле должна заставлять воду течь вверх, а вода всё равно останется там, где и была. Как будто бы вселенная попросту не слушает. Дж. Р. Моллой сказал: «Природа - абсолютный ханжа, она упрямо и нетерпимо предана своим предрассудкам и совершенно отказывается уступить самой убедительной рационализации людей».

Я часто рекомендую эволюционную биологию друзьям, потому что в своём нынешнем состоянии она отучает от рационализации. Ошибки призывают к их исправлению. У физиков и инженеров-электронщиков нет проблемы с антропоморфизацией электронов, электроны не демонстрируют поведения, которое кажется разумным. Естественный отбор создает целеориентрированность, чуждую для людей, и изучающих теории эволюции об этом предупреждают. Это хорошая тренировка для любого мыслителя, но она особенно важна, если вы хотите ясно мыслить о чужих и странных процессах, которые выглядят как разум и при этом работают не так, как вы.

Фальшивый критерий оптимизации

Элиезер Юдковский

Я прежде уделил немало внимания формам рационализации, посредством которой наши убеждения, похоже, воспринимают свидетельство куда сильнее, чем должны на самом деле. И я не преувеличиваю значимость этого. Если бы мы могли преодолеть это фундаментальное метаискажение и увидеть что на самом деле предсказывает каждая гипотеза, мы были бы в состоянии исправить почти любую фактическую ошибку.

Зеркальный вызов для теории принятия решений — увидеть, какой из вариантов на самом деле рекомендуется критерием выбора. Если ваши заявленные моральные принципы говорят вам, что нужно обеспечить лэптопами всех, на самом ли деле они скажут вам купить украшенный драгоценностями лэптоп за миллион долларов или же потратить те же деньги на приобретение пяти тысяч дешевых лэптопов?

Создается такое впечатление, что мы, эволюционируя, развили в себе ловкость оправдывать практически любое действие для любой цели. В средние века при помощи теории флогистона оправдывали почему магний горит, хотя это металл, а инквизиторы объясняли каким образом бесконечная любовь Бога к своим детям требует сжечь некоторых из них на костре.

В этом нет ничего загадочного. Политика развилась как черта родоплеменного окружения. Мы произошли от тех, кто мог убедительно доказать что во благо племени нужно убить ненавидимого ими соперника Углака (мы определенно не произошли от Углака).

И еще…возможно ли доказать, что если бы Роберт Мугабе заботился только о благе Зимбабве, он бы отказался от поста президента? Вы можете сказать, что цель оправдывает средства, но разве мы только что не видели, что люди способны подогнать любую цель к любым действиям? Как вы можете знать, что вы правы, а Мугабе — нет? (Есть ряд причин, которые являются хорошими предположениями, но пока просто потерпите меня.)

Человеческие мотивы многочисленны и туманны, процессы наших решений весьма сложны, равно как и наш мозг. Да и мир сам по себе является очень сложным местом, в каждом из выборов средств реального мира. Можем ли мы вообще доказать, что люди рационализируют — что мы систематически искажаем связь между принципами и средствами — когда мы теряем даже ту единственную опору, на которой стоим? Когда нет способа точно найти даже подразумеваемый единичный оптимизационный критерий? (На самом деле вы можете просто наблюдать что люди не соглашаются насчет офисной политики такими способами, которые странно коррелируют с их собственными интересами, в то же время одновременно отрицая, что эти интересы играют какую-либо роль. Но опять же, потерпите еще.)

Где же стандартиризованный, открытый, в общем разумный, консеквенциалистский оптимизационный процесс, в который мы могли бы поместить завершенную моральность как XML файл, чтобы найти? что же мораль на самом деле рекомендует, будучи примененной к миру? Есть ли пусть даже единичный реальный случай, где мы могли бы точно знать, какой критерий выбора рекомендован? Где чистый моральный мыслитель — известная функция полезности, очищенная от всех остальных заблудившихся желаний которые могут исказить ее оптимизация — чей надежный вывод мы можем сравнить с человеческими рационализациями той же самой функции полезности?

И это, конечно же, наш старый друг, чуждый бог! Естественный отбор гарантированно свободен ото всей милости, любви, сострадания, эстетических взглядов, политической фракционности, идеологических пристрастий, академических амбиций, либертарианства, социализма, Синих и Зеленых. Естественный отбор не максимизирует всестороннюю генетическую пригодность — он не умен. Но когда вы смотрите на результат естественного отбора, вы гарантированно смотрите на результат того, что было оптимизировано только по всесторонней генетической пригодности, а не в интересах агрокультурной индустрии США.

В примерах из эволюционных наук — в, например, Трагедии Группового Отбора — мы можем напрямую сравнить человеческие рационализации с результатом чистой оптимизации по известному критерию. Что Уэйн-Эдвардс думал по поводу того, что должно быть результатом группового отбора для малых размеров субпопуляций? Добровольное ограничение в размножении и достаточность еды для всех. Что было настоящим лабораторным результатом? Каннибализм.

Теперь вы можете спросить: может быть все эти случаи эволюционных наук нерелевантны человеческой морали, которая, когда речь заходит о любви, сострадания, эстетики, исцеления, свободы, честности и прочего, никоим образом не помогает всеохватной генетической приспособленности.

Но я спрошу в ответ: если мы не можем напрямую увидеть результат единого монотонного оптимизационного критерия — если мы даже не можем натренировать себя слышать отдельную чистую ноту — тогда как мы услышим оркестр? Как мы увидим, что «всегда будь эгоистичен» или «всегда слушайся правительства» являются плохими принципами, которыми могут руководствоваться люди — если мы думаем, что даже оптимизация генов для всеохватной генетической пригодности должна производить организмы, жертвующие репродуктивными возможностями во имя социального соглашения о ресурсах?

Чтобы научить себя видеть ясно, нам нужны простые практические примеры.

Исполнители адаптаций, а не максимизаторы приспособленности

Элиезер Юдковский

«Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности»

—Джон Туби и Леда Космидес, «The Psychological Foundations of Culture»1

Пятьдесят тысяч лет назад, вкусовые рецепторы Homo sapiens направляли своих хозяев на поиски самых дефицитных и наиболее востребованных пищевых ресурсов — сахара и жира. Одним словом — калорий. С тех пор обстановка, в которой существуют вкусовые рецепторы, значительно изменилась — в отличие от самих рецепторов. Калории теперь в избытке (в странах Первого Мира) и причиняют ощутимый вред. Микронутриенты, которых было предостаточно в листьях и орехах, отсутствуют в хлебе, но нашим вкусовым рецепторам всё равно. Шарик мороженного — это суперстимул, содержащий больше жира, сахара и соли, чем что угодно в древнем мире.

Ни один человек, умышленно стремящийся к максимизации генетической приспособленности своих аллелей, никогда не съел бы печенье, разве что под страхом голодной смерти. Но отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

Крестовую отвёртку создали, чтобы закручивать шурупы, но она не перестроит свою головку на плоскую, чтобы выполнять свою функцию. Мы создаём инструменты, но они существуют независимо от нас и будут существовать независимо от нас.

Атомы отвёртки не содержат внутри себя крошечных XML-тэгов, описывающих их «объективное» предназначение. У её создателя был какой-то замысел. Но реальный мир не обязан ему соответствовать. Если забыть о том, что творец является отдельной сущностью, отличной от творения, можно подумать: «Цель отвёртки — закручивать шурупы», как будто бы это неотъемлемое свойство самой отвёртки, а не свойство состояния ума её создателя. И можно удивиться, что отвёртка не становится плоской, когда нужно закрутить шуруп с плоской головкой, ведь, в конце концов, цель отвёртки — закручивать шурупы.

Причина существования отвёртки — разум её создателя, который представил воображаемый винт и воображаемый поворот рукоятки. Фактическая работа отвёртки, её реальное соответствие головке реального винта, не может быть причиной существования отвёртки: будущее не может быть причиной прошлого. Но мозг создателя, объект, существовавший в прошлом, может быть причиной существования отвёртки.

Последствия существования отвёртки могут не соответствовать воображаемым последствиям в мозгу создателя. Наконечник отвёртки может соскочить и порезать руку пользователя.

А смысл отвёртки — это что-то, что существует в уме пользователя, а не в крошечных этикетках на атомах отвёртки. Её создатель мог ожидать, что отвёртка будут закручивать шурупы. Убийца мог купить её, чтобы использовать как оружие. А затем случайно уронить её, в результате чего её подберёт ребёнок и использует как стамеску.

Причина, форма, последствия и всевозможные смыслы отвёртки — разные вещи. И лишь одна из них заключена в самой отвёртке.

Как возникли вкусовые рецепторы? Они не были созданы разумным творцом, предвидящим последствия, они результат истории древнего человечества. Адаму нравится сахар, он ест яблоко и оставляет потомство, Барбара любит сахар, ест яблоко и оставляет потомство, Чарли любит сахар, ест яблоко и оставляет потомство, и 2763 поколения спустяаллель становится повсеместно распространённым в популяции. Ради удобства мы иногда сжимаем весь этот огромный промежуток истории и просто говорим: «Это сделала Эволюция». Однако, именно он — объективная причина существования вкусовых рецепторов. Пусть это и не быстрое локальное событие, вроде человека, представляющего создаваемую им отвёртку.

Каково объективное устройство вкусовых рецепторов? Технически, это молекулярный сенсор, присоединённый к контуру подкрепления. Это добавляет дополнительный уровень косвенности, потому что вкусовой рецептор не занимается напрямую добычей пищи. Он влияет на разум организма, приводя к тому, чтобы организм хотел есть ту еду, которая похожа на только что съеденную.

Каковы объективные последствия существования вкусовых рецепторов? Для современного жителя Первого Мира вкусовые рецепторы вовлечены в многочисленные цепочки причинно-следственной связи: желание съесть больше шоколада влечёт составление плана, как съесть больше шоколада, и далее поедание шоколада, набор веса, меньшую популярность у противоположного пола, что приводит к меньшим шансам на размножение. Эти последствия прямо противоположны главной причине в длинной цепочке причин и следствий, породившей вкусовые рецепторы. Но так как переедание лишь недавно стало проблемой, никакая дальнейшая эволюция (совокупная последовательность предков) не повлияла на устройство вкусовых рецепторов.

В чем смысл употребления шоколада? Это уже зависит от вас и вашей моральной философии. Лично я думаю, что у него хороший вкус, но я бы хотел, чтобы он был менее вредным. Приемлемые решения могут включать в себя как изменение шоколада, так и моей биохимии.

Смешав некоторые из этих понятий вместе, можно вроде бы сказать: «Современные люди поступают таким образом, который способствовал бы распространению генов в обществе охотников-собирателей, независимо от того, помогает ли это нашим генам в современном мире». Однако, такое утверждение не вполне верно, ведь на самом деле мы не спрашиваем себя, какое поведение максимизировало бы приспособленность наших предков. К тому же, множество современных занятий не имеет древних аналогов. В обществе охотников-собирателей вообще не было такой вещи как шоколад.

Так что лучше рассматривать наши вкусовые рецепторы как адаптацию, приспособленную к древним условиям, включающих в себя голод, яблоки и жареных кроликов, которую современные люди применяют в новом контексте, включающим в себя дешёвый шоколад и постоянно попадающиеся на глаза рекламные объявления.

Отсюда и высказывание: Отдельные организмы стоит рассматривать как исполнителей адаптаций, а не как максимизаторов приспособленности.

1.John Tooby and Leda Cosmides, “The Psychological Foundations of Culture,” in The Adapted Mind: Evolutionary Psychology and the Generation of Culture, ed. Jerome H. Barkow, Leda Cosmides, and John Tooby (New York: Oxford University Press, 1992), 19–136.

Эволюционная психология

Элиезер Юдковский

[От переводчика: существующему в англоязычном интернете явлению любительской эволюционной психологии соответствует существующее на русском языке явление любительской этологии. Несмотря на разные названия, комплекс идей, в значительной мере ошибочных, они выражают одинаковый.]

Выражение «орган размножения» — это тавтология, точно такая же как и «чат IRC» или «протокол TCP/IP». Все органы — это органы размножения. Откуда у птиц крылья? Фея эволюции птиц подумала, что полёт — это очень изящно? Крылья есть только потому что они помогли предкам птиц размножаться. Равно как и лёгкие, и сердце, и гениталии. Максимум может быть целесообразно разделять органы, непосредственно или косвенноучаствующие в размножении.

Это наблюдение также верно и для мозга, наиболее сложной из известных биологии систем органов. Некоторые органы мозга непосредственно участвуют в размножении — например, сексуальное желание — а некоторые косвенно, такие как злость.

Почему у людей есть такая эмоция как злость? Фея эволюции человека подумала, что злость — это полезная функция? Отвечающая за злость нейронная сеть является таким же органом размножения, как и печень. Homo sapiens может испытывать злость, потому что у испытывавших её предков было больше детей. Нет никакого иного пути, который бы привёл к возникновению злости.

Исторический факт о происхождении злости сбивает многих с толку. Они говорят: «Минуточку, вы говорите, что когда я злюсь, я подсознательно стремлюсь завести детей? Это не то, о чём я думаю, если меня кто-то ударил в нос».

Нет. Нет. Нет. НЕТ!

Об отдельных организмах стоит думать как об исполняющих адаптации, а не максимизирующих приспособленность. Причина адаптации, форма адаптации и результат адаптации — это разные вещи. Если вы сконструируете тостер, то он не будет менять свою форму при попытке затолкать в него целый батон хлеба; да, вы сконструировали тостер, предназначенный для того, чтобы жарить хлеб, но это факт о вас, а не о тостере. У тостера нет никакого чувства собственного предназначения.

Но тостер не является объектом вообще имеющим намерения. У него нет разума, поэтому мы не испытываем соблазн приписывать ему цели. То, что мы знаем предназначение тостера, не значит, что его знает тостер — он вообще ничего не знает.

Это похоже на старый тест, в котором просят назвать цвет букв в слове «синий», когда сами буквы окрашены в красный. Это занимает много времени, поскольку мозгу нужно расцепить значение букв и цвет букв. У вас не будет такой проблемы с задачей назвать цвет букв в слове «ветер».

Однако человеческий мозг, помимо того, что он был создан эволюцией, способен иметь собственные стремления, намерения, желания, цели и планы. И человек, и пчела являются проектами, но только человек — проектировщиком. Пчела — это «ветер», а человек — «синий».

Сознательные цели онтологически отличаются от эволюционных целей. Они сделаны из другого материала. Сознательные цели состоят из нейронов, а эволюционные — из предков.

Самые очевидные сознательные цели — это волевые решения, такие как план пойти в магазин или поджарить хлеб. Но эмоции тоже физически существуют в мозге, в виде последовательности нервных импульсов или облака распространяющихся гормонов. Также и инстинкты, зрительные образы, спешно подавленные мысли — имея возможность сканировать мозг и понимать код, мы бы могли видеть их.

Даже подсознательная деятельность физически существует в мозге. Как сказал лорд Актон: «Власть развращает». Сталин вполне мог считать себя альтруистом, работающим ради великого блага для большего количества людей. Однако кажется весьма вероятным, что где-то в его мозге были сети, которые подкрепляли использование власти удовольствием, и сети, которые предсказывали укрепление и ослабление власти. Если бы в мозге Сталина не было ничего, что бы коррелировало со властью — никакой лампочки, которая загоралась при командовании и тухла при политической слабости — тогда как бы власть его развратила?

Давление эволюционного отбора онтологически отличается от биологических артефактов, которые оно создаёт. Эволюционная причина существования крыльев у птиц — это миллионы предков-птиц, которые по статистике размножались чаще, чем остальные предки-птицы, благодаря тому, что они обладали всё сильнее улучшающимися крыльями, по сравнению со своими конкурентами. Мы сжимаем этот колоссальный историко-статистический факт в короткую фразу: «Это сделала эволюция».

Естественный отбор онтологически отличается от существ; эволюция — это не мохнатое чудовище, блуждающее в неизведанном лесу. Эволюция — это причинная и статистическая закономерность в репродуктивной истории предков.

И эта логика также применима к мозгу. Эволюция сделала крылья, которыми можно махать, но она не понимает концепции махательности. Она сделала ноги, на которых можно ходить, но она не знает про ходительность. Эволюция сделала кости из ионов кальция, но сами кости ничего не знают про прочность, не говоря уж об эволюционной приспособленности. Эволюция спроектировала мозг, который сам по себе способен к проектированию, но этот мозг понимает эволюцию не лучше, чем птицы — аэродинамику. До XX века ни один человеческий мозг не представлял себе комплексную абстрактную концепцию инклюзивной приспособленности(English).

Когда нам говорят «Эволюционная цель злости — увеличивать генетическую приспособленность», мы часто сползаем через «Цель злости — это размножение» на «Сознательная цель злости — это размножение». Нет! В мозге нет статистической закономерности размножения предков, даже подсознательно — её там нет так же, как и тостер не содержит цель жарить хлеб, поставленную перед собой инженером.

Думать, что ваши встроенные нейронные сети злости воплощают желание размножаться — это как думать, что рука воплощает желание подбирать предметы.

Рука не полностью отрезана от сознательных желаний. В конкретных обстоятельствах вы можете контролировать сгибание пальцев волевым актом. Если вы наклонитесь и подберёте монету, тогда это будет волевым актом, но не воля заставила руку вырасти.

Нужно также различать единовременные явления злости (злость-1, злость-2, злость-3) и соответствующую им нейронную сеть, отвечающую за злость вообще. Злость-событие — это сознательная мотивация, и у неё могут быть сознательные причины, но у вас не было сознательного желания создать нейронную сеть злости.

Итак, нужно различать злость-событие, нейронную сеть злости, описывающий её комплекс генов и статистику размножения предков, которая привела к возникновению этого комплекса.

Если и есть наука, которая по своей сути требует экстремальной аккуратности, то это эволюционная психология.

Узрите же, о мои читатели, это низкую и радостную историю: мужчина и женщина встречаются в баре. Мужчину привлекают её светлый тон лица и упругая грудь, которые в доисторические времена были бы признаками фертильности, но в данном случае являются результатом наличия макияжа и бюстгальтера. Мужчину это не беспокоит; ему просто нравится, как женщина выглядит. Его нейронные сети, отвечающие за распознавание светлого тона лица понятия не имеют о том, что их предназначение — оценивать фертильность, точно так же, как на атомах его руки нет XML-тега «≺цель≻поднимать предметы ≺/цель≻». Женщину привлекают его уверенная улыбка и твёрдые манеры, которые в доисторические времена были бы признаками способности обеспечить пропитание детям. Она собирается воспользоваться контрацепцией, но её нейронные сети, регистрирующие уверенные улыбки, об этом знают ничуть не лучше чем тостер знает о том, что его создатель спроектировал его для жарки хлеба. Её не беспокоит философское значение этого бунта, поскольку её мозг — креационист, неистово отрицающий существование эволюции. Он надевает презерватив, поскольку не хочет детей, а только лишь дофаминово-норадреналиновую бурю секса, которая надёжно производила потомство 50 тысяч лет назад, когда отсутствие презервативов было неотъемлемым свойством окружающей среды. Они занимаются сексом, принимают душ и расходятся. Основной объективный результат всего этого — прибыль бара, отеля и производителя презервативов, что никак не было ни сознательной целью в умах мужчины и женщины, ни имело что-либо общее с закономерностью размножения их предков 50 тысяч лет назад, которая объясняет, откуда у них взялись гены, создавшие такие мозги, осуществившие такое поведение.

Чтобы правильно рассуждать об эволюционной психологии, нужно одновременно держать в голове много сложных абстрактных фактов, которые тесно связаны, но при этом критически различны, и ни разу при этом не подменить понятия.

Суперстимулы и крах западной цивилизации

Элиезер Юдковский

Известно как минимум три случая, когда люди умерли, потому что играли в видеоигры несколько дней без перерыва. Из-за «World of Warcraft» люди теряли супругов, детей и работу. Если люди имеют право играть в видеоигры — а сложно представить более фундаментальное право, — рынок в ответ предоставит им самые захватывающие игры, какие только можно продать. Вплоть до того, что особо увлечённые игроки окажутся исключены из генофонда.

Как потребительский продукт может быть настолько увлекательным, что даже спустя 57 часов использования потребитель предпочтёт воспользоваться им ещё один час, а не поесть или поспать? (Полагаю, кто-нибудь может заявить, что потребитель делает рациональный выбор, предпочитая поиграть в «Старкрафт» ещё один час вместо того, чтобы жить весь остаток своей жизни, но, пожалуйста, не здесь.)

Шоколадный батончик — это суперстимул: в нём больше концентрированного сахара, соли и жира, чем в любой еде из среды, в которой эволюционировал человек. Шоколадный батончик возбуждает вкусовые рецепторы, эволюционировавшие во времена охотников-собирателей, но возбуждает их намного сильнее, чем всё, что существовало в те времена. Сигнал, который когда-то достоверно соответствовал здоровой еде, был взломан. В пространстве вкусов появилась точка, отсутствовавшая в тренировочном наборе данных, для древних параметров появился невероятно редкий выброс. Вкус, ранее бывший эволюционным маркером полезности, подвергли реверс инжинирингу, и к нему идеально подобрали искусственную субстанцию. К сожалению, не существует столь же сильного рыночного стимула делать получившуюся еду столь же полезной, как и вкусной. Мы же не можем напрямую ощутить полезность.

Ставшее знаменитым видео Dove Evolution подробно показывает, как создаётся другой суперстимул. При помощи косметики, профессиональной фотографии и активного использования Фотошопа обычная женщина превращается в модель с обложки, приобретая красоту, невозможную и недостижимую для женщин в неотретушированном, реальном мире. Настоящие женщины убивают себя (например, супермодели употребляют кокаин, чтобы не набирать вес) ради конкуренции с тем, чего в буквальном смысле не существует.

И, аналогично, видеоигра, даже просто транслируемая сквозь компьютерный монитор, может быть настолько увлекательной, чем какая-то реальность, что некоторые будут играть в неё, не отрываясь даже на еду и сон, до тех пор, пока в буквальном смысле не умрут. Я не знаю всех хитростей, используемых в видеоиграх, но некоторые, наверное, примерно представляю: сложность задач тщательно подбирается, чтобы они не казались слишком простыми или наоборот невозможными, вознаграждение выдаётся случайным образом, обратная связь демонстрирует постоянный рост очков, в крупных многопользовательских играх присутствует социальная вовлечённость.

Ограничивает ли что-нибудь рынок в стремлении делать игры всё более увлекательными? Можно было бы понадеяться, что вряд ли кто-то захочет перейти черту, за которой игроки будут терять работу, в конце концов, они же должны оплачивать подписку. Это рассуждение подразумевает, что есть некоторая оптимальная точка притягательности видеоигр, в которой мода колоколообразной кривой — это развлекающиеся игроки, и лишь несколько бедолаг приобретают настолько сильную зависимость, что лишаются работы. В 2007 году игра в «World of Warcraft» 58 часов без перерыва с последующей смертью всё-таки скорее исключение, чем правило. Однако производители видеоигр конкурируют друг с другом, и, сделав видеоигру более притягательной на 5%, можно получить 50% клиентской базы конкурента. Легко увидеть, как эта проблема может стать намного хуже.

Если люди имеют право на искушение — а ведь в этом и состоит весь смысл свободы воли — рынок реагирует соответственно и обеспечивает такое количество искушений, какое только можно продать. Мотивация — сделать стимул на 5% более искушающим, чем у главных конкурентов. И гонка приводит к тому, что в какой-то момент стимулы превращаются в суперстимулы, аномальные по меркам среды, в которой эволюционировал человек. Подумайте о том, как изменились наши стандарты женской красоты со времён рекламных плакатов 1950-х. И, как показывают нам шоколадные батончики, мотивация рынка также преодолевает тот порог, за которым суперстимулы уже наносят потребителю побочный урон.

Так почему бы нам просто не сказать «нет»? Ключевое допущение свободной рыночной экономики в том, что при отсутствии принуждения или обмана люди всегда могут просто отказаться заключать вредоносные сделки. (Будь это действительно так, свободный рынок был бы не просто лучшей из возможных экономических политик, а политикой, у которой недостатков либо нет совсем, либо их очень мало.)

Организм, который регулярно отказывается от пищи, умирает, и некоторые игроки в видеоигры узнали об этом на собственном опыте. Однако, в древние времена обычно выгодное (и таким образом соблазнительное) действие иногда оказывалось вредоносным. Благодаря абстрактному мышлению люди как вид очень сильно воспринимают такие особые случаи. С другой стороны, мы также часто воображаем множество специфических последствий, которых не существует. Например духа предков, приказывающего нам не есть вполне пригодных для того кроликов.

Похоже, что эволюция нашла компромисс, или, быть может, выстроила новую систему поверх старой. Еда всё ещё искушает Homo sapiens, однако наша огромная префронтальная кора мозга до некоторого предела позволяет нам противостоять искушению. Предел есть — наши предки с чрезмерно развитой силой воли, вероятно, заморили себя голодом во имя богов или же чаще отказывались от внебрачного секса. В некоторомсмысле у тех игроков, что умерли за видеоиграми, была необычайная сила воли, чтобы продолжать играть так долго без еды и сна. Такова эволюционная опасность самоконтроля.

Сопротивление искушению требует сознательных усилий и растрачивает ограниченный запас ментальной энергии1. Утверждение о том, что мы можем «просто сказать „нет“ », на самом деле не верно, сказать «нет» — не просто, за это приходится платить. Даже те люди, что выиграли в генетическую лотерею больше силы воли или прозорливости, платят свою цену, чтобы сопротивляться искушению. Просто им это даётся легче.

Наша ограниченная сила воли эволюционировала, чтобы справляться с искушениями, существующими в среде, где мы эволюционировали. Она может плохо справляться с соблазнами, неведомыми охотникам-собирателям. Даже если нам удаётся противостоять искушению суперстимула, весьма правдоподобно, что усилие, необходимое для этого, исчерпывает силу воли куда быстрее, чем противостояние давно существующим искушениям.

Является ли публичная демонстрация суперстимулов вредоносной даже для тех, кто говорит «нет»? Должны ли мы запретить рекламу шоколадного печенья или же витрины, на которых в открытую пишут слово «Мороженое»?

Из существования проблемы напрямую не следует, что правительство в состоянии её решить (если нет соответствующих доказательств). Регулятор не заинтересован заниматься продуктами, в которых сочетается небольшой вред для потребителя и вызывающий зависимость суперстимул, его больше интересуют продукты, вред от которых может создать достаточный шум, чтобы попасть в газеты. И наоборот, из того, что правительство не может что-то исправить, не следует, что в этом нет ничего плохого.

В качестве последнего аргумента я оставляю вам вымышленное свидетельство: опубликованный в интернете роман Симона Фанка «После Жизни» описывает (среди прочего) умышленное уничтожение биологического вида Homo sapiens, причём не посредством марширующей армии роботов, а при помощи искусственных детей. Эти дети красивее и милее настоящих, и их гораздо интересней воспитывать. Возможно, демографический крах продвинутых обществ происходит, потому что рынок обеспечивает все более соблазнительные альтернативы тому, чтобы иметь детей, а привлекательность смены подгузников остаётся неизменной. Где же рекламные плакаты с призывами «РАЗМНОЖАЙТЕСЬ»? Кто заплатит профессиональном пиарщикам, чтобы убедить всех, будто спорить с угрюмыми подростками увлекательнее, чем отдых на Таити?

«В конце концов», — писал Симон Фанк, — «рынок просто вытеснил человеческий вид из бытия».

1.Кризис воспроизводимости поставил эту теорию под сомнение. — Прим.редактора.

Суть твоя - осколки бога

Элизер Юдковский

До двадцатого века, ни один человек не имел представления о «генетической приспособленности» - единственной вещи, которой полностью одержим слепой безумный бог. У нас нет инстинктивного отвращения перед презервативами или оральным сексом. Наши мозги, эти превосходные репродуктивные органы, не проводят проверку на репродуктивную эффективность, прежде чем наградить нас оргазмом.

Почему нет? Почему мы не являемся сознательно одержимыми генетической приспособленностью? Почему Фея Эволюции Людей создала мозги, которые изобрели презервативы? «Не допустить этого было бы так легко» - думает человек, способный создавать новые сложные системы за один вечер.

Насколько нам известно, Фея Эволюции просто одержима генетической приспособленностью. Когда она решает, какой ген распространить до повсеместности, она, похоже, учитывает исключительно то, сколько своих копий ген производит (Удивительно!)

Но раз создатель разума столь одержим, почему бы ему не сотворить разумных агентов – едва ли их можно назвать людьми, – которые также будет озабочены исключительногенетической приспособленностью? Такие агенты занимались бы сексом только ради размножения и ни за что не пользовались бы контрацепцией. Они бы употребляли пищу исключительно из-за того, что она необходима для воспроизводства, а не потому, что им нравится вкус, так что они не стали бы есть конфеты, будь те угрозой для выживания и размножения. Женщины после менопаузы сидели бы с детьми до тех пор, пока не становились слишком больными, начиная негативно сказываться на бюджете семьи, и тогда бы они добровольно совершали самоубийство.

Это выглядит совершенно очевидным улучшением проекта – с точки зрения Феи Эволюции.

Понятно, что довольно-таки сложно создать достаточно сильного консеквенцианалиста. Естественный отбор вроде бы рассуждает консеквенциально, но исключительно в зависимости от непосредственных последствий. Теоретикам эволюции потребовались крайне высокоэффективные абстрактные рассуждения, чтобы представить связь между адаптациями и репродуктивным успехом.

Но человеческий мозг определенно способен представлять эти связи. Так почему же, когда Фея Эволюции создала людей, она дала им какую-либо мотивацию кроме генетической приспособленности?

Прошло менее двухсот лет, с тех пор как белковый мозг впервые представил концепцию естественного отбора. Современное понятие «генетической приспособленности» еще более деликатно - это крайне абстрактная концепция. Важно не просто количество общих генов. У вас 95% общих генов с шимпанзе. Что важно, так это общее генетическое разнообразие внутри популяции - ваша сестра родная вам наполовину, так как любая особенность вашего генома по отношению к человеческому виду, имеет 50% вероятность быть общей для вас двоих.

Только в прошлом веке, возможно даже во второй его половине, эволюционные биологи начали понимать полный спектр причин репродуктивного успеха, включая взаимный альтруизм и дорогостоящий сигналлинг. Без этого крайне подробного знания, разумный агент, стремящийся «максимизировать генетическую приспособленность» попросту сядет в лужу.

Так почему бы изначально не запрограммировать это знание в белковых мозгах? Почему понятие «генетической приспособленности» не было вшито в нас, вместе с готовой библиотекой явных стратегий? Тогда можно было бы избавиться ото всех механизмов подкрепления. Организм бы рождался со знанием того, что жирная пища с высокой вероятностью увеличит приспособленность. Если позже организм узнает, что это больше не так, то он перестанет употреблять жирное. Можно провести рефакторинг всей системы. И она не изобретет ни презервативов, ни печенья.

Это кажется в принципе возможным. Я иногда встречаю людей, не вполне понимающих консеквенциализм, которые возражают: «Но если организм не имеет отдельной мотивации есть, он умрет с голоду и не сможет таким образом оставить потомства». Что ж, покуда организм это знает и обладает функцией полезности, ценящей репродукцию, он автоматически будет есть. Фактически, это как раз и есть та консеквенциальная причина, по которой естественный отбор породил автоматических едоков.

Но что на счет любопытства? Разве не будет консеквенциалист любопытен только в случае, когда есть некая особая причина быть любопытным? И раз так, не приведет ли это к тому, что он упустит множество важных знаний? Опять же, сам этот факт и будет причиной для консеквенциалиста искать новые знания. Человек любопытен. Не ко всему без разбору, но к проблемам со специфическими характеристиками. И наличие этой комплексной адаптации в людях исключительно консеквенциально обосновано нашей ДНК. Это неявный способ представления информации: Предки, ведущие себя таким образом оставляли больше потомков.

Но слепой безумный бог не настолько умен. Эволюция это не программист, способный за раз переписать всю архитектуру кода. Эволюция это не программист, способный сидеть и печатать команды со скоростью шестьдесят слов в минуту.

За миллионы лет до возникновения гоминидного консеквенциализма существовало обучение с подкреплением. Поощряющие сигналы были стабильно коррелированы с репродукцией. Негоминидный мозг не способен предвидеть, что употребление жирной пищи сейчас позволит ребенку пережить зиму. Поэтому ДНК создает протеиновый мозг, генерирующий сигнал поощрения при употреблении жирной пищи. А организму же просто остается выяснить, какие животные самые вкусные.

ДНК создает протеиновые мозги, система поощрения в которых непосредственно коррелирует с поведением организма, и лишь опосредованно с репродуктивным успехом. Необязательно понимать, что съеденная осенью сладкая пища приведет к производству калорий, которые могут быть сохранены в жировой прослойке, что поможет пережить зиму, что в свою очередь поспособствует спариванию весной, чтобы произвести потомков летом. Просто яблоко вкусное. И мозгу остается только придумать способ, как раздобыть больше яблок.

И так организмы развили поощрение для еды, и строительства гнезд, и отпугивания соперников, и помощи близким, и открытия важных истин, и формирования крепких союзов, ведения убедительных споров, и, конечно же, занятий сексом.

И когда мозг гоминидов начал демонстрировать способности к межобластным консеквенциальным рассуждениям, они использовали их для того чтобы удовлетворить уже существующие механизмы подкрепления. Это было относительно простая надстройка, куда проще, чем создание «максимизатора генетической приспособленности» с нуля. Протеиновые мозги изобретали способы получить калории и секс, без какого-либо явного представления о «генетической приспособленности».

На месте эволюции, человеческий инженер бы воскликнул: «Да я только что изобрел консеквенциалиста! Теперь, вместо того чтобы использовать сложные костыли, вроде механизмов подкрепляющего обучения, я могу явно задать все с таким трудом добытые знания! Просто написать декларативную систему, состоящую из утверждений вроде “жирная еда и секс обычно повышает генетическую приспособленность”, а дальше консеквенциальное рассуждение само позаботится обо всем. Вдобавок еще и избавимся от бага, из-за которого живые существа изобретают презервативы!»

Но человек бы и не установил сетчатку глаза задом наперед.

Слепой безумный бог – это не единая сущность, но множество отдельных устремлений. Лисы эволюционируют чтобы ловить зайцев, зайцы – спасаться от лис. Существует так же много эволюций, как и видов на Земле. Но в рамках каждого вида, слепой безумный бог озабочен исключительно генетической приспособленностью. Ни одно качество не важно само по себе, даже выживание, разве что оно увеличивает репродуктивную приспособленность. Нет смысла в существе со стальной кожей, если в результате оно будет размножаться хоть на 1% менее эффективно.

И все же, когда слепой безумный бог создал протеиновые компьютеры, ему не удалось полностью передать им свою одержимость генетической приспособленностью. Ему не удалось успешно создать куайн своего критерия оптимизации. Мы, творение эволюции, столь же чуждые ей, как и наш Творец чужд нам. Единая функция полезности, разбитая на тысячу осколков страстей.

Почему? Прежде всего, потому, что эволюция буквально неразумна. Но также и потому, что первые протеиновые компьютеры не были столь же универсальными, как и слепой безумный бог, и могли ориентироваться лишь благодаря краткосрочным желаниям.

В итоге, спрашивать, почему эволюция не создала людей максимизаторами генетической приспособленности, все равно, что спрашивать, почему эволюция не дала людям рибосому, потребовав, чтобы мы сами разработали свою биохимию. Просто эволюция не может так быстро переписывать код. Но возможно, спустя миллиард лет естественного отбора, именно это бы и произошло, будь интеллекты столь глупы, чтобы позволить слепому безумному богу оставаться у власти.

В произведении Нивена и Пурнеля Соринка в Глазу Бога описывается разумный вид, оставшийся биологическим слишком долго, постепенно становясь действительно порабощенным эволюцией, превращаясь в истинных максимизаторов приспособленности, одержимых тем, чтобы оставить как можно больше потомства. Но к счастью, это не то, что произошло в действительности на нашей планете. По крайней мере, пока.

Итак, людям нравится вкус сахара и жира, а также мы любим своих сыновей и дочерей. Мы ищем высокого общественного положения и секса. Мы поем, танцуем и играем. Мы познаем новое, ради самой любви к знанию.

Тысяча предпочтений, соответствующих древним механизмам подкрепления, что когда-то коррелировали с репродуктивной приспособленности. Теперь же мы ценим их самих по себе, независимо от того ведут ли они к размножению или нет. Мы занимаемся безопасным сексом, едим шоколад и слушаем музыку давно покойного Баха, записанную на диске.

И когда мы наконец-то узнаем об эволюции, то думаем: «Быть постоянно одержимым генетической приспособленностью? И что в этом интересного?»

Мы – маниакальная одержимость слепого безумного бога, разбитая на тысячу осколков страстей. И, будучи человеком, я считаю, что это хорошо. Иначе что бы мы делали с нашим будущим? С миллиардом галактик ночного неба? Заполнили бы их максимально эффективными репликаторами? Следует ли нашим потомкам быть озабоченным исключительно собственной генетической приспособленностью, воспринимая все остальное лишь как средства достижения этой цели?

Быть тысячью осколками страстей не всегда здорово, но, по крайней мере, это не скучно. Мы развили вкусы к новизне, сложности, элегантности и преодолению трудностей – вкусы, что оценивают маниакальную одержимость слепого безумного бога и находят ее эстетически неудовлетворительной.

И да, эти вкусы породил в нас тот самый слепой безумный бог. И что с того?

Хрупкие цели

Ценности терминальные и инструментальные

Элиезер Юдковский

Интуитивно кажется, что любой человек при планировании ведёт себя так, будто умеет различать цели и средства. Хочется шоколада? Шоколад продаётся в супермаркете «Пабликс». Чтобы попасть в супермаркет, нужно проехать одну милю на юг по проспекту Вашингтона. Чтобы проехать эту милю, нужно сесть в машину. Чтобы открыть дверь, нужны ключи от машины. И вы кладёте ключи от машины в карман, собираетесь выйти из дома…

… и тут внезапно по радио сообщают, что землетрясение уничтожило весь шоколад в местном «Пабликсе». И нет смысла ехать в «Пабликс», если там нет шоколада, и нет смысла садиться в машину, если вы никуда не едете, и нет смысла в ключах от машины в кармане. Поэтому вы вытаскиваете ключи из кармана, звоните в местную службу доставки пиццы и заказываете там шоколадную пиццу. М-м-м, вкусно.

Я редко сталкиваюсь с тем, что люди теряют нить плана, который они сами же и разработали. Обычно люди не едут в супермаркет, если знают, что шоколада там нет. Но при этом я часто замечаю, что когда люди не просто хотят чего-то, а явно описывают свою систему целей — говорят о целях, а не пытаются их достичь, — они часто путаются. Люди хорошо планируют, но они не специалисты по планированию1. Если бы это было не так, в мире было бы гораздо больше разработчиков ИИ.

В частности, я замечаю, что люди путаются — в абстрактных философских дискуссиях, а не в обычной жизни, — когда обсуждают разницу между целями и средствами. Более формально: разницу между «инструментальными ценностями» и «терминальными ценностями».

Насколько я понимаю, часть проблемы заключается в том, что человеческий мозг использует для отслеживания своих целей отдельную систему, которая работает, но не идеально. В нашем языке нет чёткого разделения между целями и средствами: предложения «Я хочу спасти жизнь моей сестры» и «Я хочу сделать моей сестре укол пенициллина» содержат одно и то же слово «хочу».

Можем ли мы описать утерянную разницу на обычном человеческом языке?

Давайте попробуем:

«Инструментальные ценности» нужны нам исключительно потому, что мы ожидаем, что они повлекут ожидаемые нами последствия. «Я хочу сделать моей сестре укол пенициллина» не потому, что сестра с пенициллином внутри это нечто хорошее само по себе, а потому что ожидаю, что пенициллин вылечит её от пожирающей плоть пневмонии. Если бы вы ожидали, что укол пенициллина приведёт к тому, что ваша сестра растает как Злая Ведьма Запада, вы бы дрались изо всех сил, чтобы спасти её от пенициллина.

«Терминальные ценности» нужны нам без какой-либо связи с другими последствиями. «Я хочу спасти жизнь моей сестре» никак не связано с тем, будет ей сделан после этого укол пенициллина или нет.

У этой первой попытки есть очевидные проблемы. Если спасение жизни моей сестры приведёт к тому, что Землю поглотит чёрная дыра, я порыдаю некоторое время, но не буду делать ей укол пенициллина. Означает ли это, что спасение жизни моей сестры не является «терминальной ценностью» (не имеет ценность само по себе), ведь теоретически оно может повлечь какие-то последствия? Возможно, я пытаюсь спасти ей жизнь лишь из убеждения, что впоследствии Землю не поглотит чёрная дыра? Интуиция подсказывает, что дело не в этом.

Поэтому оставим в покое обычный язык. Мы можем математически описать теорию принятия решений так, чтобы терминальные и инструментальные ценности оказались независимыми и несовместимыми типами — как целые числа и числа с плавающей запятой в языках программирования, где нет автоматической конвертации между ними.

Идеальную байесианскую систему принятия решений можно построить всего лишь на основе четырёх элементов:

Исходы: тип Исход[]

перечень возможных исходов

{сестра живёт, сестра умирает}

Действия: тип Действие[]

перечень возможных действий

{сделать укол пенициллина, не делать укол пенициллина}

Функция_полезности: тип Исход -> Полезность

функция полезности, которая ставит в соответствие каждому исходу его полезность

(полезность описывается действительным числом между минус- и плюс-бесконечностью)

{сестра живёт: 1, сестра умирает: 0}

Функция_условной_вероятности: тип Действие -> Исход -> Вероятность

функция условной вероятности описывает вероятностное распределение по исходам для каждого действия

(вероятность описывается действительным числом от 0 до 1)

{сделать укол пенициллина: сестра живёт, 0,9; сестра умирает: 0,1;; не делать укол пенициллина: сестра живёт: 0,3; сестра умирает: 0,7}

А что насчёт самой системы принятия решений?

Ожидаемая_полезность: Действие Д -> (Сумма И из Исходы: Полезность(И) * Вероятность(И|Д))

«Ожидаемая полезность» действия равна сумме по всем исходам от полезности исхода, помноженной на условную вероятность исхода при выполнении этого действия.

{ОП(сделать укол пенициллина) = 0,9; ОП(не делать укол пенициллина) = 0,3}

Выбрать: -> (Argmax Д из Действий: Ожидаемая_Полезность(Д))

Выбрать действие, «ожидаемая полезность» которого максимальна.

{результат: сделать укол пенициллина}

Для каждого действия вычислите условную вероятность всех возможных последствий, затем сложите полезности, помноженные на условные вероятности. Затем выберите лучшее действие.

Это математически простой набросок системы принятия решений. Вычислять решение в реальном мире таким образом не эффективно.

Например, что будет, если план требует выполнить некую последовательность шагов? Построенный формализм может легко описать такую ситуацию, при этом Действие будет обозначать всю последовательность. Но при этом получится экспоненциально большое пространство вариантов, похожее на пространство всех предложений, состоящих из 100 букв. Если одним из возможных первых шагов будет «Отстрелить себе ногу», человек решит, что это в любом случае плохая идея, и выбросит все последовательности, начинающиеся с этого шага. Но в нашем представлении мы упрощаем эту структуру. У нас нет последовательностей шагов, есть лишь просто «действия».

В общем, да, есть «несколько небольших сложностей». Собственно, если бы их не было, мы бы могли просто создать таким способом настоящий ИИ. В каком-то смысле таковым ИИ и была бы сама байесовская теория вероятностей.

Однако всё равно это пример ситуации, когда гораздо лучше сначала рассмотреть простой до абсурдности вариант, а уж потом добавлять всякие навороченные усложнения.

Рассмотрим философа, который заявляет: «Все мы, в сущности, эгоисты. Мы заботимся лишь о том, что у нас в голове. Мать, которая заявляет, что волнуется о благополучии сына, на самом деле хочет верить, что с её сыном всё в порядке. Её делает счастливой это убеждение. Она помогает сыну ради своего счастья, а не ради его счастья». Вы отвечаете: «Предположим, мать жертвует своей жизнью, чтобы вытолкнуть сына из под колёс едущего грузовика. Этот поступок не делает её счастливой, она просто погибает». Философ запинается на секунду, затем возражает: «Но она всё равно это делает, потому что этот выбор ей нравится больше других, потому что она присвоила этому решению большую важность».

И на это вы говорите:

ОШИБКА ТИПОВ: Конструктор для Ожидаемая_Полезность -> Полезность не найден.

Позвольте мне объяснить этот ответ.

Даже наш простой формализм чётко показывает различие между ожидаемой полезностью, которая является свойством действия, и полезностью, которая является свойством исхода. Да, конечно, вы можете перевести и полезность, и ожидаемую полезность в действительные числа. Но это тоже самое, что перевести в действительные числа скорость ветра и температуру — они не становятся от этого одной и той же сущностью.

Философ начинает спор с утверждения, что полезность является функцией от исходов, составляющих состояние нашего разума. Если это правда, то наш разум будет действовать как машина, которая направляет будущее в те области, где мы счастливы. Будущие состояния при этом различаются только по состоянию разума. Если в каких-то двух разных будущих у вас одинаковое состояние ума, вам всё равно, какое из них предпочесть.

И в этом случае вы действительно вряд ли станете жертвовать своей жизнью, чтобы спасти чужую.

Когда мы возражаем, что люди иногда всё-таки жертвуют своими жизнями, философ переключается на обсуждение ожидаемой полезности от действий: «Она присвоила этому решению большую важность». Именно из-за этого неожиданного переключения мы должны подпрыгнуть от возмущения. В нашем языке программирования попытка преобразовать Ожидаемая_полезность в Полезность сразу же вызовет ошибку. Но в обычном человеческом языке и то, и другое кажется одним понятием.

В нашей простой системе принятия решений мы выбираем те действия, которым соответствует наивысшая Ожидаемая_полезность. Но это ничего не говорит о том, в какое именно будущее мы хотим попасть. Ожидаемая полезность ничего не говорит о полезностях, которые назначает принимающий решение, или об исходах, которые скорее всего произойдут в реальном мире. Она ничего не говорит о разуме как о машине, направляющей куда-то будущее.

Физической причиной физического действия является состояние разума. Для нашего идеального принимателя решений таким состоянием является Ожидаемая_полезность, которая вычисляется через функцию полезности от воображаемых последствий. Чтобы спасти жизнь сына, вы должны представить событие, при котором жизнь сына спасена. Воображаемое событие само по себе не является событием. Оно оказывается в кавычках, тут такая же разница, как между «снегом» и снегом. Но это не означает, что то, что находится в кавычках должно само быть состоянием разума. Если вы выбираете действие, которое ведёт к будущему, которое вы представляете как «мой сын по-прежнему жив», то вы работаете машиной, которая направляет будущее в ту область, где ваш сын по-прежнему жив. Не машиной, которая направляет будущее в область, где вы представляете предложение «мой сын по-прежнему жив». Чтобы направлять будущее в эту область, ваша функция полезности должна возвращать высокое значение при входных данных « „мой сын по-прежнему жив“ », когда стоят двойные кавычки, когда речь идёт о том, как вы воображаете себя воображающим такой исход. У вас получится плохой торт, если вы измельчите рецепт и бросите его в тесто.

Именно поэтому полезней сначала рассмотреть простую систему принятия решений. Если в неё внести достаточно усложнений, различия, хорошо заметные ранее, будет увидеть сложнее.

А теперь давайте рассмотрим некоторые усложнения. Очевидно, что функция полезности (отображающая исходы в полезность) нужна, чтобы формализовать то, что раньше я обозначил как «терминальные цели», цели, которые никак не связаны с их последствиями. Что у нас теперь получается с примером, когда спасение жизни вашей сестры приводит к тому, что чёрная дыра уничтожает Землю? В нашем формализме мы эту возможность упрощаем. Исходы не ведут к исходам, к исходам ведут только действия. Выздоровление вашей сестры от пневмонии, за которым следует уничтожение Земли чёрной дырой, становится одним «возможным исходом».

А где в этом простом формализме оказываются «инструментальные ценности»? А они полностью исчезают! Понимаете, в этом формализме действия ведут к исходам без каких-то промежуточных событий. Мы здесь не рассматриваем камень, который летит сквозь воздух, попадает в яблоко на дереве, в результате чего оно падает на землю. Бросок камня — это действие. Оно ведёт к исходу, в котором яблоко лежит на земле — в соответствии с функцией условной вероятности, которая превращает действия напрямую в распределение вероятностей по исходам.

Для того, чтобы на самом деле вычислить функцию условной вероятности, и для того, чтобы отдельно рассмотреть полезность сестры с пневмонией и чёрной дыры, поглощающей Землю, мы должны представить структуру причинно-следственных связей — как именно одни исходы ведут к другим.

И тут возвращаются инструментальные ценности. Если причинно-следственная сеть в достаточной степени «регулярна», возможно, вы обнаружите, что состояние B, скорее всего, ведёт к C. Тогда, если вы по каким-то причинам хотите достичь С, вы можете сперва запланировать достичь В, которое ведёт к С, а затем запланировать достичь А, которое ведёт к В. В этом весь смысл «инструментальных ценностей»: В является «инструментальной ценностью», потому что ведёт к С. С само по себе может считаться терминальной ценностью, аргументом функции полезности из пространства исходов. Или С может быть просто инструментальной ценностью, узлом, который невозможно оценить с помощью функции полезности напрямую.

Инструментальные ценности в этом формализме служат исключительно для эффективного планирования. Если нужной «регулярности» нет, от них можно и нужно избавиться.

Например предположим, что есть какое-то конкретное значение В, которое не ведёт к С. Предпримите вы действие А, которое ведёт к этому В? Или отбросим абстрактную философию. Если вы хотите попасть в супермаркет ради шоколада, и вы хотите поехать в супермаркет, и вам нужно попасть в машину, будете вы выламывать дверь машины паровым экскаватором? (Нет.) Инструментальные ценности — это «дырявые абстракции» (это словосочетание из нашего программистского жаргона). Иногда закэшированную ожидаемую полезность нужно выкидывать и вычислять заново. Чтобы быть эффективным и не самоубиться при этом, нужно в том числе замечать, когда привычные ходы перестают работать. Хотя описываемый формализм использует инструментальные ценности, они нужны только в тех случаях, когда присутствует необходимая «регулярность» и исключительно для удобства вычислений.

Однако если некто усложняет формализм до того, как понял простую версию, он иногда начинает думать, что инструментальные ценности живут какой-то своей странной жизнью, причём даже в нормативном смысле. В смысле, если сказать, что В — обычно хороший поступок, потому что он ведёт к С, то следует всегда пытаться сделать В — даже в отсутствие С. Занимаясь абстрактной философией, люди часто допускают такую ошибку, хотя в реальной жизни они никогда не выламывают дверь своей машины паровым экскаватором. Не понимая простой вариант формализма люди иногда думают, что невозможно появление консеквенциалиста, который максимизирует лишь генетическую приспособленность — ведь он умрёт от голода, если у него нет явной терминальной ценности «питаться». Люди совершают эту ошибку, хотя сами никогда не стоят целый день возле открытой машины из страха оказаться в ней запертой — ведь у них же нет терминальной ценности открывать дверь машины.

Инструментальные ценности обитают в функции условной вероятности. Из-за этого инструментальные ценности напрямую зависят от убеждений о поведении функции полезности. Если я убеждён, что пенициллин вызывает пневмонию, а отсутствие пенициллина её лечит, то для меня инструментальная ценность пенициллина упадёт. Убеждения меняются — меняется функция условной вероятности, которая связывает действия с ожидаемыми последствиями. И вместе с ней меняются и инструментальные ценности.

Когда люди спорят о морали, то иногда они спорят об инструментальных последствиях, а иногда — о терминальных ценностях. Если ваш оппонент заявляет, что запрет на ношение личного оружия ведёт к снижению количества преступлений, а вы утверждаете, что запрет на ношение оружия ведёт к увеличению количества преступлений, то вы согласны по поводу высшей инструментальной ценности (преступления — это плохо), но не согласны по вопросу, какое промежуточное событие ведёт к каким последствиям. Однако в споре о женском обрезании, как мне кажется, вряд ли у оппонентов есть общие представления о том, как справедливо обращаться с женщинами или как сделать их счастливее.

Во время особо яростных споров на это важное различие часто никто не обращает внимание. Люди, у которых есть общие ценности и разногласие по поводу фактов, приходят к мысли, что их оппонент наверняка социопат. Мол, если он выступает за ограничение/легализацию оружия, значит, он на самом деле хочет убивать людей. С точки зрения психологии это довольно не реалистично.

Боюсь, человеческий мозг не слишком хорошо видит различие между терминальными и инструментальными ценностями в вопросах морали. «Мы должны запретить оружие» и «Мы должны спасать жизни людей» выглядят схожими убеждениями о морали по своей форме. Хотя в остальном человеческая система целеполагания усложняет практически всё, именно это различие превращается в мешанину разных штук с условными ценностями.

Чтобы выделить терминальные ценности, нам нужно разобраться в этой мешанине ценных штук и понять, ценность каких из них привязана к чему-то ещё. Это очень сложно! Если вы говорите, что хотите запретить ношение оружия для того, чтобы уменьшить число преступлений, может потребоваться время, чтобы понять, что «уменьшение числа преступлений» — это не терминальная ценность, это более высокая инструментальная ценность, которая связана с терминальной ценностью человеческой жизни и человеческого счастья. А у человека, который защищает право на ношение оружия, это право может быть связано с более высокой инструментальной ценностью «уменьшение числа преступлений», а также с ценностью «свободы», которая может быть терминальной ценностью или ещё одной инструментальной ценностью…

Мы не в состоянии распечатать полную «сеть», как одни наши ценности выводятся из других ценностей. Скорее всего, мы даже не помним всю историю, откуда эти ценности взялись. Часто мы можем это понять, размышляя над правильными моральными дилеммами: «Сделаете ли вы Х в случае Y?» Но если вы всерьёз захотите понять, какие у вас терминальные ценности, на вашем пути встретится множество ловушек: запутывающих дилемм и сомнительных философских аргументов. Мы не знаем свои ценности и откуда они взялись. Мы можем это узнать лишь копаясь в наших процессах познания, а при этом мы обязательно будем ошибаться. Довольно сложно даже просто научиться сознательно различать понятия «терминальные ценности» и «инструментальные ценности», отслеживать, что они значат, и использовать их правильно. Только исследуя наш простой формализм мы можем понять, как это теоретически просто могло бы быть.

И я здесь ещё не касаюсь сложностей, связанных с человеческой системой вознаграждения — наших механизмов подкрепления. Есть шоколад приятно, предвкушать поедание шоколада приятно, но это разные случаи приятности…

Однако я не слишком горюю из-за всех этих сложностей.

Не знать собственные ценности — не всегда забавно. Но уж точно не скучно.

1.Автор здесь ссылается на текст Робина Хэнсона «Expert At Versus Expert On». — Прим.перев.

Как люди понимают слова

Цепочка о том, как люди пользуются словами и как они при этом ошибаются. О том, почему нельзя просто взять и определить слово так, как хочется. О том, как наши мозги, судя по всему, обрабатывают определения.

Ориентироваться по цепочке можно по эссе Когда слова могут быть ошибочны.

Притча о кинжале

Элиезер Юдковский

Когда-то давно жил в одном дворце придворный шут, который баловался логикой. И вот однажды шут принес королю две шкатулки.

На крышке первой было написано: «Либо в этой шкатулке сидит свирепая лягушка, либо в шкатулке с ложной надписью сидит свирепая лягушка, но не то и другое одновременно».

На крышке второй было написано: «Либо в этой шкатулке лежит золото, а в шкатулке с ложной надписью сидит свирепая лягушка, либо в этой шкатулке сидит свирепая лягушка, а в шкатулке с истинной надписью лежит золото».

И шут сказал королю:

— В одной шкатулке сидит свирепая лягушка, в другой лежит золото; одна и только одна из надписей истинна.

Король открыл неправильную шкатулку, и на него напала лягушка.

— Видите ли, — сказал шут, — давайте предположим, что первая надпись истинна. Тогда предположим, что в первой шкатулке лежит золото. Тогда во второй шкатулке должна сидеть лягушка, а в шкатулке с истинной надписью должно лежать золото, из чего следует, что вторая надпись тоже истинна. Теперь давайте предположим, что первая надпись ложна, и в первой шкатулке лежит золото. Тогда вторая надпись будет…

Король приказал бросить шута в темницу.

На следующий день шута в кандалах привели к королю, и тот показал ему другие две шкатулки.

— В одной шкатулке лежит ключ к твоим кандалам, — сказал король, — и если ты сможешь найти его, ты свободен. Но в другой шкатулке лежит кинжал к твоему сердцу, если ты этого не сможешь.

На первой шкатулке было написано: «Либо обе надписи истинны, либо обе ложны».

На второй шкатулке было написано: «В этой шкатулке лежит ключ».

Шут размышлял так: «Предположим, что первая надпись истинна. Тогда вторая надпись тоже истинна. Теперь предположим, что первая надпись ложна. Тогда вторая надпись всё равно истинна. Так что во второй шкатулке должен лежать ключ, если первая надпись истинна, и если первая надпись ложна. Поэтому во второй шкатулке логически должен лежать ключ».

Шут открыл вторую шкатулку и нашел кинжал.

— Как? — закричал шут в ужасе, когда его утаскивали прочь. — Это логически невозможно!

— Вполне возможно, — ответил король. — Я просто написал эти надписи на двух шкатулках, а потом положил кинжал во вторую.

Притча о болиголове

Элиезер Юдковский

Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.

— Аристотель (?)

Сократ поднёс к губам чашу с болиголовом…

— Возможно ли, — спросил один из наблюдателей. — что даже болиголова недостаточно, чтобы убить столь мудрого и доброго человека?

— Нет, — ответил другой зритель, студент философии. — Все люди смертны, Сократ — человек, и если смертный выпьет болиголов, он непременно умрёт.

— Ладно, — сказал наблюдатель. — А если окажется, что Сократ «не» смертен?

— Вздор! — отрезал студент. — Все люди смертны «по определению»: это часть того, что мы понимаем под словом «человек». Все люди смертны, Сократ — человек, следовательно, Сократ смертен. И это не просто предположение. Это «логическая достоверность».

— Наверное, ты прав… — проговорил наблюдатель. — О! Глянь! Пока мы тут разговаривали, Сократ уже выпил болиголов. — Ага. Он упадёт с минуты на минуту. — ответил студент.

И они ждали, и ждали, и ждали…

— Сократ совсем не кажется смертным. — сказал наблюдатель.

— Значит, Сократ — не человек, — ответил студент. — Все люди смертны, Сократ не смертен, следовательно, Сократ — не человек.

И это не просто предположение. Это «логическая достоверность».

Главная проблема утверждения о том, что что-то истинно «по определению» состоит в том, что нельзя изменить реальность, поменяв определение (English).

Можно рассуждать примерно так: «Я вижу, что все носящие одежду, говорящие и использующие инструменты существа также имеют другие общие свойства, как-то: они дышат воздухом и перекачивают красную кровь. Последние тридцать объектов из этого кластера (я называю их «людьми»), которые выпили болиголов в моём присутствии, очень скоро упали и перестали двигаться. Сократ носит тогу, бегло говорит на древнегреческом и только что выпил болиголов из чаши. Поэтому я предсказываю, что Сократ рухнет на землю в течение следующих пяти минут».

Но это рассуждение — всего лишь «догадка», уязвимая и невозвышенная. Она не может быть абсолютно и неоспоримо верна (English), вы же понимаете . А греческие учёные, как и большинство донаучных философов, очень любили стопроцентную определённость.

К счастью, у греческих философов был разрушительный ответ на ваши сомнения.

— Вы неверно понимаете смысл утверждения «Все люди смертны», — сказали бы они. — Это вовсе не «наблюдение». Это часть «определения» слова «человек». Бренность — одно из нескольких свойств, индивидуально необходимых и совместно достаточных для того, чтобы определить принадлежность к классу «человек». Высказывание «Все люди смертны» логически истинно и бесспорно. И если Сократ — человек, то он «должен» быть смертен: это логическая дедукция, настолько несомненная насколько это вообще возможно.

Но тогда мы никак не сможем с определённостью знать «человек» ли Сократ до тех пор, пока не увидим его мёртвым. Бесполезны наблюдения того, что Сократ владеет греческим, или что у него красная кровь, или даже что ДНК Сократа человеческая. Ни один из этих признаков «логически не эквивалентен» бренности. Вы должны увидеть «его» мёртвым, прежде чем сможете сделать заключение о том, что он был человеком.

(И даже в этом случае ваше заключение не будет абсолютно достоверным (English). Вдруг Сократ восстанет из могилы следующей ночью? Или, если не столь сильно утрировать, вдруг Сократ подписал контракт на своё крионирование? Если бренность определить как конечную продолжительность жизни, то невозможно «знать», что кто-то является человеком, не достигнув сначала конца вечности — как иначе можно убедиться в том, что этот кто-то не вернётся? Не говоря о том, что сцена с падающим на землю Сократом может быть лишь иллюзией, спроецированной на ваши глаза сканером сетчатки. Или, может быть, вся эта история — лишь плод вашего воображения, серия галлюцинаций…)

Проблема с силлогизмами — это то, что они верны «всегда». Если воспринимать цепочку умозаключений «Все люди смертны; Сократ — человек; следовательно Сократ смертен» как силлогизм, то эта цепочка логически неоспорима в нашей вселенной. А ещё она логически неоспорима в соседней ветви Мультиверса, где эволюция пошла по слегка другому пути, из-за чего болиголов — это божественный деликатес, а не отрава. И она логически неоспорима даже во вселенных, в которых Сократ никогда не существовал или, коли на то пошло, в которых никогда не существовали люди.

По байесианскому определению свидетельство рассматривается, как говорящее в пользу гипотезы, если его вероятнее наблюдать в случае, когда гипотеза верна, чем в случае, когда она неверна. Наблюдениетого, что силлогизм логически безупречен, не может быть свидетельством в пользу любого эмпирического утверждения, потому что силлогизм будет логически безупречен вне зависимости от верности этого утверждения.

Силлогизмы неоспоримы во всех возможных мирах. Таким образом, их неоспоримость не говорит нам ничего о том, в «каком» из возможных миров мы действительно проживаем.

Это значит не то, что логика бесполезна, а то, что логика может сообщить нам только то, что мы и так «в некотором смысле» уже знаем. Но мы не всегда верим в то, что знаем. Является ли простым число 29384209? После того, как я определил десятичную систему счисления и аксиомы арифметики, я определил и ответ на этот вопрос. Но я всё ещё не знаю ответа и мне нужна логика, чтобы найти его.

Аналогично, если я сформулирую неопределённое эмпирическое обобщение «Болиголов воздействует на людей», и неопределённое эмпирическое суждение «Сократ — человек», логика подскажет мне что мои предыдущие догадки приводят к умозаключению, что Сократ подвержен воздействию болиголова.

Можно рассмотреть логические рассуждения как способ разрешения неопределённостей в отношении невозможных возможных миров, способ обнуления вероятности логически невозможных миров, о логической невозможности которых нам не было известно. Таким образом, логическое умозаключение может считаться разновидностью наблюдения.

Но когда мы говорим об эмпирических предсказаниях вроде «Сократ свалится с ног и прекратит дышать» или «Сократ сделает пятьдесят подпрыгиваний, а затем победит на Олимпийских играх в следующем году», это является возможными мирами, а не невозможными возможными мирами.

Логика позволяет нам понять, какая гипотеза соотносится с конкретными наблюдениями, и позволяет нам сделать выводы о том, что эти гипотезы предскажут в будущем — она позволяет взять старые наблюдения и предыдущие заключения и применить их к новой проблеме. Но логика никогда не скажет «Сократ прекратит дышать через минуту» вместо «Сократ „может“ прекратить дышать через минуту». Логика никогда не ответит ни на один эмпирический вопрос; она никогда не разрешит встреченную в реальности тайну, допускающую — если напрячь воображение — несколько реалистичных разгадок; она не подскажет ответа на дилемму, правильный ответ в которой неопределён, и, в принципе, может оказаться каким угодно.

Просто запомните литанию против логики:

Логика остаётся истинной, куда бы ты ни пошёл,

Поэтому логика никогда не скажет тебе, где ты живёшь.

Слова как скрытые умозаключения

Элиезер Юдковский

Предположим, что я наткнулся на бочку, верх которой запаян, но в которой есть дыра такого размера, что в неё пролезает рука. Я просовываю ладонь внутрь и нащупываю что-то маленькое и изогнутое. Я вытаскиваю объект наружу — это голубоватое яйцо. Я просовываю руку ещё раз: что-то жёсткое и плоское, с рёбрами — после извлечения это оказывается кубом красного цвета. В итоге я вытащил 11 яиц и 8 кубов, и каждое яйцо синее, и каждый куб красный.

На этот раз, просунув руку внутрь, я нащупал ещё один объект яйцеобразной формы. Пока я не извлёк его из бочки, я пытаюсь угадать: как он выглядит?

Имеющиеся свидетельства не доказывают, что каждое яйцо в бочке синее, и что каждый куб красный. Свидетельства даже не дают этому сильных обоснований: 19 — не очень большой размер выборки. Тем не менее, я предполагаю, что это яйцо синее — или, что менее вероятно, но всё же занимает второе место, красное. Думать о других вариантах бессмысленно: возможностей столько, сколько существует различимых цветов — и почему яйцо должно быть выкрашено в один цвет? Может быть, на нём нарисована лошадь.

Посему я говорю «синее», и слова эти покрыты послушной долгу патиной смиренности: ибо я искушённый рационалист, привыкший следить за своими допущениями и догадками. Я тыкаю пальцем в небо, но я осознаю, что я тыкаю пальцем в небо, верно?

Однако, когда из теней выпрыгивает объект котообразной формы, покрытый жёлтыми и чёрными полосами, в моей голове проносится «Ой! Тигр!». Не «Хммм… полосатые объекты большого размера и жёлтого цвета, форма которых типична для представителей семейства кошачьих, ранее очень часто обладали свойствами «голодный» и «опасный», и поэтому — несмотря на то, что строгой логической необходимости в этом нет — можно сделать довольно неплохой с эмпирической точки зрения вывод о том, что ааааааргххххХРУМ ХРУМ ЧАВК»

По какой-то странной причине в процессе эволюции человеческий мозг научился производить это умозаключение быстро, автоматически, и не отслеживая все использованные допущения явно.

И если я назову яйцевидные объекты словом «сияйца» (что будет означать «синие яйца»), а красные кубы словом «крубы», то тогда, нащупав в бочке ещё один яйцевидный объект, я могу подумать «о, это сияйцо» вместо того, чтобы рассуждать о проблеме индукции и прочих вещах того же рода.

Убеждение о том, что ты можешь определить слово так, как тебе нравится, — распространённое заблуждение.

Это было бы правдой, если бы мозг воспринимал слова исключительно как логические конструкции, аристотелевы классы, а ты никогда бы не вытаскивал информацию, изначально не положенную внутрь.

И всё же мозг продолжает своё занятие категоризацией вне зависимости от того, одобряем ли мы это сознательно. «Все люди смертны, Сократ человек, следовательно Сократ смертен» — рассуждали философы древней Греции. Ну что же, если смертность — часть определения логического понятия «человек», то ты не можешь классифицировать Сократа как человека до тех пор, пока ты не убедишься в его смертности. Однако — в этом и состоит проблема — Аристотель прекрасно знал, что Сократ является человеком. Мозг Аристотеля поместил Сократа в категорию «люди» также эффективно, как и твой мозг категоризирует тигров, яблоки, и всё своё окружение: быстро, безмолвно, и без сознательного одобрения.

Аристотель заложил правила, согласно которым никто не мог установить, что Сократ был «человеком», не пронаблюдав его смерти. Тем не менее, Аристотель и его ученики спокойно делали выводы о том, что ещё живые горожане были людьми, и, следовательно, смертными; они видели отличительные свойства — человеческие лица и человеческие тела — и их мозги совершали прыжок в сторону неявных свойств, таких, как смертность.

Неверное понимание алгоритма действий своего разума, к счастью, не мешает ему выполнять свою работу. Иначе последователи Аристотеля умерли от голода, неспособные сделать вывод об съедобности объекта на основании всего лишь того, что он выглядел и пах, как банан.

И последователи Аристотеля отправились классифицировать окружающее на основании неполной информации, точно также, как делали и все предыдущие поколения людей. Процесс мышления учеников Аристотеля нисколько не изменился из-за того, что они узнали принципы классической логики, однако они приобрели ошибочное представление о том, чем они занимались.

Если бы ты спросил философа-последователя Аристотеля о том, смертна ли Кэрол, торговец бакалейными товарами, то ты бы услышал положительный ответ. Почему? «Все люди смертны, Кэрол — человек, значит, Кэрол — смертна» — объяснил бы философ. Что это — предположение или несомненный факт? На этот вопрос философ бы ответил «разумеется, несомненный факт» (по крайней мере, если бы дело происходило раньше шестнадцатого века). Поинтересуйся, откуда он знает, что люди смертны, и получи ответ о том, что это закреплено в определении.

Последователи Аристотеля по-прежнему были людьми, они сохранили свою изначальную природу, но они приобрели неверные убеждения о своём внутреннем функционировании. Они смотрели в зеркало самосознания и видели что-то, непохожее на них самих; корректность их рефлексии была нарушена.

Твой мозг видит в словах нечто большее, чем просто логические определения без эмпирических последствий, и тебе следует последовать его примеру. Одного лишь создания нового слова достаточно для того, чтобы твой разум выделил ему категорию, и тем самым запустил бессознательные умозаключения о похожести. Или заблокировал умозаключения о похожести: создав два ярлыка, я могу заставить твой разум выделить две категории. Ты обратил внимание на то, что я сказал «ты» и «твой мозг» так, будто это две разные вещи?

Наличие заблуждений о том, как работает содержимое твоего черепа никак не влияет на это содержимое; иначе Аристотель пал бы бездыханным в тот же миг, когда заключил, что мозг — орган для охлаждения крови. Философские ошибки обычно не взаимодействуют с требующими доли секунды бессознательными умозаключениями.

Но философские ошибки могут чрезвычайно испортить процессы осознанного мышления, в том числе и те, которые используются для коррекции первых впечатлений. Если ты считаешь, что можно «определить слово так, как тебе нравится», не понимая, что твой мозг продолжает категоризировать без сознательного надзора, то ты не потратишь никаких усилий на то, чтобы выбрать свои определения с умом.

Экстенсионалы и интенсионалы

Элиезер Юдковский

— Что такое красный?

— Красный — это цвет.

— Что такое цвет?

— Цвет — это свойство вещи.

Но что такое вещь? И что такое свойство? И вскоре собеседники теряются в лабиринте слов, определенных через другие слова. Стивен Харнард описывал эту проблему, как обучение китайскому языку через китайско-китайский словарь.

С другой стороны, если вы меня спросите: «Что такое красный», я могу показать на знак «Стоп», затем на кого-то в красной рубашке, на светофор, если он в данный момент красный, на кровь, если я случайно порезался, на красную визитку. И наконец, я мог бы открыть палитру цветов на компьютере и указать курсором на красную область. Скорее всего, этого было бы достаточно, однако, если вы знаете значение слова «нет», то какой-нибудь сторонник строгости настаивал бы, чтобы я указал на небо и сказал: «Нет».

По-моему, я украл этот пример у С. И. Хаякавы, но я не особо в этом уверен, потому что это одно из моих туманных детских воспоминаний. (Когда мне было 12, мой отец случайно удалил все мои файлы на компьютере, и у меня не осталось никаких воспоминаний о том, что было раньше).

Но, кажется, именно тогда я впервые узнал про разницу между экстенсиональным и интенсиональным определением. Дать «интенсиональное определение» — определить слово или фразу в контексте других слов, как это делается в словаре. Дать «экстенсиональное определение» — указать на пример, как это делают взрослые, когда объясняют что-то ребенку. Предыдущее предложение — интенсиональное определение «экстенсионального определения», что делает его экстенсиональным примером «интенсионального определения».

С точки зрения «голливудской рациональности» и поп-культуры в целом, «рационалисты» одержимы смыслами слов и плавают в бесконечном вербальном пространстве, оторванном от реальности.

Но настоящие «традиционные рационалисты» давно настаивают на сохранении прочной связи с опытом1:

Если вы заглянете в учебник химии в поисках определения лития, вы, возможно, обнаружите, что это элемент, атомный вес которого очень близок к семи. Но если у автора более логический склад ума, то он сообщит вам, что вам следует искать среди минералов, стекловидных, прозрачных, серых или белых, очень твердых, хрупких и нерастворимых, такой, который придает малиновый оттенок несветящемуся пламени; этот минерал, растертый в порошок вместе с известью или с так называемым крысиным ядом и расплавленный, может быть частично растворен в соляной кислоте; если этот раствор выпарить и осадок с помощью серной кислоты должным образом очистить, то обычными методами он может быть обращен в хлорид; если этот хлорид получить в твердом виде, расплавить и подвергнуть электролизу с помощью полудюжины мощных элементов, то образуется шарик розового, серебристого металла, который будет плавиться на газолиновой горелке; вот это вещество и есть образчик лития.

Чарльз Сандерс Пирс

Это пример «логического склада ума», как его видят «традиционные рационалисты», а не голливудские сценаристы.

Отметим, что Пирс не показывает нам кусочек лития. В комплекте с его книгой не идут куски лития. Скорее он дает карту сокровищ — интенсионально описанную процедуру, которая, будучи выполненной, приведет нас к экстенсиональному примеру лития. Это не то же самое, что и кинуть в вас куском лития, но и не то же самое, что и сказать «атомный вес семь». (Однако, если у вас особенно острый глаз, то фраза «три протона» позволит вам сразу понять, что речь идёт о литии…)

Итак, я описал, что такое интенсиональное и экстенсиональное определения. С их помощью можно передать кому-нибудь смысл, который вы вкладываете в концепт. Когда я выше разговаривал про «определения», я говорил про способ передачи концептов, т.е. о том, как сообщить кому-то, что именно вы имеете ввиду, когда говорите «красный», «человек», «тигр» или «литий». Теперь давайте поговорим о самих концептах.

Реальный интенсионал концепта «тигр» для меня — реакция совокупности нейронов (в височной коре), обрабатывающих входящий сигнал зрительной коры с целью определить, тигр это или нет.

Реальный экстенсионал концепта «тигр» для меня — все, что я называю тигром.

Интенсиональные определения не учитывают все интенсионалы; экстенсиональные — все экстенсионалы. Если я покажу на одного тигра и скажу «тигр», коммуникация может провалиться, если те, кому я показал, подумают что я имею в виду «опасное животное» или «самец тигра» или «жёлтая штука». Аналогично, если я скажу «опасное животное с жёлто-черными полосками», не указав пальцем на что-либо, слушатель может вообразить гигантского шершня.

У вас не получится описать словами все детали существующего в вашей голове механизма, позволяющего вам отличать тигров от не-тигров. Он слишком сложен. И вам не удастся показать пальцем на всех тигров, которых вы когда-либо видели, не говоря уже о том, чтобы показать на всё, что вы можете называть тигром.

Чтобы лучше всего выразить концепт, чтобы точнее всего передать смысл понятия, оно определяется через совокупность интенсионалов и экстенсионалов. Но даже с учётом этого, мы лишь передаем карты концептов или инструкции для постройки таковых, а не реальные категории в том виде, в котором они существуют в нашем разуме или в реальности.

(Разумеется, немного изобретательности, и можно соорудить исключения для этого правила. Например, «Четвёртого февраля 2008 года Элиезер Юдковский опубликовал предложение, содержащее термин „хурагалони“». Только что я показал весь экстенсионал этого концепта. Но, за исключением математики, определения обычно являются картами сокровищ, а не сокровищами).

И это ещё одна причина, почему вы не можете «определять слова так, как вам захочется» — вы не можете запрограммировать концепты прямо в чей-то мозг.

Даже внутри Аристотелевой парадигмы, где мы притворяемся, что определения являются концептами, нет одновременной свободы интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную каменную сферу, примерно в 1/10 массы Земли и на 50% дальше от Солнца». Мне придется отдельно показывать, что это интенсиональное определение совпадает с конкретной экстенсиональной штукой в моем опыте, или даже совпадает с реальной штуковиной. С другой стороны, если я скажу «это Марс» и покажу на красную точку на ночном небе, мне придется отдельно показывать, что эта экстенсиональная красная точка совпадает с конкретным интенсиональным определением, которое я мог бы предложить, или с каким-то моим интенсиональным убеждением — вроде «Марс — бог войны».

Но большая часть мозговой деятельности по сооружению интенсионалов протекает подсознательно. У нас нет осознанного понимания, что наше определение красного света с неба как «Марса» никак не связано со словесным определения «Марс — это бог войны». Неважно, какие интенсиональные определения я изобрету для Марса, мой разум верит в то, что «Марс» — это отсылка на ту точку на небе , которая является четвертой планетой Солнечной системы.

Если мы учтём, как на самом деле работает человеческий разум, то идея «я могу определять слова так, как мне захочется» вскоре превращается в «я могу верить в то, во что мне захочется, относительно любого заданного набора объектов» или «я могу по желанию объявлять, что предмет принадлежит или не принадлежит к любому наперёд заданному множеству, описываемому понятием». Подобно тому, как вы не можете передать весь интенсионал концепта словами, потому что это большой и сложный тест на принадлежность к множеству, осуществляемый вашими нейронами, вы не можете управлять всем интенсионалом концепта сознательно, потому что он создается подсознательно. Именно поэтому аргументация «по определению» так популярна. Если бы изменения определений изменяли эмпирическую реальность определяемых объектов, то спорить о них было бы неинтересно. Но стоит лишь слегка злоупотребить определениями, и они превращаются в волшебные палочки (в спорах, разумеется, а не в реальности).

1.Цитируется по переводу Т. В. Булыгиной и А. Д. Шмелева, изданному в сборнике «Семиотика» под редакцией Ю. С. Степанова, М., Радуга, 1983 — Прим.перев.

Кластеры подобия

Элиезер Юдковский

Давным-давно философы Академии Платона заявили, что наилучшее определение человека — это «двуногое существо без перьев». Согласно легенде, Диоген Синопский незамедлительно выставил на обозрение ощипанную курицу и произнес: «Вот он — человек Платона». Последователи Платона тут же изменили определение на «двуногое существо без перьев с плоскими ногтями».

Никакой словарь и никакая энциклопедия не перечисляют вообще всё, что свойственно людям. У нас красная кровь, по пять пальцев на каждой руке, костистые черепа, 23 пары хромосом, однако, то же самое можно сказать и про другие виды животных. Мы создаем сложные устройства, которые делают другие сложные устройства, используем синтаксический комбинаторный язык, мы обуздали реакцию деления в качестве источника энергии. Эти признаки уже относятся только к людям, но не ко всем людям. Многие ли строили ядерные реакторы? Можно записать цепочку необходимых и достаточных генов, которая будет описывать людей и только людей — во всяком случае, пока что — однако, это далеко не все свойства, присущие всем людям.

Но пока вы держитесь на расстоянии от ощипанных куриц, фраза «ищи двуногих и без перьев» может хорошо послужить для выделения конкретных объектов, которые являются людьми, в отличии от домов, ваз, бутербродов, кошек, цветов или математических теорем.

Как только определение «двуногое существо без перьев» оказалось связанным с конкретными двуногими существами без перьев, можно начинать наблюдать за этой группой для сбора других характеристик, — помимо отсутствия перьев и двуногости, — которыми обладают члены этой группы. Эти конкретные двуногие существа без перьев так же используют язык, создают сложные инструменты, говорят на комбинаторном языке с использованием синтаксиса, кровоточат красным (если их проткнуть), умирают, приняв болиголов.

Таким образом, категория «человек» растет и включает в себя все больше и больше характеристик, и теперь нас так просто не проведешь, когда Диоген вновь покажет на ощипанную курицу. Эта ощипанная курица, очевидно, не так уж подобна другим «двуногим без перьев».

(Если бы логика Аристотеля была хорошей моделью человеческой психологии, то платоники, увидев ощипанную курицу, сказали бы: «Да, это человек, к чему ты это все?»)

Если первое двуногое существо без перьев, которое вы увидите, окажется ощипанной курицей, то, возможно, вы начнёте думать, что слово-ярлык «человек» обозначает именно ощипанных куриц. В таком случае я могу изменить мою карту сокровищ на «двуногое без перьев с плоскими ногтями», и, если я достаточно мудр, сказать: «Вон там Диоген стоит, видишь? Это человек, и я человек, и ты человек, а вот шимпанзе — не человек, но довольно близок».

Первая подсказка должна лишь вести к кластеру подобия — группе объектов, у членов которой есть множество общих характеристик. Теперь эта подсказка выполнила свое предназначение, и я могу продолжить передачу информации, например, «Люди, в данный момент, смертны», ну или что угодно, что я решу сказать о нас, двуногих существах без перьев.

О словарях полезней думать не как о книгах, содержащих определения аристотелевых логических классов, а как о книгах подсказок, призванных помочь сопоставить слова-ярлыки с кластерами подобия или сопоставить ярлыки и свойства объектов, которые помогут такой кластер выделить.

Типичность и асимметричное подобие

Элиезер Юдковский

Птицы могут летать. А вот страусы нет. Но какая из двух птиц более типичная птица: малиновка или страус?

Какое из кресел является более типичным: офисное, кресло-качалка или кресло-мешок?

Большинство людей скажут, что малиновка — более типичная птица, а офисное кресло — более типичное кресло. Изучающие этот феномен когнитивные психологи, говорят о нем, как о «эффекте типичности» или «эффекте образца»(Rosch and Lloyd, 1978). Скажем, если попросить испытуемых нажимать кнопки правда/ложь для высказываний вроде «малиновка — это птица» или «пингвин — это птица», то для типичных примеров кнопку нажимают существенно быстрее. (Я все еще распаковываю свои книги, но я практически уверен, что этот эксперимент описан в Lakoff, 1986) Наличие корреляции при измерении типичности можно показать разными способами: можно измерить время нажатия кнопки, или попросить людей оценить примеры по шкале от 1 до 10: насколько пример (малиновка) подходит для категории (птица)?

Итак, мы умеем мысленно измерять типичность, и это, возможно, работает как эвристика. Но есть ли соответствующее этой эвристике когнитивное искажение?

Какое из следующих высказываний для вас выглядит более естественным: «98 это приблизительно 100» или «100 это приблизительно 98»? Если вы относитесь к большинству, то первое высказывание покажется вам более осмысленным (Sadock, 1977). Руководствуясь похожими причинами, люди, которых попросили оценить, насколько Мексика похожа на США, стабильно оценивают это подобие выше, чем те, которых просили оценить, насколько США похожи на Мексику (Tversky and Gati, 1978).

Ну а если это все еще кажется вам безобидным, то в исследовании Рипса (1975) показано, как люди более вероятно ожидают, что болезнь на острове будет передаваться от малиновок к уткам, чем от уток к малиновкам. Разумеется, ничего логически невозможного в этом нет, однако, с практической точки зрения, если утки отличаются от малиновок какой-то особенностью, из-за которой болезнь с меньшей вероятностью передаётся от уток к малиновкам, то обязано существовать и отличие малиновок от уток, из-за которого болезнь с меньшей вероятностью будет передаваться от малиновок к уткам.

Разумеется, можно рационализировать это: «Ну, у малиновок может быть больше видов неподалеку, что будет способствовать более быстрому распространению болезни в начале», но будьте осторожны и не перестарайтесь в рационализации оценок вероятностей людьми, которые даже не понимают, о каких именно различиях идёт речь. И не забывайте, что Мексика больше похожа на США, чем США на Мексику, и что 98 ближе к 100, чем 100 к 98. И проще это интерпретировать так: люди используют (и это было показано экспериментально) эвристику подобия, как замену вероятности распространения болезни, и эта эвристика (как было показано экспериментально) — асимметрична.

Канзас необычайно близок к центру США, а Аляска необычайно отдалена от центра. Так что, скорее всего, Канзас ближе к большинству точек в США, а Аляска — дальше. Но из этого не следует, что Канзас ближе к Аляске, чем Аляска к Канзасу. Люди же, однако, рассуждают (образно говоря), что близость — свойство, присущее Канзасу, а удаленность - свойство, присущее Аляске. Так что Канзас близок — даже к Аляске, а Аляска удалена — даже от Канзаса.

И вот опять мы видим, что аристотелевская идея категорий — логических классов с членством, определенным совокупностью признаков, по отдельности каждый из которых необходим, а вместе они достаточны, не такая уж хорошая модель человеческой когнитивной психологии. (Кто бы мог подумать, что наука продвинется вперед за 2350 лет?) Мы даже не рассуждаем с помощью бинарного подхода правда/ложь - высказывания о принадлежности могут быть более или менее истинными. (Замечу, что это не то же самое, что и быть более или менее вероятным.)

Еще одна причина прекратить притворяться, будто вы — или кто-то еще — в самом деле сможете обращаться со словами, как с аристотелевскими логическими классами.

Lakoff, George. (1986). «Women, Fire and Dangerous Things: What Categories Tell Us About the Nature of Thought», University of Chicago Press, Chicago.

Rips, Lance J. (1975). «Inductive judgments about natural categories», «Journal of Verbal Learning and Verbal Behavior», 14:665-81.

Rosch, Eleanor and B. B. Lloyd, eds. (1978). «Cognition and Categorization», Hillsdale, N.J.: Lawrence Erlbaum Associates.

Sadock, Jerrold. (1977). «Truth and Approximations.» В «Papers from the Third Annual Meeting of the Berkeley Linguistics Society», pp. 430-39. Berkeley: Berkeley Linguistics Society.

Tversky, Amos and Itamar Gati. (1978). «Studies of Similarity». В Rosch and Lloyd (1978).

Кластерная структура пространства вещей

Элиезер Юдковский

Идея «конфигурационного пространства» состоит в переводе описаний объектов в их позиции. Кажется, что синий «ближе» к сине-зеленому, чем к красному, но насколько ближе? Если просто смотреть на цвета, то на этот вопрос ответить трудно. Но будет понятней, если вспомнить, что (относительные) координаты этих цветов в пространстве RGB — (0; 0; 5), (0; 3; 2) и (5; 0; 0). Если изобразить эти точки на трёхмерном рисунке, будет еще понятней.

Точно также, если рассуждать о малиновке, можно думать о ней привычным способом: коричневый хвост, красная грудка, обычный для малиновки облик, максимальная скорость без груза, типичный для этого вида набор ДНК и индивидуальные аллели. А можно рассматривать малиновку, как точку в конфигурационном пространстве, измерения которого описывают всё, что мы знаем о малиновках или можем узнать.

Малиновка больше вируса, но меньше авианосца — таким образом в конфигурационном пространстве можно ввести измерение «объёма». Малиновка весит больше атома водорода, но меньше галактики — измерение «массы». «Объём» и «масса» разных малиновок будут очень сильно коррелировать между собой, так что точки-малиновки в этих двух измерениях будут выглядеть почти как отрезок прямой линии. Однако, корреляция не будет полной, поэтому нам всё же нужны два отдельных измерения.

В этом и есть преимущество рассмотрения малиновок как точек в пространстве: у нас бы не получилось так легко увидеть линейность, если бы мы продолжали думать о малиновках, как о маленьких и милых махающих крыльями существах.

ДНК малиновок — это переменная с очень большим количеством измерений, но о ней всё равно можно думать, как о части описания расположения малиновки в пространстве вещей — в виде миллионов координат (по одной на каждый нуклеотид), которые могут принимать одно из четырёх значений, или даже что-то более элегантное. Форму малиновки, ее цвет (отражательную способность) точно также можно рассматривать как часть описания, где малиновка находится в конфигурационном пространстве, пусть даже они принадлежат к разным измерениям.

Точка (0; 0; 5) в пространстве цветов содержит ту же самую информацию, что и реально существующий синий цвет на HTML странице. Точно также мы не должны терять информацию, представляя малиновок, как точки в пространстве. Мы можем вообразить малиновку на весах, которые показывают 0,07 килограмм. Или можем представить малиновку-точку с координатой-массой +70. В обоих случаях мы представляем массу малиновки одинаково.

Мы можем даже вообразить конфигурационное пространство с одним или больше измерением для каждой отдельной характеристики объекта, так что позиция точки-объекта в этом пространстве будет соответствовать всей информации, которая у нас имеется об объекте. Пусть эта информация и окажется избыточной - например, в пространстве будут измерения для массы, объема и плотности.

Если это вам кажется слишком уж экстравагантным, то в квантовой физике используется многомерное конфигурационное пространство (с бесконечным числом измерений), в котором одна точка обозначает расположение каждой частицы во вселенной. Так что мы себя ведём ещё довольно скромно — точка в нашем конфигурационном пространстве описывает лишь один объект, а не всю вселенную.

Если мы не уверены насчет точной массы и объёма малиновки, то можно вообразить маленькое облако в пространстве вещей, некий объём неопределенности, внутри которого может располагаться малиновка. Плотность этого облака в некоторой точке соответствует нашей уверенности, что масса и объём малиновки равны значениям, которые являются координатами этой точки. Если вы уверены насчет плотности малиновки больше, чем насчет массы и объёма, то ваше облако вероятностей будет сильно сконцентрированным в измерении плотности, а в подпространстве массы/объёма сконцентрированы вокруг наклонной линии. (Облако в этом случае будет поверхностью из-за соотношения Объём ⋅ Плотность = Масса)

Когнитивные психологи используют понятие «радиальных категорий» для описания границ не-аристотелевых понятий. Центральное понятие «мать» означает женщину, которая участвует в зачатии, рождении и воспитании ребёнка. Донор яйцеклеток, которая никогда не увидит своего ребенка будет матерью? Она — «генетическая мать». Как насчет женщины, в которую имплантировали эмбрион, чтоб она его выносила? Она — «суррогатная мать». Ну а женщина, которая воспитывает ребенка, которого не рожала? Она — «приемная мать». Аристотелевский силлогизм звучал бы: «У людей десять пальцев, у Фреда — девять, следовательно — Фред не человек», но в действительности люди думают об этом так: «У людей десять пальцев, Фред — человек, следовательно, Фред — человек с девятью пальцами».

На языке интенсионалов мы можем описать радиальность категорий так: у объекта свойства категории обычно присутствуют, но некоторые могут отсутствовать. Интенсионал слова «мать» будет похож на распределенное по пространству вещей сияние, яркость которого соответствует тому, насколько координаты точки в пространстве соответствуют категории «мать». Сияние будет сконцентрировано в центре, который соответствует одновременно зачатию, рождению и воспитанию. Объём, в который попадут доноры яйцеклеток, тоже будут светиться, но не так ярко.

Или мы можем представить радиальность экстенсионально. Предположим, мы отобразили всех птиц в мире на пространство вещей и определили в нём расстояние так, что оно как можно лучше соответствует человеческому представлению о подобии: малиновка больше похожа на другую малиновку, чем они обе похожи на голубя, однако малиновки и голуби ближе друг к другу, чем к пингвину, и так далее.

В центре птичности окажется множество соседствующих плотных кластеров: малиновки, воробьи, канарейки, голуби и множество других видов. Орлы, ястребы и другие хищные птицы попадут в другой кластер неподалеку. Пингвины окажутся в более далеком кластере, как и курицы, и страусы.

Результат, скорее всего, будет чем-то напоминать галактический кластер: плотное скопление галактик в центре, и несколько неподалеку.

Или мы можем думать одновременно об интенсионале мыслительной категории «птица» и об экстенсионале реальных птиц. Центральный кластер малиновок и воробьев светится очень ярко — здесь высокий уровень птичности. Кластеры-сателлиты страусов и пингвинов светятся тусклей из-за менее типичной птичности, а Авраам Линкольн находится в нескольких мегапарсеках от них всех и не светится совсем.

Я предпочитаю именно эту визуализацию — светящиеся точки, —потому что, по-моему, структура интенсионалов в нашем разуме вторична по отношению к структуре экстенсиональных кластеров. Первична структура реального мира — эмпирическое распределение птиц в пространстве вещей. А затем мы, наблюдая птиц, формируем мыслительную категорию, интенсионал которой грубо покрывает это распределение.

Это ещё один способ понять, почему слова не являются аристотелевскими классами — структура эмпирических кластеров реальной вселенной не такая прозрачная. Природный кластер, группа очень похожих друг на друга предметов, может и не иметь набора необходимых и достаточных признаков: ни набора характеристик, которыми обладают все члены множества, ни набора, которыми никто из не-членов не обладает.

Но даже если категории необратимо туманны и ухабисты, для паники повода нет. Я бы не стал возражать, если бы кто-нибудь заявил, что «птицы — это такие летающие штуки с перьями». Но ведь пингвины не летают! Ну и ладно. У правила есть исключения, так что это не конец света. Не стоит ожидать, что определения будут точно совпадать с эмпирической структурой пространства вещей, ведь карта меньше по размеру и намного проще территории. Цель определения «такие летающие штуки с перьями» в том, чтобы привести слышащего к кластеру птиц, а не в том, чтобы дать полное описание всех существующих птиц вплоть до молекулярного уровня.

Когда вы проводите границу вокруг группы экстенсиональных точек, образующих кластер в пространстве вещей, скорее всего, на каждое выдуманное вами интенсиональное правило вы обнаружите как минимум одно исключение.

Однако, если на практике определение вполне сносно позволяет указать на нужный эмпирический кластер, то возражения к формулировке этого определения вполне оправданно можно назвать «придирками».

Замаскированные вопросы

Элиезер Юдковский

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методырассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».

Нейронные категории

Элиезер Юдковский

В «Замаскированых вопросах» я рассказал про сортировку «сияиц» и «крубов». Обычное сияйцо — синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб — красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно — прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку «сияйцо» — незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем («Все люди смертны») и философами Академии Платона («Двуногое без перьев и с плоскими ногтями»).

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, — то есть узел «цвет» активируется в состоянии «+» и одновременно узел «текстура» активируется в состоянии «+», — связь между цветом и текстурой усиливается, в результате чего активация «цвет+» будет вызывать активацию «текстура+» и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

Предположим, вы уже видели достаточно сияиц и крубов, спустившихся по конвейеру. Но вдруг вы видите, как по ленте приближается нечто пушистое, яйцевидное и — ну надо же! —красновато-фиолетовое (для нашей нейронной сети это будет означать активацию узла «цвет» с силой -2/3). Вы еще не тестировали светимость и содержимое. Каков будет ваш прогноз? Это сияйцо или круб?

Дальше мы увидим, как сила активации узлов в Сети 1 начнёт меняться. Положительная активация идет к светимости от формы, негативная — к содержимому от цвета, и от содержимого в светимости… Разумеется, все эти сигналы идут параллельно!!! И асинхронно!!! Прямо как в человеческом мозге…

Наконец Сеть 1 приходит в стабильное состояние, в котором узлы «светимость» и «содержимое» активированы очень сильно в положительную сторону. Сеть могла бы сказать, что нам следует «ожидать» (пусть мы это ещё и не проверяли), что этот объект светится в темноте и содержит ванадий.

И смотрите, Сеть 1 демонстрирует такое поведение, несмотря на отсутствие узла, который явно бы говорил, является ли объект сияйцом или нет. Вся сеть выносит имплицитную оценку!!! Сияйцность - аттрактор!!! Появляющийся в результате эмерджентного поведения!!! Благодаря распределенному обучающему алгоритму!!!

Сети с такой архитектурой могут казаться очень привлекательными, однако, использовать их в реальной жизни довольно проблематично. Сети с обратными связями не всегда быстро останавливаются: иногда в них начинаются колебания, иногда можно наблюдать хаотичное поведение, или же они просто слишком долго думают. Если вы видите что-то большое, желтое и полосатое, и вам надо ждать пять минут, прежде чем сеть придет к аттрактору «тигр», то это очень-очень плохо. Да, процессы в этих сетях идут асинхронно и параллельно, но этого всё равно не хватает для работы в реальном времени.

Есть и другие проблемы. Например, одно и то же свидетельство может оказаться учтено дважды, потому что сигнал ходит туда-сюда: вы подозреваете, что объект светится в темноте, это способствует активации убеждения о ванадии внутри объекта, что, в свою очередь, способствует активации убеждения о свечении в темноте.

К тому же, если вы захотите увеличить Сеть 1, это потребует O(N2)O(N2) соединений, где NN - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует O(N)O(N) новых соединений, а не O(N2)O(N2).

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих N2N2 соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то от вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.

Споры об определениях

Элиезер Юдковский

Очень многие разговоры — даже разговоры о (предположительно) когнитивистике — скатываются в споры об определениях. Если взять в качестве примера классическое «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?», то ход последующего спора можно представить примерно следующим образом:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?

АЛЬБЕРТ: Разумеется! Что за глупый вопрос? Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет.

БАРРИ: Секундочку! Если никто не может этого услышать, то как это может быть звуком?

В этом примере Барри спорит с Альбертом из-за действительно отличающегося интуитивного понимания того, что представляет из себя звук. Однако, Стандартный Диспут может возникнуть и множеством других путей. У Барри может быть мотив отвергать вывод Альберта. Или Барри может быть скептиком, который, услышав аргумент Альберта, машинально исследовал его на наличие логических ошибок, а затем, найдя контраргумент, автоматически принял его, не запустив второй слой поиска в попытке найти контрконтраргумент, таким образом убедив себя в правоте противоположной позиции. Для этого необязательно, чтобы прежняя интуиция Барри — та интуиция, которую проявил бы Барри, спроси мы его до того, как заговорил Альберт — отличалась от интуиции Альберта.

Ну, в любом случае, даже если интуиция Барри изначально не отличалась от альбертовой, сейчас они точно разнятся.

АЛЬБЕРТ: В смысле? Корни дерева ломаются, ствол начинает валиться и в итоге врезается в землю. Всё это создаёт вибрации, передающиеся по воздуху и через землю. Именно сюда уходит энергия падения: в тепло и звук. Ты хочешь сказать, что если люди ушли из леса, то деревья начинают нарушать закон сохранения энергии?

БАРРИ: Но никто ничего не слышит. Если в лесу нет людей — будем считать, что в лесу нет вообще никаких обладателей нервной системы, достаточно сложной для того, чтобы уметь «слышать» — то никто не слышит звука.

Альберт и Барри более подробно описали мысли, заставившие сработать или не сработать их детекторы «звука»(English), и они ощущают, что завербованные ими аргументы поддерживают их позицию. Но всё же, пока что спор фокусируется на лесе, а не на определениях. И можно заметить, что спорщики, на самом деле, не расходятся во мнениях о том, что происходит в лесу.

АЛЬБЕРТ: Этот спор входит в тройку тупейших споров, в которых я когда-либо участвовал. Ты трясущийся фейчихахуа, замаринованный в запредельном идиотизме.

БАРРИ: Да ну? Это мне говорит человек, по которому видно, что в детстве его часто били по голове сельскохозяйственным инвентарём. Чтобы, видимо, потушить загоревшиеся волосы.

Оскорбление предложено и принято; теперь никто не может отступить, не боясь потерять лицо. Строго говоря, это нельзя назвать частью «спора» в понимании рационалистов, но эта сцена столь важна для развития Стандартного Диспута, что я всё равно решил упомянуть её здесь.

АЛЬБЕРТ: Дерево создаёт акустические вибрации. По определению, это звук.

БАРРИ: Никто ничего не слышит. По определению, это не звук.

Спор уходит в сторону, фокусируясь на определениях — несмотря на то, что довод «по определению» совершенно бессмыслен, когда речь идёт о чём-то приземлённее чистой математики. Важно помнить, что всё, верное «по определению» верно во всех возможных мирах, и поэтому наблюдение справедливости этого факта никогда не сможет сказать тебе, в каком именно мире ты живёшь: оно не ограничивает возможные миры.

АЛЬБЕРТ: Мой компьютер может записать звук — даже когда нет никого рядом, чтобы его услышать — и сохранить это в файл. Такие файлы называются «звуковыми файлами». В файле хранится последовательность колебаний воздуха, а не последовательность возбуждений нейронов чего-либо мозга. «Звук» означает последовательность колебаний.

Альберт отправляет в наступление аргумент, который кажется доводом в пользу того, что слово «звук» имеет определённое значение. Этот вопрос уже не имеет отношения к тому, происходили ли в лесу акустические вибрации. Однако, этот переход обычно остаётся незамеченным.

БАРРИ: Да ну? Давай посмотрим, согласится ли с тобой словарь.

Я увидел много вещей, вызывавших бы у меня любопытство, окажись я в этом сценарии. Можно пойти в лес и посмотреть на деревья, или разобраться в выводе волнового уравнения, касающегося колебаний воздуха, или проанализировать анатомическое строение уха, или изучить принципы работы слуховой коры мозга. Однако вместо того, чтобы заняться чем-либо из этого списка, я должен, очевидно, посоветоваться со словарём. Почему? Неужели словарь составляли профессиональные ботаники, врачи и нейробиологи? Я могу увидеть логику в решении заглянуть в энциклопедию, но причём тут словарь?

АЛЬБЕРТ: Вот! Определение 2c в Мерриэме-Уэбстере: «Звук: физическое явление, вызываемое колебательными движениями частиц воздуха или другой среды»

БАРРИ: Вот! Определение 2b в Мерриэме-Уэбстере: «Звук: чувство, вызываемое воздействием на орган слуха, восприятие слуховых ощущений»

АЛЬБЕРТ И БАРРИ, хором: Дурацкий словарь! Лучше не стало.

Редакторы словарей занимаются историей, а не законотворчеством. Редактор словаря находит используемые сейчас слова и записывает их; затем добавляет то (малую часть того(English)), что, как ему кажется, имеют в виду люди, употребляющие это слово. Если употреблений несколько, то он записывает несколько определений.

АЛЬБЕРТ: Смотри. Предположим, я оставил в лесу микрофон и он записал последовательность акустических вибраций, связанных с падением дерева. Если кто-нибудь прослушает эту запись, он назовёт это «звуком»! Это — общепринятое употребление. Прекрати высасывать из пальца какие-то свои чокнутые определения!

БАРРИ: Во-первых, я могу определить слово так, как мне нравится. Главное — употреблять его последовательно. Во-вторых, моё значение имеется в словаре. В-третьих, кто дал тебе право решать, что можно считать общепринятым употреблением, а что нельзя?

С точки зрения рациональности, Стандартный Диспут кишит ошибками. Часть этих ошибок я уже описал, и часть из них мне ещё предстоит описать; то же самое касается и средств защиты от них.

Но сейчас я хочу лишь обратить ваше внимание на то, что Барри и Альберт, скорее всего, дадут один и тот же ответ на любой вопрос, касающийся вещей, действительно происходящих внутри леса, но всё равно никто из них не чувствует этого согласия. Просто печальное напоминание.

Споры об определениях — ложная тропинка, незаметно ведущая в тупик. Никто не пошёл бы по этой тропинке, если бы знал, куда она ведёт. Если спросить у Альберта (или у Барри), почему он до сих пор участвует в споре, то он бы ответил что-то вроде «этот подлый негодяй Барри (или Альберт) пытается протащить контрабандой своё определение слова «звук», чтобы обосновать своё смехотворное мнение; и мой долг — защитить стандартное определение»

Но представим, что я вернулся назад во времени и успел оказаться рядом с Барри и Альбертом до начала спора.

(Из ниоткуда возникает Элиезер, сидящий внутри своеобразного транспортного средства, очень похожего на машину времени из старого фильма «Машина времени»)

БАРРИ: Боже! Путешественник во времени!

ЭЛИЕЗЕР: Я прибыл к вам из будущего! Внимайте моим словам! Я прошёл долгий путь — около пятнадцати минут — для того, чтобы…

АЛЬБЕРТ: Пятнадцать минут?

ЭЛИЕЗЕР: …для того, чтобы задать вам этот вопрос!

(Немая сцена, пропитанная смесью замешательства и предвкушения)

ЭЛИЕЗЕР: Вы считаете, что слово «звук» должно означать как акустические вибрации (волны давления, передающиеся через физический объект-проводник), так и слуховые впечатления (восприятие кем-то звука)? Или вы считаете, что «звук» нужно определить так, чтобы он означал только лишь акустические вибрации, или только лишь аудиторные переживания?

БАРРИ: Ты вернулся в прошлое, чтобы спросить у нас вот это?

ЭЛИЕЗЕР: Мои мотивы — моё личное дело! Отвечайте!

АЛЬБЕРТ: Эммм… Я не понимаю, почему это должно кого-то беспокоить. Можно выбрать любое определение. Главное, употреблять его последовательно.

БАРРИ: Брось монетку. Точнее, брось монетку дважды.

ЭЛИЕЗЕР: Я считаю, что, в случае возникновения такой проблемы, обе стороны должны взглянуть на происходящее уровнем организации ниже и начать описывать событие, используя более элементарные компоненты: например, акустические вибрации или слуховые впечатления. Или каждая сторона может придумать новое слово — например «алберзаль» или «баргулум» — для того понятия, которое они ранее обозначали словом «звук»; это позволяет обеим сторонам употреблять новые слова последовательно. Таким образом, никому не придётся пойти на уступки или потерять лицо, но при этом возможность успешного обмена информацией сохраняется. Ну и, разумеется, всегда стоит отслеживать, о каком именно утверждении, доступном для проверки опытом, идёт речь. Вы считаете мои предложения разумными?

АЛЬБЕРТ: Видимо, да…

БАРРИ: Зачем мы об этом разговариваем?

ЭЛИЕЗЕР: Чтобы сберечь вашу дружбу пред лицом неожиданной беды, о которой вы — отныне и теперь — никогда не узнаете, ибо будущее уже изменилось!

(Элиезер и машина исчезают в клубах дыма)

БАРРИ: На чём мы остановились?

АЛЬБЕРТ: Секундочку… Вот: «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?»

БАРРИ: Оно создаёт алберзаль, но не баргулум. Давай дальше.

Этот рецепт не уничтожает каждый диспут о категоризации. Однако, он уничтожает значительную их долю.

Ощути смысл

Элиезер Юдковский

Когда я слышу, как кто-то говорит: «Смотрите — бабочка», произнесенные фонемы «бабочка» попадают в мои уши и вибрируют в барабанных перепонках, попадают во внутреннее ухо, «щекочут» нервы, что приводит к активации нейронов слуховой коры. В которой начинается обработка этих фонем — распознавание слов, реконструкция синтаксиса и прочие сложности.

Но в итоге, через несколько мгновений, у меня появится желание взглянуть туда, куда указывает мой друг, и я увижу там визуальный паттерн, который будет интерпретирован как бабочка. И я довольно сильно удивлюсь, если вместо бабочки я увижу волка.

Мой друг смотрит на бабочку, его горло вибрирует, а губы движутся, звуковые волны незримо передаются по воздуху, мои уши слышат, нервы передают и мой мозг распознает и, ну надо же, я понимаю, на что смотрит мой друг. Разве это не чудо? Если бы мы не знали про звуковые волны, то все газеты трубили бы о невероятном открытии — люди владеют телепатией! Человеческие мозги способны передавать мысли друг другу!

Да, мы действительно телепаты. Однако, если магия является обыденностью и все ваши друзья ею тоже владеют, она никому не интересна.

Думаете, телепатия — это просто? Попробуйте собрать компьютер, который будет телепатически общаться с вами. Телепатия или «язык», или как вам будет угодно назвать нашу способность к частичной передаче мыслей, сложнее чем кажется.

Однако, было бы довольно неудобно думать что-то вроде: «Сейчас я преобразую часть моих мыслей в линейную последовательность фонем, которые вызовут похожие мысли у моего партнёра по диалогу…»

Поэтому мозг прячет от нас сложность, точнее даже вовсе её не показывает. И это приводит к тому, что у людей появляется странное представление о словах.

Как я отметил ранее, когда большой желтый и полосатый объект кидается на меня, я думаю: «А-а-а! Тигр!», а не «Так… Объект с характеристиками огромности, желтости и полосатости был ранее отмечен как обладающий еще и характеристиками «голодный» и «опасный», следовательно, хотя логически это и не выводимо, а-а-а… ХРУМ-ХРУМ-ХРУМ».

Точно также естественный отбор не станет содействовать организму, который, услышав: «А-а-а! Тигр!», будет думать: «Так… Я только что услышал «Ти» и «гр», которые у моих соплеменников ассоциируются с их внутренними аналогами моего концепта «тигр», и они, скорее всего, склонны издавать эти звуки, заметив объект, который они классифицируют как а-а-а-и-и-и-и ХРУМ-ХРУМ помогите он откусил мне руку ХРУМ-ХРУМ».

Можно рассматривать это как проектное ограничение когнитивной архитектуры у людей — любому хотелось бы, чтобы у него не было лишних шагов между распознаванием слуховой корой звуков «тигр» и активацией концепта тигра.

Вернёмся к притче о сияйцах и крубах и к централизованной сети, которая быстро и легко распределяет объекты по категориям. Можно представить себе прямую связь между узлом, который распознаёт слово «сияйцо», и узлом в центре сети. Центральный узел — понятие сияйца — активируется почти сразу же, как Старшая Сортировщица Сьюзен говорит: «Сияйцо!»

Или в целях передачи информации — на что тоже не должна уходить вечность — как только вы видите синюю штуку в форме яйца, и центральный узел «сияйцо» возбуждается, вы кричите Сьюзен: «Сияйцо!»

И изнутри этот алгоритм ощущается так, как будто ярлык и понятие очень тесно связаны. Смысл кажется неким свойством, присущим самому слову.

Знатоки распознают в этом ещё один частный случай «ошибки проецирования ума» по Э. Т. Джейнсу. Нам кажется, будто у слова есть смысл, и этот смысл — свойство самого слова, точно так же, как краснота — свойство красного яблока, а таинственность — свойство таинственного явления.

Более того, в большинстве случаев мозг не проводит границу между словом и его значением — разве что при изучении нового языка он позаботится отделить одно от другого. И даже тогда, если вы увидите, как Сьюзен указывает на синий яйцевидный предмет и говорит «Сияйцо!», вы подумаете: «Интересно, что значит „сияйцо“?», а не «Интересно, какую мысленную категорию Сьюзен связывает со звуковым ярлыком „сияйцо“?».

Рассмотрим в свете этого ту часть стандартного спора об определениях, где две стороны спорят о том, что на самом деле означает слово «звук». Точно также они могли бы спорить о том, красного или зелёного цвета одно конкретное яблоко.

Альберт:

— Микрофон моего компьютера может записать звук, даже когда рядом нет никого, кто мог бы его услышать, сохранить его в файл, и этот файл будет называться «звуковым». И то, что сохранено в файле — это последовательность вибраций воздуха, а не последовательность возбуждения нейронов в чьём-то мозгу. «Звук» — это последовательность вибраций.

Барри:

— Что, серьёзно? А давай посмотрим, что словарь скажет по этому поводу?

Альберт интуитивно чувствует, что у слова «звук» есть смысл, и этот смысл — акустические вибрации. А ещё он чувствует, что дерево, падающее в лесу, производит звук (а не становится причиной явления, попадающего в категорию «звук»).

Барри, в свою очередь, ощущает, что

звук.смысл == слуховые переживания

лес.звук == неверно

А не:

мойМозг.НайтиПонятие("звук") == понятие_СлуховоеПереживание

понятие_СлуховоеПереживание.совпадение(лес) == неверно

Хотя последнее гораздо ближе к тому, что на самом деле происходит. Однако, эволюция не готовила людей к этому знанию, во всяком случае, не больше, чем к инстинктивному знанию о том, что мозг состоит из нейронов.

Противоречащие друг другу интуитивные представления Альберта и Барри подливают масла в огонь дискуссии, уже дошедшей до того, что они спорят о том, что значит слово «звук». И им кажется, что они спорят о факте, не отличающемся от любого другого факта, и этот спор ничем не отличается от, например, спора, является ли небо голубым или зелёным.

Вы можете даже не заметить, что забрели совсем не туда, пока не попытаетесь исполнить рационалистский ритуал: предложить проверяемый эксперимент, результат которого зависит от фактов, о которых вы так горячо спорите…

Аргумент к традиционному пониманию

Элиезер Юдковский

«Стандартный спор об определениях» иногда содержит примерно такой фрагмент:

Альберт:

— Предположим, я оставил в лесу микрофон и записал последовательность акустических вибраций от падающего дерева. Если я проиграю кому-нибудь запись, они скажут, что на записи «звук». Традиционно это слово понимается именно так! И не надо тут выдумывать всякие ненормальные определения!

Барри:

— Во-первых, я могу определять значение слова так, как мне угодно, главное, что я использую его последовательно. Во-вторых, значение, которое я в него вкладываю, есть в словаре. В-третьих, кто дал вам право решать, какое понимание слова соответствует традиции, а какое — нет?

Само понятие традиционного понимания слова всплывает не во всех спорах об определениях. По-моему, чаще всего люди берут в руки словарь, потому что считают, что у слов есть смысл и что словарь прилежно фиксирует, какой именно. Некоторые люди, судя по всему, даже верят, что словарь определяет смысл слов и составители словаря для этих людей — это законодатели языка. Может быть, это потому, что в начальной школе учитель — авторитет для них в то время — сказал им, что они должны подчиняться словарю? И с тех пор они считают, что это обязательное к исполнению правило?

Составители словарей читают то, что пишут другие люди, и фиксируют, что эти слова, судя по всему, означают. Они — историки. Оксфордский словарь может исчерпывающе описывать лексику английского языка, но он не имеет силы закона.

Но разве не существует социального императива, предписывающего нам использовать слова в том смысле, в котором они обычно понимаются? Разве наша человеческая телепатия, наша драгоценная сила языка, не требует всеобщей слаженности усилий? Быть может, нам добровольно следует относиться к редакторам словарей, как к верховным судьям, — даже если они предпочитают считать себя историками, — просто чтобы поддерживать молчаливое соглашение, от которого зависит вся речь.

Словосочетание «авторитетный словарь» некорректно почти во всех случаях. Как пример исключения можно упомянуть «Официальный словарь терминов стандартов IEEE» [«Официальный словарь» в этом названии в оригинале тоже пишется как «authoritative dictionary» — «авторитетный словарь». — Прим.перев.] Членам IEEE необходимо достигать чёткого соглашения о терминах и определениях, они решают вопросы голосованием, и потому «Официальный словарь терминов стандартов IEEE» - это настоящий закон, авторитет которого поддерживается авторитетом IEEE.

В отличии от IEEE, в обычной жизни язык возникает не в результате обдуманного соглашения. Скорее, он больше похож на инфекцию — кто-то придумывает слово, а потом оно растворяется в культуре. (Кто-нибудь мог бы вспомнить слово «мем», предложенное Ричардом Докинзом тридцать лет назад. Но вы и так уже поняли, о чём я тут пишу. Если же нет, можете воспользоваться Гуглом и тоже заразиться этим словом.)

И тем не менее, как показывает пример IEEE, соглашение относительно используемого языка тоже может быть совместно созданным общественным благом. Если мы желаем обменяться мыслями посредством языка, человеческой телепатии, то использование одного и того же слова для схожих концептов — в наших общих интересах. (Конечно, предпочтительней, если эти концепты будут схожи с точностью до предела разрешения нашего мысленного представления.) При этом у нас может не быть никаких общих интересов использовать какое-то конкретное слово.

С точки зрения общих интересов, не слишком важно, используем ли мы слово «ото» для обозначения звука или «звук» для обозначения ото. Однако, в наших общих интересах использовать одно и то же слово, каким бы оно ни было. (Предпочтительно, чтобы часто употребляемые слова были короткими, но не будем пока углубляться в теорию информации).

Использование одинаковых ярлыков для размышлений — тоже в общих интересах, но острой необходимости в этом нет. Так просто удобней. Если я знаю, что «ото» для вас означает «звук» (то есть, вы ассоциируете слово «ото» с концептом, который очень похож на тот, с которым я ассоциирую слово «звук»), то я могу сказать: «Если смять бумагу, она будет издавать хрустящий ото». Для этого мне придется приложить лишь чуть больше усилий.

Точно также, если вы скажете: «Какую трость создаёт упавший на пол шар для боулинга?» и я знаю, какой концепт у вас связан с фонемами «трость», то я смогу понять, что вы подразумевали. Возможно, мне придётся на некоторое время задуматься, потомучто обычно слово «трость» у меня связано с другим концептом. Но я вполне неплохо всё пойму.

Желающих пообщаться людей трудно остановить! Даже оказавшись на необитаемом острове без общего языка, мы можем взять в руки палки и общаться с помощью изображений на песке.

Альберт, используя «аргумент к традиционному пониманию», подразумевает, что соглашение о языке является совместно установленным общественным благом. Тем не менее, единственная цель Альберта в этот момент — в полемических целях обвинить Барри в нарушении соглашения и угрозе общему благу. Спор о падающем дереве больше не сводится к ботанике или семантике. Теперь это политический спор. И Барри в ответ оспаривает право Альберта устанавливать определения.

Владеющий навыком «ухватить задачу» рационалист заметит, что спорщики сильно отклонились от темы разговора.

Уважаемый читатель, неужели это всё действительно необходимо? Ведь Альберт знает, что Барри подразумевает под «звуком». Барри знает, что Альберт подразумевает под «звуком». Оба они знают о словосочетаниях «акустические вибрации» и «слуховые переживания», и каждое из этих словосочетаний у обоих связано с одним и тем же концептом, и эти концепты, в свою очередь, описывают происходящие в лесу события без каких-либо двусмысленностей. Если бы Альберт и Барри попали на необитаемый остров и попытались бы обменяться информацией, у них не возникло бы проблем.

Метод ведения дискуссии, при котором обе стороны знают, что хочет сказать оппонент, и одновременно обвиняют друг друга в предательстве общего блага (которое состоит в отказе от «традиционного понимания»), очевидно, не слишком эффективен для коммуникации. А ведь весь смысл одинакового использования одинаковых слов состоит именно в том, чтобы успешно передавать информацию.

Так зачем же спорить о значении слов? Если проблема заключается лишь в конфликте имён, который разросся до невиданных масштабов, если речь только о том, что два разных понятия оказались названы одним словом, то обеим сторонам нужно лишь придумать два новых слова и последовательно их использовать.

Однако, процессу классификации часто сопутствуют скрытые умозаключения и замаскированные вопросы. Атеизм — это «религия»? Если кто-то доказывает, что в атеизме используются рассуждения, схожие с теми, что используются в иудаизме, или что атеизм провоцирует насилие в таких же количествах, что и ислам, то у этого человека есть очевидный мотив запихать всё, что ему кажется общим, в размытое понятие «веры».

Или рассмотрим спор о том, должны ли «чёрные» и «белые» принадлежать к одной категории «люди». Здесь нет смысла придумывать два новых слова, ведь обсуждается именно идея, что между ними с точки зрения морали не следует проводить границу.

Однако, когда решается эмпирический или моральный вопрос, апеллировать к традиционному пониманию слова уже нельзя.

Если мы решаем, как объединять схожие объекты, чтобы потом получить некий вывод, то наш итоговый эмпирический ответ будет зависеть от того, как и что мы объединили. А это означает, что определения могут быть неверными. На основании разных определений мы сделаем разные предсказания. И нельзя голосованием решить, какое из них правильное.

Если для какого-то эмпирического вывода вам нужно понять, стоит ли объединять в одну группу атеизм и религии с верой в сверхъестественное, то вы не найдете ответ в словаре.

И если вы хотите понять, являются ли чернокожие людьми, вы не найдете ответ в словаре.

Ведь если все будут верить, что красная точка на ночном небе — это Марс, Бог Войны, словарь будет определять «Марс», как «Бог Войны». Если все будут верить, что огонь — это высвобождение флогистона, то словарь и будет определять «огонь» как «высвобождение флогистона».

Использование слов — это своего рода искусство. Даже когда определения не являются в буквальном смысле истинными или ложными, они могут быть более умными или более дурацкими. Составители словарей всего лишь историки, описывающие, как слова употреблялись в прошлом. Если вы будете смотреть на них, как на верховных судей, определяющих смыслы слов, это привяжет вас к мудрости прошлого и лишит возможности стать лучше.

Однако, отступив от мудрости прошлого, постарайтесь убедиться, что люди смогут догадаться, о чём вы плывёте.

Пустые ярлыки

Элиезер Юдковский

Давайте рассмотрим (да, опять) аристотелевскую идею категорий. Предположим, у нас есть объект со свойствами A, B, C, D, и E (ну или по крайней мере он выглядит похожим на Е).

Фред: Ты имеешь ввиду вон ту штуку синего цвета, круглую, пушистую и…

Я: В рамках аристотелевской логики конкретные свойства или их названия не важны. Поэтому я просто использую буквы.

Далее, я выдумываю аристотелевскую категорию «зава», описывающую все те и только те объекты, у которых есть свойства A, C, и D.

Я: У объекта 1 есть свойства зава, В и Е.

Фред: А еще он синий, то есть А, так ведь?

Я: Когда я говорю, что у него есть свойство зава, это подразумевается.

Фред: Да, но я все же хочу, чтобы ты упомянул это в явной форме.

Я: Хорошо. У объекта 1 есть свойства А, В, зава и Е.

Теперь я ввожу новое слово «юки», которое описывает те и только те объекты, которые обладают свойствами В и Е. И слово «зиппо», описывающее те и только те объекты, которые обладают свойством Е, но не свойством D.

Я: Объект 1 — зава и юки, но не зиппо.

Фред: Подожди, он ведь светится? Я имею ввиду — он же Е?

Я: Да. С учетом имеющейся информации, иначе и быть не может.

Фред: Я бы предпочёл, чтобы ты проговаривал такие вещи.

Я: Ладно. Объект 1 — А, зава, В, юки, C, D, E, но не зиппо.

Фред: Потрясающе! И это все можно понять, просто посмотрев на объект?

Впечатляет, правда? Давайте введем больше слов. «Боло» — А, С и юки. «Мун» — А, С и зиппо. И «мерлакдониан» — боло и мун.

Кажется бессмысленно запутанным? Я тоже так думаю. Давайте заменим ярлыки на определения.

«Зава, В и Е» превращается в [A, C, D], B, E.

«Боло и А» превращается в [A, C, [B, E]], A.

«Мерлакдониан» превращается в [A, C, [B, E]], [A, C, [E, ~D]].

Важно помнить: аристотелевская идея категорий подразумевает, что [A, C, D] — это вся информация о «зава». Я могу не только использовать любой ярлык, но и прекрасно обойдусь совсем без ярлыков — правила, регулирующие аристотелевские классы, замечательно работают и для структур вроде [A, C, D]. Использование ярлыка «зава» или какого-либо другого нужно лишь для нашего удобства (или неудобства), а для правил никакой разницы нет.

Предположим, что «человек» определяется как «двуногое смертное существо без перьев». В таком случае классический силлогизм будет выглядеть так:

Все [смертные, ~оперенные, двуногие] смертны.

Сократ — [смертный, ~оперенный, двуногий].

Следовательно, Сократ смертен.

Теперь этот приём выглядит не так впечатляюще, не правда ли?

Ярлыки здесь скрывают посылки, и благодаря этому создаётся иллюзия, что мы получили какой-то нетривиальный вывод. Если мы заменяем ярлыки определениями, то мы видим эту иллюзию и понимаем эмпирическую бесполезность тавтологии. Нельзя утверждать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

Существует идея (которую, как вы, наверное, заметили, я ненавижу): «вы можете определять слова как вам угодно». Эта идея происходит от аристотелевских категорий. Действительно, если вы будете строго и безошибочно следовать правилам Аристотеля - люди никогда так не делают, Аристотель прекрасно знал, что Сократ был человеком, хотя из его правил это никак не вытекало, - но если какая-то воображаемая нечеловеческая сущность будет строго следовать этим правилам, она никогда не придёт к противоречию. Она вообще ни к чему не придёт, она тоже не сможет сказать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

В рамках аристотелевской системы ярлыки произвольны. Однако, я хочу сказать не столько об этом, сколько о том, что аристотелевская система замечательно работает и вовсе без ярлыков. Она выдаёт точно такой же поток тавтологий, просто эти тавтологии выглядят гораздо менее впечатляюще. Ярлыки нужны лишь для создания иллюзии нетривиального вывода.

Поэтому, если вы желаете ввести какую-то поговорку в аристотелевском духе, то она должна звучать не как «Я могу определять слова как захочу» или «Процесс определения слова не имеет последствий», а скорее как «Определения не нуждаются в словах».

Табуируй свои слова

Элиезер Юдковский

Цель игры «Табу» от Hasbro — помочь партнёру угадать слово, написанное на карточке, при этом не произнося ни этого слова, ни ещё пяти дополнительных слов, написанных на карточке. Например, тебе может понадобиться показать слово «бейсбол», не используя слов «спорт», «бита», «удар», «подача», «база» (и, разумеется, «бейсбол»).

Когда я узнал о существовании этой игры, я удивился. Почему бы просто не сказать ««искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»?

С другой стороны, эти правила были для меня не в новинку. Я развивал соответствующие навыки уже несколько лет. Правда, с другой целью.

Вчера мы видели, как подстановка определений вместо соответствующих слов позволяет выявить эмпирическую непродуктивность классического аристотелевского силлогизма:

Все [смертные, ~пернатые, двуногие] смертны.

Сократ — [смертный, ~пернатый, двуногий].

Следовательно, Сократ смертен.

Однако, этот принцип можно применять более широко:

— Дерево, падающее в пустынном лесу, создаёт звук — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не создаёт звука — заявляет Барри.

Поскольку один говорит «звук», а другой «~звук», то мы явно нашли противоречие, верно? Но представим, что было бы, если бы они разыменовали свои указатели перед тем, как говорить:

— Дерево, падающее в пустынном лесу, удовлетворяет [тест на принадлежность: это событие порождает акустические вибрации] — заявляет Альберт.

— Дерево, падающее в пустынном лесу, не удовлетворяет [тест на принадлежность: это событие порождает слуховые впечатления] — заявляет Барри.

Теперь кажущееся столкновение исчезло, и для этого было достаточно всего лишь запретить использовать слово «звук». В случае, если разногласия возникнут вокруг термина «акустические вибрации», можно сыграть в «табу» ещё раз и сказать «волны давления, передающиеся через физический объект-проводник»; если понадобится, можно пропустить через «табу» слово «волна» и заменить его на волновое уравнение. Если затабуировать «слуховые впечатления», то можно получить «форма обработки сенсорной информации в человеческом мозге, которая получает на вход временной ряд преобразованных частот».

Но представь, с другой стороны, следующий спор:

— Сократ входит в категорию [тест на принадлежность: эта личность погибнет, выпив цикуты] — заявляет Альберт.

— Сократ входит в категорию [тест на принадлежность: эта личность не погибнет, выпив цикуты] — заявляет Барри.

В этот раз произошло существенное столкновение ожиданий Барри и Альберта: они ожидают разных событий после того, как Сократ выпьет чашу цикуты. Однако, если они описали свои категории, используя слово «человек», то оба могут не заметить этого несогласия.

Ответ на вопрос «Совпадают ли мнения Альберта и Барри?» сильно зависит от того, за чем именно наблюдать в диалоге: за ярлыками (Альберт говорит «звук», Барри говорит «не звук»), или за испытаниями (Альберт предложил тест на акустические вибрации, Барри предложил тест на слуховые впечатления).

Собери вместе группу самозваных футурологов и спроси у них, будет ли у нас искусственный интеллект через тридцать лет. Я думаю, что по крайней мере половина из них ответит утвердительно. Если далее ничего не предпринимать, они пожмут друг другу руки и скажут много приятных слов про этот выявленный только что консенсус. Однако стоит лишь наложить табу на термин «искусственный интеллект» (и на слова «компьютеры», «думать» и подобное), а после поинтересоваться, что они ожидают увидеть — и, вполне возможно, ты обнаружишь полноценный конфликт ожиданий, скрывавшийся под бесцветным привычным словом. С другим небезызвестным термином(English) дела обстоят примерно так же.

Иллюзию единства различных религий можно рассеять, наложив табу на слово «Бог» и попросив верующих объяснить, в чём именно состоят их убеждения (или наложив табу на слово «вера» и попросив верующих объяснить, почему они носят свои убеждения). Правда, большинство не сможет что-либо ответить вообще: большая часть их убеждений — всего лишь провозглашения, и невозможно получить разъяснения терминов, увеличивая масштаб аудиозаписи.

Если ты столкнулся с философскими трудностями, то первая линия обороны заключается не в составлении определений спорных терминов, но в попытке мыслить, не используя этих терминов вообще. И не используя их коротких синонимов. И случайно не изобрети при этом какого-нибудь нового слова, в которое будет вложен тот же самый чёрный ящик. Опиши внешние наблюдения и внутренние механизмы; недостаточно просто показать на рукоять, чем бы ни являлась эта рукоять.

Альберт говорит, что у людей есть «свобода воли». Барри утверждает, что у людей нет «свободы воли». Ну что же, это несогласие явно породит заметный спор. Большинство философов дали бы Альберту и Барри совет попробовать в точности определить, что именно они называют «свободой воли»; и оба спорщика, рассуждая на эту тему, явно смогут подготовить объёмный философский трактат в качестве побочного продукта. Я дал бы Альберту и Барри совет описать, что именно за качество имеют (или не имеют) люди, вообще не используя в этом описании фразы «свобода воли» (а также слов «выбирать», «действовать», «решать», «предопределено», «ответственность» или какие-либо их синонимы).

Это один из нестандартных методов в моём наборе инструментов, и, по моему скромному мнению, этот метод работает намного лучше стандартного. Он и более трудоёмок в использовании; как известно, бесплатный сыр бывает только в мышеловке.

Замени символ на суть

Элиезер Юдковский

Что нужно, чтобы (как в предыдущем эссе) воспринимать «бейсбол» как «искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»? Что нужно, чтобы играть в рационалистскую версию «Табу», цель которой не вспомнить синоним, которого нет на карточке, а придумать, как описать явление, не используя привычных концептов в качестве костылей?

Нужно визуализировать. Заставлять свой внутренний взор воспринимать детали так, будто вы их видите впервые. Необходимо смотреть cвежим взглядом.

Это «бита»? Нет, это длинный, округлый, конусообразный, деревянный стержень, сужающийся у одного конца так, чтобы человек мог ухватить его и махнуть им.

Это «мяч»? Нет, это покрытый кожей сфероид, покрытый симметричным узором стежков, твердый, но не как металл. Его можно взять в руку и бросить, или ударить деревянным стрежнем, или поймать.

Это «базы»? Нет, это фиксированные позиции на игровом поле, которые игроки стараются достигнуть как можно быстрей из-за их «безопасности» в рамках искусственных правил игры.

Больше всего свежему взгляду мешает то, что у вашего разума уже есть готовые короткие обобщения в виде удобных простых концептов. Вроде «бейсбола», «биты», «базы». Нужны сознательные усилия, чтобы не дать разуму соскользнуть на привычную дорожку, легкий путь наименьшего сопротивления, где мелкое невыразительное слово врывается и смывает все детали, которые вы стараетесь увидеть. Слово само по себе может нести в себе разрушительную силу ярлыков и яд запасённых мыслей.

Табуирование — способность описывать без использования привычных указателей/ярлыков/инструментов — одна из фундаментальных способностей рационалиста. Она находится на том же базовом уровне, что и привычка постоянно задавать вопросы: «Почему?» или «Какие ожидания порождает это убеждение?».

Это искусство тесно связано с:

Прагматизмом. Табуирование лучше помогает сосредоточить внимание на ожиданиях, чем обычное проговаривание убеждений.

Редукционизмом. Табуирование заставляет вас обращать внимание на то, как устроен рассматриваемый объект или явление на более низком уровне. Вы обращаете внимание на части, а не скользите взглядом по целому.

Умением «ухватить задачу». Слова часто отвлекают от вопроса, который вы хотите задать на самом деле.

Избеганием запасённых мыслей, которые заполняют разум при использовании привычных слов. Табуирование привычных слов позволяет с этим справиться.

С правилом писателей «показывай, а не рассказывай», уважаемому рационалистами.

И умением не терять из виду исходную цель.

Как табуирование помогает не терять из виду цель?

Из «Потерянных целей»:

В то самое время, когда вы читаете этот текст, в каком-нибудь университете за партой сидит студент или студентка, и усердно изучает какой-то материал, который он или она вообще не собираются когда-нибудь применять и который им вовсе не интересен. Они хотят получить высокооплачиваемую работу, а для нее нужна «корочка», а для получения «корочки» надо получить степень магистра, для получения которой сначала надо получить степень бакалавра. А университет, в котором можно получить эту степень, требует пройти курс по узорам вышивания двенадцатого века. Поэтому студенты прилежно изучают эти узоры. Они намерены про них забыть сразу же после экзамена, однако всё равно тратят довольно много усилий, потому что им нужна «корочка».

Зачем вы ходите в «школу»? Чтобы получить «образование» и в конце концов «степень». Забудьте слова в кавычках и их синонимы, представьте все детали из реального мира, и, скорее всего, вы заметите, что «школа», судя по всему, — это совместное сидение в помещении вместе со скучающими подростками и выслушивание материала, который вы и так знаете. «Степень» окажется бумагой с какими-то написанными словами, а «образование» — забыванием материала сразу же после экзамена.

Классификация часто приводит к сомнительным обобщениям. Например, те, кто действительно чему-то учится в классе попадают в категорию «получающие образование», поэтому «получение образования» считается чем-то хорошим. Однако, потом любой, кто оказывается в колледже, оказывается в категории «получающий образование», независимо от того, учится он чему-то или нет.

Ученики, которые понимают математику, прекрасно справятся с тестами. Однако, если поставить школе цель готовить людей, которые получают в тестах высокие баллы, ученики потратят всё своё время на подготовку к тестам. Если ваша цель попадёт в неправильную мысленную категорию, это может привести к появлению такого же неправильного стимула. Вы хотите учиться, поэтому вам нужно «образование», и пока вы занимаетесь чем-то, что попадает в категорию «образование», вы можете не замечать, учитесь вы или нет. Вы также можете заметить, что вы не узнаёте ничего нового, но не осознать, что вы уже забыли про изначальную цель, потому что вы «получаете образование», а ваша цель у вас в голове описана именно так.

Категоризировать — выбрасывать информацию. Если вам скажут, что упавшее дерево издало «звук», вы не узнаете, что это был за звук — вы не слышали, как это дерево падало. Если монета выпала «орлом», вы не знаете, как она оказалась ориентированной на плоскости. Синяя яйцеобразная штука может быть «сияйцом», но какого именно оттенка синего и какой именно формы она? Классификацию используют для отбрасывания не релевантной информации, для отделения золота от песка, но часто получается, что привычная классификация отбрасывает и релевантную информацию тоже. И если вы столкнулись с такой проблемой, первым и лучшим решением будет сыграть в рациональное «табу».

Например, «сыграть в „табу“ » — само по себе скользкое обобщение. Версия Хасбро не то же самое, что и версия рационалистов: для того, чтобы исключить мышление привычными словами недостаточно исключить лишь пять синонимов, написанных на карточке. «Табу» рационалистов оказывается внутри границ концепта «игра в „табу“ », но не все, что находится внутри этих границ, позволяет посмотреть на мир свежим взглядом. Если вы просто будете «играть в „табу“ ради свежего взгляда», то начнёте думать, что все, что считается игрой в «табу», может считаться свежим взглядом.

«Табу» по версии рационалистов — это не игра. Вы не сможете здесь схитрить или обойти правила. Вам придется добровольно ограничить себя: перестать использовать и те синонимы, которых нет на карточке. Вам так же придется останавливать себя, когда вы попытаетесь придумать новое простое слово или фразу, которые будут играть ту же роль умственных костылей, что и старые привычные слова. Вы стараетесь увидеть больше деталей на карте, а не переименовывать города, разыменовать указатель, а не ввести новый, увидеть события такими, какие они есть, а не переписать клише о них другими словами.

Рассмотрев задачу во всех деталях, вы сможете увидеть потерянную цель. Чем вы на самом деле занимаетесь, играя в «табу»? Для чего нужна каждая из частей процесса?

Если вы посмотрите на ваши действия, как будто вы смотрите на них первый раз, то сможете увидеть свежим взглядом и ваши цели. Если вы сможете посмотреть на себя по-новому, то увидите, что вы занимаетесь чем-то, что вас вряд ли привлекло бы, если бы не успело войти в привычку.

Цель теряется из виду, как только суть (обучение, знания, здоровье) заменяется на символ (степень, тестовые баллы, медобслуживание). Чтобы заново найти потерянную цель или избавиться от скользкого обобщения, вам нужно сделать наоборот.

Замените символ на суть. Замените знак на то, что он обозначает. Замените свойство проверкой принадлежности. Замените слово на его смысл. Замените ярлык на концепт. Замените конспект на детали. Замените вспомогательный вопрос на основной. Разыменуйте указатель. Перейдите на нижний уровень организации. Смоделируйте процесс в уме, а не просто произнесите его название. Увеличьте масштаб на вашей карте.

«Простая истина» получилась благодаря табуированию слова «истина». Я описал смысл этого слова на более низком уровне без привлечения слов вроде: «точный», «корректный», «представляет», «отражает», «семантика», «убеждение», «знание», «карта», «настоящий». (Помните, цель не в том, чтобы играть в «табу» — слово «истинный» появлялось в том тексте, но не для того, чтобы определить истину. В игре «Табу» от Хасбро это считалось бы ошибкой, но на самом деле мы не играем в эту игру. Спрашивайте себя, выполнил ли свое назначение документ, а не написали ли его в соответствии с правилами.)

Правило Байеса описывает «свидетельство» с помощью чистой математики, без использования слов вроде «подразумевает», «означает», «поддерживает», «доказывает», или «оправдывает». Если вы попробуете определить подобные философские термины, вы лишь начнёте ходить по кругу.

И есть слово, которое табуировать важнее всего. Я неоднократно предупреждал, что им не стоит злоупотреблять. В некоторых случаях даже следует избегать этого понятия. И теперь вы знаете, почему. Размышлять об этом предмете вполне можно. Но истинное его понимание определяется вашей способностью описать, что вы делаете и почему — без использования этого слова и его синонимов.

Ошибки сжатия

Элиезер Юдковский

Есть известное высказывание: «Карта не есть территория». Единственная точная на 100% карта Калифорнии в натуральную величину с сохранением всех деталей на уровне атомов — это сама Калифорния. Однако в Калифорнии есть некоторые важные повторяющиеся детали — например, шоссе, — которые можно описать, используя значительно меньше информации (не говоря уже о физической материи для хранения этой информации), чем потребовалось бы для описания каждого атома в пределах границ штата. Поэтому есть и другое высказывание: «Карта не есть территория, но территорию нельзя свернуть и положить в бардачок».

На бумажной карте Калифорнии в масштабе 10 километров к 1 сантиметру ( миллион к одному) нет места для того, чтобы показать точное расположение двух опавших листьев, лежащих на тротуаре в сантиметре друг от друга. Даже если карта попытается показать листья, листья будут отображаться одной и той же точкой на карте. Точнее, карте потребуется разрешение в 10 нанометров, что гораздо меньше доступного для подавляющего большинства книжных принтеров, не говоря уже о человеческих глазах.

Реальность очень велика. Даже видимая для нас часть реальности — это миллиарды световых лет. Но ваша карта реальности записана на нескольких фунтах нейронов, упакованных так, чтобы поместиться внутри черепной коробки. Не хочу никого обидеть, но по сравнению с реальностью ваш череп — очень крохотный.

И поэтому совершенно неизбежно некоторые объекты, которые в реальности различны, оказываются на вашей карте сжатыми в одну точку.

Но изнутри это ощущается не как: «Ого, посмотрите-ка, я сжимаю два объекта в одну точку на моей карте». Это ощущается, словно существует лишь один объект и вы непосредственно его и наблюдаете.

Достаточно маленький ребенок или достаточно древний греческий философ не знают про такие штуки, как «акустические вибрации» или «слуховые переживания». И, когда дерево упадет, будет лишь одно — единственное событие, называемое «звуком».

Осознание того, что точка на вашей карте скрывает два различных явления, по сути — научная задача. Огромная сложная научная задача.

Иногда ошибки сжатия случаются из-за путаницы между двумя одинаковыми явлениями, называющихся одним словом. Вы знаете про акустические вибрации и про работу слуховых отделов мозга, но называете их одним словом — «звук», и запутываете себя. Но более опасная ошибка сжатия возникает в тех случаях, когда вы даже не подозреваете, что в вопросе могут быть замешаны две разные сущности. В вашей голове есть только одна папка, обозначенная «звук», и каждая мысль про «звук» попадает в эту единственную папку. Это не то же самое, что иметь две папки с одним и тем же названием. По умолчанию карта сжата — зачем мозгу создавать две ментальные коробки, когда хватает и одной?

Или вообразите себе книгу детективного жанра, в которой главный герой должен догадаться, что у подозреваемой есть сестра-близнец. Обычная детективная работа героя сведётся лишь к тому, что он заметит, что Кэрол носит красное, что у неё чёрные волосы, что у неё кожаные сандалии. Однако, все эти факты будут о Кэрол. Достаточно легко усомниться в отдельных фактах, вроде НоситКрасное(Кэрол) или ТемныеВолосы(Кэрол). Может ТемныеВолосы(Кэрол) — ложно. Может Кэрол красит волосы. Может быть Шатенка(Кэрол). Но детективу потребуется немало смекалки, чтобы догадаться, что НоситКрасное(Кэрол) и ТемныеВолосы(Кэрол) — тот самый файл «Кэрол» в который попадают все наблюдения, связанные с Кэрол, — должен быть разбит на два отдельных файла. Может быть существуют две Кэрол, и та Кэрол, что носит красное, и та, что с темными волосами — две разные женщины.

Именно так выглядит создание двух различных коробок. И это зачастую требует гениального озарения. Легче ставить под сомнение имеющиеся у себя факты, чем определяющую их онтологию.

В отличие от бумажной карты Калифорнии карта реальности, которая содержится в человеческом мозге, способна динамически расширятся, когда мы вводим более детальные описания объектов. Но изнутри это ощущается не столько как увеличение масштаба, сколько как деление невидимого атома — мы берём один предмет (он ощущается как один) и делим его на два разных.

Часто в результате появляются новые слова, например, «акустические вибрации» и «слуховые переживания» вместо просто «звук». По-видимому, где-то при появлении нового названия и создаётся новая ментальная коробка. Детектив, скорее всего, будет называть одну из подозреваемых «Кэрол-2» или «другая Кэрол», когда догадается, что их двое.

Но расширить собственную карту сложней, чем выдумать названия для новых городов. Необходимо озарение научного уровня, чтобы понять, что такие штуки, как акустические вибрации или слуховые переживания, вообще существуют.

В качестве более современных примеров можно взять слова «интеллект» или «сознание». Нередко встречаются новостные заголовки, кричащие, что ученые «объяснили сознание», просто потому что команда неврологов исследовала электрический ритм в сорок герц, который может быть связан с кросс-модальным переносом сенсорной информации, или ретикулярную активирующую систему, ответственную за бодрствование. Это, конечно, крайности — обычно ошибки менее очевидны, но они одного поля ягоды. Наиболее интересные части «сознания» это рефлективность, самосознание, понимание того, что человек, которого я вижу в отражении зеркала это «я». Это и трудная проблема субъективного опыта, выделенная Чалмерсом. Мы так же обозначаем словом «сознание» и разницу между сном и бодрствованием. Но это разные концепты с одинаковым именем, и соответствующие им явления являются отдельными научными загадками. Можно объяснить бодрствование, не объясняя при этом рефлективность или субъективность.

Ошибки сжатия так же лежат в основе философской техники «заманить и подменить» — вы рассуждаете о сознании, определяя его через способность думать о мышлении, а затем применяете выводы для другого свойства сознания, вроде субъективности. Разумеется, эти явления могут быть одним и тем же, но, чтобы это понять по-настоящему, нужно сначала эти понятия разделить и только потом, благодаря какому-то гениальному озарению, объединить снова.

Расширение карты, как уже говорил — научный вызов. Это часть научного искусства, умения расследовать, как устроен мир. И, разумеется, вам не удастся решить научную задачу, обратившись к словарю, и вы не научитесь исследовать мир с помощью техники «я могу определять слова как мне захочется». Если некий единый объект вызывает у вас замешательство своими многообразными и внутренне противоречивыми свойствами, вполне возможно, что проблема в карте, которая сжимает слишком много в одну точку. В таком случае полезно попробовать разделить их и создать новые ментальные коробки. Это не то же самое, что дать определение единому объекту. Скорее этот процесс запускается, когда вы разбираетесь, как говорить об объекте, не используя привычные ментальные костыли-понятия.

Вот и получается, что увеличения детализации собственной карты связано с рационалистской версией игры Табу и с мудрым использованием слов. Ведь слова часто соответствуют точкам на нашей карте: ярлыкам, которыми мы помечаем наши суждения, и ментальным коробкам, куда мы складываем информацию. Отказ от использования некоего слова — или наоборот создание новых слов — зачастую необходим для расширения карты.

У классификации есть последствия

Элиезер Юдковский

Ваш геном содержит множество генетических вариаций и мутаций. Скорее всего, вы знаете лишь о некоторых из них. Возможно, вы знаете про аллели, которые определяют вашу группу крови: присутствие или отсутствие антигенов А, В и резус-фактора. Если вам будут переливать кровь, содержащую антиген, которого у вас нет, это приведет к аллергической реакции. Этот факт открыл Карл Ландштейнер (вместе со способом определять совместимость групп крови), и в результате стало возможным перелить кровь пациенту, не убив его (Нобелевская премия по медицине 1930 года). Кроме того, если женщина с группой крови А будет беременна ребенком с группой А+, то у нее может развиться аллергия на антиген +. И если у нее будет еще один ребенок с А+, то ей придётся принимать противоаллергенные препараты в ходе беременности или этот ребёнок окажется в опасности. Поэтому люди и узнают про группы друг у друга, прежде чем жениться.

О, и чуть не забыл: люди с группой А — серьезные и изобретательные, а с группой В — сумасбродные и веселые. Люди с группой О — кооперативные и дружелюбные, а с группой АВ — спокойные и владеющие собой. (Можно было бы подумать, что О будет обратным А и В, а АВ будет просто А плюс В, но нет…) Вся эта информация взята из японской теории личности, основанной на группе крови.

Судя по всему, группа крови играет в Японии ту же роль, что и астрологические знаки на Западе. Вплоть до «гороскопов по группе крови» в ежедневных газетах.

Всё это особенно странно, поскольку группы крови никогда не считались чем-то загадочным. Ни в Японии, ни где-то в другом месте. Мы и знаем про них только благодаря Карлу Ландштейнеру. Ни таинственный знахарь, ни почтенный чародей не говорили ни слова про группы крови. Никакие древние пыльные свитки не укутывают упомянутую ошибку аурой старины. Если специалисты-медики завтра признаются, что эти группы были лишь грандиозной мистификацией, то у нас, мирян, не будет ни малейшего свидетельства, доступного невооруженному глазу, чтобы опровергнуть их слова.

Между группами крови не было войн. Не было даже политических конфликтов. Должно быть, стереотипы возникли исключительно из-за существования ярлыков.

Разумеется, кто-то неминуемо скажет, что это история о классификации людей. Случается ли что-нибудь подобное при классификации растений, камней или офисной мебели? Я такого эксперимента не припоминаю, что, конечно, не означает, что его не проводили. (Я ожидаю, что самое сложное при проведении такого эксперимента — создать такой протокол опроса, который минимизировал бы шанс наталкивания испытуемого на мысль, что ярлык очень важен просто потому, что об этом ярлыке его и спрашивают.) И хотя я не собираюсь основываться на воображаемом свидетельстве, я бы предсказал, что такой эксперимент показал бы положительный результат: я бы ожидал, что само по себе введение ярлыков влияет на всё — по крайней мере в умах людей.

Здесь можно вспомнить про кластеры подобия: если вы нарисовали границу вокруг некоторой группы объектов, ваш разум пытается найти сходство между объектами группы. И, к сожалению, человеческий детектор закономерностей иногда находит закономерности даже там, где их нет. Немного избирательной памяти, и слабая отрицательная корреляция может быть принята за сильную положительную.

Можно вспомнить про нейронные алгоритмы: создать имя для набора предметов — все равно что выделить некоторую подсеть для поиска закономерностей между ними.

Можно вспомнить про ошибки сжатия: вещи с одинаковым названием вполне могут очутиться в одной ментальной папке и слиться в одну точку на карте.

А можно вспомнить про безграничную человеческую способность высасывать из пальца любую чепуху и в неё верить. Просто потому что никто не может доказать, что это на самом деле чепуха. Как только вы ввели имя для категории — можно начинать выдумывать. Штука с выбранным именем не обязана быть наблюдаемой. Она не обязана существовать. Она даже не обязана быть логичной.

И нет, такое происходит не только в Японии. Здесь, на Западе, книга под названием «Правильная еда для твоей группы крови» [В оригинале «Eat Right 4 Your Type» - Прим.перев.] стала бестселлером.

Проведение границы в пространстве вещей — совсем небезобидное действие. Возможно, какой-нибудь более правильно спроектированный байесовский ИИ будет в состоянии рассматривать произвольный класс и это не будет влиять на его поведение. Но у нас, людей, такого варианта нет. Для человеческого мозга категории не статичны — если вы о них думаете, они влияют на ваш разум. И это еще одна причина, почему не стоит считать, что вы можете определять слова как вам захочется.

Контрабанда характеристик

Элиезер Юдковский

Вчера я рассказал, что в Японии типы крови заняли место астрологии - если твоя кровь 4 группы, например, ты должен быть «спокойным и сдержанным».

Предположим, мы решили ввести новое слово «виггин» для обозначения людей с зелеными глазами и темными волосами…

Зеленоглазый и темноволосый мужчина вошел в ресторан.

«Ха» сказал Дэнни, сидя за столиком неподалеку «Ты это видела? Виггин только что зашел в зал. Чертовы виггины. Все они преступники, если хочешь знать”.

Его сестра Эрда вздохнула «Ты ведь не видел его совершающим преступления, так ведь, Дэнни?»

«Мне и не нужно» ответил Дэнни, достав словарь — «Смотри, в Оксфордском Словаре Английского Языка так и написано «Виггин (1) Человек с зеленым глазами и черными волосами» У него черные волосы и зеленые глаза — он виггин. Ты ведь не станешь спорить в Оксфордским словарем? По определению, черноволосый и зеленоглазый человек — виггин»

«Но ты в открытую назвал его виггином» сказала Эрда. «Нехорошо так говорить о тех, кого ты совсем не знаешь. У тебя недостаточно свидетельств, чтобы утверждать, что он много кетчупа положит в свой бургер или что он в детстве запускал бельчат с помощью резинки»

«Но он же виггин». Терпеливо ответил Дэнни. «У него зеленые глаза и черные волосы, так? Вот увидишь, как только ему принесут заказанный бургер, он потянется за кетчупом”.

Человеческий разум переходит от наблюдаемых характеристик к выводимым посредством слов. В высказывании «Все люди смертны, Сократ человек, следовательно, Сократ смертен» наблюдаемыми характеристиками являются одежда Сократа, речь, используемые им инструменты, человеческая форма тела; классифицируется он как человек; выводимая характеристика — отравляемость болиголовом.

Разумеется, граница между «выводимыми» и «наблюдаемыми» характеристиками размыта. Если вы слышите, как кто-то говорит, то у этого существа, скорее всего, человеческая форма тела, при всех прочих равных. И, если вы видите человеческую фигуру в темноте, ceteris paribus — она может говорить.

И все же, некоторые характеристики в большей мере выводимые, чем наблюдаемые. Вы, скорее всего, сделаете вывод, что наблюдаемый вами объект — человек и поэтому сгорит, если его подвергнуть прямому взаимодействию с огнем, чем станете поджигать разные объекты для того, чтобы понять — горят люди или нет.

Если вы посмотрите определение слова «человек» в словаре, то, возможно, увидите там характеристики вроде «интеллект» или «двуногое без перьев», которые полезны для быстрого отделения того что является человеком от всего остального. При этом, в словаре не будет десятков тысяч других возможных человеческих характеристик вроде уязвимости передболиголовом или сверхуверенности, которые можно вывести из того, что данный объект — человек. Почему так? Может быть, словари предназначены для указывания соответствия между ярлыком и кластером в пространстве вещей. Или вполне может быть, что крупные, видимые характеристики быстрей приходят на ум составителю словаря в силу своей заметности. Не уверен, насколько составители словарей осознают, что именно они делают.

Но кульминация наступает, когда Дэнни достает словарь и видит лишь бросающиеся в глаза признаки: зеленые глаза и черные волосы. Словарь не содержит список множества характеристик, которые ассоциируются с термином «виггин», вроде криминальных наклонностей, кулинарных пристрастий или досадных активностей в детстве.

Как же эти характеристики стали ассоциироваться с термином? Может был знаменитый виггин, продемонстрировавший их. Или может кто-то просто их выдумал и написал ставшие популярными книги («Виггин», «Беседы с виггином», «Воспитание маленьких виггинов», «Виггины в постели»). Может даже виггины в это верят теперь, и ведут себя соответствующим образом. Стоит лишь назвать группу людей «виггинами» и это слово начнет обрастать ассоциациями.

Однако, давайте вспомним «Притчу о болиголове» : если мы будем использовать определения логических классов, как метод определения слов, то мы не сможем установить, что Сократ — «человек», пока не пронаблюдаем его смерть. Когда кто-то апеллирует к словарю, он это делает, обычно, чтобы тайком привнести какие-то ассоциации, а не реально записанное определение.

В конце концов, если полный смысл слова «виггин» это «зеленоглазый и черноволосый человек», почему бы и не называть этих людей «зеленоглазым и черноволосыми»? И если вы интересуетесь, является ли данный человек любителем кетчупа, то почему бы не спросить об этом прямо «он любитель кетчупа?», вместо того, чтобы спрашивать «он виггин?» (прошу отметить замену символа на суть).

Но ведь для понимания настоящего вопроса придется поработать. Надо будет пронаблюдать, действительно ли виггин потянется за кетчупом. Или найти статистику о том, сколько зеленоглазых и черноволосых людей любят кетчуп. В любом случае, вам придется сделать что-то большее, чем сидение в вашем кресле с закрытыми глазами. Люди ленивы. Он предпочтут использовать аргумент «по определению», особенно если им кажется, что «слова можно определять, как захочется».

Но, разумеется, настоящая причина утверждать, что кто-то это «виггин» — в скрытой ассоциации, не записанной в словаре, и порождаемым ей чувстве.

Только представьте — Денни говорит: «Посмотри, у него черные волосы и зеленые глаза, он — виггин! В словаре так и сказано, следовательно, у него черные волосы. Попробуй поспорь с этим!»

Звучит не слишком впечатляюще, так ведь? Если бы суть аргумента действительно была отражена в словаре, если бы аргумент был логически валидным, то он ощущался бы пустым; не привносил ничего нового и не ставил бы вопросов.

Лишь контрабанда характеристики, которая прямо не записана в словаре, дает чувство победы при использовании аргумента «по определению».

Аргумент «по определению»

Элиезер Юдковский

«У этой ощипанной курицы две ноги и нет перьев, следовательно, по определению, она человек!»

Обычно, когда люди спорят про определения, они начинают с бросающихся в глаза или широко принятых характеристик, затем достают словарь и показывают, что эти характеристики соответствуют написанному в словаре определению; потом они делают вывод: «Следовательно, по определению, атеизм — это религия!»

Но бросающиеся в глаза или широко принятые характеристики редко являются настоящим предметом спора. Один лишь факт того, что кто-то видит наличие двух ног достаточно очевидной основой для вывода «Следовательно, по определению, Сократ — человек», свидетельствует о том, что двуногость не выступает конечной целью спора, ведь в противном случае оппонент бы заявил что-то вроде: «Да че ты говоришь, мы ведь об этом и спорим!»

Разумеется, есть правильный способ перехода от очевидных характеристик к не совсем очевидным. Вы вполне оправданно можете, увидев гуманоидную форму тела Сократа, предположить, что он уязвим для болиголова. Но этот вероятностный вывод не основывается на определении в словаре или традиционном понимании; он основывается на существовании во вселенной эмпирических кластеров подобных друг другу вещей.

Такая кластерная структура не изменится просто потому, что вы дадите слову другое определение. Даже если в словаре понятие «человек» будет определено как «все двуногие без перьев, кроме Сократа», то это не изменит степень подобия между Сократом и остальными двуногими без перьев существами.

Когда вы будете выстраивать аргументацию на основе кластерной структуры, вы скажете что-то вроде: «у Сократа две руки, две ноги, нос и язык, он говорит бегло на греческом, использует инструменты, проявляет все крупные и мелкие характеристики Homo sapiens (в то время, когда я наблюдал за ним); так что я предположу, что у него человеческая ДНК, человеческая биохимия, и что он так же уязвим для болиголова, как и другие Homo sapiens, для которых летальность болиголова была подтверждена клинически».

На что я мог бы ответить: «Но я видел, как Сократ разговаривал со знахарем, и думаю, что они собираются приготовить антидот. Так что я ожидаю, что Сократ, приняв болиголов, копыта не откинет. Он будет исключением для общего правила поведения объектов этого кластера. Они не принимали антидот, а он примет».

Как видите, тут уже нет смысла спорить о том, человек Сократ или нет. Разговор должен перейти на более детальный уровень, следует рассмотреть детали категории «человек», а именно — биохимию, и в данном случае, нейротоксичные эффекты кониина.

Вы, разумеется, можете продолжать настаивать на том, что «Сократ — человек и по определению смертен», но вы, на самом деле, лишь будете смазывать в одну точку все, что вы знаете о Сократе, кроме его человечности, как будто единственное верное предсказание может быть построено только на том, что мы ничего о Сократе не знаем, кроме того, что он человек.

Это все равно что настаивать на том, что вероятность выпадения орла или решки составляет 50%, потому что это «симметричная монета», после того, как вы ее подкинули и выпал орел. Это все равно что настаивать на том, что у Фродо десять пальцев, после того, как вы видели, что у него девять пальцев на руках. И это, естественно, некорректно с точки зрения байесовской эпистемологии — вы не можете отказаться от учета наблюдаемых свидетельств.

И вы не можете останавливаться на первой итерации классифицирования и продолжать делать выводы на ее основе, игнорируя остальную информацию.

Не каждое свидетельство, разумеется, окажет сильное влияние на вывод. Если я увижу, что у Сократа лишь девять пальцев, это не повлияет на мое ожидание наблюдать его смерть после приема болиголова, ведь я ожидаю, что потеря пальца не оказала сильного влияния на его биохимию. И это будет правдой независимо от того, что в словаре написано про количество пальцев. Правильный вывод основан на кластерной структуре окружающей среды и причинной структуре биологических процессов, а не на том, что решит написать составитель словаря. И уж тем более не на «традиционном понимании».

Как правило, если вы делаете вывод правильным, логически допустимым путем, вы просто можете сказать: «Содержащийся в болиголове алкалоид кониин вызывает мышечный паралич у людей, что приводит к смерти от удушья». Или еще проще: «Болиголов опасен для людей». Так выстраивается правильный аргумент.

Так в какой же ситуации может возникнуть желание усилить аргумент фразой «по определению»? (Например — «Люди, по определению, уязвимы для болиголова»). Ну разумеется, в случае высказанных оппонентом сомнений по поводу предполагаемой характеристики (есть свидетели разговора между Сократом и знахарем) — поэтому может возникнуть желание затянуть оковы логики.

И когда вы видите такое использование «по определению», знайте, что на самом деле вам говорят что-то вроде «Забудьте лучше этот момент со знахарем, люди по определению смертны».

Люди чувствуют необходимость укрепить курс развития спора словами «Любое Р, по определению, обладает свойством Х!», именно в том случае, когда они видят и без промедления отбрасывают информацию, которая бросает тень сомнений на оригинальный вывод, основанный на кластерах.

Это же касается и аргументов вроде «Х, по определению, — У». Например, «Атеисты верят, что Бога нет; следовательно, они имеют убеждение о Боге, потому что неверие это тоже убеждение; следовательно, атеизм дает ответы на теологические вопросы; следовательно, атеизм, по определению, — религия».

Вам не нужно было бы убеждать нас, что индуизм — это религия, потому что индуизм это, вроде как, и есть религия. И не просто «религия по определению», а настоящая религия.

Атеизм не похож на центральных представителей кластера «религия», поэтому, если бы он не был религией «по определению», вы могли бы воображать себе, что он религией не является. Поэтому вам и приходится давить оппозицию, указывая на то, что «атеизм — это религия» верно по определению, потому что это неверно в любом другом контексте.

То есть люди настаивают на том, что «Х по определению У!» именно в тех случаях, когда они пытаются протащить не указанную прямо в определении характеристику У, а Х не слишком похож на представителей кластера У.

В течение последних тринадцати лет я старался отмечать случаи корректного использования фразы «по определению», не утруждаясь ведением статистики, разумеется. На основе такого поверхностного взгляда я могу сделать вывод, что использование этой фразы где-либо за пределами математики является одним из ярчайших сигналов дефектного аргумента из тех что я видел. Он стоит рядом с «Гитлер», «Бог», «абсолютно уверен» и «ты не можешь доказать это».

Эта эвристика определения такого режима провала не идеальна — впервые я видел корректное употребление этой фразы за пределами математики — у Ричарда Фейнмана; и с тех пор видел еще. Но вам, скорее всего, стоит просто стереть из своего словарного запаса эту фразу и сохранять бдительность, особенно если вам захочется употребить ее с восклицательным знаком или выделить курсивом. Ведь это, по определению, плохая идея!

Где проводить границу?

Элиезер Юдковский

Представьте, что вам кто-то сказал:

Долго я размышлял о том, что же значит слово «искусство», и, наконец, нашел то определение, которое показалось мне удовлетворительным: «Искусство - это то, что предназначено для создания реакции аудитории».

Из существования слова «искусство» не следует существование его смысла, витающего где-то там в пустоте, которое вы можете открыть, подобрав правильное определение.

Хоть так и кажется, но это не так.

Гадая о том, как какое определение дать слову, вы подходите к решению задачи не с той стороны — ищите таинственную эссенцию того, что на самом деле является коммуникационным сигналом.

Разумеется, тут есть место и для задачи, которую рационалист может обоснованно атаковать, но эта задача не в том, чтобы найти удовлетворяющее определению слово. Настоящую задачу можно решать в одиночку, не проронив ни слова вслух. Задача в том, чтобы найти, какие вещи подобны друг другу, какие вещи принадлежат к одному кластеру, и иногда — какие вещи имеют одну и ту же причину.

Если вы определите «электромагнетизм», включив молнию, компас, исключив свет, но включив «животный магнетизм» Месмера (что мы теперь зовем гипнозом), то столкнетесь с проблемой, отвечая на вопрос «как электромагнетизм работает?». Вы скучили вместе вещи, которые располагаются на удалении, и исключили те, которые действительно принадлежат к набору. (Этот пример вполне вероятен - Месмер был до Фарадея).

Можно сказать, что электромагнетизм — неподходящее слово, граница в пространстве вещей, обтекающая и проникающая в кластеры, разрез реальности не по месту естественного соединения частей.

Придумать, где именно разрезать реальность, так чтобы разрез был по месту соединения частей — достойная рационалиста задача. Это то, что людям бы следовало делать, когда они начинают искать плавающую в пустоте эссенцию слова.

Но не стоит себя обманывать. Эта задача может быть и на уровне научной проблемы, если надо догадаться, что дыхание и огонь описываются одним словом. Так что не стоит обращаться за решением к редакторам словарей — у них есть своя работа.

Что такое «искусство», если не эссенция слова, витающая в пустоте?

Предположим, что вы составили длинный список того, что вы готовы и не готовы назвать «искусством».

Маленькая фуга до минор — искусство.

Удар в нос — не искусство.

«Относительность» Эшера — искусство.

Мука — не искусство.

Программный язык Питон — искусство.

Распятье, плавающее в моче — не искусство.

Новеллы Джека Вэнса «Тщай» — искусство.

Современное Искусство — не искусство.

И вот вы мне говорите: «Мне эта граница кажется интуитивно понятной, но не знаю почему — помоги мне найти интенсионал для этого экстенсионала? Дай мне простое описание этой границы».

Я отвечаю: «Думаю, это связано с восхищением искусной работой. Работа на входе, на выходе — диво. Вещи из списка связаны через похожие эстетические переживания, которые они вдохновляют, и направленный на вызов этих переживаний человеческий труд».

Полезно ли это или это лишь нарушение принципов «табу»? Я бы сказал, что список переживаемых эмоций сильней концентрирует массу вероятности, чем список всего что является/не является искусством. Вы можете наблюдать «вспышки» эмоций на ФМРТ — т.е. эмоции далеко не эфемерны.

Но дело, разумеется, не в определении искусства. Дело в том, что вы можете оспорить экстенсионалы или интенсионалы моего определения.

Вы можете сказать мне: «Эстетические переживания — не то, что объединяет эти вещи. Их объединяет намерение вдохновить любую сложную эмоцию просто ради ее вдохновения». И это будет попыткой оспорить мой интенсионал, мою попытку очертить границу через опорные координаты.

Вы можете сказать: «Твое уравнение примерно эти точки описывает, но не подходит под настоящее общее распределение».

Или вы можете оспорить мой экстенсионал, сказав: «Некоторые их этих вещей действительно близко связаны, я вижу к чему ты ведешь, однако язык Питон тогда не должен быть в списке, а Современное Искусство должно». (Это позволит предположить, что вы — лишь легко внушаемый простак, что тоже можно оспорить.) Важный момент: презумпция кривой, генерирующей этот список подобных и не подобных вещей, — схема и основания, пусть вы и не сказали каковы они, но вы видите, как я потерял нить и включил координаты, сгенерированные другим способом.

Задолго до того, как вы поймете, что объединяет электричество и магнетизм, вы начнете сомневаться, основываясь лишь на поверхностных наблюдениях, в том, что «животный магнетизм» действительно входит в список.

Давным-давно люди думали, что слово «рыба» включает в себя дельфинов. Вы, конечно, можете изобразить хитрого спорщика и сказать мне: «Мой список: {лосось, гуппи, акула, дельфин, форель} — всего лишь список. Ты не можешь сказать, что список неверен. Я, с помощью теории множеств, могу доказать, что такой список существует. Так что мое определение «рыб», являющееся лишь экстенсиональным списком не может быть «неверным», что бы ты мне ни говорил».

Или же вы можете прекратить дурацкие игры и признать, что дельфинам не место в этом списке.

Итак, вы составили список вещей, которые, как вам кажется, подобны друг другу. И попробовали догадаться почему они подобны. Но когда вы обнаружите, что же они действительно имеют общего, может оказаться, что ваши догадки были неверными, как и ваш список.

Вам не спрятаться под щитом «верно-по-определению». И экстенсиональное, и интенсиональное определения могут быть неверными, могут разрезать реальность не по месту соединения частей.

Классификация — занятие без гарантий, в котором вы вполне можете понаделать ошибок. Так что, с чисто теоретической точки зрения, полезно будет признать, что ваши догадки-определения могут быть «ошибочными».

Энтропия и короткие сообщения

Элиезер Юдковский

Предположим, у нас есть система Х, которая с одинаковой вероятностью может находиться в любом из 8 возможных состояний:

X1,X2,X3,X4,X5,X6,X7,X8X1,X2,X3,X4,X5,X6,X7,X8

Есть такая экстраординарно распространенная мера, — в физике, математике и даже биологии — называется она «энтропия». И энтропия Х составляет 3 бита. Это значит, что для выяснения состояния Х нам в среднем понадобиться 3 да/нет вопроса. Например, кто-то может нам рассказать о значении Х с помощью такого кода:

(X1:001)(X2:010)(X3:011)(X4:100)(X1:001)(X2:010)(X3:011)(X4:100)

(X5:101)(X6:110)(X7:111)(X8:000)(X5:101)(X6:110)(X7:111)(X8:000)

Так что если я спросил бы «Первый символ — 1?» и получил бы ответ «Да»; «Второй символ — 1?» и услышал бы «Нет»; «Третий символ — 1?» — «Нет»; то я бы знал, что Х находится в состоянии 4.

Теперь предположим, что у системы Y есть четыре возможных состояния с таким распределением вероятностей:

Y1:1/2(0,5)Y1:1/2(0,5)

Y2:1/4(0,25)Y2:1/4(0,25)

Y3:1/8(0,125)Y3:1/8(0,125)

Y4:1/8(0,125)Y4:1/8(0,125)

Тогда энтропия Y будет равна 1,75 бит, что значит нам понадобится 1,75 вопросов в среднем, чтобы узнать значение Y.

В каком смысле можно задать один и три-четвертых вопроса? Представьте, что мы используем следующий код для описания состояния Y:

(Y1:1)(Y2:01)(Y3:001)(Y4:000)(Y1:1)(Y2:01)(Y3:001)(Y4:000)

Сначала вы спросите «Первый символ — 1?», и если ответ «Да», то задача решена: Y находится в состоянии 1. И такое происходит в половине случаев — состояние Y можно вычислить с помощью одного вопроса.

Предположим, что вы получили ответ «Нет». Тогда вы спрашиваете: «Второй символ — 1?». Если ответ «Да», то вы закончили: Y находится в состоянии 2. И это происходит с вероятностью в 1/4, и каждый раз, когда Y в состоянии 2, мы можем узнать это с помощью двух да/нет вопросов — в 25% случаев понадобится два вопроса для определения состояния Y.

Если же вы получили ответ «нет» два раза подряд, и, спросив «Третий символ — 1?», получили ответ «Да», то задача решена и Y в состоянии 3; если нет, то Y в состоянии 4. В 1/8 случаев Y в состоянии 3 и понадобится три вопроса. И в 1/8 случаев Y в состоянии 4 и понадобится три вопроса.

(1/2⋅1)+(1/4⋅2)+(1/8⋅3)+(1/8⋅3)=0,5+0,5+0,375+0,375=1,75.(1/2⋅1)+(1/4⋅2)+(1/8⋅3)+(1/8⋅3)=0,5+0,5+0,375+0,375=1,75.

Общая формула определения энтропии системы S это сумма всех SiSi: −p(Si)⋅log2p(Si)−p(Si)⋅log2p(Si).

Например, log2log2 числа 1/8 — это −3. Получается −(1/8⋅−3)=0,375−(1/8⋅−3)=0,375 — часть энтропии состояния 4 от всей энтропии системы Y — три вопроса.

Закодировать любую систему идеальным кодом получится не всегда, но если вам потребуется передать кому-то сообщение о состоянии случайного количества копий S за один раз, вы можете приблизиться к идеальному коду на случайную величину. (Гуглите «арифметическое кодирование»).

Конечно, вы можете спросить: «Почему бы не закодировать Y4 с помощью 10 вместо 000? Так ведь будет быстрей?»

Но если вы используете 10 для Y4 и получите ответ «да» на вопрос «первый символ 1?», то у вас все еще останется неопределенность: Y1 (1) или Y4 (10). Даже больше, если вы измените код таким образом, вся система полетит к чертям — услышав «1001» вам останется только гадать — «Y4 и Y2» или «Y1 и Y3».

Мораль в том, что короткие слова — ограниченный ресурс.

Ключевой момент в создании хорошего кода, который позволит передавать сообщения максимально компактно, в использовании коротких слов для того, о чем вы будете говорить часто, а длинных — для того, о чем реже.

На своем пике это искусство позволяет добиться почти идеального соответствия между длиной сообщения и вероятностью. Это так называемая «Сообщение минимальной длины» или «Минимальная длина описания», формализация бритвы Оккама.

Так что даже используемые нами ярлыки для слов не совсем случайны. Звуки, которые мы привлекаем для ссылок на идеи могут быть лучше или хуже, мудрей или глупей. И это независимо от традиционного понимания!

Я говорю это все потому, что идея «Вы можете Х так как вам заблагорассудится» сильно мешает понять, как делать Х с умом. «Это свободная страна, и я имею право на свое мнение» стоит на пути у искусства поиска истины. «Я могу определить слово так, как захочу» — стоит на пути разделения реальности на естественные составные части. И даже кажущееся разумным «Прикрепленные к словам ярлыки случайны» стоит на пути осведомленности о компактности. Стихосложения тоже, если уж говорить об этом, — Толкиен однажды заметил, как красиво звучит фраза «cellar door»; таков уровень осведомленности нужен, чтобы использовать язык как Толкиен.

Длина слов так же играет нетривиальную роль к когнитивной науке языка:

Давайте рассмотрим слова «сиденье», «стул» и «мебель». «Сиденье» — более специфическая категория, чем «стул»; «мебель»— более общая. Но большая часть стульев объединена сходными способами их использования — похожие движения, чтобы сесть или встать, похожие причины для сидения — отдых, принятие пищи, чтение. «Сиденья» в этом отношении тоже не слишком отличаются. «Мебель» же включает в себя вещи вроде кроватей, столов, по-разному использующихся и требующих разных телодвижений.

В терминологии когнитивной психологии «стул» относится к базовым категориям.

У людей есть привычка говорить и, предположительно, думать на базовом уровне категоризации. Проводить границы вокруг «стульев», чем вокруг более конкретной категории «сидений», или же вокруг более общей категории «мебели». Человек скорее предложит присесть на стул, чем сесть на сидение или посидеть на мебели.

Так что тут нет совпадения относительно длины этих слов. Базовые категории обычно имеют более короткие названия, и существительные с короткими названиями обычно относятся к базовым категориям. Это не универсальный лингвистический закон, но такая тенденция определенно присутствует. Частое употребление сопутствует коротким словам, а короткие слова — частому употреблению.

Или же как выразил это Дуглас Хофштадтер, есть причины на то, чтобы в английском языке «the» означало «the», а «antidisestablishmentarianism» использовалось для «antidisestablishmentarianism», а не наоборот.

Общая информация и плотность в пространстве вещей

Элиезер Юдковский

Предположим, у вас есть система ХХ, которая может находиться в одном из 8 состояний и все они равновероятны (относительно того, что вы о них знаете на данный момент), и система YY с 4 равновероятными состояниями.

Энтропия ХХ, как следует из рассказанного вчера — 3 бита; нам потребуется задать 3 да/нет вопроса, чтобы точно узнать состояние ХХ. Энтропия YY, как следует из рассказанного вчера — 2 бита; нам потребуется задать 2 да/нет вопроса. Это может показаться очевидным (с учетом того, что 23=823=8 и 22=422=4 — три вопроса помогут выявить правду между 8 возможными вариантами, а 2 между 4), но хочу напомнить, что если бы вероятности не были бы равными, мы смогли бы использовать более хитрый код для обнаружения, например, состояния YY (1,75 вопросов в среднем). Но раз уж для Х и Y вероятности распределены равномерно, схитрить у нас не получится.

Какова общая энтропия объединенной системы (X,Y)(X,Y)?

Возможно вам придет в голову ответ: «Для XX потребует 3 вопроса, для YY — 2, так что нам потребуется задать всего 5 вопросов, чтобы узнать (X,Y)(X,Y)».

Но что если эти две переменные связаны и, узнав что-то о YY, мы узнаем кое-то и о XX?

В данном случае предположим, что обе переменные либо четные либо нечетные.

И если мы получим сообщение в 3 бита (получим 3 ответа), узнаем, что ХХ находится в состоянии 5, то будем знать, что YY либо в состоянии 1 либо в 3, но не в 2 или 4. Так что лишь один вопрос «YY в состоянии 3?» и ответ «нет» понадобится нам, что бы знать состояние объединенной системы

(X,Y):X=X5,Y=Y1(X,Y):X=X5,Y=Y1

И обнаружили мы это с помощью 4 вопросов.

Точно так же, если мы узнаем, что YY в 4 состоянии, с помощью 2 вопросов, то нам понадобится лишь два вопроса, чтобы узнать, в каком из состояний (2,4,6,8)(2,4,6,8) находится ХХ. Опять же, лишь 4 вопроса, чтобы узнать состояние связанной системы.

Общая энтропия двух переменных определяется как разность между энтропией независимых систем и энтропией связанной системы :

I(X;Y)=H(X)+H(Y)−H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)

В данном случае между системами есть 1 бит общей информации. Узнав ХХ, мы получаем 1 бит информации о YY (что сокращает пространство возможностей с 4 до 2, снижает размер в два раза). А информация о состоянии YY сокращает пространство возможностей с 8 до 4.

Но как насчет случаев, где масса вероятности распределена не равномерно? Вчера, например, мы обсуждали случай YY, где вероятности были распределены как 1/21/2, 1/41/4, 1/81/8, 1/81/8 для 4 возможных состояний. Давайте условимся, что так будет выглядеть распределение вероятностей для YY, если мы будем рассматривать YY независимо. Как если бы мы знали YY и больше ничего. И введем еще переменную ZZ с 2 возможными состояниями, с вероятностями 3/83/8 и 5/85/8.

В таком случае, только в том случае, когда объединенное распределение между этими переменными выглядим как описано ниже, — между ними нет общей информации:

(Z1Y1:3/16)(Z1Y2:3/32)(Z1Y3:3/64)(Z1Y3:3/64)(Z1Y1:3/16)(Z1Y2:3/32)(Z1Y3:3/64)(Z1Y3:3/64)

(Z2Y1:5/16)(Z2Y2:5/32)(Z2Y3:5/64)(Z2Y3:5/64)(Z2Y1:5/16)(Z2Y2:5/32)(Z2Y3:5/64)(Z2Y3:5/64)

Это распределение подчиняется закону:

P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z)

Например,

P(Z1Y2)=P(Z1)P(Y2)=3/8∗1/4=3/32P(Z1Y2)=P(Z1)P(Y2)=3/8∗1/4=3/32

Заметьте, что мы можем узнать маргинальные (независимые) вероятности YY и ZZ просто посмотрев на объединенное распределение:

P(Y1)P(Y1) — полная вероятность всех возможных состояний Y1Y1 в общем распределении:

P(Y1)=P(Z1Y1)+P(Z2Y1)=3/16+5/16=1/2P(Y1)=P(Z1Y1)+P(Z2Y1)=3/16+5/16=1/2

Так что просто проанализировав общее распределение, мы можем определить являются ли маргинальные переменные YY и ZZ независимыми; т.е. когда объединенное распределение разлагается на маргинальные распределение — когда для всех YY и ZZ P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z).

И это важно, ведь в соответствии с теоремой Байеса:

P(Yi,Zj)=P(Yi)P(Zj)P(Yi,Zj)=P(Yi)P(Zj)

P(Yi,Zj)/P(Zj)=P(Yi)P(Yi,Zj)/P(Zj)=P(Yi)

P(Yi|Zj)=P(Yi)P(Yi|Zj)=P(Yi)

Что можно выразить словами: после того, как мы узнали состояние ZjZj, наше знание о YiYiникак не изменилось.

Так что когда распределение разлагается, когда P(Y,Z)=P(Y)P(Z)P(Y,Z)=P(Y)P(Z), то это равноценно тому, что мы, узнав о YY, не получим никакой информации о ZZ, и наоборот.

И зная это, вы можете, совершенно справедливо, начать подозревать, что между YY и ZZ нет общей информации. А там где нет общей информации, нет и байесианских свидетельств и наоборот.

Предположим, что в вышепоказанном распределении YZYZ мы будем рассматривать каждое возможное сочетание YY и ZZ, как отдельное событие — так что это распределение будет иметь всего 8 возможных вариантов с уже известными вероятностями, тогда мы сможем вычислить энтропию YZYZ точно так же, как и в прошлый раз:

3/16∗log2(3/16)+3/32∗log2(3/32)+3/64∗log2(3/64)+…+5/64∗log2(5/64))3/16∗log2(3/16)+3/32∗log2(3/32)+3/64∗log2(3/64)+…+5/64∗log2(5/64))

У вас получится тот же ответ, как если бы вы отдельно посчитали энтропии систем, а затем сложили бы их. Поскольку между системами нет общей информации, наша неопределенность относительно состояния совмещенных систем точно такая же, как и относительно суммы взятых отдельно. (Вычисления я тут показывать не стану — вы и сами можете это сделать, что касается доказательства — ищите «энтропию Шеннона» («Shannon entropy») или «общую информацию» («mutual information»).)

Но что если объединенное распределение не разлагается? Например:

(Z1Y1:12/64)(Z1Y2:8/64)(Z1Y3:1/64)(Z1Y4:3/64)(Z1Y1:12/64)(Z1Y2:8/64)(Z1Y3:1/64)(Z1Y4:3/64)

(Z2Y1:20/64)(Z2Y2:8/64)(Z2Y3:7/64)(Z2Y4:5/64)(Z2Y1:20/64)(Z2Y2:8/64)(Z2Y3:7/64)(Z2Y4:5/64)

Если вы сложите объединенные вероятности, чтобы получить маргинальные, вы обнаружите, что P(Y1)=1/2,P(Z1)=3/8P(Y1)=1/2,P(Z1)=3/8, и так далее — маргинальные вероятности такие же, как и раньше.

Но объединенные вероятности не всегда равны сумме маргинальных. Например, вероятность P(Z1Y2)=8/64P(Z1Y2)=8/64, где P(Z1)P(Y2)P(Z1)P(Y2) будут 3/8∗1/4=6/643/8∗1/4=6/64. Т.е. вероятность встретить Z1Y2Z1Y2 выше, чем мы бы ожидали, просто учитывая вероятности Z1Z1 и Y2Y2 отдельно.

Что в свою очередь подразумевает:

P(Z1Y2)>P(Z1)P(Y2)P(Z1Y2)>P(Z1)P(Y2)

P(Z1Y2)/P(Y2)>P(Z1)P(Z1Y2)/P(Y2)>P(Z1)

P(Z1|Y2)>P(Z1)P(Z1|Y2)>P(Z1)

И раз тут «необычайно высокая» вероятность P(Z1Y2)P(Z1Y2) определена как более высокая, чем можно предположить, отдельно рассмотрев маргинальные, можно сделать вывод, что наблюдение Y2Y2 увеличит вероятность наблюдать Z1Z1 и наоборот.

Поскольку есть какие-то состояния YY, дающие нам информацию и о ZZ (и наоборот), между ними должна быть общая информация, что вы и обнаружите — я уверен, хоть и не проверял — в результате вычисления энтропии YZYZ вы получите меньше неопределенности, чем в результате вычисления отдельно YY и ZZ. H(Y,Z)=H(Y)+H(Z)−I(Y;Z)H(Y,Z)=H(Y)+H(Z)−I(Y;Z) будут все больше нуля с логической необходимостью.

(Отступлю немного от темы для небольшого замечания. Симметрия общей информации показывает, что YY сообщает нам столько же о ZZ, в среднем, сколько ZZ об YY. В качестве упражнения для читателей я оставлю сопоставление этого и того, что рассказывают на курсах по логике. Что из того, что все вороны черные, следует что все вороны черные, но не следует, что все черные штуки — вороны. Насколько отличается симметричное движение вероятностей байесианства от угловатой логики, даже несмотря на то, что последняя — лишь дегенеративная версия первой?)

И тут вы спросите: «Какое все это имеет отношение к правильному использованию слов?»

В «Пустых ярлыках» и «Замени символ на суть», вы видели пример замены слова его определением с примером:

Все [смертные, ~без перьев, двуногие] смертны

Сократ [смертен, ~без перьев, двуногий]

Следовательно, Сократ смертен

Так зачем же нам нужно слово «человек»? Почему бы просто не сказать «Сократ смертный, без перьев и двуногий»?

Потому что полезно иметь короткие слова для часто встречающихся штук. Если ваш код для отдельных характеристик уже эффективен, то вы не получите никакого преимущества от введения специального слова для конъюнкции: например, «человек» для «смертный, без перьев, двуногий», разве что смертные штуки, штуки без перьев и двуногие штуки встречаются в реальности чаще, чем стоило бы ожидать лишь на основе маргинальных вероятностей.

В эффективных кодах длина сообщения соответствует вероятности, т.е. код для Z1Y2Z1Y2будет такой же длины, как и сумма кодов Z1Z1 и Y2Y2, разве что P(Z1Y2)>P(Z1)P(Y2)P(Z1Y2)>P(Z1)P(Y2), тогда код для Z1Y2Z1Y2 будет короче, чем сумма отдельно взятых кодов.

Это как раз соответствует ситуации, где мы можем сделать вывод об одних характеристиках вещи, пронаблюдав наличие у нее других. Для этого вероятность, что двуногие без перьев окажутся смертными, должна быть более дефолтной.

Разумеется, слово «человек» описывает очень много свойств. Когда вы видите сущность человеческой формы, которая говорит и носит одежду, то можете предположить множество биохимических, анатомических и когнитивных фактов о ней. Чтобы заменить «человек» на описание всего, что мы можем сказать о людях, нам потребуется запредельно много времени. Но это так лишь потому, что говорящие штуки с двумя ногами и без перьев более вероятны, чем маргинальные вероятности позволят предположить, уязвимы для болиголова, или имеют плоские ногти, или сверхуверенны.

Наличие одного слова для вещи вместо перечисления ее свойств позволяет сделать код компактней именно в тех случаях, когда можно предположить наличие одних свойств, основываясь на наблюдении других. (За исключением таких базовых слов как «красный», которое может быть использовано для передачи несжатого описания нашего сенсорного переживания. Но уже в случае с жуком или камнем, мы будем иметь дело со сложными совокупностями свойств, намного превышающими базовый уровень.)

Поэтому наличие слова «виггин» для зеленоглазых черноволосых людей полезней, чем просто «зеленоглазые черноволосые люди», именно тогда:

Когда зеленоглазые люди, в среднем, более вероятно являются еще и черноволосыми (и наоборот), т.е. мы можем сделать вероятностный вывод о «зеленоглазости», после наблюдения «черноволосости» и наоборот.

Или же когда виггины имеют другие свойства, о которых можно сделать вероятностное предположение с большей, чем сумма маргинальных, вероятностью. В данном случае нам потребуется независимо проследить за наличием черных волос и зеленых глаз, а затем можно сделать вероятностный вывод о других свойствах (вроде пристрастия к кетчупу).

Можно даже рассматривать наличие слова как своего рода обещание. Сказать кому-то «Я определяю слово «виггин» как человека с черными волосами и зеленым глазами», в соответствии с импликатурой Грайса, значит пообещать, что слово «виггин» каким-то образом поможет предположить зависимость между черными волосами и зелеными глазами и укоротить код.

Если зеленые глаза и черные волосы не встречаются с большей, чем сумма маргинальных, вероятностью, или же никакое другое свойство не встречается чаще в сочетании с этим цветом волос и цветом глаз, то слово «виггин» является ложью. Оно утверждает, что определенных людей стоит выделять в группу, а они группой не являются.

В данном случае слово «виггин» не помогает более компактно описывать реальность, ведь оно не предназначалось как помогающее сократить длину сообщения. Тогда ему не место в массиве простых объяснений. Точно так же «виггин» не поможет сделать байесианский вывод. Даже если вам неудобно называть слово «ложью», оно, как минимум, — ошибка.

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей в пространстве вещей.

Слова как мысленные кисти

Элиезер Юдковский

Представьте, что я скажу вам: «Удивительно — у светильников в этом отеле треугольные лампочки».

Может быть, вы это уже представили, может быть, нет. Если нет, сделайте это сейчас. Какими именно представляет ваш внутренний взор треугольные лампочки?

В частности, у них острые края или закруглённые?

Насколько мне позволяет судить интроспекция, когда у меня в голове впервые появилось словосочетание «треугольные лампочки» (нет, в отеле их не было), я сразу же увидел лампочку в виде пирамидки с острыми краями. Затем (практически мгновенно) грани сгладились, после чего мой мозг, в качестве альтернативы, выдал замкнутую трубку люминесцентной лампы в форме треугольника со скруглёнными краями.

Кажется, ни одной сформулированной/словесной мысли при этом задействовано не было. Лишь быстрая безмолвная реакция в ответ на воображаемый образ острого стекла, изъяны в форме которого были исправлены до того, как на ум пришло первое слово.

Можете не верить, но люди несколько десятилетий всерьёз спорили о том, можем ли мы создавать визуальные образы в своей голове на самом деле — например, можем ли мы по-настоящему мысленно увидеть изображение стула в каком-нибудь окружении, — или мы лишь наивно думаем, что можем (будучи обмануты этим «самонаблюдением», ужасной и запрещенной деятельностью), а на самом деле в нашем мозге просто активируется маленький ярлычок «стул», что-то вроде указателя в программном коде1.

Сейчас мне очень сложно удержаться от восклицаний вроде «Какая потрясающая нелепость». Такие восклицания — следствия ошибки знания задним числом. Но всё же: какая потрясающая нелепость.

Я думаю, подобная точка зрения в академической среде в значительной степени была безумным наследием бихевиоризма. Бихевиоризм отрицал существование мышления у людей и пытался объяснить все аспекты человеческого поведения (включая речь) «рефлексами». Скорее всего, о бихевиоризме стоит написать отдельно, как о своеобразном извращении рационализма. Но сейчас я пишу о другом.

«Ты называешь это предположение нелепым, — скажете вы, — но откуда ты можешь узнать, что твой мозг производит эти визуальные образы? Тебе достаточно того, что ты просто закрываешь глаза и видишь их?»

Сейчас ответить на этот вопрос проще, чем в те времена. Если вас не устраивает простое самонаблюдение и вы намерены проверить реальность мысленных образов «научно», вам понадобится вывести это из эксперимента. Например, покажите людям два предмета и спросите, можно ли один из них повернуть так, чтобы получить второй. Время ответа линейно зависит от необходимого угла поворота. Такой результат сложно объяснить, если вы только сверяете какие-то особенности изображений. Но если вы действительно представляете предмет в уме и непрерывно вращаете его с постоянной скоростью, то все сходится.

Сегодня мы можем увидеть настоящие нейрообразы небольших картинок из зрительной коры. Так что, да, ваш мозг реально воспроизводит детализированные визуальные образы того, что он видит или представляет. Советую книгу Стивена Косслина «Мозг и Образы: итоги споров о воображении»2.

Людям сложно использовать слова в том числе и потому, что они не понимают всю сложность, что таится за ними.

Вы можете представить «зелёную собаку»? Вы можете представить «сырное яблоко»?

«Яблоко» — это не просто последовательность из трёх слогов или шести букв. Последовательность из шести букв всего лишь тень. Лишь кончик от тигриного хвоста.

Слова, точнее понятия, скрывающиеся за ними, подобны кистям художника. Вы можете писать ими картины в вашем собственном воображении. Писать в буквальном смысле, если вы используете кисти идей, чтобы создать картину на холсте своей зрительной коры. Используя общие ярлыки, вы также можете схватить кисти в головах других людей и написать картины там. Например, набросать маленькую зелёную собачку на чьей-то зрительной коре.

Но, распространяя звуки через воздух или буквы через Интернет, не заблуждайтесь, будто именно звуки и буквы пишут картины в зрительной коре. Эта задача требует более сложных инструкций, чем могла бы вместить последовательность букв. «Яблоко» — это шесть байт, но написание натюрморта с яблоком с нуля потребовало бы гораздо больше данных.

«Яблоко» — это всего навсего ярлык, скреплённый с настоящей и невыразимой словами идеей яблока. Идеей, что может написать картину в вашей зрительной коре, или столкнуться с «сырностью», или распознать яблоко, когда оно будет перед вашими глазами, или почувствовать его образец в яблочном пироге, или даже запустить движение челюсти, привычное при поедании яблока…

И это не просто воспроизведение картинок из памяти. Иначе как вы могли бы визуализировать нечто вроде «треугольной лампочки», наложить треугольность на лампочку и совместить обе сущности, если никогда в своей жизни не видели ничего похожего?

Не совершайте той же ошибки, что и бихевиористы. Речь гораздо сложнее, чем просто звуки в воздухе. Ярлыки служат лишь указателями: «Ищите в сегменте памяти №1387540». Если у вас есть указатель, рано или поздно настанет время перейти по нему и действительно заглянуть в сегмент памяти №1387540.

На что слово указывает?

1.В оригинале «LISP token». — Прим.перев.

2.Stephen M. Kosslyn, Image and Brain: The Resolution of the Imagery Debate (Cambridge, MA: MIT Press, 1994).

Когда слова ошибочны

Элиезер Юдковский

Некоторые читатели утверждают, что было бы лучше назвать эту заметку «37 случаев, в которых слова можно использоватьнеразумно» или «37 случаев, когда недостаточно оптимальное использование категорий может вызвать негативные эффекты в вашем восприятии». Но одна из основных идей, которым учит этот немаленький список, заключается в том, что утверждение «Не может быть, чтобы мой выбор Х был неверным» практически всегда ошибочно, независимо от теории. Люди могут заблуждаться в любом конкретном случае. Даже если теоретически возможно быть всегда правым, на деле вы будете ошибаться. Не бывает универсального счастливого билета на любой случай, такова жизнь.

Кроме того, я могу определить слово «ошибочен» любым способом, каким захочу — но это не значит, что само слово становится ошибочным. Впрочем, лично я считаю, что в следующих случаях использование понятия «ошибочный» вполне оправдано:

1. Слово потеряло всякую связь с реальностью.

Является ли Сократ асботниктором? Да или нет? (

Притча о кинжале

.)

2. Ваши слова, если бы такое было возможно, принудили бы реальность измениться при изменении словесного определения.

Сократ — человек, а люди по определению смертны. Если вы определите людей как бессмертных существ, будет ли Сократ жить вечно? (

Притча о болиголове

.)

3. Вы пытаетесь установить эмпирические взаимоотношения, как будто бы они верны «по определению».

Сократ — человек, а все люди по определению смертны. В таком случае будет ли логически верным, если мы предскажем результат опыта, в котором Сократ пьёт настойку болиголова и теряет сознание? Ведь является логически возможным и непротиворечивым существование миров, в которых Сократ не потеряет сознание. В которых он будет иметь иммунитет к болиголову, в результате, например, странного сбоя в его биохимических процессах. Логические истины истинны во всех возможных мирах, но эти истины не сообщают, в каком из возможных миров вы находитесь. Поэтому всё, что вы задаёте «по определению» является логически верным. (

Притча о болиголове

.)

4. Вы неосознанно навешиваете условные ярлыки на что-либо, в реальности не используя словесные определения, которые вы только что дали.

Вы точно знаете, что Боб — человек. Хотя, в вашем определении вы не будете называть Боба человеком, не удостоверившись сначала в том, что он смертен. (

Притча о болиголове

.)

5. Факт навешивания словесного ярлыка скрывает спорный индуктивный вывод, который вы делаете.

Если последние 11 извлечённых вами яйцевидных объектов были синими, а последние 8 кубических объектов были красные, то применив индукцию вы можете предположить, что это соотношение сохранится и будущем. Но если вы назовёте синие яйца «сияйцами», а красные кубы «крубами», то вы можете засунуть руку в бочку, нащупать что-то круглое и подумать «Ага, сияйцо». (

Слова как скрытые умозаключения

.)

6. Вы пытаетесь определить одни слова с использованием других, более сложных и формальных понятий, без возможности указать на конкретный образец.

— Что такое «красный»?

— «Красный» это цвет.

— Что такое «цвет»?

— Цвет это свойство вещей.

— Что такое «свойство»? Что такое «вещь»?

Такого не случится, если вы укажете на красный сигнал светофора и на красное яблоко. (

Экстенсионалы и интенсионалы

.)

7. Фактическое определение не совпадает со словесным определением.

Мы не осознаём, что определяем красную точку на небе как «Марс», и это может происходить независимо от того, что мы определим «Марс» как бога войны. (

Экстенсионалы и интенсионалы

.)

8. Ваше словесное определение охватывает всего лишь небольшую часть общих характеристик категории, но вы пытаетесь рассуждать, будто определение полное.

Когда философы в платоновской академии решили, что лучшим определением человека является «двуногое без перьев», киник Диоген предъявил им ощипанного петуха и провозгласил, что это и есть «человек Платона». Тогда ученики Платона просто исправили определение на «двуногое без перьев и с плоскими когтями». (

Кластеры подобия

.)

9. Вы пытаетесь рассматривать членство в определённой категории по принципу всё или ничего, не обращая внимания на то, что могут существовать подгруппы более или менее типичных членов.

Утки и пингвины являются менее типичными птицами по сравнению с малиновками и голубями. Интересно, что межгрупповые эксперименты показали, что люди думают, будто болезни легче передаются от малиновок к уткам на островах, чем от уток к малиновкам. (

Типичность и асимметричное подобие

.)

10. Словесное определение хорошо работает, чтобы на практике указывать на группы сходны объектов, но вы придираетесь к исключениям.

Не каждый человек имеет десять пальцев, или носит одежду, или использует язык. Однако, если посмотреть на реальные группы объектов, которые разделяют эти характеристики, вы получите достаточно информации, чтобы попадающиеся время от времени люди с девятью пальцами не ввели вас в заблуждение. (

Кластерная структура пространства вещей

.)

11. Вы спрашиваете, принадлежит ли объект некоторой категории, но не называете вопрос, ответ на который вы на самом деле хотите получить.

Что есть «человек»? Является ли младенец Барни человеком? Правильный ответ на этот вопрос может сильно зависеть от того, что вы действительно хотите выяснить: «Хорошо ли кормить Барни болиголовом?» или «Будет ли Барни хорошим мужем?». (

Замаскированые вопросы

.)

12. Вы рассматриваете интуитивно воспринимаемые иерархические категории, как единственно верный способ анализа мира, не осознавая, что возможны и другие способы делать статистически выводы, даже если вы их не используете.

Для человека значительно проще определить, является ли предмет сияйцом или крубом, чем обратить внимание на то, что красные предметы никогда не светятся в темноте, но красные мохнатые предметы обладают всеми прочими характеристиками сияиц. Прочие статические алгоритмы работают иначе. (

Нейронные категории

.)

13. Вы рассуждаете о категориях, будто они как манна упали из мира идей Платона, хотя это всего лишь ярлыки в вашем сознании, связанные с определённой концепцией.

Древние философы говорили «Сократ человек», а не «Мой мозг посредством ощущений определяет Сократа, как попадающего в концепцию «человек». (

Как алгоритм ощущается изнутри

.)

14. Вы продолжаете спорить о принадлежности к категории после отсеивания всех вопросов, которые могут зависеть от выводов, основанных на категориях.

После того, как вы определили, что предмет синий, яйцеобразный, мохнатый, гибкий, непрозрачный, светящийся в темноте и содержащий палладий, что является всеми признаками сияиц, какой смысл спрашивать «Сияйцо ли это?» Однако, если распределяющая нейронная сеть вашего мозга содержит условный центр, связанный с выведением понятия сияйцности, то может показаться, что такой вопрос всё-таки существует. (

Как алгоритм ощущается изнутри

.)

15. Вы позволяете дискуссии сместиться в область обсуждения определений, несмотря на то, что вы изначально не планировали об этом спорить.

Если перед началом спора о том, производит ли «шум» падающее дерево в лесу, когда звук падения никто не слышит, вы спросите двух будущих спорщиков о том, что они будут подразумевать под «шумом», звуковые волны или слуховые переживания, они, возможно, предложат вам бросить монетку. Но после начала дискуссии определение всё равно станет обсуждаться. (

Споры об определениях

.)

16. Вы считаете, что слово имеет смысл само по себе, а не потому, что оно является меткой, связанной с некоторыми понятиями в вашем мозгу.

Когда кто-то кричит «А-а-а! Тигр!», эволюция не предпочтёт организмы, которые подумают: «Ммм… Я только что услышал слоги «ти» и «игр», которые члены моего племени связывают со своей внутренней моделью, соответствующей моему личному понятию «тигр», и которое А-А-А! ХРУМ ХРУМ ХРУМ». Поэтому мозг сокращает цепочку рассуждений, и кажется, что смысл тигриности несёт само слово. Люди спорят о правильном значении слов, например слова «шум». (

Ощути смысл

.)

17. Вы спорите о значении слов даже в том случае, когда все стороны прекрасно понимают, что остальные имеют в виду под этим словом.

Свойство человека связывать ярлыки с определёнными понятиями является средством общения. Когда люди хотят общаться, их тяжело остановить. Если у людей нет общего языка, они общаются рисуя картинки на песке. Когда каждый поймёт, что находится в разуме у остальных, дело будет сделано. (

Аргумент к традиционному пониманию

.)

18. Вы обращаетесь к словарю в разгаре спора о практических вещах или о морали.

Редакторы словарей скорее историки языка, нежели его законодатели. Если обычное определение содержит сложность, например, Марс определён, как бог войны, дельфин как вид рыб, или негры как нелюди, то словарь отражает распространённое заблуждение. (

Аргумент к традиционному пониманию

.)

19. Вы обращаетесь к словарю в разгаре любого спора.

Вы и вправду считаете, что редакторы словарей являются авторитетными специалистами в области определения атеизма как религии, или в любой другой? Даже если ставки в вашем споре крайне высоки, неужели вы считаете, что редакторы словарей достигли просветления, которое поможет им разрешить любой ваш диспут? (

Аргумент к традиционному пониманию

.)

20. Вы игнорируете распространённое определение без повода, лишая окружающих всякой возможности вас понять.

Быстро встаёт плутоний с бочками без ручек. (

Аргумент к традиционному пониманию

.)

21. Вы используете сложные термины взамен простых чтобы создать иллюзию получения выводов.

Если «человек» определить как «смертное двуногое без перьев», то можно написать: Все смертные двуногие без перьев смертны. Сократ — смертное двуногое без перьев, поэтому Сократ смертен. Выглядит не так впечатляюще в данном случае, не так ли? (

Пустые ярлыки

.)

22. Вы вступаете в спор, которого могли бы избежать, если бы не использовали конкретное слово.

Если Альберт и Барри не смогут использовать слово «шум», то Альберту придётся сказать: «Дерево, падающее в лесу, в котором никого нет, производит звуковые волны. А Барри скажет: «Дерево, падающее в лесу, в котором никого нет, не вызывает слуховых переживаний». Если слово создаёт проблему, то простейшим решением будет исключение этого слова из употребления, как и его синонимов. (

Табуируй свои слова

.)

23. Ваше внимание отвлекается на короткое изящное слово, и вы не можете обдумать данное понятие во всех подробностях.

Что происходит в школах, если перестать это называть образованием? Что такое степень, если не называть это «степенью»? Если монета упала «орлом», то какова её радиальная ориентация? Как может быть нечто «истинно», если нельзя употребить «точный», «правильный», «представлять», «отражать», «семантический», «убеждение», «знание», «карта», «реальный» или любые другие простые термины? (

Замени символ на суть

.)

24. У вас есть только одно слово, которому соответствуют два или более реальных объектов. И из-за этого все связанные с этими объектами факты собираются в одну кучу у вас в голове.

Частью обычной работы детектива является наблюдение за тем, носила ли Кэрол красное платье прошлым вечером, или что у неё чёрные волосы. Также детектив может поинтересоваться, красит ли Кэрол волосы. Но более сообразительный детектив может также задуматься, а может Кэрол было двое, одна носила красное платье, вторая была с чёрными волосами. (

Ошибки сжатия

.)

25. Вы устанавливаете зависимости там, где их не существует, извлекая некие свойства их ваших определений, даже в случаях, когда нет сходства между данными областями.

В Японии считается, что люди с первой группой крови серьёзные и творческие, со второй — импульсивные и жизнерадостные, с третьей — хорошо социализированные и приятные, с четвёртой — сдержанные и с хорошим самообладанием. (

У классификации есть последствия

.)

26. Вы добавляете побочные смысл к слову, основываясь на определении, которое не включает в себя побочные смыслы.

«Виггин» определён в словаре как человек с чёрными волосами и зелёными глазами. Но это слово также имеет побочный смысл, обозначая людей, совершающих преступления и издевающихся над животными, но этого нет в словаре. И вы показывается не кого-то пальцем и сообщаете: «Чёрные волосы и зелёные глаза? Ага, он Виггин! Смотрите, сейчас он будет красть серебряные ложки». (

Контрабанда характеристик

.)

27. Вы утверждаете, что X суть Y по определению. В таких случаях вы почти наверняка добавите дополнительные смыслы к Y, чего не было в исходном определении.

Вы определяете человека как двуногое без перьев, и, показывая на Сократа, сообщаете: «Нет перьев, две ноги, должно быть, это человек!» Но на самом деле вы думаете о чём-то ином, например о смертности человека. Если подобное случится во время дискуссии о количестве ног у Сократа, ваш оппонент может возразить: «Как же так, у Сократа две ноги? Это же как раз то, с чего мы начали спорить!» (

Аргумент «по определению»

.)

28. Вы утверждаете, что объекты P по определению являются объектами типа Q.

Если вы видите, как Сократ в компании биологов собирает травы, которые могут вызвать сопротивляемость к болиголову, то нет смысла оспаривать утверждение «Люди по определению смертны». В большей части случаев, когда вам кажется, что надо сильнее надавить и настоять на некоем утверждении «по определению», в реальности существуют иные факты, ставящие ваш вывод под сомнение. (

Аргумент «по определению»

.)

29. Вы пытаетесь установить принадлежность к реально существующей группе «по определению».

Не требуется утверждать, что «Индуизм, по определению, является религией», потому что индуизм действительно является религией. Это не религия «по определению», а, можно сказать, реальная религия. Атеизм же не похож на основных членов группы «религии», так что, если бы внезапно не оказалось, что атеизм является религией по определению, то вы бы пришли к выводу, что это всё-таки не религия. По этой причине вы можете подавить любых противников, сообщая, что утверждение «Атеизм является религией» верно по определению, хотя во всех остальных случаях это всё же не верно. (

Аргумент «по определению»

.)

30. Ваше определение ограничивает группу неких объектов, которые не связаны друг с другом.

Вы можете, если захотите, утверждать, что слово «рыба» относится к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете утверждать, что это всего лишь список, и не может быть, чтобы список был ошибочным. Или вы можете перестать валять дурака и признать, что вы допустили ошибку и дельфины не принадлежат к списку, в которых входят рыбы. (

Где проводить границу?

)

31. Вы используете короткое слово для того, что не нужно часто упоминать, или длинное слово для того, что упоминается часто. Это может приводить к неэффективном рассуждениям, или даже к некорректному применению Бритвы Оккама — если ваш разум будет считать, что короткие предложение звучат «проще».

Что звучит правдоподобнее: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно изменила законы физики»? (

Энтропия и короткие сообщения

.)

32. Вы ограничиваете определённое пространство идей, которое не содержит какое-то отличное от окружающего пространства количество понятий. В результате слово, обозначающее группу объединённых понятий не связано с хоть сколь-нибудь производительным Байесовским выводом.

Раз уж зеленоглазые люди не имеют чёрные волосы чаще, чем волосы другого цвета, и чёрные волосы также не связаны с зеленоглазостью, и кроме того людей с зелёными глазами и чёрными волосами не объединяют какие-либо иные значимые черты, то зачем вообще нужно слово «уиггин»? (

Mutual Information, and Density in Thingspace

.)

33. Вы ограничиваете множество вещей без значимой причины для такого действия.

Придумывание слова для всех людей, кроме негров, выглядит несколько подозрительным. Если вы не сообщаете причины такого разграничения, создавая произвольные термины, это может выглядеть примерно следующим образом, как если бы детектив сказал: «Знаете, у меня нет не единого повода предпочесть одного или другого человека, кто бы мог убить тех сирот. Однако, может рассмотрим Джона Вифлхайма, как подозреваемого?» ([Superexponential Conceptspace, and Simple Words.(

http://lesswrong.com/lw/o3/superexponential_conceptspace_and_simple_words/

).)

34. Вы используете классификации, чтобы делать выводы о свойствах, не имеющих реальных структур, а именно, условная независимость данных групп в случае хорошего приближения при использовании простой интерпретации теоремы Байеса.

Я ни за что не буду пытаться это резюмировать, просто прочитайте соответствующую заметку. (Которая пока не переведена,

прим. пер.

) (

Conditional Independence, and Naive Bayes

.)

35. Вы полагаете, что слова больше похожи на маленькие символы языка ЛИСП, нежели на на ярлыки, действующие как манипуляторы, которые управляют сложными ментальными кистями, рисующими подробные картины на мысленном холсте.

Представьте «треугольную электролампу». Что вы видите? (

Words as Mental Paintbrush Handles

.)

36. Вы используете слово, имеющее разные значения в различных ситуациях, будто оно имеет всегда один и тот же смысл, создавая иллюзию чего-то непостоянного и изменчивого.

«Мартин сказал Бобу свернуть налево». Но «налево» является функциональным словом, принимающим во внимание расположение говорящего относительно его окружения. Какое же «налево» имеется в виду, Боба или Мартина? (

Variable Question Fallacies

.)

37. Вы считаете, что определения не могут быть ошибочны, или что «Я могу определить любое слово так, как пожелаю!»

Такое отношение заставляет вас яростно отстаивать ваши прошлые поступки, вместо того, чтобы учесть их последствия или признать свои ошибки. (

Когда слова могут быть ошибочны

.)

Всё, что происходит в вашем разуме, имеет какой-либо результат, и ваш мозг движется вперёд без вашего руководства, не осознавая происходящее.

Утверждать «Слова можно использовать как угодно, я могу определить любое слово, как пожелаю» столь же осмысленно, как и вести автомобиль по тонком льду с выжатой до отказа педалью газа, рассуждая: «Посмотрите на руль, я не считаю, что любой его угол поворота чем-то выделяется на фоне других, поэтому я могу рулить так, как захочу».

Если вы хотите куда-то добраться или просто попробовать выжить, вам стоит начать уделять внимание трём или шести десяткам оптимальных критериев, контролирующих ваше использование слов, определений, категорий, классов, разграничений, ярлыков и концепций.

Просто реальность

Правда закономерна

Единый огонь

Элиезер Юдковский

В фэнтезийной книге Л. Спрэг де Кампа «Дипломированный чародей» [Э. Юдковский почему-то не упоминает второго автора, Флетчера Прэтта - Прим.перев.] (которая породила множество последующих подражаний) главный герой, Гарольд Ши, переместился из своей вселенной во вселенную скандинавских мифов. Вселенная скандинавских мифов основана скорее на магии, нежели на технологии, поэтому естественно, что, когда Наш Герой попробовал зажечь огонь спичкой, принесенной с Земли, та его подвела.

Я понимаю, что это всего лишь фентези, но… как бы изложить…

Нет, не так.

В конце 18 века Антуан Лоран Лавуазье открыл огонь. «Что?» — воскликнете вы. Разве к тому времени огонь не использовали уже несколько сотен тысяч лет? Да, действительно, люди использовали огонь — обжигающий, яркий, примерно оранжевого цвета и очень удобный для приготовления пищи. Но никто не знал, как он работает. Греки и средневековые алхимики полагали, что Огонь является одним из четырех базовых элементов. К временам Лавуазье алхимическая парадигма включала в себя множество поправок и стала чрезвычайно сложной, но огонь по-прежнему оставался основополагающей сущностью — уже в виде «флогистона», некоего загадочного вещества, которое, как утверждалось, объясняло огонь, а также все остальные алхимические явления.

Важнейшая новая идея Лавуазье заключалась в том, чтобы взвесить абсолютно все части химической головоломки, как до химической реакции, так и после. До него считалось, что некоторые химические процессы способны изменять вес используемого материала. Например, если мелко протёртую сурьму подвергнуть воздействию направленного через увеличительное стекло солнечного света, то через час сурьма обратится в пепел, а сам пепел будет весить на одну десятую больше, чем исходный объем сурьмы — даже несмотря на то, что при горении от сурьмы исходит густой белый дым. Лавуазье взвесил совершенно все компоненты таких реакций, включая воздух, в котором они протекали, и обнаружил, что материя не создаётся и не разрушается. Увеличение массы сгоревшего пепла взаимосвязано с уменьшением массы воздуха.

Лавуазье также было известно, как разделять газы, и он обнаружил, что горящая свеча уменьшает количество одного вида газа — «жизненного воздуха» и создает иной газ — «связанный воздух». Сегодня мы бы их назвали кислородом и углекислым газом. Когда жизненный воздух заканчивается, пламя угасает. Можно было предположить, что горение преобразует жизненный воздух в связанный, а топливо — в пепел, причём длительность преобразования ограничена количеством доступного жизненного воздуха.

Идея Лавуазье полностью противоречили существующей теории флогистона. Одного этого хватило бы, чтобы потрясти всех, но после этого выяснилось…

Чтобы оценить дальнейшие события, нужно представить себя человеком XVIII века с его ограниченными познаниями. Забудьте об открытии ДНК, которое случилось лишь в 1953. Забудьте всё, что вам известно о клеточной теории в биологии, сформулированной в 1839. Представьте, как вы смотрите на свои руки, сгибаете пальцы… и абсолютно не понимаете, почему они сгибаются. Анатомия мышц и костей была известна, но никто не имел ни малейшего представления «как они работают» — почему мышцы сгибаются и сокращаются, хотя слепок из глины похожей формы остается неподвижен. Представьте, что ваше собственное тело состоит из загадочной, непостижимой субстанции. А теперь представьте открытие…

…что люди в процессе дыхания потребляют жизненный воздух и выдыхают связанный. В людях тоже происходит горение! Лавуазье измерил количество тепла, которое животные (и помощник Лавуазье, Сеген) производят при упражнениях, объем потребленного жизненного воздуха и объём выдыхаемого связанного воздуха. Когда животные производят больше тепла, они потребляют больше жизненного воздуха и выдыхают больше связанного. Люди, подобно пламени, потребляют топливо и кислород, люди, подобно пламени, вырабатывают тепло и углекислый газ. Лиши человека кислорода или топлива, и огонь исчезнет.

Спички загораются из-за фосфора — у «безопасных спичек» есть фосфор на зажигательной ленте, у сесквисульфидных спичек фосфор нанесен на головку. Фосфор очень быстро вступает в химические реакции — чистый фосфор светится в темноте и может спонтанно воспламениться. (Хенниг Бранд, выделивший чистый фосфор в 1669, утверждал, что обнаружил Элемент Огня.) К тому же фосфор вполне соответствует своему назначению в аденозинтрифосфате, АТФ, — веществе, благодаря которому в организме накапливается энергия химических реакций. АТФ порой называют «молекулярной валютой». Она дает силы мышцам и заряжает нейроны. Практически все метаболические реакции зависят от АТФ, и, следовательно, от химических свойств фосфора.

Если спичка перестает функционировать, то и вы тоже. Невозможно поменять что-то одно.

Нет очевидной связи между утверждениями поверхностного уровня «Спичка зажигается от чирканья» и «Людям нужен воздух, чтобы дышать». Потребовались столетия, чтобы обнаружить эту связь, и даже сейчас, судя по всему, это какой-то несущественный факт, которому учат в школе и который важен лишь для небольшого круга специалистов. Нам слишком легко вообразить мир, где одно из этих правил работает, а второе — нет, перестать верить в одно, но не в другое. Но это лишь воображение, а не реальность. Если вы разделили карту на четыре части, чтобы её было проще хранить, это не значит, что сама территория также разделена на четыре обособленные части. Наш разум хранит отдельные правила поверхностного уровня в обособленных отсеках, но это не отражает никакой обособленности законов, управляющих Природой.

Мы можем извлечь из всего этого урок. Поведение фосфора проистекает из ещё более глубоких законов: законов электродинамики и хромодинамики. «Фосфор» — это лишь наше слово для обозначения электронов и кварков, организованных определенным образом. Нельзя изменить химические свойства фосфора, не изменив законы, которым подчиняются электроны и кварки.

Если вы окажетесь в мире, где спички не зажигаются, вы перестанете быть организованной материей.

Реальность сплетена гораздо плотнее, чем люди предпочитают верить.

Единый закон

Элиезер Юдковский

Антуан Лоран Лавуазье обнаружил, что дыхание и огонь (горение) работают по одному принципу. Это было одно из наиболее поразительных объединений в истории науки, оно слило вместе мирскую сферу материи и священное таинство жизни, которые люди делили на отдельные мистерии.

Первое великое объединение было сделано Исааком Ньютоном, который сказал, что движение планет подчиняется тем же законам что и падающее яблоко. Шок от этого открытия был больше, чем от открытия Лавуазье. Дело было не только в том, что Ньютон осмелился объединить земное царство материи с явно отличной и священной небесной сферой, когда-то считавшейся обителью богов. Открытие Ньютона породило понятие универсального закона, который одинаков везде и всегда, буквально не имея исключений.

Люди живут в мире поверхностных явлений, которые делятся на категории, из которых вытекает большое количество исключений. Тигр ведет себя не так, как буйвол. Большинство буйволов имеют четыре ноги, но, возможно, у этого есть три. Зачем кому-то думать что есть законы, которые верны везде? Это, очевидно, не так.

Только в одном случае, похоже, мы хотим закон, который бы выполнялся везде — это когда мы говорим о моральных законах — социальных правилах поведения. Некоторые члены племени могут попробовать взять больше, чем их доля от буйвола, возможно с каким-либо умным оправданием, так что в случае моральных законов мы, кажется, в самом деле имеем инстинкт универсальности. Да, правило о разделе мяса применяется и к вам, нравится ли вам это или нет. Но даже тут есть исключения. Если по некоторой аномальной причине более сильное племя угрожает перебить вас, если Боб не получит в два раза больше мяса, нежели все остальные, вы дадите Бобу двойную порцию. Идея правила, которое вообще не имеет исключений, кажется слишком жесткой, продуктом ограниченного мышления фанатиков, поскольку, находясь в тисках своей идеи, они не могут осознать богатства и сложности реального мира.

Это обычное обвинение в адрес ученых — профессиональных знатоков богатства и сложности реальной Вселенной. Потому что когда вы на самом деле смотрите на вселенную, оказывается, что она является, по человеческим меркам, безумно жесткой в применении своих правил. Насколько мы знаем, не было ни одного нарушения сохранения импульса с незапамятных времен до наших дней.

Иногда, очень редко, мы наблюдаем явное нарушение наших моделей фундаментальных законов. Хотя наши научные модели могут существовать в течение одного или двух поколений, они не являются стабильными на протяжении веков. Но не думайте, что это делает саму Вселенную капризной. Это смешение карты с территорией. Ибо, когда пыль уляжется, и старая теория будет заменена, то получается, что Вселенная всегда действовала в соответствии с новым обобщением, которое мы обнаружили, которое опять будет абсолютно универсальным в свете текущих человеческих знаний. Когда было обнаружено, что ньютоновская гравитация была частным случаем общей теории относительности, было видно, что общая теория относительности формировала орбиты Меркурия за десятилетия до того, как человек узнал об этом, и позже стало очевидным, что общая теория относительности управляла коллапсом звезд в течение миллиардов лет, прежде чем появилось человечество. Ошибаются только наши модели — сам Закон был всегда абсолютно постоянным или так наша новая модель говорит нам.

Я могу утверждать, что уверен только на 80 %, что предел скорости света в следующую сотню тысяч лет останется таким же, однако это не значит что предел является таковым только 80 % времени, а в остальное время меняется. Предположение, в котором я обозначил вероятность в 80 % это то, что действительное положение дел (скорость света) останется таким на всем протяжении пространства-времени.

Одна из причин, по которой древние греки не занимались наукой, это то, что они не представляли, как можно обобщать эксперименты. Греческие философы были заинтересованы в «обычных» явлениях. Если вы проводите выдуманный эксперимент, то вы скорее всего получите аномальный результат, который не будет иметь ничего общего с тем, как на самом деле работают вещи.

Вот как люди пытаются мечтать, прежде чем начинают учиться; но о чем мечтала Вселенная сама по себе, прежде чем начала мечтать о людях? Если вы действительно хотите научиться думать в соответствии с реальностью — для этого здесь приводится это дао:

С самого начала

Ни одна необычная вещь

Не случалась

Реальность безобразна?

Элиезер Юдковский

Читать после: О красоте математики, Предполагая красоту

Вчера я говорил о последовательности кубов {1, 8, 27, 64, 125, …} и как поначалу последовательность из их разностей первого порядка {7, 19, 37, 61, …} не содержит очевидного паттерна, но если взять последовательность разностей второго порядка {12, 18, 24, …}, то закономерность становится простой. Вычисление разностей третьего порядка {6, 6, …} приводит нас к идеально стабильному уровню, где хаос разрешается в порядок.

Но это (как я заметил) довольно искусственный пример. Может быть, «беспорядочному реальному миру» не достает красоты подобных абстрактных математических объектов? Может быть, будет более правильно поговорить здесь о нейронауке или сети экспресии генов?

Абстрактная математика, созданная одним только воображением, строится на простых основаниях – небольшом наборе первоначальных аксиом — и является закрытой системой; условия, которые могут выглядеть как не особенно природные и невероятноспособствующие аккуратности.

Другими словами: в чистой математике вам не надо беспокоиться о тигре, которые может выпрыгнуть из кустов и съесть треугольник Паскаля.

Так что же, реальный мир безобразнее, чем математика?

Странно, что люди спрашивают об этом. В смысле, этот вопрос мог бы быть разумным две с половиной тысячи лет назад…

Еще когда греческие философы спорили о том, из чего может состоять эта штуковина под названием «реальность», было много мнений. Гераклит сказал: «Всё есть огонь». Фалес сказал: «Всё есть вода». Пифагор сказал: «Всё есть число».

Счет: Гераклит 0 Фалес 0 Пифагор 1

Под сложными формами и конструкциями на поверхности реальности существует простой уровень, точный и стабильный уровень, законы которого мы называем «физика». Это удивительное открытие уже случилось к моменту нашего появления, но это не значит, что мы забыли, каким оно было неожиданным. Однажды давным давно люди вышли на поиски основополагающей красоты, не имея никаких гарантий, что найдут её. И случилось так, что они нашли её; и сейчас о ней знают все; и она принимается как должное.

Так почему мы не можем узнать местоположение каждого тигра в кустах так же просто, как мы можем узнать шестой куб?

Я вижу три источника неопределенности даже в мире чистой математики — два очевидных и один не очень.

Первый источник неопределенности заключается в том, что даже создание чистой математики, живущее внутри мира чистой математики, может не знать её. Люди ходили по Земле задолго до того как Галилей/Ньютон/Эйнштейн открыли законы гравитации, которые не дают нам упасть в космос. Вами могут управлять фундаментальные законы, о которых вы ничего не знаете. Нет такого физического закона, который говорит, что мозг, управляемый физическими законами, должен явным образом знать о них.

У нас всё ещё нет Теории Всего. Наши лучшие на данный момент теории состоят из математики, но они не идеально стыкуются друг с другом. Наиболее вероятное объяснение — как уже случалось раньше — мы видим поверхностные проявления более глубокой математики. Так что пока мы думаем, что, скорее всего, реальность сделана из математики, но мы еще не знаем, из какой именно.

Но физикам приходится строить огромные ускорители частиц, чтобы отличить теории между собой — чтобы зафиксировать оставшуюся неопределенность хоть в какой-нибудь видимой форме. То, что физики доходят до такого и остаются неуверенными, подсказывает, что это не источник неопределенности цен на акции.

Второй очевидный источник неопределенности заключается в том, что даже если вы знаете все релевантные законы физики, у вас может не хватать вычислительных мощностей, чтобы делать выводы на их основе. Мы знаем все фундаментальные законы физики, относящиеся к тому, как цепочки аминокислот сворачиваются в белок. Но мы всё ещё не в состоянии предсказать форму белка по аминокислотам. Одна крошечная 5-нанометровая молекула, сворачивающаяся за микросекунду, это слишком много информации, чтобы современные компьютеры смогли с ней справиться (не говоря уже о тиграх или ценах на акции). Наши перспективные разработки в свертывании белков чаще используют хитроумные приближения, а не фундаментальное уравнение Шрёдингера. Когда дело доходит до описания 5-нанометрового объекта с помощью действительно базовой физики, на уровне кварков - что ж, можно даже не пытаться.

Мы должны использовать инструменты вроде рентгеновской кристаллографии и ядерно-магнитного резонанса, чтобы узнавать формы белков, которые полностью заданы физикой, которую мы знаем, и цепочкой ДНК, которую мы знаем. Мы не обладаем логическим всеведением. Мы не можем видеть всех последствий наших мыслей. Мы не знаем, во что мы верим.

Третий источник сомнения наиболее сложен для понимания, и Ник Бостром даже написал о нём книгу. Предположим, что последовательность {1, 8, 27, 64, 125, …} существует, примем это за факт. Далее, допустим, что на каждом кубе сидит маленький человечек, один человечек на куб, также примем это за факт.

Если вы стоите снаружи и видите глобальную перспективу – глядя сверху вниз на последовательность кубов и маленьких человечков на них – эти два факта говорят всё, что можно знать о последовательности и о человечках.

Но если вы – один из маленьких человечков, стоящих на кубе, и знаете эти два факта, существует еще третий кусочек информации, который нужен чтобы делать предсказания: «На каком кубе я стою?».

Вы ожидаете, что стоите на кубе; вы не ожидаете, что можете быть на числе 7. Ваши ожидания определённо ограничены вашим знанием базовых законов физики; ваши убеждения фальсифицируемы. Но вам всё ещё нужно посмотреть вниз, чтобы узнать стоите вы на 1728 или на 517717. Если вы можете быстро считать в уме, то достаточно увидеть первые две цифры четырехзначного куба 17__ , чтобы догадаться, что последние цифры 2 и 8. Иначе вам придется посмотреть и на них тоже.

Чтобы узнать, как выглядит ночное небо, недостаточно знать законы физики. Недостаточно даже обладать логическим всеведением про их последствия. Нужно еще знать, где вы во вселенной. Нужно знать, что вы смотрите на ночное небо с Земли. Необходима не только информация, достаточная для определения положения Земли в видимой вселенной, но во всей вселенной, включая все те части, которые наши телескопы не могут увидеть, потому что они слишком далеко, и другие инфляционные вселенные, а также альтернативные ветви Эверетта.

Предположение, что «неопределенность в исходных данных на границе» на самом деле относится к указанию на некоторое место (мы будем называть ее индексной неопределенностью), — хорошее. Но если нет, то это эмпирическая неопределенность, неопределенность в вопросе, как выглядит вселенная в глобальной перспективе, то есть неопределенность того же класса, что и неопределенность в фундаментальных законах.

Как бы то ни было, идея в том, что «реальность» включает в себя безнадежнобеспорядочный компонент из-за второго или третьего источника неопределенности: логической неопределенности и индексной неопределенности.

Незнание фундаментальных законов не говорит, что то, что выглядит беспорядочным, действительно беспорядочно. Возможно, мы просто еще не уловили закономерность.

Но когда речь идет о беспорядочной сети экспрессии генов, мы уже нашли скрытую красоту — стабильный уровень, уровень физики, которая лежит в основе всего этого. И из того, что мы уже нашли основной порядок, мы можем сделать вывод, что мы уже не найдем больше никакого секрета, который бы сделал биологию простой, как последовательность кубов. Мы знаем правила игры, и поэтому знаем, что игра сложная. У нас не хватает вычислительных мощностей, чтобы заниматься химией белков на основе фундаментальной физики (второй источник неопределенности) и эволюция могла пойти разными путями на разных планетах (третий источник неопределенности). Новые открытия в фундаментальной физике нам здесь не помогут.

Если вы — древний грек, и смотрите на сырые данные из эксперимента по биологии, будет очень мудро поискать какое-нибудь скрытое пифагорейское изящество, когда все протеины складываются в идеальный икосаэдер. Но в биологии мы уже нашли пифагорейское изящество, и его, как мы знаем, недостаточно, чтобы преодолеть индексную и логическую неопределенность.

Точно так же мы можем быть уверены, что никто никогда не сможет предсказать результаты какого-нибудь квантового эксперимента, только потому, что наша фундаментальная теория ясно говорит нам, что разные версии нас будут видеть разные результаты. Если знаниефундаментальных законов говорит, что существует последовательность кубов, и что маленький человечек стоит на каждом из них, и что все эти человечки одинаковые, за исключением того, что стоят на разных кубах, и что вы — один из этих человечков, то вы знаете, что у вас нет способа узнать, на каком вы кубе, кроме как посмотреть.

Современное знание говорит, что «реальность» — это идеально постоянный, детерминированный и очень большой математический объект, который очень дорого и трудно моделируется. Так что «реальная жизнь» не особенно похожа на предсказание следующего куба в цепочке кубов, а больше похожа на знание, что очень много маленьких человечков стоят на кубах, не зная, кто они и на каких именно кубах они стоят. А, и еще они не очень быстро считают в уме. Наше знание правил слегка ограничивает наши предсказания, но не полностью.

Вот. Теперь это похоже на реальность?

Но неопределенность существует в карте, а не в территории. Если мы не знаем о феномене, это говорит что-то о нашем состоянии сознания, а не о самом феномене. Эмпирическая неопределенность, логическая неопределенность и индексная неопределенность – просто имена для нашей неразберихи. Пока мы все равно думаем, что мир состоит из математики, а математика совершенно стабильна и определена. Беспорядок только в глазах смотрящего.

Даже самые жуткие трясины блогосферы определены той же самой совершенной физикой, что и {1, 8, 27, 64, 125, …}

Так что интернет — не огромная помойка… это серии кубов.

Прекрасная вероятность

Элиезер Юдковский

Должны ли мы ожидать, что на определенном уровне рациональность будет простой? Должны ли мы надеяться и искать красоту в искусстве убеждения и выбора?

Позвольте мне привести цитату покойного мастера Байесианства Джейнса (1990):

«Два медика-исследователя используют одинаковую методику лечения независимо друг от друга в разных больницах. Ни один из них не фальсифицирует данные, однако один решил заранее, что из-за ограниченности ресурсов он остановится после лечения N=100 пациентов, сколько бы вылечившихся ни было. Другой поставил на кон свою репутацию и решил, что он не остановится, пока данные не покажут, что процент вылеченных больше 60%, сколько бы пациентов ни потребовалось. На деле, оба остановились на почти одинаковых данных: n=100 [пациентов], r=70 [вылеченных]. Должны ли мы сделать разные выводы из их экспериментов?» (по-видимому, две контрольные группы также дали равные результаты).

В соответствии со статистической процедурой старой школы — которой, я верю, все еще обучают сегодня — два исследователя выполнили разные эксперименты с разными условиями прекращения. Два эксперимента могли быть прекращены с разными данными и таким образом представлять разные тесты гипотезы, требуя различных методов статистического анализа. Поэтому весьма возможно, что первый эксперимент будет «статистически значимым», а второй нет.

То, волнует ли вас это или нет, говорит о том, волнует ли вас теория вероятности и рациональность сама по себе.

Статистики-небайесианцы могут пожимать плечами, говоря «ну, не все статистические инструменты имеют одни и те же сильные и слабые стороны, вы же знаете, молоток не похож на отвертку, и если вы применяете разные статистические инструменты, вы можете получить разные результаты, в зависимости от того, обрабатываем мы данные вычисляя линейную регрессию или тренируя нейронную сеть. Вы должны использовать правильный инструмент для каждого отдельного случая. Жизнь запутанна».

И тогда Байесианцы отвечают: «Извините? Очевидное влияние фиксированного экспериментального метода, продуцирующего одинаковые данные, зависит от частных мыслей исследователя? И вы еще умудряетесь обвинять нас в «чрезмерной субъективности?»

Если Природа устроена одним образом, то так же данные, пришедшие путем, который мы видели, должны представлять одно явление. Если Природа устроена другим образом, то данные должны отражать что-то еще. Однако состояние Природы, которое отражено в данных, никак не зависит от намерений исследователя. Так что каковы бы не были наши гипотезы о Природе, отношение правдоподобия остается одним и тем же, и доказательное влияние то же самое, и апостериорное убеждение должно быть тем же самым между двумя экспериментами. По меньшей мере один из двух методов старой школы должен учитывать не всю информацию, или просто вычисляться с ошибкой, чтобы два метода дали разные ответы.

Древняя война между байесианцами и сторонниками частотного подхода тянется уже десятилетия, и я не собираюсь рассматривать всю эту историю в данном посте.

Но один из центральных конфликтов в том, что байесианцы ожидают, что теория вероятности будет… как же это сказать? Стройной? Ясной? Самосогласующейся?

Как говорит Джейнс, теоремы байесианской вероятности — это просто теоремы когерентной системы доказательств. Не имеет значения, как вы обрабатываете данные в этом случае, результаты байесианской теории вероятности должны быть всегда одни и те же — каждая теорема совместима с любой другой теоремой.

Если вы хотите узнать сумму 10+10, вы можете вычислять это как (2 × 5) + (7 + 3) или как (2 × (4 + 6)) или использовать любой другой метод который вам нравится, но результат должен быть всегда один и то же, в данном случае 20. Если же в одном случае получается 20, а в другом 19, тогда вы можете заключить, что вы сделали что-то неправильно по крайней мере в одном из вычислений. (В математике недопустимой операцией обычно является деление на ноль; в теории вероятности это обычно бесконечность, что нельзя использовать как предел конечного процесса.)

Если вы принимаете результат 19=20, внимательно рассмотрите ошибку, которую вы сделали, поскольку не может быть, чтобы вы могли математически обмануть себя. Если бы кто-то преуспел в получении реального противоречия в байесианской теории вероятности — такого, скажем, как два различных доказательных воздействия от одного и того же экспериментального метода, принимающего на вход одинаковые результаты, тогда вся конструкция была бы дымом. Вместе с теорией множеств, поскольку я считаю, что теория множеств обеспечивает модель для теории вероятности.

Математическая! Вот слово которое я искал. Байесианцы ожидают что теория вероятности будет математической. Вот почему мы заинтересованы в теореме Кокса и ее расширениях, показывающих, что любое представление неопределенности, которое подчиняется определенным ограничениям, должно отображаться посредством теории вероятности. Когерентная математика это великолепно, но уникальная математика еще лучше.

И еще, должна ли рациональность быть «математична»? Не является предопределенным то, что вероятность должна быть красивой. Реальный мир сложен — так, возможно, вам нужно будет сложное мышление, чтобы с этим справиться? Возможно, что статистики-небайесианцы с их большой коллекцией специальных методов и обоснований более компетентны, поскольку у них строго больший инструментарий. Хорошо, когда проблемы ясны, но обычно это не так, и вам придется с этим жить.

В конце концов, хорошо известно, что вы не можете использовать байесовские методы на множестве проблем из-за того, что байесовские вычисления сложны для подсчетов. Так почему бы не позволить цвести многим цветам? Почему бы не иметь больше одного инструмента в вашем наборе?

Это фундаментальное различие в сознании. Статистики старой школы думают в терминах инструментов и трюков, применяемых для определенных проблем. Байесианцы, по крайней мере этот байесианец, хотя я не думаю, что говорю только за себя, — мы думаем в терминах законов.

Поиск законов — это не то же самое, что поиск особенно чистых и красивых инструментов. Второй закон термодинамики — это не одно и то же, что и чистый и красивый холодильник.

Цикл Карно это идеальный двигатель — на самом деле идеальный. Нет двигателя, который бы питался от двух накопителей тепла и был бы эффективней, чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, которые функционируют между одинаковыми накопителями тепла, имеют одинаковую эффективность.

Но, конечно, вы не можете использовать двигатель Карно для питания реальной машины. Двигатель машины имеет такое же сходство с двигателем Карно, что и шины автомобиля с идеальными катящимися цилиндрами.

Тогда ясно, что двигатель Карно — бесполезный инструмент для постройки настоящей машины. Второй закон термодинамики, очевидно, неприменим здесь. Чересчур сложно сделать двигатель, который будет отвечать таким условиям, в реальности. Просто игнорируйте термодинамику — используйте все, что работает.

Это определенный род путаницы, который, как я думаю, управляет теми, кто все еще цепляется за старые методы.

Нет, вы не можете всегда делать точные байесовские вычисления для проблемы. Иногда вам надо искать аппроксимацию; на самом деле, часто. Это не значит, что теорию вероятности нужно прекратить применять, так же как ваша неспособность вычислить аэродинамику самолета из атомных взаимодействий не означает, что самолет не сделан из атомов. Какую бы аппроксимацию вы не использовали, она будет работать, если является аппроксимацией идеального байесовского вычисления — и не будет работать в любом другом случае.

Доказательства когерентности и уникальности байесианства отметают оба пути. Также, как любой расчет, который подчиняется аксиомам когерентности Кокса (или любой из его переформулировок или обобщений), должен отображаться в вероятностях, любой не байесовский расчет должен провалить какой-либо из тестов на когерентность. Что, в свою очередь, приводит к наказаниям, таким как голландское бронирование (прием комбинаций ставок, которые приводят к точным убыткам или отказу от комбинаций, которые дают точные выгоды).

Вы можете быть не способны вычислить оптимальный ответ. Но любая аппроксимация которую вы используете, с ее достоинствами и недостатками, должна быть объяснима с позиции байесовской теории вероятности. Вы можете не знать объяснения: но это не значит, что его не существует.

Так вы хотите использовать линейную регрессию вместо байесовских обновлений? Но посмотрите на структуру, лежащую в основе линейной регрессии, и вы увидите, что она выбирает лучшую точку с позиции оценки, данной гауссовской функцией правдоподобия, и ставит исходное над параметрами.

Вы хотите использовать регуляризованную линейную регрессию, потому что она работает на практике лучше? Ну, она соответствует (говорит байесианец) тому, чтобы ставить гауссову априорную информацию над весами.

Иногда вы не можете использовать байесовские методы так, как это описано в литературе; на самом деле это бывает довольно часто. Но когда вы можете использовать точное байесовское вычисление, которое использует каждый кусочек доступной вам информации, делайте это. Вы никогда не найдете статистический метод, который даст вам лучший ответ. Вы можете найти простую аппроксимацию, которая работает отлично почти все время, и так будет проще, но не точнее. Не будет, пока другие методы используют знания, возможно, в форме неявной априорной информации, что не позволяется при байесовских вычислениях; и тогда, когда вы применяете априорную информацию для байесовского вычисления, оно будет либо равно по результатам, либо будет лучше.

Когда вы используете специальный статистический инструмент старой школы с каким-либо (часто достаточно интересным) обоснованием, вы никогда не знаете, если у кого-то завтра появиться более продвинутый инструмент. Но когда вы напрямую можете использовать вычисление, которое отражает байесовский закон, вы делаете что-то наподобие помещения двигателя Карно в свою машину. Это, как говорится, по-байесовски оптимально.

Мне кажется, что те, кто пользуется множеством инструментов, смотрят на последовательность кубов {1, 8, 27, 64, 125, …}, указывают на разности {7, 19, 37, 61, …} и говорят «смотрите, жизнь не всегда проста — вам нужно адаптироваться к обстоятельствам». И байесианцы, которые указывают на лежащий в основе стабильный уровень {6, 6, 6, 6, 6, …}. И критики говорят: «Что за чушь вы несете? Это 7, 19, 37, а не 6, 6, 6. Вы упрощаете проблему, вы слишком привязаны к простоте».

Бесполезно быть простым на поверхностном уровне. Вы должны погрузиться глубже, чтобы найти стабильность.

Мыслите законами, а не инструментами. Необходимость вычислять приближения (аппроксимации) к закону не меняет закон. Самолеты по-прежнему состоят из атомов, они не станут исключением только из-за аэродинамических вычислений. Аппроксимация существует на карте, не на территории. Вы можете знать второй закон термодинамики и все еще пробовать себя как инженера, строя несовершенный двигатель машины. Второй закон не станет неприменим; ваше знание этого закона и цикла Карно помогает вам приблизиться к наибольшей эффективности, которую вы только можете достигнуть.

Мы не очаровываемся байесовскими методами только потому, что они красивы. Красота всего лишь побочный эффект. Теоремы Байеса изящны, когерентны, оптимальны и доказуемо однозначны потому, что они относятся к законам.

Приложение: Cyan отсылает нас к главе 37 книги о статистике Маккая, где данная проблема рассматривается более подробно.

Jaynes, E. T. (1990.) Probability Theory as Logic. In: P. F. Fougere (Ed.), Maximum Entropy and Bayesian Methods. Kluwer Academic Publishers.

MacKay, D. (2003.) Information Theory, Inference, and Learning Algorithms. Cambridge: Cambridge University Press.

Вне лаборатории

Элиезер Юдковский

«Вне лаборатории ученые не мудрее, чем кто-либо еще». Иногда эта пословица говорится учеными, чтобы с сожалением напомнить себе о своей ошибочности. Иногда эта пословица говорится по менее похвальным причинам, чтобы девальвировать нежелательные экспертные рекомендации. Правдива ли пословица? Наверное, нет, в абсолютном смысле. Это кажется слишком пессимистичным — говорить, что ученые буквально не выше среднего уровня.

Но поговорка кажется в какой-то степени верной, и мы должны быть обеспокоены этим фактом. Мы не должны грустно вздыхать и мотать головой. Скорее, мы должны встревоженно подобраться. Почему? Предположим, пастушонок обучен считать овец, каждый раз, как овца проходит. Он знает, когда все овцы ушли и когда вернулись. Тогда ты даешь пастуху яблоки и спрашиваешь: «Сколько яблок?» Но он тупо на тебя смотрит. Он не обучен считать яблоки. Только овец. Вы, вероятно, заподозрите, что пастух плохо понимает счет. Теперь предположим, что мы видим, что кандидат экономических наук покупает каждую неделю лотерейный билет. Мы должны спросить себя — этот человек действительно понимает ожидаемую полезность на инстинктивном уровне? Или просто обучен выполнению различных алгебраических трюков?

Один пример мыслей Ричарда Фейнмана об ошибках в системе обучения физике:

«После длительного расследования я, наконец, понял, что студенты все запоминали, но ничего не понимали. Когда они слышали: «свет, отраженный от преломляющей среды», они не понимали, что под средой имеется в виду, например, вода. Они не понимали, что «направление распространения света» — это направление, в котором видишь что-то, когда смотришь на него, и т.д. Все только запоминалось, и ничего не переводилось в осмысленные понятия. Так что, если я спрашивал: «Что такое угол Брюстера?», я обращался к компьютеру с правильными ключевыми словами. Hо, если я говорил: «Посмотрите на воду», — ничего не срабатывало. У них ничего не было закодировано под этими словами».

Предположим, у нас есть компетентный ученый, который знает, как поставить эксперимент на N предметов. N субъектов получат одинаковый препарат. Судьи слепым методом будут классифицировать результаты. И тогда мы обработаем результаты на компьютере и увидим, будут ли они значимы на 0.05 доверительной вероятности.

И это не просто ритуал. Как, например, «салат следует есть вилкой». Это ритуал для проверки гипотез экспериментально. Почему вы должны экспериментально проверить гипотезу? Потому что знаете, что это требование журнала для публикации? Потому что в колледже научились? Потому что все вокруг будут в унисон говорить, что эксперимент важен, и будут смеяться над вами, если вы говорите иначе?

Нет. Потому что для построения карты территории вы должны пойти и посмотреть на территорию. Невозможно сидеть с закрытыми глазами и строить точную карту города, просто медитируя на то, каким вы хотите видеть город. Вы должны пойти, погулять и нарисовать на бумаге линии, которые вы увидите. Это происходит каждый раз, когда вы смотрите на развязанные шнурки. Фотоны летят от солнца, отскакивают от шнурков, попадают в сетчатку, активируют нейроны и активируют в зрительной коре шаблон, сильно коррелирующий с формой ваших шнурков. Чтобы нарисовать карту — пройдись по территории. Взаимодействие мозга с окружением — реальный физический процесс. Процессы мышления — не магия. Вы можете описать, как это работает. Чтобы найти эти вещи вы должны пойти и посмотреть.

Так что нам теперь думать про ученого, компетентного в лаборатории, но за её пределами верящего в духовный мир? Мы спросим: «Почему?», и ученый ответит что-то вроде: «Ну, никто ведь на самом деле не знает. Это религия, и она не может быть опровергнута тем или иным наблюдением». Я не могу не прийти к выводу, что человек буквально не знает, почему мы должны смотреть на вещи.

Вероятно, они выучили определенный ритуал проведения эксперимента, но они не понимают причин необходимости этого — чтобы нарисовать карту территории, вы должны её увидеть — чтобы получить информацию об окружающей среде, вы должны создать процесс причинно-следственной связи, в котором вы взаимодействуете с окружающей средой и корректируете карту. Это верно как в отношении двойного слепого метода сбора информации о лекарствах, так и в отношении сбора информации вашим глазом о шнурках.

Может быть, наш верящий в духов ученый скажет «Но это не задача для эксперимента. Духи говорят со мной в моём сердце». Что ж. Если мы предположим, что духи действительно могут говорить каким-либо образом с нами, то тут может быть причинно-следственное взаимодействие и необходимы наблюдения. Теория вероятностей всё ещё работает. Если у вас есть предположение, что некий «голос духов» может быть свидетельством реальных духов, то вы должны предположить, что есть рациональная вероятность для того, чтобы «голос духов» вызывался духами, относительно других объяснений «голоса духов», являющаяся достаточно сильной для преодоления предварительной невероятности факта сложного убеждения со многими частями. В противном случае объяснение «духи говорят со мной в моём сердце» является примером «причинного взаимодействия», по аналогии с которым студент не видит за определением «среда с индексом преломления» воду.

Легко быть одураченным, возможно, потому, что люди в лабораторных халатах используют фразы вроде «причинного взаимодействия», а люди в бусах — фразы вроде «духи говорят». Участники дискуссии в разных одеждах, как мы все знаем, разграничены разными сферами существования — «непересекающимися магистериями», согласно известной чуши от Стивена Гулда. 1

На самом деле «причинно-следственная связь» — просто ещё один способ сказать: «Что-то происходит по причине того, что что-то сделано». И теорию вероятностей не волнует одежда, которую вы носите.

В современном обществе имеется распространенное убеждение о том, что духовные вопросы не могут быть решены с помощью логики и наблюдений, поэтому вы можете иметь любые религиозные убеждения, какие вам нравится. Если ученый попадается на это и решает жить своей «внелабораторной» жизнью таким образом, то это говорит мне, что он понимает экспериментальный принцип как «общественный договор». Они знают, когда должны проводить эксперименты и проверять результаты ради статистической значимости. Но переведем это в контекст, где социальный обычай — следовать дурацким верованиям без проверки, и они будут счастливы так это и делать.

Ученик-пастушок скажет, что если вышли семь овец и потом вышли восемь овец, то лучше бы вернулись пятнадцать овец. Почему пятнадцать, а не «четырнадцать» или «три»? Потому что в противном случае останешься без ужина, вот почему! И это своего рода то, как работает профессиональная подготовка, но если социальный договор — единственная причина, по которой восемь овец и семь овец составляют пятнадцать овец, — то может семь яблок и восемь яблок будет три яблока? Кто сказал, что правила для яблок не должны быть другими?

Но если вы понимаете, почему работают правила — вы знаете, что сложение одинаково и для овец, и для яблок. Исаак Ньютон справедливо почитается — не только за его устаревшую теорию гравитации, но за обнаружение — удивительное и неожиданное — того, что небесные тела следуют тем же правилам, что и падающие яблоки. В макромире — в окружающей нас повседневной среде — на разных деревьях растут разные фрукты, разные люди в разное время следуют разным обычаям. Действительно, единая вселенная со стационарными универсальными законами — весьма нелогичное понятие для человека. Только ученые действительно в это верят, хотя некоторые религии хорошо играют словами относительно «единства всех вещей».

Как сказал Ричард Фейнман:

Если мы смотрим на стакан достаточно близко — мы видим всю вселенную. Это означает «думать, как физик»: скрученная жидкость, которая испаряется в зависимости от ветра и непогоды, отражение в стекле, а наша фантазия добавляет атомы. Стекло — продукт дистилляции земных пород, и в его составе мы видим тайны возраста вселенной и эволюции звезд. Что за странный массив химических элементов есть в вине? Как они получились? Это ферменты, энзимы, субстраты и продукты. В вине находится большое обобщение — вся жизнь, ферментация (брожение). Никто не смог бы обнаружить химию вина без обнаружения, как это сделал Луи Пастер, причины множества болезней. Яркость красного вина определяется в сознании того, кто на него смотрит. Если наш маленький ум, для некоторого комфорта, делит эту вселенную на части — физика, биология, геология, астрономия, психология, и так далее — помните, что природа этого не знает! Итак, давайте сложим всё это вместе, не забывая в итоге для чего это. Пусть это даст нам ещё одно заключительное удовольствие — пить и забыть всё это.

Некоторые религии, особенно созданные или подправленные после Исаака Ньютона, могут исповедовать, что «всё связано со всем остальным». (Поскольку существует тривиальный изоморфизм между графами и их дополнениями, эта Глубокая Мудрость передает такую же полезную информацию, как граф без ребер.)

Но когда дело доходит до фактической сути религии, пророки и священники следуют древней человеческой традиции принятия всего вместе. И они создают одно правило для девушек до двенадцати, ещё одно для мужчин за тридцать, одно правило для шаббата и другие для будней, одни правила для науки и другие — для колдовства. Реальность, как мы выучили к нашему шоку — не набор отдельных магистериев, но единый процесс, регулируемый математически простыми правилами низкого уровня. Различные здания на территории института не принадлежат к разным вселенным, хотя иногда так и может показаться. Вселенная не делится на разум и материю, на живое и неживое, атомы в наших головах легко взаимодействуют с атомами окружающего воздуха. Теорема Байеса не меняется от места к месту.

Если за пределами своей сферы деятельности ученый восприимчив к дурацким идеям так же, как кто-либо ещё, он, вероятно, так и не понял, почему научные правила работают. Может, они могут, как попугаи, повторять положения критического рационализма. Но они не понимают, на глубинном уровне, на алгебраическом уровне теории вероятностей, причинно-следственный уровень «мышления-как-машины». Они были обучены вести себя определенным образом в лаборатории, но они не любят быть ограничены данными. Когда они приходят домой и снимают халат — они расслабляются в некоторой комфортной глупости. И да, вот что мне интересно — могу ли я доверять ученым, даже в их области, особенно когда дело доходит до любого спорного вопроса, любого открытого вопроса, всё, что ещё не прибито гвоздями массовых доказательств и социальных конвенций. Может, мы можем победить поговорку — быть рациональными в нашей личной жизни, не только в профессиональной жизни. Мы не должны позволить поговорке остановить нас. «Остроумная поговорка ничего не доказывает» — как сказал Вольтер. Может быть, мы сможем делать лучше, если достаточно изучим теорию вероятностей, чтобы понять, почему правила работают, и экспериментальную психологию, чтобы увидеть, как они применяются в реальных случаях, если мы сможем научиться «смотреть на воду». Амбиции не должны мешать возможности признать, что за пределами своей специализации ты не лучше кого-либо другого. Но если наши теории рациональности не применимы в обычной жизни — мы делаем что-то неправильно. Нет разницы между вселенной внутри и снаружи лаборатории.

1.От себя позволю скопировать фрагмент текста из статьи о Гулде, чтобы внести немного ясности в термин «магистерий»: «Двойственность, если не двусмысленность эволюционной позиции Гулда, привела к такой же двойственности его точки зрения на соотношение науки и религии. Кратко эта точка зрения может быть выражена в принципе равноценности и непересекаемости науки и религии, означающем по Гулду, что наука и религия принадлежат к „непересекающимся магистериям“ (сокращенно — NOMA), то есть к разным областям, и имеют дело с разными вопросами человеческого бытия. Таким образом, между ними не может быть никакого конфликта: наука имеет дело с фактами, а религия касается вопросов этики, ценностей и целей. Свой тезис „непересекающихся магистерий“ Гулд обстоятельно развил в двух книгах, получивших многочисленные отклики. В первой он поставил перед собой честолюбивую цель — „определить идеальные отношения между наукой и религией таким способом, чтобы максимизировать выгоду от каждой для общества“, выявить „принципиальное средство ухода от ненужного конфликта между теологами и учеными“. Он выступал против представления, что наука и религия несовместимы и противоречат друг другу. Таковыми они становятся в том случае, если религия трактуется в узком смысле вероучения, которое требует удивительных вмешательств Бога в историю и природу и которое отказывается признавать доказательства эволюции. Если же религия понимается в более широком смысле — как философский теизм, свободный от суеверия или как светский гуманизм, основанный на этических нормах, то Гулд не видит никакого конфликта между двумя магистериями. Тогда наука и религии как две самостоятельные области не только могут быть объединены в единой концептуальной схеме, но и „процветать рядом подобно двум независимым нациям в мире друг с другом“».

Второй закон термодинамики и двигатели познания

Элиезер Юдковский

Первый закон термодинамики, более известный как закон сохранения энергии, утверждает, что нельзя создать энергию из ничего. Первый закон запрещает вечный двигатель первого рода — устройство, способное работать бесконечно долго без затрат топлива или других энергетических ресурсов. Согласно современной физике, энергия сохраняется при абсолютно каждом взаимодействии частиц. Применяя математическую индукцию, мы получаем, что, каким бы большим ни было множество частиц, оно не сможет произвести энергию из ничего — во всяком случае, без нарушения известных нам законов физики.

Именно поэтому, если вы попробуете запатентовать гениальное изобретение, состоящее из колёс и шестерёнок, в которой одна пружина разжимается, а другая сжимается и так далее, и которая, по вашим расчётам будет работать вечно, Патентное ведомство США без раздумий отклонит вашу заявку. Полностью доказано, что для работы такой машины хотя бы одна её деталь должна нарушать законы физики (в стандартной модели). Поэтому, если вы не можете объяснить, как одна деталь нарушает законы физики, вы не сможете объяснить, как их нарушает вся машина.

Подобный довод применим и к инерциоиду — двигательной установке, нарушающей закон сохранения импульса. В стандартной модели импульс сохраняется для всех частиц и их взаимодействий. По математической индукции, импульс будет сохраняться для систем любого размера. Если вы можете представить две сталкивающиеся частицы, которые разлетаются с таким же суммарным импульсом, то вы поймёте, что увеличение системы до огромной машины из кучи шестерёнок ничего не изменит. Даже если составить систему из триллионов квадриллионов атомов, 0 + 0 + … + 0 = 0.

Но закон сохранения энергии сам по себе не может запретить преобразовывать тепло в работу. Вы можете сделать закрытую коробку, которая превращает кубики льда и запасённое электричество в тёплую воду. Это даже совсем не сложно. Нельзя создать или уничтожить энергию: изменение количества энергии при трансформации кубиков льда и электричества в тёплую воду должно равняться нулю. Поэтому, если бы вы провели обратную трансформацию, закон сохранения энергии тоже бы не нарушился.

Вечные двигатели второго рода, превращающие тёплую воду в электрический ток и кубики льда, запрещены вторым законом термодинамики.

Понять второй закон немного труднее, поскольку по своей природе он байесовский.

Я не шучу.

Второй закон термодинамики вытекает из теоремы, которую можно доказать в стандартной физической модели: при изменении любой замкнутой системы во времени объём её фазового пространства сохраняется.

Допустим, вы держите мяч высоко над землёй. Это состояние можно описать как точку в многомерном пространстве, в котором по крайней мере одно из измерений — высота мяча над землёй. Затем, когда вы отпускаете мяч, он начинает двигаться. Одновременно начинает двигаться и безразмерная точка в фазовом пространстве, которая описывает всю систему, состоящую из вас и мяча. Термин «фазовое пространство» в физике обозначает, что в нём есть измерения не только для координат частиц, но ещё и для импульсов. Например, система из двух частиц будет иметь 12 измерений: 3 измерения на координату частицы, и 3 измерения на импульс.

Если у вас есть многомерное пространство, в котором каждое измерение описывает положение соответствующей шестерёнки в огромном механизме, то, когда вы будете поворачивать шестерёнки, в многомерном фазовом пространстве будет метаться туда-сюда единственная точка. И раз мы можем представить большой сложный механизм в виде одной точки в многомерном пространстве, то законы физики, описывающие поведение механизма с течением времени, мы можем представить, как описывающие траекторию этой точки в фазовом пространстве.

Второй закон термодинамики — следствие теоремы, доказываемой в стандартной модели физики: если рассмотреть некоторый объём фазового пространства, который преобразуется во времени в стандартной модели, то его суммарный объём сохраняется.

Например:

Возьмём две системы, XX и YY, где XX имеет 8 возможных состояний, YY — 4 возможных состояния, а объединённая система (X,Y)(X,Y) — 32 состояния.

Преобразование объединённой системы с течением времени можно описать правилом, которое отображает начальные точки в будущие точки. Например, система может начать в состоянии X7Y2X7Y2, и за минуту перейти (под действием каких-то законов физики) в состояние X3Y3X3Y3. То есть, если XX находится в состоянии 7, Y — в состоянии 2, и мы проследим за ними одну минуту, то мы увидим переход XX в состояние 3 и YY в состояние 3. Таковы законы физики.

Далее, давайте выделим в объединённой системе подпространство SS. Пусть в SS ХХ всегда находится в состоянии 1, а YY — в состояниях 1-4 . Таким образом, общий объём SS будет равен 4 состояниям.

И давайте допустим, что состояния, изначально входящие в SS, под действиями управляющих системой (X,Y)(X,Y) законов физики, ведут себя следующим образом:

X1Y1→X2Y1X1Y1→X2Y1

X1Y2→X4Y1X1Y2→X4Y1

X1Y3→X6Y1X1Y3→X6Y1

X1Y4→X8Y1X1Y4→X8Y1

Это, в двух словах, описание работы холодильника.

Подсистема XX стартовала из узкой области пространства состояний (единственного состояния 1), а YY — из более широкой области, состояний 1-4. После взаимодействия систем друг с другом, система YY оказалась в узкой области, а XX — в широкой, но общий фазовый объём не изменился. 4 начальных состояния перешли в 4 конечных.

Очевидно, что пока физика не позволяет фазовому объёму изменяться с течением времени, невозможно сжать YY сильнее, чем расширить XX, и наоборот. Для каждой подсистемы, сжимаемой в пространстве состояний, какая-то другая подсистема должна расширяться в пространстве состояний.

Теперь допустим, что мы не уверены насчёт состояния системы (X,Y)(X,Y), и наша неопределённость описывается равновероятным распределением по SS. То есть, мы уверены, что XX находится в состоянии 1, но YY может находиться в любом из состояний 1-4. Через минуту мы ожидаем увидеть YY в состоянии 1, а XX — в любом из состояний 2-8. Фактически, XX может быть только в одном из состояний среди 2-8, но узнать конкретное состояние было бы слишком затратно, так что мы просто будем говорить 2-8.

Если рассмотреть энтропию Шэннона от нашей неуверенности о состояниях XX и YY, как о независимых системах, то XX начнёт с 0 бит энтропии, потому что имеет только одно определённое состояние, YY начнёт с 2 бит, потому что она с равной вероятностью может оказаться в любом из четырёх состояний. (Между XX и YY нет общей информации). Немного физики, и вот, энтропия YY стала 0, но энтропия XX стала равна log27=2,8битlog27=2,8бит. Таким образом, энтропия перешла из одной системы в другую и уменьшилась в подсистеме YY. Однако из-за каких-то сложностей мы не потрудились отследить часть информации, и, следовательно (с нашей точки зрения), общая энтропия увеличилась.

Предположим, существовал бы физический процесс, который преобразовывал бы прошлые состояния в будущие состояния следующим образом:

X2Y1→X2Y1X2Y1→X2Y1

X2Y2→X2Y1X2Y2→X2Y1

X2Y3→X2Y1X2Y3→X2Y1

X2Y4→X2Y1X2Y4→X2Y1

Такой физический процесс на самом деле уменьшал бы энтропию, потому что независимо от того, где бы вы начинали, вы оказывались бы в одном и том же месте. Законы физики с течением времени могли бы сжать фазовое пространство.

Однако существует теорема — она называется теоремой Лиувилля и её можно доказать для наших законов физики, — которая утверждает, что такого не может быть: фазовый объём сохраняется.

Второй закон термодинамики — это следствие теоремы Лиувилля. Не важно, насколько хитроумна ваша машина из колёс и шестерёнок. Всё равно вы никогда не сможете уменьшить энтропию в одной подсистеме, не увеличивая её где-то в другом месте. Когда фазовое пространство одной подсистемы сужается, фазовое пространство другой подсистемы должно расширяться, и совместное пространство будет иметь тот же объем.

Однако, изначально компактное фазовое пространство может со временем расползтись и рассредоточиться. Поэтому для того, чтобы нарисовать простую границу вокруг этого беспорядка, придётся описать гораздо большую область, чем в начале. Именно это создаёт впечатление, что энтропия увеличивается. (А в квантовых системах, где развитие разных вселенных идёт разными путями, энтропия действительно возрастает в любой локальной вселенной. Но пока что пропустим это усложнение.)

Второй закон термодинамики вероятностный по своей природе — если вы спросите насчёт вероятности того, что горячая вода спонтанно перейдёт в состояние «холодная вода и электричество», то ответ — такая вероятность действительно существует, просто она очень мала. Это не означает, что теорема Лиувилля с малой вероятностью нарушается, теорема — это теорема, в конце концов. Это означает, что если вы вначале находитесь в большом фазовом пространстве, но не знаете, где именно, вы можете оценить небольшую вероятность оказаться в каком-то конкретном объёме фазового пространства. Поэтому, с бесконечно малой вероятностью этот конкретный стакан горячей воды может быть таким, который самопроизвольно превратится в электрический ток и кубики льда. (Пренебрегая, как обычно, квантовыми эффектами).

Таким образом, второй закон термодинамики по своей природе действительно является байесовским. Когда мы рассуждаем о реальной термодинамической системе, второй закон термодинамики — абсолютно строгое утверждение о ваших убеждениях, касающихся этой системы, но вероятностное утверждение о самой системе.

«Постойте, — говорите вы. — На уроках физики меня учили по-другому. На лекциях нам рассказывали, что термодинамика — это вроде как о температурах. Неопределённость — это субъективное ощущение! Температура воды в стакане — объективное свойство воды! Какое отношение имеет тепло к вероятности?»

О, у вас маловато доверия.

С одной стороны, связь между теплотой и вероятностью относительно проста: если вы не знаете про стакан воды ничего, кроме его температуры, то у вас гораздо больше неопределённости насчёт стакана горячей воды, чем насчёт стакана холодной.

Тепло — хаотичное движение множества молекул, и чем горячее, тем быстрее движутся молекулы. Не все молекулы в горячей воде движутся с одинаковой скоростью: «температура» — это не равномерная скорость всех молекул, а средняя скорость, которая, в свою очередь, соответствует прогнозируемому статистическому распределению скоростей. Дело в том, что чем горячее вода, тем быстрее могут быть молекулы воды, и, следовательно, у вас больше неопределённости о скорости любой отдельной молекулы (и не забудьте о том, что скорость — это вектор) . Когда вы умножите свои неопределённости относительно всех отдельных молекул, вы получите экспоненциально большую неопределённость относительно всего стакана воды.

Теперь возьмём логарифм этого экспоненциального объёма неопределённости и назовём его энтропией. Как вы видите, всё сходится.

Если посмотреть с другой стороны, связь менее очевидна. Предположим, что о некотором стакане воды вы изначально знали только то, что его температура составляла 72 градуса. Затем, внезапно, Святой Лаплас раскрывает вам точные координаты и скорости всех атомов в воде. Теперь вы прекрасно знаете состояние воды, поэтому, по определению информационной энтропии, её энтропия равна нулю. Делает ли это его термодинамическую энтропию нулевой? Будет ли вода холоднее из-за нашего знания?

Игнорируя квантовые эффекты, ответ: да! Вода будет холоднее!

Максвелл однажды спросил: «Почему мы не можем взять сосуд с равномерно распределённым горячим газом, разделить его перегородкой на две части — A и B, и сделать так, чтобы из В в А переходили только быстрые молекулы, а из А в В — только медленные? Если построить такой разделитель, то на стороне А мы получим горячий газ, а на стороне В — холодный. Мы тогда смогли бы дёшево охлаждать продукты, верно?»

Агент, который проверяет каждую молекулу газа и решает, пропускать ли её, известен под именем «демон Максвелла». И причина, по которой вы не можете построить эффективный холодильник таким образом, заключается в том, что демон Максвелла генерирует энтропию, когда проверяет скорости молекул газа и решает, пропускать молекулу или нет.

Но предположим, что вы уже знаете, где находятся все молекулы газа.

Тогда вы действительно можете запустить демона Максвелла и извлечь из этого полезную работу.

Поэтому (опять же игнорируя квантовые эффекты на данный момент), если вы знаете состояния всех молекул в стакане горячей воды, в истинно термодинамическом смысле он холодный: вы можете забрать электричество из воды и оставить кубик льда.

Это не нарушает теорему Лиувилля, потому что если YY — это вода, и вы — демон Максвелла (обозначим как MM), физический процесс ведёт себя так:

M1Y1→M1Y1M1Y1→M1Y1

M2Y2→M2Y1M2Y2→M2Y1

M3Y3→M3Y1M3Y3→M3Y1

M4Y4→M4Y1M4Y4→M4Y1

Поскольку демон Максвелла знает точное состояние YY, это общая информация между MM и YY. Общая информация уменьшает энтропию связанной системы (M,Y)(M,Y): H(M,Y)=H(M)+H(Y)−I(M;Y)H(M,Y)=H(M)+H(Y)−I(M;Y). MM имеет 2 бита энтропии, YY тоже имеет 2 бита энтропии, и общая информация - 2 бита, поэтому (M,Y)(M,Y) имеет в сумме 2 + 2 - 2 = 2 бита энтропии. Физический процесс просто преобразует «холодность» (негэнтропию) общей информации, чтобы сделать холодной настоящую воду. После этого MM имеет 2 бита энтропии, YY имеет 0 бит энтропии, а общая информация равна 0. Как видите, всё в порядке!

И не говорите мне, что знание «субъективно». Знание представлено в мозге, и это делает его таким же физическим, как и всё остальное. Для того чтобы MM физически представлял точную картину состояния YY, физическое состояние MM должно коррелировать с состоянием YY. Вы можете воспользоваться этим термодинамическим преимуществом - оно называется двигателем Сцилларда.

Или как заметил Эдвин Томпсон Джейнс: «Старая поговорка „Знание - сила“ очень правдива, причём как в человеческих отношениях, так и в термодинамике».

И наоборот, одна подсистема не может увеличить общую информацию с другой подсистемой, без 1) взаимодействия с ней и без 2) выполнения термодинамической работы.

В противном случае, вы могли бы создать демона Максвелла и нарушить второй закон термодинамики, что, в свою очередь, нарушило бы теорему Лиувилля, а это невозможно в стандартной модели физики.

Такимобразом, чтобы сформировать точные убеждения о чём-то, вам совершенно необходимо за этим наблюдать. Это очень физический, очень реальный процесс: любой рациональный разум «работает» в термодинамическом смысле, а не только в смысле умственных усилий.

(Иногда говорят, что термодинамическая работа требуется для стирания битов при подготовке к новому наблюдению, но это различие — всего лишь вопрос терминов, математика процесса однозначна.)

(Здесь я пока не буду рассматривать вопрос открытия логических «истин» — в некоторой степени потому, что я пока размышляю, как это точно формализовать. В термодинамике знание логических истин не считается негэнтропией, как можно было бы ожидать, поскольку компьютер, способный выполнять обратимые вычисления, смог бы вычислять логические истины с любыми произвольно низкими затратами. Вышенаписанное относится к разуму, который знает о логике всё. Любой более простой ум обязательно будет менее эффективным.)

«Для формирования точных убеждений требуется соответствующее количество доказательств» — это очень убедительная истина как в человеческих отношениях, так и в термодинамике. Если бы слепая вера действительно работала как метод исследования, вы могли бы превратить тёплую воду в электричество и кубики льда. Просто создайте Демона Максвелла, который слепо верит в точные значения скоростей молекул.

Двигатели познания не так сильно отличаются от тепловых двигателей, хоть они и манипулируют энтропией более тонким образом, чем сжигание бензина. Например, они схожи тем, что двигатели познания не являются абсолютно эффективными, они должны излучать лишнее тепло, как его излучает двигатель автомобиля или холодильник.

Фраза «холодная рациональность» правдива в таком смысле, о котором голливудские сценаристы даже не могли и подумать (и неверна в том смысле, который они имели ввиду).

Поэтому, если вы не можете сказать мне, какой именно шаг в вашем рассуждении нарушает законы физики, давая вам истинное знание незримого, то не ожидайте, что я поверю в то, что всё сложное умное рассуждение способно их нарушить.

Основы редукционизма

Как разобрать реальность на составные части? И как жить в такой вселенной, где мы всегда жили, но без разочарования из-за того, что сложные вещи состоят из простых вещей.

Эта цепочка продолжает цепочку «Таинственные ответы на таинственные вопросы»

Распутывание вопроса

Элиезер Юдковский

«Если никто не услышит, как в лесу упадёт дерево, будет ли звук?»

Я не отвечал на этот вопрос. Я не выбирал позицию «да» или «нет» и не защищал её. Вместо этого, я разобрался с тем, как человек обрабатывает слова, даже нарисовал схематическую иллюстрацию(english) нейронной сети. В конечном итоге, я надеюсь, не осталось не только вопроса, но даже чувства вопроса.

Множество философов, особенно философов-любителей и философов древнего мира, имеют опасный инстинкт: когда они слышат вопрос, они пытаются ответить на него.

Например: «Имеем ли мы свободу воли?»

Опасный инстинкт философии состоит в том, чтобы выдвинуть аргументы «в пользу» и «против», взвесить их, опубликовать их в престижном философском журнале и, в заключение, заявить: «да, мы должны иметь свободу воли» или «нет, мы не можем иметь свободы воли».

Некоторые философы достаточно мудры, чтобы вспомнить, что большинство философских диспутов в действительности являются спорами о смысле слова или вокруг путаницы, возникшей в результате использования разных смыслов одного слова в разных местах. Такие философы пытаются наиболее точно определить то, что они подразумевают под «свободой воли», и затем возвращаются к вопросу «Имеем ли мы свободу воли? Да или нет?».

Ещё более мудрый философ может заподозрить, что замешательство, вызванное словами «свобода воли» показывает, что понятие ущербно само по себе. И тогда он начинает следовать путём Традиционного Рационалиста: он начинает рассуждать о том, что понятию «свобода воли» присущи самопротиворечивость или бессмысленность, потому что она не имеет никаких проверяемых последствий. И затем он публикует эти разрушительные замечания в престижном философском журнале.

Но, доказывая, что вы в замешательстве, вы не устраните причину проблемы и не снимете замешательство. Доказательство бессмысленности вопроса поможет не более, чем ответ на него.

Инстинкт философа — найти и занять такую позицию в диспуте, которую проще всего защищать, опубликовать её и пойти дальше. Но «наивный», инстинктивный взгляд — это свойство человеческой психологии. Можно доказывать, что свобода воли невозможна, пока не погаснет Солнце, но это не объяснит того, что происходит в голове человека, который считает, что обладает свободой воли, если при этом свободы воли не существует. А это уже вопрос когнитивистики, и это уже не риторический вопрос!

Люди думают, что они обладают свободой воли — это факт человеческой психологии. Поиски позиции в диспуте, которую проще всего защищать, не изменят и не объяснят этот психологический факт. Философия может привести вас к отказу от концепции, но отказ от концепции — это не то же самое, что и понимание когнитивных алгоритмов, порождающих эту концепцию.

Если мы взглянем на Стандартный Диспут на тему «Если никто не услышит звук падающего в лесу дерева, будет ли звук?», то мы можем поступить в стиле Традиционного Рационалиста, то есть отметить факт, что спорщики не ожидают каких-либо расхождений в наблюдениях, и триумфально объявить, что спор бессмыслен. В данном случае это действительно так, но когнитивистика ставит другой вопрос: почему спорщики вообще сделали эту ошибку, откуда взялось несогласие?

Ключевая идея программы изучения эвристик и предвзятостей в том, что ошибки, которые мы делаем, чаще говорят гораздо больше о наших когнитивных алгоритмах, нежели о правильных ответах. Так (я однажды задал себе вопрос) каким должно быть устройство разума(english), чтобы впадать в ошибку спора о деревьях, падающих в заброшенных лесах?

Когнитивные алгоритмы, которые мы используем, являют собой наш способ воспринимать мир(english). И эти когнитивные алгоритмы могут не соответствовать реальности один в один. Они могут не соответствовать даже макроскопический реальности, не говоря уж об истинных кварках. Эти когнитивные алгоритмы могут порождать искажённое восприятие мира.

Например, может существовать обособленная часть(english) нейронной сети(english), которая не соответствует ни реальному явлению, ни какому-либо свойству реального явления, встречающемуся в реальном мире. Подобные обособленные части часто оказываются полезными как способ «срезать угол» на длинном пути вычислений. (Метафорически говоря. На самом деле, человеческая нейробиология гораздо сложнее(english).)

Эта обособленная часть порождает чувство нерешённого вопроса, даже после того, как были найдены ответы для всех запросов(english), для которых можно найти ответ. Не важно, насколько кто-то старается доказать вам, что ответ на вопрос никак не влияет на ожидаемый опыт — всё равно продолжаете задаваться вопросом «И всё же, падающее дерево производит звук или нет?».

Но все вопросы будут сняты, как только вы поймёте в деталях, почему и как ваш мозг создаёт это чувство вопроса, как только вы осознаете, что чувство неотвеченного вопроса соответствует иллюзорной центральной части нейронной сети, которая не знает, возбуждаться ей или нет, несмотря на то, что все окружающие её части уже выбрали для себя определённые состояния. Или ещё лучше, если вы поймёте принципы работы наивного байесовского метода(english). Не останется ни тянущегося чувства замешательства, ни неясного ощущения неудовлетворённости.

Если же тянущееся чувство наличия неотвеченного вопроса остаётся, или кажется, что вы заговариваете зубы сами себе, то это знак, что вы не разложили вопрос. Неясное ощущение неудовлетворённости тоже должно быть предупреждающим знаком сродни окрику. От вопроса, который действительно был распутан и разложен на составляющие, не остаётся ничего. Такой вопрос растворяется, как будто его и не было.

Триумфально-громогласное отрицание свободы воли, абсолютно неоспоримое доказательство того, что свобода воли не может существовать, кажется вполне удовлетворяющим — «гип-гип-ура»домашней команде(english). И в таком случае вы можете не заметить, что с точки зрения когнитивистики вы не имеете полного и удовлетворительного объяснения, описывающего по шагам как возникает каждое интуитивное ощущение.

Вы можете даже не хотеть признавать своё непонимание, потому что это будет восприниматься как очки не в пользу Вашей Команды. В процессе избавления ото всех глупых верований в свободу воли, признание того, что вы всё же что-то не объяснили, может выглядеть как уступка противоположной стороне.

И, таким образом, возможно, вы придёте к какому-нибудь «just-so»(english) объяснению из области эволюционной психологии. Например, к такому: охотники-собиратели, верившие в свободу воли, были более склонны иметь позитивные взгляды на мир и, таким образом, иметь большее потомство, чем другие охотники собиратели. Говоря это, вы будете доказывать, что мозг создаёт иллюзию свободы воли, не давая объяснения этой иллюзии. Таким образом можно попытаться победить оппозицию, дав объяснение причинам, породившим оппозицию, но это объяснение будет использовать иллюзию свободы воли как свершившийся факт. Вы не отбросили иллюзию, чтобы заглянуть внутрь и увидеть те пружины и шестерёнки, которые приводят её в действие.

Представьте, что в Стандартном Диспуте о дереве, падающем в заброшенном лесу, вы для начала доказали, что нет никакой разницы в ожиданиях, и затем начали выдвигать гипотезы: «Но, возможно, люди, говорящие о том, что аргументы не имели смысла, чувствовали, что им придётся согласиться с правотой оппонента, и таким образом снижать свой социальный статус. То есть мы наблюдаем рефлекторное поведение, выражающееся в доказывании того, что слова не имеют смысла». Это довод в пользу того, что возникает замешательство, и это попытка объяснить, почему оно возникает. Гляньте теперь на структуру нейронной сети в Почувствуй значение(english). Она объясняет, как возникает замешательство, разбирая замешательство на более мелкие части, каждая из которых не вызывает замешательства сама по себе. Видите разницу?

Нахождение хорошей гипотезы о когнитивных алгоритмах (или хотя бы гипотезы, которая не развалится за полсекунды) — гораздо более сложно, чем просто опровергнуть философское замешательство. В действительности, это совершенно иное искусство. Держите это в уме, и вы будете чувствовать меньшее смущение, когда вам придётся говорить «Я знаю, что то, что вы говорите, не может быть истиной, и я могу доказать это. Но я не могу написать блок-схему, которая покажет, как ваш мозг совершает ошибку — я ещё не закончил и продолжу исследования».

Я говорю это, потому что иногда мне кажется, что как минимум 20% реальной эффективности тренированного рационалиста проистекает из того, что он не останавливается слишком рано(english). Если вы продолжите задавать вопросы, то рано или поздно вы доберётесь до пункта назначения. И наоборот, вы не доберётесь, если слишком рано решите, что ответ найден.

Проблема прежде всего в том, чтобы заметить своё замешательство, даже если оно еле заметно, и даже если кто-то рядом с вами настаивает, что люди имеют свободу воли, ухмыляется, и то, что вы не знаете в точности, как работают когнитивные алгоритмы, не имеет ничего общего с раскрытием всей глупости его мнения.

Но, когда вы разобрали когнитивный алгоритм на детали в достаточной мере для того, чтобы проследить весь процесс мысли шаг за шагом и описать, как возникает каждое интуитивное восприятие, разобрать замешательство на более мелкие части, которые сами по себе не вызывают замешательства — если вы проделали всё это, то вы справились с вопросом.

Будьте готовы к тому, что вы можете поверить в то, что вы справились, когда всё, что вы имеете — это триумфальное отрицание ошибки.

Но когда вы действительно справитесь, вы узнаете об этом. Распутывание вопроса вызывает чувство, которое вы ни с чем не спутаете, после того как столкнётесь с ним впервые, и столкнувшись с ним, решите не попадать впросак снова. Спящие не знают, что они спят, но когда вы проснётесь, вы поймёте, что не спите(english).

То есть: когда вы справились с задачей, вы узнаете, что вы с ней справились, но, к сожалению, не наоборот.

И вот проблема в качестве домашнего задания: какой тип когнитивного алгоритма, как он чувствуется изнутри, породит рассмотренный спор о «свободе воли»?

Ваша задача не спорить о том, имеют ли люди свободу воли или нет.

Ваша задача не рассуждать о том, совместима ли свобода воли с детерминизмом или нет.

Ваша задача не доказывать, что вопрос плохо поставлен, или что концепция противоречива, или что нет проверяемых следствий.

Я не прошу вас изобрести эволюционное объяснение тому, как размножались люди, верившие в свободу воли, или рассуждать о том, что концепция свободы воли выглядит подозрительно совпадающей с искажением X. Всё это будет не более чем попыткой объяснить, почему люди верят в «свободу воли», а не то, как они это делают.

Ваше домашнее задание — выписать содержимое стека внутренних алгоритмов человеческого ума, когда они порождают интуицию, питающую весь этот чёртов философский спор.

Это одна из первых реальных проблем, с которой я, как целеустремлённый рационалист, когда-то столкнулся. Одна из более простых головоломок, относительно говоря. Она может точно так же послужить и вам.

Неверные вопросы

Элиезер Юдковский

Когда мозг вгрызается в проблему под неверным углом, он начинает задавать «неверные вопросы» — вопросы, на которые невозможно дать ответ в терминах вопроса. Такие вопросы можно лишь распутать, разложить на составляющие, выяснив какой когнитивный алгоритм порождает «ощущение» вопроса, и каким образом он это делает.

Отличным намёком на то, что вы столкнулись с «неверным вопросом» является то, что вы не можете даже представить какое-нибудь определённое специфическое устройство мира, которое бы дало ответ на этот вопрос. Когда такое случается, не видно самой возможности найти ответ.

Возьмите, например, Стандартный Спор об Определениях о дереве, падающем в заброшенном лесу. Можно ли представить себе какое-нибудь устройство этого мира, какое-нибудь положение дел, при котором слово «звук» действительно означает только акустические вибрации или действительно означает только пережитый опыт восприятия звука?

(Кто-то может сказать: «Да, это такое положение дел, при котором слово «звук» означает акустические вибрации». В таком случае, табуируйте слова «означает», «представляет» и все похожие синонимы, и попробуйте описать заново: каким должен быть мир, чтобы одна из сторон была бы права, а другая ошибалась?)

Или, если это кажется слишком просто, рассмотрите свободу воли: какое конкретное положение дел — в детерминированной физике или в физике со случайным компонентом — может соответствовать наличию свободы воли?

Если же и это выглядит слишком просто, то рассмотрите вопрос «Почему всё существует?» и расскажите мне, как может выглядеть удовлетворительный ответ на этот вопрос.

На всякий случай отмечу: я не знаю ответа на последний вопрос. Но (основываясь на моём предыдущем опыте столкновений с вопросами без ответов) я могу предположить. Ответ не включает в себя великую и триумфальную Первопричину. Вопрос растворится в результате какого-то озарения о том, как алгоритмы мышления проскочили мимо реальности, после чего я пойму, почему вопрос был ошибочным с самого начала; я увижу, как ошибка алгоритмов отразилась в вопросе.

Загадка существует в голове, вовсе не в реальности. Если я не знаю о каком-либо явлении, то это говорит о состоянии моего ума, не о самом явлении. И более того, если невозможно представить себе существование ответа, то это означает, что замешательство существует на карте, не на территории. Вопросы без ответов не отмечают те места, где магия проникает во вселенную. Они помечают места, где ваш разум «промахивается» мимо реальности, где он искажает её.

Некоторые вопросы должны быть распутаны. Плохие вещи случатся, когда вы пытаетесь ответить на них. Такие попытки неизбежно порождают наихудший сорт таинственных ответов на таинственные вопросы, тот, который даёт выглядящие сильными аргументы для вашего Таинственного Вопроса, но «ответ» не позволяет вам делать каких-либо новых предсказаний даже задним числом, и явление продолжает носить ту же священную необъяснимость, которую оно имело с самого начала.

Я могу предположить, как мог бы выглядеть ответ на загадку Первопричины: ничто не существует, сама концепция существования ошибочна. Но если вы искренне поверите в это, то уменьшит ли это ваше замешательство? Вряд ли. И мне тоже это не помогает.

Но у вопросов без ответа есть одно замечательное свойство: они всегда разрешимы (по-крайней мере все, с которыми я сталкивался, имели это свойство). Какая мысль первой пришла в голову Королеве Елизавете I, первая её мысль с утра, когда она проснулась в её сороковой день рождения? В то время, как я могу представить себе возможные ответы на этот вопрос, я с готовностью вижу, что я, быть может, никогда не смогу фактически на него ответить — истина была утеряна во времени.

С другой стороны, вопрос «Почему всё существует?» выглядит настолько невозможным, что я могу сделать вывод, что я в замешательстве, а значит, вероятно, истина далеко не столь переусложнена в абсолютном смысле, и я смогу её увидеть, как только озадаченность уйдёт.

Это может выглядеть контринтуитивным, если вам не доводилось решать вопрос без ответа, но я заверяю вас, что именно так всё и есть.

Ждите завтра: простой трюк для работы с «ошибочными вопросами».

Исправление неверного вопроса

Элиезер Юдковский

Когда вы сталкиваетесь с безответным вопросом — с вопросом, на который кажется невозможным даже представить ответ — существует простой приём, который может сделать вопрос решаемым.

Сравните:

Почему у меня есть свобода воли?

Почему я думаю, что у меня есть свобода воли?

У второго вопроса есть очень приятное свойство: он гарантированно имеет самый настоящий ответ, вне зависимости от того, существует ли свобода воли или нет. Задавая себе вопрос «почему у меня есть свобода воли?» или «есть ли у меня свобода воли», вы начинаете искать ответ в деталях физических законов, которые настолько удалены от макроскопического уровня, что вы даже не можете их увидеть невооружённым взглядом. То есть, вы спрашиваете «почему существует X», в то время как X может вообще не иметь отношения к делу, не говоря уж о том, что он может не иметь места.

В то же время, вопрос «почему я думаю, что у меня есть свобода воли» гарантированно имеет ответ. Вы в действительности верите в свободу воли. Эта вера выглядит гораздо более цельной и понятной, чем эфемерность свободы воли. И в действительностисуществует некая цельная цепочка когнитивных причин и следствий, ведущих к этой вере.

Если вы уже переросли вопросы свободы воли, то выберите что-нибудь на замену:

«почему время движется вперёд, а не назад» против «почему я думаю, что время движется вперёд, а не назад»

«почему я родился собой, а не кем-нибудь ещё» против «почему я думаю, что я родился собой, а не кем-нибудь ещё»

«почему я обладаю сознанием» против «почему я думаю, что обладаю сознанием»

«почему реальность существует» против «почему я думаю, что реальность существует?»

Прелесть метода в том, что он работает вне зависимости от того, содержит ли вопрос в себе замешательство или нет. Я набираю эти слова, и на моих ногах одеты носки. Я могу спросить «почему на моих ногах надеты носки» или «почему я думаю, что на моих ногах надеты носки». Допустим, я задал второй вопрос. Отслеживая назад причинно-следственную цепочку я выясню, что:

я думаю, что на моих ногах надеты носки, потому что я вижу носки на ногах;

я вижу носки, потому что моя сетчатка посылает сигналы о носках зрительной коре моего головного мозга;

моя сетчатка посылает сигналы о носках, потому что свет проецируется на сетчатку в форме носков;

свет проецируется на сетчатку в форме носков, потому что он отражается от носков, которые надеты на мои ноги;

он отражается от носков, потому что надеты носки;

носки надеты, потому что я их надел;

я надел носки, потому что полагал, что иначе моим ногам будет холодно;

и так далее.

Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки. Это правильно, так и должно быть, потому что вы не можете получить информацию о чём либо, не взаимодействуя с ним(english).

С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае, моя вера в существование озера не просто объясняется, но разобъясняется.

Но в любом случае вера оказывается реальным явлением, имеющим место в реальном мире: психологические события — тоже события, и их причинно-следственная история может быть отслежена назад к исходной причине, вызвавшей их.

Вопрос «откуда взялось озеро посреди пустыни» может остаться без ответа, если на самом деле нет никакого озера, которое нужно объяснять. Но «почему я ощущаю озеро посреди пустыни» всегда можно объяснить тем или иным образом.

Возможно кто-нибудь увидит возможность показаться умным и скажет «Хорошо. Я верю в свободу воли потому, что у меня есть свобода воли». Конечно же, всё не столь просто.

Моё восприятие носков на моих ногах — это событие в зрительной коре головного мозга. Работа зрительной коры может быть исследована когнитивистикой и не должна вызывать замешательства.

Моя сетчатка воспринимает свет, и это не какой-то мистический процесс возникновения ощущения, не магический детектор носков, который срабатывает в присутствии носков необъяснимым образом. Это работа механизмов, которые могут быть объяснены в рамках биологии. Фотоны падают на сетчатку, и это можно объяснить в рамках оптики. Отражение света носками можно объяснить в рамках электромагнетизма и химии. Охлаждение моих ног можно объяснить в рамках термодинамики.

Таким образом, всё несколько сложнее, чем заявить «я верю в свободу воли потому, что она у меня есть». Вам придётся разбить причинно-следственную цепочку на отдельные звенья, и объяснить каждое в терминах, которые сами по себе не вызывают замешательства.

Взаимодействие сетчатки с носками вполне понятно и может быть объяснено в терминах компонентов, типа фотонов и электронов, которые не вызывают замешательства. Где в мозге находится детектор свободы воли, и как он определяет наличие или отсутствие свободы воли? Как детектор взаимодействует с детектируемым событием и какова механика этого взаимодействия?

Если ваша вера не проистекает из действительных наблюдений реального явления, мы рано или поздно выясним этот факт, если начнём отслеживать причинно-следственную цепочку, ведущую к вашей вере.

Если вы действительно замечаете своё замешательство, то отслеживание причинно-следственной цепочки найдёт тот алгоритм, который искажает реальность.

В любом случае, вопрос гарантированно имеет ответ. Более того, есть отличное и вполне определённое место, с которого можно начать отслеживать свои убеждения, место, находящееся непосредственно в вашей голове.

Когнитивистика, быть может, не выглядит настолько возвышенно, как метафизика. Но, по-крайней мере, вопросы когнитивистики решаемы. Поиск ответа может не быть простым, но, по-крайней мере, ответ существует.

А, и да: мысль о том, что когнитивистика не столь возвышенна и восхитительна как метафизика элементарно не верна. Я надеюсь, что некоторые читатели начинают замечать это.

Ошибка проецирования ума

Элиезер Юдковский

В дни зарождения научной фантастики, инопланетные захватчики могли при случае похитить девушку в порванном платье и утащить её, с намерением изнасиловать, что было с любовью изображено на многих старых обложках журнала. Несколько странно, что при этом инопланетяне никогда не охотились за мужчинами в порванных рубахах.

Будет ли негуманоидный пришелец с совершенно иной эволюционной историей и эволюционной психологией(English) воспринимать человеческую самку сексуально привлекательной? Это выглядит, как минимум, весьма маловероятным.

Люди не совершают подобных ошибок когда делают выводы обдуманно. «Все возможные разумы скорее всего устроены в общем похожим образом, поэтому монстр с фасеточными глазами сочтёт человеческую самку привлекательной». Вероятно художник даже не задумался о вопросе, будет ли пришелец воспринимать человеческих самок привлекательными. Вместо этого: «человеческая самка в порванном платье сексуальна» — это им свойственно, это их существенное, неотъемлемое и врождённое свойство.

Тот, кто совершил ошибку, не думал об эволюционной истории пришельцев, они фокусировались на порванном платье женщины. Если бы платье не было бы порвано, то женщина была бы менее сексуальна, монстр-пришелец не заинтересовался бы ею.

Очевидно, что мы инстинктивно представляем Сексуальность как прямой атрибут объекта Женщина, типа Женщина.сексуальность, так же как и Женщина.высота, Женщина.вес.

Если мозг использует эту структуру данных или какую-то метафорически схожую, то внутри(English) он чувствует, будто сексуальность — это врождённое свойство женщины, а не свойство пришельца, который разглядывает женщину. Женщина привлекательна, а значит монстр будет испытывать влечение к ней — логично, не так ли?

Э. Т. Джейнс использовал термин ошибка проецирования ума, чтобы обозначить ошибку проецирования свойств ума наблюдателя на внешний мир. Джейнса — ныне покойного гроссмейстера Байесианского Заговора, — больше всего заботило неверное обращение с вероятностями как врождёнными свойствами объектов, нежели с состоянием частичного знания в некоем конкретном уме.

Но ошибка проецирования ума проявляет себя не только по отношению к вероятностям. Это аргумент против спора о настоящем значении слова «звук», против изображения на обложке журнала монстра несущего женщину в порванном платье, против заявления Канта о том, что пространство плоское по своей природе (space by its very nature is flat — в философии я нуль, если кто знает что имелось в виду, поправьте пожалуйста, прим. перев.), против определения, которое дал Юм априорным(English) идеям, которые «порождаются исключительно работой ума, вне зависимости от существания чего-либо во вселенной».

(Как-то раз я читал в научной фантастике рассказ про самца человека, который имел сексуальные отношения с разумным инопланетным растением, имеющим соответствующе мягкие листья, и впоследствии внезапно обнаружившем, что это был мужской экземпляр растения. Некоторое время мужчина переживал из-за этого, но в конечном итоге решил, что это уже не имеет никакого значения. И у Фоглио с Полоттой во «Внезапном вторжении» люди высаживаются на планету, населённую разумными насекомыми, и видят трейлер показывающий человека, который утаскивает жука в пикантном шёлковом платье. Просто вдруг вспомнилось.)

Вероятность находится в голове

Элиезер Юдковский

Вчера я говорил об ошибке проецирования ума, рассматривая пример монстра-пришельца, который уносил девушку в порванном платье, об ошибке, которую я приписал тому, что художник думал о сексуальности женщины как о свойстве самой женщины, женщина.сексуальность, а не о чём-то, что существует исключительно в голове наблюдателя и, вероятно, не существует в голове пришельца.

Термин «ошибка проецирования ума» был введён великим покойным мастером байесианства Э. Т. Джейнсом. Джейнс полагал, что вероятности существуют в уме — не в окружении, — что вероятности выражают незнание, состояние частичной информации, и если я не знаю что-либо о явлении, то это говорит о состоянии моего ума, и ничего не говорит о явлении.

Я не могу отдать должное этому древнему спору, оставаясь при этом кратким, но я приведу классический пример.

У вас есть монета.

Монета несимметрична.

Вы не знаете, какая именно сторона выпадает чаще и насколько чаще. Кто-то сказал вам о том, что монета несимметрична и ничего больше.

Больше никакой информации у вас нет.

Вы вытаскиваете монету, подкидываете её, ловите.

А теперь, прежде чем убрать руку и взглянуть на результат, можете ли вы сказать, что вы приписываете вероятность 0,5 тому, что монета упала орлом?

Частотник (сторонник частотного определения вероятности — прим. перев.) скажет: «Нет. Сказать, что вероятность равна 0,5, значит подразумевать, что монета имеет неотъемлемое свойство падать орлом так же часто, как и решкой, а значит, если мы подкинем монету бесконечное число раз, то отношение орлов и решек будет стремиться к 1:1. Но мы знаем, что монета несимметрична, поэтому она может иметь любую вероятность выпадения орла кроме 0,5».

Байесианец же скажет: «Неопределённость существует на карте, не на территории. В реальном мире монета выпадет либо орлом, либо решкой. Любой разговор о вероятности должен отражать ту информацию, которую я имею о монете — моё состояние частичного незнания и частичного знания, — а не какую-то там информацию о монете. Более того, у меня есть теоремы на любой вкус, показывающие, что если я не буду рассматривать моё частичное знание определённым образом(English), то я буду делать глупые ставки. Если мне придётся учитывать результат броска монеты при составлении плана, то я буду планировать исходя из состояния неопределённости 50:50, в котором я не могу сказать, что исходы, при которых выпадают орлы, имеют больший вес, чем исходы, при которых выпадают решки. Вы можете называть это число как угодно, но я не намерен подчиняться законам теории вероятностей из страха показаться глупым. Таким образом, я не испытываю ни малейшей нерешительности, когда называю такое взвешивание исходов вероятностью».

Я на стороне байесианцев. Вы могли это уже заметить.

Ещё до того, как симметричная монета подброшена в воздух, мнение о том, что она имеет неотъемлемую вероятность 50% упасть орлом может быть элементарно ошибочно. Может быть вы держите монету таким образом, что она гарантированно упадёт орлом или решкой, при данной силе, с которой вы подбрасываете её, и при данных движениях воздуха вокруг вас. Но если вы не знаете каким образом смещены вероятности монеты в данном конкретном случае, то что?

Если я не ошибаюсь, было судебное разбирательство, в котором истец предъявлял претензии организаторам лотереи: карточки с именами участников не были перемешаны достаточно тщательно и поэтому шансы были не равны. Судья выслушал и спросил: «Кто именно имел больше шансов?»

Чтобы сделать эксперимент с монеткой повторяемым, как того имеют обыкновение требовать частотники, мы можем создать автоматический подбрасыватель монет и убедиться, что результаты 50% орлов и 50% решек. Но, быть может, робот с особо чувствительными глазами и хорошим пониманием физики сможет, наблюдая за приготовлениями автоподбрасывателя, предсказать падение монеты заранее — пускай и не совершенно определённо, но, допустим, с точностью 90%. И чем тогда будет настоящая вероятность в этом случае?

Не существует «настоящей вероятности». Робот имеет какую-то частичную информацию. Вы имеете другую частичную информацию. Монета не имеет ума и не владеет никакой информацией, она не назначает никаких вероятностей, она просто взлетает в воздух, переворачивается несколько раз, сталкиваясь с каким-то количеством молекул воздуха, а затем приземляется либо орлом, либо решкой.

Это байесианская точка зрения, и я, пожалуй, покажу несколько классических головоломок, которые обретают свою головоломность из-за склонности думать о вероятностях как о неотъемлемых свойствах объектов.

Начнём со старой классики: вы встретили на улице математика и она случайно упомянула, что у неё два ребёнка. Вы спросили: «Хотя бы один из них мальчик?» Она ответила: «Да».

Какова вероятность того, что она родила двоих мальчиков? Если вы предположите, что вероятность того, что ребёнок — мальчик, равна 1/2, то вероятность того, что она имеет двух мальчиков равна 1/3. Априорные вероятности такие: 1/4 для двух мальчиков, 1/2 для мальчика и девочки, 1/4 для двух девочек. Ответ математика «да» имеет вероятность ~1 в первых двух случаях и ~0 в третьем. Перенормируя вероятности мы получаем 1/3 вероятности двух мальчиков, и 2/3 вероятности мальчика с девочкой.

Предположим теперь, что вы задали другой вопрос: «Старший ребёнок — мальчик?», и математик ответила: «Да». Тогда вероятность того, что у математика два мальчика будет равна 1/2. Поскольку старший ребёнок — мальчик, а младший может быть кем ему нравится.

То же самое, если бы вы спросили: «Младший ребёнок — мальчик?». Вероятность двоих мальчиков опять же 1/2.

В этом случае, если хотя бы один ребёнок — мальчик, то он должен быть либо старшим, либо младшим. Так каким образом ответ в первом случае отличается от ответа в двух других?

Есть другой похожий пример: допустим, у меня есть четыре карты — туз червей, туз пик, двойка червей и двойка пик. Я беру из них в руку две карты случайным образом. Вы спрашиваете меня: «Держишь ли ты хотя бы одного туза?» и я отвечаю: «Да». Какова вероятность того, что я держу пару тузов? Ответ: 1/5. Существует шесть различных комбинаций из двух карт с равной априорной вероятностью, и вы исключили возможность, что я держу пару двоек. Из пяти оставшихся комбинаций только одна является парой тузов. Таким образом ответ: 1/5.

Теперь предположим, что вы спросили меня: «Держишь ли ты туза пик?» Если я отвечу «да», то вероятность того, что другая карта — туз червей равна 1/3. (Вы знаете, что я держу туза пик, и существует три возможных варианта для другой карты, туз червей — ровно один из них.) Точно так же, если вы спросите меня «Держишь ли ты туза червей?» и я отвечу «да», то вероятность того, что я держу пару тузов равна 1/3.

Но как такое может быть, если в случае вопроса «Держишь ли ты по крайней мере одного туза?» и ответа «Да», вероятность того, что я имею пару была 1/5? Я должен был держать либо туза пик, либо туза червей, как вы знали; и в любом случае вероятность того, что я держу пару тузов равна 1/3.

Как такое может быть? Может я вычитал какие-то вероятности неверно?

Если вы хотите выяснить это самостоятельно, то сделайте это сейчас, потому что я собираюсь раскрыть…

Все указанные расчёты верны.

Что же до парадокса, то его нет. Видимость парадокса возникает из-за того, что вероятности рассматриваются как свойства карт. Туз, которого я держу, может иметь масть либо червей, либо пик; но это не означает, что ваше знание о моих карт должно быть одинаковым, если вы знаете, что я держу червей, или вы знаете, что я держу пики.

Тут может помочь теорема Байеса:

P(H|E) = P(E|H)P(H) / P(E)

Последняя часть, где вы делите на P(E) — это часть, где вы отбрасываете все остальные возможности, которые были исключены и перенормируете ваши вероятности к тому, что осталось.

Давайте рассмотрим вопрос «Держишь ли ты по крайней мере одного туза?». Прежде чем я ответил, ваша вероятность того, что я скажу «да» должна была быть 5/6.

Но если вы спросили меня «держишь ли ты туза пик?», то ваши априорная вероятность того, что я скажу «да», всего лишь 1/2.

То есть, как вы видите, вы узнаёте весьма разные вещи в этих двух разных случаях. Вам придётся исключать и перенормировать какие-то различные возможности, используя разную P(E). Если вы узнаете разные свидетельства, то вам не следует удивляться, если в результате вы приходите к разной частичной информации.

Точно так же, если я спросил математика: «Есть ли среди твоих детей мальчик?», то я ожидал услышать «Да» с вероятностью 3/4, но если бы я спросил: «Старший ребёнок — мальчик?», то я бы ожидал услышать «да» с вероятностью 1/2. Таким образом, совершенно неудивительно, что я пришёл к разному частичному знанию, зависящему от того, какой именно из этих двух вопросов я задал.

Единственная причина того, почему видится парадокс, в том, что вероятность пары тузов рассматривается как свойство карт которые имеют, по крайней мере, одного туза, или как свойство карт, которые, как выясняется, содержат туза пик. В этом случае, для набора карт, имеющего по крайней мере одного туза, было бы парадоксальным иметь прирождённую вероятность пары равную 1/5, в то время как наборы карт, имеющие одного туза пик, имеют прирождённую вероятность пары равную 1/3, и наборы карт, имеющие туза червей, имеют прирождённую вероятность пары 1/3.

Точно так же, если вы считаете о вероятности 1/3 того, что оба ребёнка мальчики, что это прирождённое свойство наборов детей, которые включают хотя бы одного мальчика, то это не совместимо с наборами детей, из которых старший — мальчик, имеющими прирождённую вероятность 1/2 того, что оба мальчики, также как и наборы детей, имеющие младшего мальчика, имеют врождённую вероятность того, что оба — мальчики. Это было бы тоже самое, что и сказать: «Все зелёные яблоки весят по фунту, все красные яблоки весят по фунту, и все яблоки, которые зелёные или красные, весят по полфунта».

Это то, что случается, когда вы начинаете думать о вероятностях как о чём-то, что содержится в вещи, вместо того, чтобы рассматривать вероятности как отражение частичной информации о вещи.

Вероятности описывают неопределённость. Но неопределённость существует лишь для агентов. Пустая карта не соответствует пустой территории. Незнание существует в голове.

Цитата — не референт

Элиезер Юдковский

В классической логике операциональное определение тождества означает, что если 'A=B' — теорема, то вы можете заменить 'B' на 'A' в любой теореме, где используется 'B'. Например, если (2 + 2) = 4 — теорема, и ((2 + 2) + 3) = 7 — теорема, то (4 + 3) = 7 — тоже теорема.

Это приводит к проблеме, которую обычно выражают словами: утренняя звезда и вечерняя звезда оказываются одним и тем же объектом, планетой Венера. Предположим, что Джон знает, что утренняя звезда и вечерняя звезда — это один и тот же объект. Мэри же полагает, что утренняя звезда — это бог Люцифер, а вечерняя звезда — это богиня Венера. Джон знает, что Мэри считает, что утренняя звезда — Люцифер. Должен ли Джон поэтому (по правилу подстановки) считать, что Мэри верит в то, что вечерняя звезда — это Люцифер?

Или даже более простая версия этой проблемы. 2 + 2 = 4 — это истина, то есть (((2 + 2) = 4) = ИСТИНА) — это теорема. Последняя теорема Ферма — тоже истина. Таким образом: я верю в то, что 2 + 2 = 4 => я верю в ИСТИНУ => я верю впоследнюю теорему Ферма.

Да, я знаю, это выглядит очевидно неверным. Но представьте себе, что кто-то пишет программу логического вывода, использующую принцип «равные термины можно подставлять», и программа выдаёт такой результат. Теперь представьте, что программист пишет статью о том, как избежать этого. Теперь представьте, что кто-то ещё не соглашается с предложенным решением… Спор до сих пор продолжается.

Я лично сказал бы, что Джон совершает ошибку типизации, вроде попытки вычесть 5 граммов из 20 метров. «Утренняя звезда» — не то же самое, что утренняя звезда, хотя и одна и та же вещь. Убеждение — не планета.

утренняя звезда = вечерняя звезда

«утренняя звезда» ≠ «вечерняя звезда»

На мой взгляд, проблема проистекает из-за того, что не удалось корректно провести разницу между убеждениями и вещами. Исходная ошибка была в том, что ИИ хранит свои убеждения об убеждениях Мэри об «утренней звезде», используя то же представление, как и для убеждений об утренней звезде.

Если Мэри верит, что «утренняя звезда» — это Люцифер, это не означает, что Мэри верит в то, что «вечерняя звезда» — это Люцифер, потому что «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за того, что в нужных местах не поставлены кавычки.

Вы, быть может, помните, что я не впервые говорю о введении дисциплины использования типизации — последний раз я об этом говорил, когда рассуждал об ошибке, к которой приводит неразличение выгоды и ожидаемой выгоды. При изучении физики безмерно полезно отслеживать единицы измерений — может выглядеть утомительным писать «см» и «кг», но только до тех пор, пока вы не заметите, что (а) ваш ответ выглядит ошибочным на порядок и (б) он выражен в секундах на квадратный грамм.

Точно так же, убеждения — это не то же самое, что и планеты. Если мы говорим о человеческих убеждений, то, как минимум, определённым является то, что убеждения находятся в голове, а планеты в космосе. Убеждения весят несколько микрограмм, планеты же весят гораздо больше. Планеты больше, чем убеждения… ну, вы поняли идею.

Кажется недостаточным заключить в кавычки «утреннюю звезду», чтобы предотвратить путаницу, потому что для людей текст будет выглядеть похожим. Поэтому, быть может, лучшим способом ввести типизационную дисциплину будет использование визуально различных способов кодирования:

утренняя звезда = вечерняя звезда

21.20.18.06.15.15.33.33.00.09.03.06.09.05.01 ≠ 03.06.25.06.18.15.33.33.00.09.03.06.09.05.01

Изучение математической логики также может помочь научиться различать цитату и референт. В математической логике |- P (P — теорема) и |- []'P' (доказуемо, что существует кодированное доказательство кодированного утверждения P в какой-то кодированной системе доказательств) — это очень разные утверждения. Если вы снизите уровень «цитирования» в математической логике, то это примерно то же, что и опустить единицу измерения — в результате вы можете получить нелепые результаты, типа «скорость света равна 299 792 458 метрам».

Альфред Тарский однажды попытался определить значение «истины», используя бесконечную последовательность предложений:

(«Снег — белый» — это истина) тогда и только тогда, когда (снег — белый)

(«Хорьки зелёные» — это истина) тогда и только тогда, когда (хорьки зелёные)

…

Когда предложения типа этих начнут выглядеть в ваших глазах осмысленными, вы начнёте различать закодированные утверждения и состояния окружающего мира.

Похожим образом, понятие истины весьма отличается от понятия реальности. Говоря «истина» мы сравниваем убеждение с реальностью. Но реальность не станет реальнее от того, что её сравнили с убеждением, ей вовсе не нужны никакие сравнения для того, чтобы быть реальной. Помните об этом, когда вам в следующий раз придётся услышать утверждение, что ничто не является истинным.

Качественное замешательство

Элиезер Юдковский

Я полагаю, что основной причиной путаницы между «убеждением», «истиной» и «реальностью» является качественное мышление об убеждениях.

Давайте рассмотрим типичную постмодернистскую попытку поумничать:

«Солнце вращается вокруг Земли» — истина для Ханги Охотника-собирателя, но «Земля вращается вокруг Солнца» — истина для Эмары Астронома! Разные общества имеют разные истины!

Нет. Разные общества имеют разные убеждения. Убеждения имеют другой тип, нежели истина, это как сравнивать яблоки с вероятностями.

Ах, но ведь нет никакой разницы между тем, как ты используешь слово «убеждение» и как ты используешь слово «истина»! Вне зависимости от того, говоришь ли ты «я убеждён, что снег белый» или «снег белый — это истина», ты выражаешь одно и то же мнение.

Нет. Эти предложения означают довольно-таки разные вещи, они передают разницу в том, как я ”ощущаю” вероятность того, что мои убеждения — ложь.

О… Ты утверждаешь, что ты ощущаешь, но ты не веришь в это. Как сказал Витгенштейн, «если бы существовал глагол, означающий „ошибочно верить“, то он бы не имел никакого значащего первого лица, настоящего времени изъявительного наклонения».

И вот как раз то, что я имею в виду, разговаривая о качественном рассуждении как об источнике проблемы. Дихотомия между верой и неверием, будучи двоичной, похожа на дихотомию между истиной и неистиной, и это приводит к путанице.

Но давайте попробуем использовать количественное рассуждение. Предположим, что я присваиваю 70% вероятности утверждению, что снег — белый. Это означает, что я думаю, что есть около 70% вероятности того, что предложение «снег белый» окажется истиной. Если это предложение — истина, является ли истиной моё присвоение 70% вероятности этому предложению? Оно более истинно, чем было бы, если бы я присвоил 60% вероятности, но не столь истинно, как если бы я присвоил 80%.

Говоря о соответствии между присвоением вероятности и реальностью, будет лучше использовать слово «точность» вместо слова «истина». «Точность» звучит более количественно, как стреляющий лучник: как близко к центру цели попадёт присвоение вероятности.

Короче говоря(English), существует весьма натуральный способ оценить точность присвоения вероятности при сравнении с реальностью: достаточно взять логарифм вероятности, которая была присвоена действительному положению дел.

Таким образом, если снег — белый, то моё убеждение «70%: снег белый» будет оцененокак −0,51 бит: log2(0,7) = −0,51.

Но что, если снег не белый, если я присвоил действительному положению дел 30% вероятности? Если «снег белый» — ложь, моё убеждение «30%: снег не белый» даст −1,73 бита. Отметьте: -0,51 > −1,73, то есть в этом случае моё предсказание хуже.

Как оценить точность моих убеждений? Мои ожидания можно оценить как 70% * −0,51 + 30% * −1,73 = −0,88 бит. Если снег белый, то мои убеждения окажутся более точными, чем я ожидал. Если снег не белый, то мои убеждения окажутся менее точными, но, в любом случае, мои убеждения не будут иметь такую же точность, как я ожидал в среднем.

И это ни в коем случае не стоит путать с выражением «я назначаю 70% убеждённости утверждению, что снег белый». Я могу быть убеждён, что это утверждение верно с вероятностью ~1, то есть я не сомневаюсь в этом, это факт о моей вере. И, таким образом, я буду ожидать, что моё мета-убеждение «~1: «я назначаю 70% убеждённости, что снег белый» получит ~0 бит точности, что фактически так и есть.

То, что я не уверен в цвете снега, не означает, что я не уверен в моих цитированных вероятностных убеждениях. Снег где-то там, а мои убеждения в моей голове. Я могу быть заметно менее не уверен в том, насколько я не уверен в цвете снега, чем я не уверен в цвете снега. (В то же время убеждения об убеждениях не всегда точны.)

Сравните эту вероятностную ситуацию с качественным рассуждением, в котором я просто верил, что снег белый, и верил, что я верю, что снег белый, и верил, что «снег белый — истина», и верил, что «моё убеждение, что „снег белый — истина“ — верно», и т.д. Поскольку все вовлечённые величины равны 1, их легко перепутать.

В то же время, вы можете легко упустить эти различия в качественном выводе, если начнёте думать «снег белый с вероятностью 70%» — истина», что является ошибкой типизации. Это истинный факт о вас, о том что вы верите в «70%: снег белый»; но это не означает, что присвоение вероятности является истинным. Вера наберёт либо −0,51, либо −1,73 бита точности, в зависимости от действительного положения дел в реальности.

Знатоки увидят в утверждении «снег белый с вероятностью 70%» — истина» ошибку мышления, выражающуюся в том, что вероятность находится в голове.

Изнутри наши убеждения о мире выглядят как мир, и наши убеждения о наших убеждениях — как наши убеждения. Когда вы смотрите на мир, вы ощущаете убеждение изнутри. Когда вы замечаете, что вы верите во что-то, вы ощущаете убеждение об убеждении. Таким образом, если ваши внутренние представления об убеждениях, и об убеждениях об убеждениях отличаются, то вы с меньшей вероятностью перепутаете их и ввалитесь в ошибку проецирования ума. Я надеюсь.

Когда вы думаете вероятностями, можно надеяться, что ваши убеждения и ваши убеждения о ваших убеждениях будут представляться достаточно различно, чтобы вы не путали убеждение и точность, или точность и реальность. Когда вы думаете вероятностями о мире, ваши убеждения будут представлены вероятностями ∈ (0, 1). В отличие от булевских значений утверждений, которые могут принимать значения {истина, ложь}. Точность же ваших вероятностных убеждений вы можете представлять числом из (−∞, 0). Ваши вероятности о ваших убеждениях будут, как правило, «впадать в крайности». А вещи при этом будут просто красными или синими, или весящими 20 фунтов, или ещё какими-нибудь.

Таким образом, у нас будет меньше возможности перепутать карту с территорией.

Различение типов может так же помочь нам помнить, что неопределённость — это состояние ума. Монетка не имеет врождённой неопределённости того, каким образом она приземлится. Монета — не процессор убеждений и не имеет частичной информации о себе. Мысля качественно, вы можете создать убеждение, которое прямо соответствует монетке, типа «монета всегда приземляется орлом». Это убеждение будет истиной или ложью в зависимости от монеты, и будет прозрачное соответствие от истинности или ложности убеждения к выпавшей стороне монеты.

Но, даже при качественном мышлении, сказать, что монета сама по себе является «истиной» или «ложью», будет серьёзной ошибкой типизации. Монета — не убеждение, она — монета. Территория — не карта.

Если монета не может быть истиной или ложью, может ли она присвоить себе 50% вероятности?

Думай как реальность

Элиезер Юдковский

Всякий раз, когда я слышу, как кто-то описывает квантовую физику как «странную» — всякий раз, когда я слышу, как кто-то сетует на таинственное действие наблюдения на наблюдаемое, или дикое существование нелокальных корреляций, или неимоверную невозможность одновременного знания координат и импульса — я думаю про себя: «Этот человек никогда не поймет физику, независимо от того, сколько книг он прочтет».

Реальность была вокруг задолго до того, как ты появился. Не следует называть ее отвратительными именами вроде «дикая» или «неимоверная». Вселенная распространяла комплексные амплитуды сквозь пространство конфигураций за десять миллиардов лет до того, как жизнь вообще появилась на Земле. Квантовая физика не «странная». Это ты странный. Это у тебя появилась абсолютно дикая идея, что реальность должна состоять из маленьких, танцующих вокруг бильярдных шариков, когда по факту реальность — это совершенно нормальное облако комплексных амплитуд в конфигурационном пространстве. Это твоя проблема, а не реальности, и именно ты должен измениться.

Человеческая интуиция была выработана эволюцией, а эволюция это хак. Тот же оптимизационный процесс, который создал твою сетчатку задом наперед и затем подвел оптический кабель через твое поле зрения, спроектировал твою видеосистему для обработки скачущих вокруг персистентных объектов в 3-х мерном пространстве, потому что это то, чем можно выслеживать тигров. Но «тигры» — протекающие поверхностные обобщения — появились постепенно в процессе эволюции, и они не абсолютно похожи один на другого. Когда ты опускаешься до фундаментального уровня, уровня, законы которого стабильны, глобальны и не имеют исключений, на нем нет никаких тигров. Фактически там нет никаких персистентных объектов, скачущих в трехмерном пространстве. Смирись с этим.

Называние реальности «странной» держит тебя внутри точки зрения, ошибочность которой уже доказана. Теория вероятности говорит нам, что удивление — мера некачественности гипотезы; если модель стабильно глупая(English) — стабильно натыкается на события, которым присваивает крошечные вероятности — тогда пришло время выкинуть эту модель. Хорошая модель делает реальность выглядящей совершенно нормально, а не странно; хорошая модель присваивает высокие вероятности тому, что на самом деле имеет место быть. Интуиция — это еще одна модель с другим именем: плохая интуиция будет шокирована реальностью, хорошая интуиция делает реальность выглядящей нормально. Ты хочешь перестроить свою интуицию так, чтобы реальность выглядела нормальной. Ты хочешь думать, как реальность.

Это конечное состояние нельзя утвердить насильно. Бесполезно делать вид, что квантовая физика естественна для тебя, когда на самом деле ты чувствуешь, что она странная. Так ты лишь откажешься признавать, что ты запутался. Это не поможет тебе распутаться. Но это также помешает тебе думать: «Как дико!» Трата эмоциональных сил на недоверчивость расходует зря время, которое можно было бы употребить на обновление. Оно опять и опять отбрасывает тебя в объятия старой, неверной точки зрения. Оно кормит твое чувство справедливого негодования на реальность, осмелившуюся противоречить тебе.

Этот принцип применим и за границами квантовой физики. Ловил ли ты когда-нибудь себя на том, что говорил что-то вроде «Я не понимаю, как дипломированный физик может верить в астрологию?» Ну, если ты действительно не понимаешь, это показатель проблем в твоей модели человеческой психологии. А может, ты просто возмущён — и хочешь выразить сильное моральное неприятие. Но если ты действительно не понимаешь, тогда твое возмущение не дает тебе придти к согласию с реальностью. Не должно быть трудно вообразить, как получается так, что дипломированный физик верит в астрологию. Люди разграничивают, вот и всё.

Теперь я стараюсь не использовать выражение «Я совершенно не понимаю, как …» для выражения возмущения. Если я искренне не понимаю, как, то моя модель удивлена фактами, и я должен выкинуть ее и найти лучшую модель.

Удивление существует на карте, а не на территории. Не бывает удивляющих фактов, бывают только модели, удивляющиеся фактам. Как и фактов, называемых такими отвратительными эпитетами, как «дикий», «невероятный», «невообразимый», «неожиданный», «странный», «аномальный», «чудной». Когда ты обнаруживаешь искушение воспользоваться такими эпитетами, может быть мудрее проверить, на самом ли деле предполагаемые факты реальны. Но если факты проверены, тогда проблема не в фактах, проблема в тебе.

Редукционизм

Элиезер Юдковский

Почти год назад, в апреле 2007, Мэттью C предложил следующую тему на Overcoming Bias:

«Как и почему царствующий в настоящее время философский гегемон (редукционный материализм) считается очевидно верным […], в то время как царствовавшие философские взгляды всех прошлых обществ и цивилизаций выглядят подозрительными…»

Я помню это, потому что взглянув на запрос и сочтя его уместным, я знал, что не смогу справиться с этой темой, до тех пор пока не начну цепочку Ошибка проецирования ума, но начинать её тогда было ещё рано…

Но теперь пришло время для этого вопроса. И хоть я ещё и не готов к «материализму», но мы можем начать с «редукционизма».

Во-первых, отмечу, что я действительно считаю, что редукционизм (в значении, которое я даю этому слову) действительно корректен; и пускай горят в аду все предыдущие цивилизации, которые несогласны.

Довольно сильное утверждение, не так ли? По-крайней мере первая его часть. Общая теория относительности хорошо поддерживается, и всё же, кто знает, но может быть физики будущего ниспровергнут её?

С другой стороны, мы никогда не вернёмся обратно к ньютоновской механике. Храповик науки вращается, но только в одном направлении. Бывали случаи в истории науки, когда теория получала удар или два, а затем возвращалась. Но когда теория получила столько стрел в грудь, сколько получила ньютоновская механика, то она останется мёртвой.

Вторая часть — «чёрт с тем, что думали прошлые цивилизации,» — тоже выглядит достаточно безопасной. Прошлые цивилизации верили во что-то, что было фальсифицировано и выкинуто на историческую свалку.

И редукционизм не столько позитивная гипотеза, сколько отсутствие веры — в частности, в форме ошибки проецирования ума.

Однажды мне пришлось столкнуться с человеком, который утверждал, что он служил артиллеристом ВМФ, и он говорил «Когда вы ведёте артиллерийский огонь, вам приходится высчитывать траектории согласно ньютоновской механике. Если вы высчитаете траектории используя теорию относительности, то вы получите неверный ответ».

И мы с ещё одним присутствующим человеком решительно ответили «Нет». Я добавил: «Быть может невозможно достаточно быстро рассчитать траектории согласно теории относительности — вы это имели в виду? Но релятивистский ответ всегда будет более точен, нежели ньютоновский».

«Нет,» — сказал он — «Я имею в виду, что теория относительности даст неверный ответ, потому что вещи, двигающиеся со скоростями артиллерийских снарядов, подчиняются ньютоновской механике, а не теории относительности».

«Если бы это было истиной,» — я ответил, — «вы могли бы опубликовать это в физическом журнале и получить Нобелевскую премию».

Стандартная физика использует одну и ту же фундаментальную теорию, чтобы описывать и полёт Боинга 747, и столкновения частиц в релятивистком коллайдере тяжёлых ионов (RHIC). Ядра атомов и самолёты похожи, согласно нашему пониманию, и подчиняются специальной теории относительности, квантовой механике и хромодинамике.

Но мы используем совершенно иные модели, чтобы понимать аэродинамику Боинга и столкновение ядер золота в RHIC. Компьютерное моделирование аэродинамики Боинга может не содержать ни единого символа, ни единого бита ОЗУ, который бы представлял кварк.

Так что же: Боинг сделан не из кварков? Нет, это мы моделируем его, используя такие элементы представления, которые никак не могут быть сопоставлены с кварками Боинга один к одному. Карта — это не территория.

Почему бы не промоделировать Боинг, используя хромодинамическое представление? Потому что получение ответа из такой модели потребует тьмаллион лет. Кроме того, эта модель не поместится в память всех компьютеров мира вместе взятых (на 2008 год).

Как говорится «Карта — это не территория, но невозможно сложить территорию и положить её в бардачок». Иногда приходится использовать меньшую карту, чтобы она помещалась в меньший бардачок. Но это никак не меняет территорию. Масштаб карты — это не свойство территории, это свойство карты.

Если было бы возможно построить и запустить хромодинамическую модель Боинга, то она бы давала точные предсказания. Более точные, чем аэродинамическая, на самом деле.

От точной модели Боинга, в принципе, не требуется, чтобы она содержала явные описания потока воздуха или высоты. Вовсе не обязательно выделять хотя бы один бит ОЗУ под положение крыльев. Возможно, в принципе, построить такую модель, которая не будет содержать ничего, кроме полей элементарных частиц и фундаментальных сил.

«Что?» — кричит антиредукционист, — «Вы говорите мне, что Боинг в действительности не имеет крыльев? Но я вижу крылья у Боинга!».

И вот тут есть некая едва уловимая тонкость. Объект может иметь разные описания на разных уровнях, но дело не только в этом.

Дело в том, что фраза «имеет разные описания на разных уровнях» произносится в Разговоре о Картах, а не в Разговоре о Территории.

Ни аэроплан, ни законы физики сами по себе не используют разные описания на разных уровнях, как думал тот артиллерист. Это мы, для нашего удобства, используем разные упрощённые модели на разных уровнях.

Чисто хромодинамическая модель, содержащая исключительно элементарные частицы и фундаментальные силы, будет содержать и все факты и о потоке воздуха, и о высоте, и о положении крыльев, но она будет содержать их неявно.

Вы, глядя на эту модель и думая о модели, сможете определить, где находятся крылья. Таким образом вы получите явное представление о положении крыльев, вы получите явный вычислительный объект в вашем нейронном ОЗУ. В вашем уме.

Вы действительно можете вывести все типы явных описаний самолёта на различных уровнях и даже явные правила того, как модели разных уровней взаимодействуют друг с другом, чтобы выдавать совместные предсказания…

И алгоритм изнутри чувствует, что самолёт как будто сделан из многих взаимодействующих между собой уровней.

Убеждение чувствуется изнутри таким образом, что вам кажется, что вы смотрите прямо на реальность. Когда же вам кажется, что вы смотрите на убеждение, в действительности вы ощущаете убеждение об убеждении.

Таким образом, когда ваш мозг одновременно верит явным описаниям со многих разных уровней и верит в явные правила перехода с одного уровня на другой, как в часть эффективной комбинированной модели, это ощущается как будто вы видите систему, которая сделана из разных уровней описания и их правил для взаимосвязи.

Но это просто попытка вашего мозга сжать объект, который он не может промоделировать на фундаментальном уровне. Самолёт слишком большой. Даже атом водорода будет слишком большим. Взаимодействия между кварками безумно взаимодействующие. Вы не можете справиться с истиной.

Но физика работает так, что, насколько мы видим, существует только один самый-самый базовый уровень — поля элементарных частиц и фундаментальные силы. Вы не можете справиться с сырой истиной, но реальность справляется с ней без всяких упрощений. (Я хотел бы знать, откуда Реальность взяла свою вычислительную мощь.)

Законы физики не содержат различных дополнительных временных сущностей, которые соответствуют высоте или крыльям самолёта, но мозг инженера содержит различные дополнительные когнитивные сущности, которые соответствуют высоте и крыльям самолёта.

Это, в моём понимании — тезис редукционизма. Редукционизм — не позитивная вера, а скорее неверие в то, что более высокие уровни упрощённой многоуровневой модели находятся снаружи, на территории. Понимая это на внутреннем уровне легко можно распутать вопрос «Как вы можете говорить, что самолёт в действительности не имеет крыльев, если я их вижу?». Достаточно обратить внимание на слова «в действительности» и «вижу.»

Объяснение против разобъяснения

Элиезер Юдковский

Поэма Ламия (Lamia) Джона Китса определённо заслуживает награды как Наиболее Знаменитая Раздражающая Поэзия:

…От прикосновенья

Холодной философии — виденья

Волшебные не распадутся ль в прах?

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

Подрезал разум ангела крыла,

Над тайнами линейка верх взяла,

Не стало гномов в копи заповедной —

И тенью Ламия растаяла бесследной.

пер. Сергей Сухарев

Мой обычный ответ на подобное заканчивается фразой: «Если мы не можем наслажаться просто реальностью, то наши жизни действительно пусты». Но это я объясню завтра.

Сегодня же я хочу поговорить о другом. Взглянем на эти строки:

гномы в копи

радуги, разложенные на тысячи частей

Что вызывает из памяти несколько другие стихи:

Одна из этих вещей

Отличается от остальных,

Одна из этих вещей

Не к месту

Наука избавила рудники от гномов, но радуга всё ещё здесь.

Я писал ранее:

«Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки… С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае моя вера в существование озера не просто объясняется, но разобъясняется».

Радуга была объяснена. Гномы же были разобъяснены.

Я думаю, что в этом как раз кроется тонкость, которую антиредукционисты не улавливают в редукционизме.

Вы можете наблюдать эту ошибку в классическом возражении против редукционизма:

Если редукционизм верен, то даже ваша вера в редукционизм — в сущности, результат движения молекул. И зачем тогда я буду слушать, что вы говорите?

Ключевое слово — «в сущности». Оно подразумевает, что если я принимаю редукционизм, то он разобъяснит все процессы рассуждения, которые ведут к моему принятию редукционизма, тем же способом, каким разобъясняются оптические иллюзии.

Но, тем не менее, возможно объяснить, как работает когнитивный процесс, не являющийся «сущностью»! Моя вера в то, что на мне одеты носки — это, в сущности, результат того, что моя зрительная кора получает нервные импульсы от моей сетчатки, которая получает фотоны, отражённые от моих носков… Короче говоря, в соответствии с научным редукционизмом, моя вера в то, что на мне одеты носки — это сущий результат того факта, что на мне надеты носки.

Что должно происходить в голове антиредукциониста, чтобы он помещал бы радуги и веру-в-редукционизм в одну категорию с гномами?

Одновременно происходит несколько вещей. Но сейчас давайте рассмотрим мысль, изложенную вчера: ошибку проецирования ума — многоуровневой карты на одноуровневую территорию.

(То есть: вы не можете промоделировать Боинг 747 покварково, поэтому вы вынужденыиспользовать многоуровневую карту с явными когнитивными представлениями крыльев, потока воздуха и всего прочего.)

Я думаю, что когда физики говорят: «На фундаментальном уровне радуги не существует», — антиредукционисты слышат: «Радуги не существует».

Если вы не видите разницы между многоуровневой картой и одноуровневой территорией, и кто-то пытается объяснить вам, что радуга не является фундаментальным понятием физики, то принятие этого утверждение воспринимается как стирание радуги из вашей многоуровневой карты, что воспринимается как стирание радуг из мира.

Когда наука говорит: «Тигры — не элементарные частицы, они сделаны из кварков», — антиредукционист слышит это, как отрицание типа такого: «Мы заглянули в ваш гараж и не нашли там никакого дракона, только пустой воздух».

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Чтобы поддержать этот подтезис, я намеренно использовал в обсуждении поэмы Китса несколько фраз, которые подвержены ошибке проецирования ума. Если вы не заметили, то это неплохая иллюстрация тому, что подобные ошибки легко проходят незамеченными.

Например:

Наука избавила рудники от гномов, но радуга всё ещё здесь.

В действительности, Наука избавила модель от веры в гномов. Наука в действительности не трогала реальных крыльев Ангела и не уничтожала их холодным прикосновением истины. В действительности никогда не было никаких гномов.

Другой пример:

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Учёные ничего не делали с гномами, только с «гномами». Цитата — не референт.

Но если вы допускаете ошибку проецирования ума (и, по умолчанию, наши убеждения ощущаются как способ существования мира), то во время T=0 рудники (видимо) содержат гномов, во время T=1 учёные пляшут на сцене, а во время T=2 рудники (видимо) становятся пустыми. Ясно, что гномы когда-то были, но учёные их всех убили.

Плохой учёный! Никаких поэм для тебя, убийца гномов!

Этот процесс ощущается таким образом, если вы эмоционально привязаны к гномам, а учёный говорит, что не существует никаких гномов. Требуется сильный разум, глубокая честность и сознательное усилие, чтобы сказать в этот момент: «То, что может быть разрушено истиной, должно быть разрушено», и «Учёные не забрали гномов от меня, они забрали моё заблуждение», и «У меня не было исключительного права на мою веру в гномов, я не лишился ничего, чем я бы владел по праву», и «Если гномы существуют, то я хочу верить, что гномы существуют, если гномы не существуют, то я хочу верить, что гномы не существуют, я не буду цепляться за веру, которой не хочу» и все остальные вещи, которые рационалисты должны говорить себе в подобных случаях.

Но с радугами нет никакой необходимости для всего этого. Радуги всё ещё здесь!

Лжередукционизм

Элиезер Юдковский

Дивились радуге на небесах

Когда-то все, а ныне — что нам в ней,

Разложенной на тысячу частей?

– Джон Китс, «Ламия»

пер. Сергей Сухарев

Я предполагаю – хоть это лишь предположение – что сам Китс не понимал принципов разложения радуги. Во всяком случае, понимал их не так, как Ньютон. Возможно, даже вообще не знал. Может быть, Китс просто прочитал где-то, что Ньютон объяснил радугу, сказав, что это «свет, отражённый от капель воды»…

…что на самом деле было известно ещё в XIII веке. Ньютон только уточнил объяснение, показав, что свет разбивается на цветные части, а не изменяет цвет. Радуга оказалась в заголовках новостей. И Китс с Чарльзом Лэмом, и Вильямом Вордсвордом, и Бэнджамином Хейдоном поднимали тост «За путаницу в память о Ньютоне», потому что «он разрушил поэзию радуги, редуцировав её в призму». Это одна из причин подозревать, что Китс не слишком глубоко понимал предмет.

Я предполагаю (хоть это лишь предположение), что Китс не мог показать на бумаге, как получается так, что радуга появляется только тогда, когда Солнце находится сзади, или почему радуга — дуга окружности.

Если так, то Китс имел лжеобъяснение. В данном случае — лжередукцию. Ему сказали, что радуга была редуцирована, но в модели мира Китса она не была редуцирована.

И это вторая тонкость, которую не улавливают антиредукционисты — разница между тем, чтобы озвучивать факт, что что-то редицируемо, и тем, чтобы понять это.

В этой ошибке антиредукционистов не стоит осуждать, поскольку это часть более общей проблемы.

Раннее я писал о том, что выглядит знанием, но им не является, и убеждениях, которые не о том, что в них говорится, но которые – записи для воспроизведения в классе, и словах, которые работают как семантические стоп-сигналы для любопытства, а не как ответы, и техноболтологии, которая лишь показывает принадлежность к литературному жанру «наука»…

Можно понять, откуда взялась радуга, или ставить эксперименты с призмами, чтобы подтвердить свойства радуги, или разбрызгивать воду, чтобы создать искусственную радугу.

И это сильно отличается от философа со строгим видом говорящего вам: «Нет, нет ничего особого в радугах. Вы не слышали? Учёные её разобъяснили. Что-то там происходит с дождевыми каплями или как-то так. Ничего удивительного».

Я думаю, что это отличие и приводит к тому, что за редукционизмом, как бы, тянется дьявольская смертельная экзистенциональная пустота.

Надо понимать, что «редукционизм» для антиредукционистов, вовсе не в том, что они на самом деле понимают как работает радуга, не в том, что они критично восклицают «Ага!», а в том, что им просто говорят, что загаданное слово — «наука». Эффект редукционизма для них сводится к тому, что радуга переходит в другой литературный жанр, в жанр, который их научили воспринимать как скучный.

Для них услышать слова «Наука объяснила радугу!» – повесить на радуге знак «Этот феномен помечен как СКУЧНЫЙ по приказу Совета Изощрённых Литературных Критиков. Не толпитесь. Проходите мимо».

И это всё, что говорит знак. Только это и ничего больше.

Таким образом, литературные критики были лишены гномов силой. Гномы не исчезли, благодаря озарению, но удалены по прямому приказу авторитета. Им не дано никакой красоты, которая могла бы заменить призраков или гномов, никакого подлинного понимания, которое могло бы быть интересно по-своему. Просто надпись, говорящая «Ха! Ты думал, что радуга красивая? Дурачок. Это часть литературного жанра науки, сухих и формальных непонятных слов».

Таким образом антиредукционисты воспринимают «редукционизм».

И… Не ругайте Китса, бедный парень, вероятно, не получил правильного воспитания.

Но он осмелился поднять тост «За путаницу в память о Ньютоне»?

Я предлагаю рационалистам тост «В память о путанице Китса». Аплодисменты.

Поэты саванны

Элиезер Юдковский

Поэты говорят, что наука лишает звёзды красоты, что звёзды — просто газообразные шары из атомов. Ничто не «просто». Я тоже могу видеть звёзды в ночи и чувствовать их, но вижу ли я меньше или больше?

Необъятность небес простирается в моём воображении, мой маленький глаз теряется в этой карусели и не может оторваться от света, которому миллионы лет. Безбрежное зрелище безбрежной Вселенной, частью которой я являюсь… Возможно, вещество моего тела было извергнуто из недр какой-то забытой звезды, так же как звёзды в небе сейчас извергают из себя вещество. Если взглянуть на них большим глазом Паломарской обсерватории, взглянуть как они разбегаются из какой-то общей стартовой точки в которой они, возможно, когда-то были вместе. Как это работает, в чём смысл всего этого. И почему? Мы знаем очень мало. Зная так мало, мы не можем причинить никакого ущерба таинству Вселенной.

Это гораздо более изумительно, чем истина, которую могли изобразить художники прошлого! Почему поэты современности не говорят об этом?

Что поэты за люди, если они говорят о Юпитере, если он как человек, но молчат, если он необъятный вращающийся шар из метана и аммиака?

  - Ричард Фейнман, «Фейнмановские лекции по физике», Том I.

Задавал ли Фейнман этот вопрос риторически или нет, но это не риторический вопрос: что за поэт может писать о Юпитере как о боге, но не о Юпитере как о необъятном шаре?

Если Юпитер — как мы, он может влюбиться и потерять любовь, а затем обрести её вновь.

Если Юпитер — как мы, он может бороться, придти к власти и быть свергнутым.

Если Юпитер — как мы, он может смеяться, или плакать, или плясать.

Если же Юпитер — необъятный вращающийся шар из метана и аммиака, то поэту гораздо сложнее заставить нас чувствовать.

Существуют поэты и рассказчики, которые говорят, что Великие Сюжеты не подвержены влиянию времени и никогда не меняются, только пересказываются. Они с гордостью говорят, что Шекспир и Софокл повязаны узами искусства более сильными, чем просто столетия, что двух создателей пьес можно было бы поменять местами во времени без серьёзных потрясений.

Дональд Браун когда-то создал список более чем двух сотен «универсальных человеческих понятий», которые можно найти во всех (или практически во всех) изученных человеческих культурах, от Сан-Франциско до бушменов, живущих в пустыне Калахари. В списке есть супружество, и табу на инцест, и материнская любовь, и соперничество братьев и сестёр, и музыка, и зависть, и танцы, и истории, и эстетика, и ритуальная лечебная магия, и поэзия, читаемая вслух с театральными паузами…

Любой, кто знаком с эволюционной психологией, вряд ли будет отрицать это: наши самые сильные эмоции глубоко заложены в нас, в наши кровь и кости, в мозг и ДНК.

Можно ожидать, что история Гамлета (с небольшими изменениями) могла быть рассказана в обществе первобытных людей сидящих возле костра в саванне.

Таким образом, можно понять, почему Джон «Расплети радугу» Китс мог чувствовать, что что-то было потеряно, когда выяснилось, что радуга — это солнечный свет, разлетающийся из капель воды. Капли воды не танцуют танцы.

В Ветхом Завете написано, что Бог как-то разрушил весь мир потопом, который покрыл водой всю землю и утопил всех ужасно виновных мужчин и женщин мира, вместе с их ужасно виновными детьми, но Ной построил гигантский деревянный ковчег, и т.д. И после того, как большинство людей было уничтожено, Бог поместил на небо радугу, как знак того, что он не будет делать подобного снова. По крайней мере, не с помощью воды.

Вы можете понять, как Китс был шокирован, когда этот прекрасный рассказ вступил в противоречие с современной наукой. Особенно если (как я описывал вчера) Китс не понимал в действительности физику радуги, если не было никакого «Ага!», никакого озарения, которое было бы по-своему потрясающим и могло бы заменить потерянную драму…

Но, возможно, Китс был бы прав в своём разочаровании, даже если он знал бы математику. Библейская история радуги — это рассказ о кровожадном убийстве и об улыбающемся безумии. Неужели что-то там о каплях и преломлении может достойно заменить это? Капли не кричат, когда умирают.

Таким образом, наука убивает романтику (сказал поэт романтизма), и то, что она даёт взамен, никоим образом не соответствует драме оригинала…

(то есть, оригинальному заблуждению)

…даже если вы знаете уравнения, потому что уравнения не о сильных эмоциях.

И это самый сильный ответ, который я могу придумать для поэта Романтизма, отвечающего Фейнману. Хоть я и не могу вспомнить, чтобы кто-нибудь так ответил.

Вы, наверное, полагаете, что я не согласен с поэтами Романтизма. Моя собственная позиция такова:

Юпитеру вовсе не необходимо быть как человек, потому что есть достаточно людей, которые как люди. Если Юпитер — необъятный вращающийся шар из метана и аммиака, то это не значит, что любовь и ненависть исчезли из мира. Несмотря ни на что, в мире по-прежнему существуют любящие и ненавидящие умы. Мы.

Когда нас более чем шесть миллиардов по последним подсчётам, неужели Юпитеру действительно необходимо быть в списке потенциальных действующих лиц?

Нет никакой необходимости рассказывать Великие Сюжеты о планетах и радугах. Эти сюжеты ежедневно разыгрываются повсюду среди нас. Каждый день кто-нибудь убивает из мести, каждый день кто-нибудь убивает друга по ошибке, каждый день свыше сотни тысяч людей влюбляются. И даже если бы это было не так, вы всё равно могли бы написать рассказ о людях, а не о Юпитере.

Земля стара, она множество раз разыгрывала под Солнцем одни и те же сценарии.И думается мне, что быть может пришло время некоторым из этих Великих Сюжетов измениться. Во всяком случае для меня рассказ, называемый «Прощай», потерял привлекательность.

Великие сюжеты не неизменны, потому что человеческий вид не неизменен. Если вернуться достаточно далеко назад в эволюции человека, то никто не поймёт Гамлета.Если вернуться достаточно далеко назад во времени, то не удастся найти ни одного мозга вообще.

Великие Сюжеты не вечны, потому что человеческий вид, Homo sapiens sapiens, не вечен. Я искренне сомневаюсь, что у нас есть ещё одна тысяча лет на жизнь в нашей современной форме. И я не грущу об этом: я думаю, мы можем быть лучше.

Я бы не хотел, чтобы все Великие Сюжеты были бы окончательно утеряны в будущем. По-моему, этот исход слабо отличается от Солнца, падающего в чёрную дыру.

Но Великие Сюжеты в их современной форме уже были рассказаны, причём многократно. Я не думаю, что есть что-то плохое в том, чтобы некоторые из них изменили бы свою форму или обрели бы более разнообразные финалы.

«И с тех пор они жили счастливо» выглядит достойным, чтобы попытаться хотя бы раз.

Человечество развивается, и Великие Сюжеты могут и должны разнообразиться. Частью этой этики является идея, что когда мы находим странности, мы должны уважать их достаточно для того, чтобы рассказать их историю честно. Даже если это делает создание поэзии сложнее.

Если вы достаточно хороший поэт, чтобы написать оду необъятному вращающемуся шару из метана и аммиака, то вы можете написать что-то новое о новой открытой части настоящей Вселенной. Это может быть не столь драматично, не столь захватывающе, как Гамлет. Но легенда о Гамлете уже была рассказана. Если вы пишете о Юпитере как о человеке, то вы обедняете сложность карты нашего мира, вы впихиваете Юпитер в привычный шаблон историй, которые уже были рассказаны на Земле.

«Поэма, посвящённая памяти сэра Исаака Ньютона» Джеймса Томсона восхваляет радугу за то, что она такая, какая она есть. Можно спорить о том, захватывает ли поэма Томсона так же, как Ламия Джона Китса, кто любил и потерял. Но легенды о любви, и о потере, и о цинизме уже были рассказаны ещё в Древней Греции, и, без сомнения, ещё и раньше, и множество раз. До тех пор, пока мы не поймём радугу как явление, отличающееся от легенд о придуманной человеком магии, истинная история радуги не может быть поэтизирована.

Граница между научной фантастикой и космической оперой была обозначена следующим образом: если вы можете взять сюжет и перенести его на Дикий Запад или в Средние Века без изменений, то это не настоящая научная фантастика. В настоящей наука — неотделимая часть сюжета: вам не удастся без потерь перенести действие из космоса в саванну.

Ричард Фейнман спросил: «Что поэты за люди, которые могут говорить о Юпитере, если он как человек, но молчат если он необъятный вращающийся шар из метана и аммиака?».

Они поэты саванны, они могут рассказывать только те истории, которые могли бы иметь смысл возле костра десять тысяч лет назад. Поэты саванны, которые могут рассказывать только Великие Сюжеты в их классических формах, и ничего больше.

Наслаждение обыденностью

Обыденная магия

Элиезер Юдковский

Я считаю, что рационалисту следует эмоционально привязываться к редукционистскойвселенной — вселенной, которой полностью управляют строгие законы и в которой нет таких сверхъестественных сущностей, как душа или магия. Рационалисту стоит вкладывать всю свою надежду и всё своё внимание в эту обычную вселенную и её возможности, принимая её такой, какая она есть.

У буддистов есть старый трюк для борьбы с дуккха: надо составить список вещей, за которые ты благодарен, вроде крыши над головой.

Так почему бы не составить список способностей, которые есть у нас и которые были бы супер крутыми, если были бы магией или если бы ими обладали лишь избранные?

Например, предположим, что вместо одного глаза у нас во лбу был бы ещё магический второй глаз. И этот второй глаз позволял бы нам заглядывать в третье измерение — то есть, можно было бы легко сказать, насколько далеко находится тот или иной предмет, — в то время как один глаз позволял бы видеть только двумерную тень настоящего мира. Лишь те, у кого был бы такой второй глаз, могли бы точно целиться из легендарного оружия, убивающего на расстоянии, гораздо большем досягаемости меча. Или на полную мощь использовать сверхбыстрые механизмы, именуемые «автомобилями».

«Бинокулярное зрение» — не слишком интересное название для такой крутой способности. Она нас впечатлит, лишь если получит достойное, внушающее уважение имя. Например: «Мистический Глаз Глубокого Восприятия».

Вот вам список моих любимых магических способностей:

Вибрационная телепатия. Обладатели этой способности способны передавать невидимые вибрации через сам воздух, и это позволяет им делиться мыслями. Благодаря этому вибрационные телепаты создают друг с другом очень глубокие эмоциональные связи, недоступные другим приматам.

Психометрическое узорничество. Психометрический узорник оставляет на поверхностях небольшие аккуратные узоры и благодаря этому может оставлять впечатления об эмоциях, истории, знаниях, даже о структуре других заклинаний. Эта способность гораздо сильнее, чем вибрационная телепатия, так как узорник способен делиться мыслями давно умерших узорников, живших тысячи лет назад. Смотря на один узор и одновременно рисуя другой, узорник способен множить узоры, а эти узоры могут содержать подробное описание другой магии. Поэтому как маги-узорники владеют практически невообразимыми силами. Но если узорник попробует использовать сложный узор, который не в состоянии нарисовать сам, у него могут появиться проблемы.

Многомерный кинез. Простейшим, практически неосознаваемым волевым усилием кинетики направляют экстраординарно сложные силы сквозь крохотные щупальца в любой физический объект в пределах досягаемости. Кинетики способны не просто толкнуть объект, а произвести несколько разных толчков с различных направлений, что позволяет создавать вращающие моменты и искривления. Эта способность не так проста, как кажется. Кинетики используют ее не только для управления уже существующими объектами с потрясающей точностью, они ещё и заставляют силы изменять объекты так, что ими становится ещё проще управлять. Кинетики даже создают инструменты, увеличивающие силу их кинеза, которые, в свою очередь, позволяют создавать еще более точные и сложные инструменты. Надеюсь, вы понимаете, насколько впечатляющей является такая цепь положительной обратной связи.

Око. Владеющий этой способностью способен замечать мельчайшие движущиеся возмущения в Силе, что скрепляет материю — крохотные колебания, подобные дарящим жизнь силам Солнца, падающим на листву, но гораздо менее заметные. Носитель Ока может ощущать объекты, находящиеся на расстоянии, намного превышающем расстояние касания, благодаря мелким возмущениям в Силе, которые создают эти объекты. Носители Ока способны постичь горы, до которых нужно идти много дней, с той же лёгкостью, как если бы до них можно было достать рукой. Согласно носителям Ока, когда опускается ночь и гаснет свет солнца, они могут ощущать огромные пылающие огни на немыслимом расстоянии. Впрочем, никто не способен это проверить. Говорят, обладание Оком делает его носителя равным королям.

И наконец,

Абсолютная Сила. Обладающий этой способностью вмещает в себе крохотную, несовершенную копию всей вселенной, что позволяет ему выискивать пути в вероятностях к любому желаемому будущему. Если вам кажется, что эта способность могущественна до абсурда, вы правы. Если она появляется в какой-то игре, она рушит весь игровой баланс. Среди жизненных форм она встречается невероятно редко. Это воистину «тайная техника мира».

Ничто не может противостоять Абсолютной Силе, кроме другой Абсолютной Силы. Любая сила, не дотягивающая до абсолютной окажется просто «осмыслена» Абсолютной и рассеяна каким-нибудь непостижимым образом. Возможно, Абсолютная Сила даже поглотит её и она станет частью её могущества. Поэтому, Абсолютная Сила иногда зовется «Главной техникой техник» или «Козырем, который бьёт все другие козыри». «Осмысление» самых могущественных Абсолютов распространяется на галактические расстояния и целые временные эпохи. Такие Абсолюты способны постигнуть даже странные законы тайного «мира за миром».

Абсолюты погибают от крупных природных катастроф или от невероятно быстрых внезапных атак, которые не дают им возможности использовать свою силу. Но такие победы над Абсолютами, в сущности, вопрос удачи. Они не ставят под сомнения способность Абсолюта подчинять вероятности своей воле, и, если он переживет атаку, то начнёт подчинять само Время, чтобы избежать атак в будущем.

Однако Абсолютная Сила опасна сама по себе, и множество Абсолютов пали жертвой собственных сил – ошибки в их несовершенных внутренних копиях мира уничтожили их.

Абсолют остаётся одной из опаснейших жизненных форм на планете, даже если его лишить оружия и брони и запереть в клетке. Можно сломать меч, можно отрубить конечность, но Абсолютную Силу невозможно отобрать, не убив её носителя.

Возможно из-за того, что связь Абсолютов со своей Силой очень сильна, Абсолюты относятся к тем, кто утратил Абсолютную Силу без надежды на восстановление, как к «мёртвым, пусть и дышащим». Абсолюты утверждают, что именно Абсолютная Сила делает существо самим собой, что это не просто средство. Абсолюты даже настаивают на том, что те, кто не обладает Абсолютной Силой, не в состоянии по-настоящему её осмыслить, и, следовательно, не могут понять, почему она настолько необходима – подозрительно удобный аргумент, кстати.

Власть Абсолютов неоспорима, и другие формы жизни для них не более чем пешки.

Красота устоявшейся науки

Элиезер Юдковский

Фактам не нужно быть(english) необъяснимыми, чтобы быть красивыми; истина не становится менее достойна изучения(english) если кто-то другой ее уже знает; убеждения не становятся менее стоящими(english), если их разделяют другие…

…к тому же, если тебя волнуют только спорные научные вопросы, твоя голова в конце-концов окажется забита мусором.

СМИ считают, что только самые сенсационные научные открытия достойны репортажей. Как часто ты видишь заголовки наподобие «Общая теория относительности всё ещё управляет орбитами планет» или «Теория Флогистона остаётся ложной»? То есть, как только сенсационное открытие становится устоявшейся наукой, оно уже перестаёт быть горячей новостью. А «достойная репортажа» наука часто основана на мельчайшем количестве доказательств и в половине случаев ложна – если бы она не была спорой и не находилась на краю научного знания – она бы не была горячей новостью.

Научные споры - это проблемы настолько сложные, что даже люди, потратившие годы на изучение конкретно этой области, легко могут запутаться. Это и является причиной горячих обсуждений, которые привлекают всё внимание СМИ.

Что ещё хуже, если ты не являешься учёным этой области и не участвуешь в игре, эти споры даже не приносят тебе удовольствия.

Ну, конечно, ты можешь повеселиться, выбрав сторону в споре. Но то же самое ты можешь сделать и на футбольном матче(english). Это не то, в чём заключается удовольствие от науки.

Читая хорошо написанный учебник, ты получишь: Аккуратно сформулированные объяснения для начинающих учеников, шаг за шагом выведенную математику (где она используется), большое количество экспериментов процитированных в качестве наглядного материала (где они применяются), тестовые задания на которых ты можешь продемонстрировать только что полученные знания, а ещё достаточно хорошую гарантию того, что то, что ты учишь - на самом деле верно.

Читая пресс релизы, ты обычно получаешь: ложные объяснения, которые не дают тебе ничего кроме заблуждения об обсуждаемом результате, который к тому же вероятно никто ещё и не сможет повторить.

Современная наука построена на открытиях, построенных на открытиях, построенных на открытиях, и так далее, вплоть до людей вроде Архимеда, которые открыли факты, наподобие причины плавания кораблей. Вплоть до открытий, которые ты сможешь понять, даже ничего не зная о других открытиях. Самое лучшее место, с которого стоит начинать путешествие - это начало.

Не надо стесняться читать научные книги для начинающих. Если ты хочешь притвориться утончённым знатоком, пойди и почитай детектив. Если ты просто хочешь получить удовольствие - помни, что простота находится в самом центре научной красоты.

Думать, что ты можешь сразу же отправиться на границу существующих знаний, когда ты не знаком с устоявшейся наукой - это примерно как…

…как пытаться взобраться по верхней половине Эвереста (а это единственная его часть, которая тебе интересна) встав у подножия горы, приседая, и подпрыгивая очень старательно (чтобы пропустить все неинтересные части)

Я, на самом деле, не пытаюсь сказать, что на научные разногласия вовсе не надо обращать внимания. Если 40% онкологов считают, что белые носки вызывают рак, а другие 60% яростно с ними спорят - это важный факт и о нём стоит знать.

Просто не надо жить, думая, что наука должна быть спорной (controversial) для того, чтобы быть интересной.

Или, более того, что наука должна быть современной, для того, чтобы быть интересной. Стабильная подпитка научными новостями тебе вредит: ты - то, что ты ешь. И если ты потребляешь только новостные доклады о ненадёжных ситуациях, без добротных учебников время от времени, то мало того, что ты ничего особенно знать не будешь, тебе ещё и будет с каждым днём всё сложнее и сложнее что-нибудь настоящее узнать.

Часть подцепочки Удовольствие во «всего лишь» реальном, цепочки Редукционизм.

Священная обыденность

Элиезер Юдковский

Я читал (перевалив уже примерно за половину) книгу Адама Франка «Постоянный огонь» в подготовке к диалогу с ним на Bloggingheads. Его книга о восприятии священного. Я обычно не упоминаю об этом, но конечно же мне знаком опыт, о котором говорит Франк. Это то, что я ощущаю, когда смотрю видео о запуске космического шаттла; или то чувство — в меньшей степени, поскольку этом мире это слишком распространено — когда я смотрю на звезды в ночи и думаю, что они значат. Или о рождении ребенка, скажем. О том, что важно для Развертывающейся Истории.

Адам Франк считает, что такой опыт является тем, что является общим для науки и религии. В отличие от достоинства быть человеком, которое религия портит.

«Постоянный огонь» цитирует Уильяма Джеймса, Вариации Религиозного Опыта:

Религия…должна означать для нас ощущения, действия и опыт отдельных людей в их уединении; насколько они ощущают себя едиными с тем, что полагают как священное.

И эта тема развивается далее в мысль о том, что святость есть нечто личное и отдельное.

Что совершенно ошеломило меня. Предполагается, что у меня нет какого-либо чувства святости, если я один из множества людей, смотрящих о том, как космический корабль успешной стартует? Почему нет? Предполагается думать, что мой опыт святости должен как-то отличаться ото всех смотрящих это людей? Почему, когда у нас у всех мозги одной и той же модели? В самом деле, почему бы мне нужно верить, что я уникален? (но «уникален» это другое слово, которое использует Адам Франк; так-то «уникальный опыт святости».) Это ощущение личное в том же смысле, в каком мы испытываем трудности, передавая любой опыт? Тогда почему делать акцент на святости, а скажем не на насморке?

Озарение пришло ко мне, когда я понял что вижу трюк Эпистемологии Темной Стороны — если вы сделаете нечто личным, это защитит его от критики. Вы сможете говорить «Вы не можете критиковать меня, поскольку это личное для меня, внутренний опыт, к которому у вас никогда не будет доступа, чтобы вы могли поставить его под вопрос».

Но ценой такой защиты себя от критики является то, что вы впадаете в одиночество — то самое, которым Уильям Джеймс так восхищался в качестве ядра религиозного опыта, словно бы одиночество это хорошая штука.

Такие реликвии Эпистемологии Темной стороны — ключ к пониманию множества путей, которыми религия выворачивает опыт святости:

Загадочность — почему священное должно быть загадочным? Запуск космического шаттла обходится без этого. Насколько меньше бы я ценил звезды, если бы не знал что они такое на самом деле, если бы они были для меня всего лишь точками в ночном небе? Но если ваши религиозные убеждения ставятся под вопрос — если кто-то спрашивает «Почему Бог не вылечивает людей, которые потеряли конечности?» — тогда вы отступаете и говорите глубокомысленным тоном «Это священная тайна!». Есть вопросы, которые не стоит спрашивать, и ответы, которые не должны быть подтверждены, чтобы защитить ложь. Таким образом невозможность получить ответ начинает ассоциироваться со святостью. И цена защиты себя от критики здесь — отказ от подлинного любопытства, которое искренне желает найти ответы. Вы поклоняетесь собственному невежеству вопросов вашего поколения, на которые временно нет ответов — возможно включая те, ответы на которые уже есть.

Вера — в ранние дни религии, когда люди были более наивны, когда даже самые умные парни на самом деле верили во все это, религия основывала свою репутацию на доказательствах чудес в своих священных писаниях. Христианские археологи искренне ожидали найти остатки Ноева Ковчега. Но когда таковых не оказалось, религия сделала то, что Уильям Бартли называл убежищем в долге, «Верю, потому что верю!». Таким образом убеждение без хороших свидетельств стало ассоциироваться с опытом священного. И цена за защиту себя от критики здесь то, что вы принесли в жертву свою способность думать ясно о том, что является священным, и развиваться в своем понимании священного, отказываться от ошибок.

Эмпиризм — если раньше вы думали, что радуга это священный мост между Богом и человечеством, а потом начали понимать, что Бога не существует, тогда вы можете сделать отступление к чистому опыту — хвалить себя за переживание таких чудесных ощущений, когда вы думаете о Боге, в независимости от того, существует он или нет. Здесь ценой является солипсизм: ваш опыт лишен связей с чем-либо. Каким ужасным чувством пустоты должно быть наблюдать подъема космического шаттла на струе пламени и говорить себе «Но на самом деле не имеет значения, существуют ли шаттлы, пока я ощущаю, что да».

Отделение — если область священного не подпадает под обычные правила свидетельств или возможность исследования обычными средствами, тогда она должны быть различной по природе с обычной материей; и тогда мы менее склонны думать о космическом шаттле как о кандидате на священность, поскольку это работа обычных человеческих рук. Китс потерял свое восхищение радугой и низвел ее до «скучного перечисления обычных вещей» за преступление, что ее состав и стурктура известны. Цена этого способа защищать себя от критики — потеря священности всех более-менее обычных вещей.

Личный опыт — об этом я уже говорил.

Такие искажения это причина тому, что мы даже не должны пытаться спасать религию. Нет, даже в форме «духовности». Отбросить общественные институты и фактические ошибки, отказаться от церквей и писаний — и вы окажетесь с…со всей этой чепухой про загадочность, веру, солиптический опыт, личное одиночество и неоднородностью.

Изначальная ложь — только начало проблемы. Дальше у вас есть все плохие привычки мышления, которые эволюционировали для защиты этой лжи. Религия это кубок с ядом, из которого мы должны постараться не испить. Духовность — это тот же кубок, из которого вытащили остатки яда, и в котором остался только растворившийся яд — намного менее летально, но все еще лучше бы не пробовать.

Когда ложь защищается веками, подлинное происхождение болезненных привычек теряется в тумане, под множеством слоев недокументированной болезни; и тогда, думаю, мудрее будет начать с нуля, а не пытаться избирательно отказываться от исходной лжи и сохранять привычки мышления, что защищали ее. Просто признайте, что вы неправы, сдайтесь полностью, прекратите защищать ошибку, хватит пытаться говорить, что вы «чуть-чуть правы», не пытайтесь сохранить лицо, просто скажите «Ой!», отбросьте все это и начните заново.

Эта возможность — подлинно, по-настоящему, без защиты, признать что ты полностью неправ — то, почему религиозный опыт никогда не будет похож на научный. Нет религии, что смогла бы вместить ее без того, чтобы не потерять себя полностью, став просто человечностью…

…с возможностью смотреть на звезды. Правдоподобной без напряжения, без постоянной борьбы по отвлечению внимания от контрсвидетельств. По-настоящему существующей в мире, опытом, соединенным с реальностью, единой с развертывающейся историей. Познаваемой без угроз, предлагающей подлинную пищу для любопытства. Разделенной со всеми теми, кто тоже смотрит на звезды, не имеющей нужды в бегстве в личный опыт. Сделанной из того же материала, что и вы сами и все остальное. Самой святой и прекрасной, священной обыденностью.

Физикализм для продвинутых

Рука или пальцы

Элиезер Юдковский

Вернёмся к нашей изначальной теме: Редукционизму и ошибке проецирования ума. Иногда люди считают, что классными могут быть лишь фундаментальные штуки, и тогда им сложно принять редукционизм на эмоциональном уровне. Но такая позиция лишит нас возможности наслаждаться чем-либо сложнее кварка, так что я предпочитаю отбросить её.

Напоминаю, что основной тезис редукционизма состоит в том, что хотя мы и используем многоуровневые модели для упрощения вычислений, физическая реальность состоит лишь из одного уровня.

Сегодня же я бы хотел предложить вам следующую загадку: Когда вы берёте стакан воды, его берёт ваша рука?

Большинство людей, конечно же, наивно ответят: «Да».

Однако недавно учёные совершили невероятное открытие. Оказывается, стакан держит вовсе не рука. На самом деле, его держат ваши пальцы и ладонь.

Да, я знаю, меня это тоже потрясло. Но оказалось, что когда учёные измерили силы, приложенные к стакану каждым из ваших пальцев и ладонью, то они не обнаружили никакой дополнительной силы. Таким образом, сила, прикладываемая вашей рукой, должна быть равна нулю.

Идея здесь в том, что когда вы можете увидеть (а не просто знать), как более высокий уровень редуцируется к более низкому, они не будут казаться вам отдельными местами на вашей карте. Вы сможете увидеть, насколько глупо думать, что пальцы могут быть отдельно от вашей руки. Вы сможете увидеть, насколько глупо спорить о том, берёт ли стакан ваша рука или же ваши пальцы.

Ключевое слово: «увидеть». Важна непосредственная визуализация. Когда вы представляете руку, вы также представляете и пальцы, и ладонь. И наоборот, представив ладонь и пальцы, вы поймёте, что это рука. Таким образом, высокий и низкий уровни вашей карты внутри вашего разума окажутся тесно связаны.

В реальности, конечно же, эти уровни связаны ещё теснее — самым тесным из возможных способов: физической идентичностью. Это можно увидеть. Вы можете увидеть, что слова (1) «рука» или же (2) «пальцы и ладонь» относятся не к различным объектам, а всего лишь к различным точкам зрения.

Но представим, что вам не хватает знаний, чтобы настолько тесно связать уровни вашей карты. Например, предположим, у вас был бы «детектор руки», который отображал бы «руку» как точку на карте (как на старых дисплеях радаров), и аналогичные детекторы для пальцев и ладони. Тогда бы вы видели множество точек вокруг руки, но вы могли бы представить, как точка-рука передвигается отдельно от остальных. Таким образом, несмотря на то, что физическая реальность руки (того, чему соответствует точка) идентична/строго состоит из физических реальностей пальцев и ладони, вы бы не смогли увидеть этот факт. Даже если бы кто-то сказал вам, или же если бы вы сами догадались, глядя на совпадение в расположении точек, вы бы только знали о факте редукции, но не могли бы его увидеть. Вы все ещё могли бы представить как точка-рука двигается отдельно, хотя это было бы физически невозможным, при условии, что физическое устройство детекторов остаётся неизменным.

Или же, на ещё более низком уровне связности, люди могли бы просто сказать вам «Вон там рука, а вон там пальцы». И у вас было бы информации не больше, чем у старомодного ИИ, воспринимающего ситуацию, используя Лисп-токены с говорящими названиями. Не было бы никакого очевидного противоречия в допущении:

|—Внутри(Комната,Рука)

|—~Внутри(Комната,Пальцы)

Потому что вы бы не обладали знанием, что:

|—Внутри(x, Рука)—> Внутри(x,Пальцы)

Из этого не следует, что рука на самом деле может отсоединиться от пальцев и подобно призраку красться по комнате. Просто у старомодного ИИ с таким устройством нет возможности это понять. Карта — это не территория

В частности, не следует делать слишком много выводов из того, что выглядит умозрительно возможным, ведь разум отдельного воспринимающего субъекта может отделить руку от составляющих её элементов: пальцев и ладони. Умозрительная возможность это не то же самое, что логическая и уж тем более физическая возможность. Вероятно, вы считаете умозрительно возможным, что 235757 — простое число, потому что вы не знаете наверняка. Но логически невозможно, чтобы 235757 было простым числом. Будь вы логически всеведущими, то для вас было бы очевидным, что 235757 составное (и вы бы знали его множители). Вот почему мы используем понятие «невозможных возможных миров»: чтобы рассуждать о вероятностных распределениях по высказываниям, которые на самом деле могут быть или не быть логически возможными.

И легко вообразить философов, критикующих «элиминативных пальцеристов», которые противоречат непосредственному факту личного опыта. Мы ведь можем чувствовать, что наша рука держит стакан. Таким образом, допущение, что «руки» на самом деле не существуют, должно очевидно привести к тому, что стакан упадёт и разобьётся. Также легко вообразить философов, предполагающих существование «межпальцевых связывающих законов», чтобы объяснить, как специфическая конфигурация пальцев порождает существование руки — с дополнением, разумеется, что хотя наш мир и включает в себя эти конкретные «связывающие законы», умозрительно они могли бы быть другими и, таким образом, не являются ни в коем смысле обязательными фактами, и так далее.

Всё это случаи ошибки проецирования ума, и то, что я называю «наивным философским реализмом» — озадаченность философской интуиции касательно прямой, проверяемой информации о реальности. Ваша неспособность представить что-то — всего лишь вычислительный факт о том, что ваш мозг может и не может представить. Другой мозг может работать иначе.

Злые атомы

Элиезер Юдковский

Фундаментальная физика — кварки и всё такое — очень далека от тех уровней, который мы можем увидеть, вроде рук и пальцев. В лучшем случае, вы знаете, как повторить эксперименты, показывающие, что ваша рука (как и всё остальное) состоит из кварков, и знаете, как вывести несколько уравнений, описывающих атомы, электронные облака, молекулы и прочие подобные штуки.

В худшем случае, существование кварков внутри вашей руки — это какое-то утверждение, которое вам сказали. В таком случае встаёт вопрос, в каком смысле вы вообще можете сказать, что «знаете» об этом, пусть даже вы используете то же слово «кварк», которое использовал бы физик, чтобы передать знание другому физику.

В любом случае, вы не можете действительно увидеть общность между уровнями — ни у кого нет настолько большого мозга, чтобы представить несколько чисел Авогадро кварков и заметить, как они складываются в руку.

Но мы, по крайней мере, понимаем, что руки делают. Руки могут давить на объекты, прикладывая к ним силу. Когда нам рассказывают об атомах, мы представляем маленькие бильярдные шары, стукающиеся друг о друга. Кажется очевидным, что «атомы» тоже могут толкать объекты, врезаясь в них.

Подобное представление об атомах не вполне корректно. Однако человеческое воображение позволяет относительно просто представить, что наша рука сделана из маленькой галактики кружащих бильярдных шариков, давящих на вещи, когда наши «пальцы» касаются их. Демокрит представил это 2400 лет назад, и какое-то время (примерно в 1803-1922 годах)Наука считала, что он был прав.

Но как насчёт, например, злости?

Как маленькие бильярдные шарики могут злиться? На бильярдных шарах появляются маленькие хмурые лица?

Представьте себя на месте охотника-собирателя — кого-то, кто даже не имеет представления о письме, не говоря уже о том, чтобы использовать материю для вычислений, кого-то, кто не имеет не малейшего понятия, что существует такая штука, как нейроны. Тогда вы сможете представить функциональный разрыв, который ваши предки могли видеть между маленькими бильярдными шарами и «Гррр! Аргхх!»

Забудьте на минуту о субъективном опыте и подумайте о разрыве между злостью и бильярдными шарами на уровне поведения. О разнице между тем, что делают бильярдные шарики и что заставляет делать людей злость. Злость может заставить человека поднять кулак и ударить кого-то, или говорить подлости за спиной, или подкинуть ночью скорпионов в чью-то палатку. А бильярдные шарики просто толкают предметы.

Попробуйте поставить себя на место охотника-собирателя, который никогда не испытывал «Ага!» от обработки информации. Постарайтесь избегать предвзятости послезнания насчёт таких вещей как нейроны и компьютеры. Только тогда вы сможете увидеть эту непреодолимую для объяснений пропасть.

Как можно объяснить злое поведение при помощи бильярдных шаров?

Ну, очевидное материалистическое предположение заключается в том, что маленькие бильярдные шарики толкают вашу руку и заставляют ударить кого-то, или же толкают ваш язык, чтобы получилось оскорбление.

Но откуда бильярдные шарики знают, как это делать — в смысле, как заставить ваш язык или пальцы следовать длительному плану, — если сами они не злятся?

И к тому же, если вы не увлеклись — о, боже! — сциентизмом, вы и сами благодаря своим ощущениям поймёте, что это объяснение очевидно ложно. Атомы могут толкать вашу руку, но они не могут заставить вас чего бы то ни было хотеть.

Кто-нибудь заметит, что вас может разозлить употребление вина. Но кто сказал, что вино состоит исключительно из бильярдных шариков? Может быть, в вине просто содержится эссенция злости?

Очевидно, что редукционизм — это ошибочная концепция.

(Ученик в отчаянии восклицает: «Искусство подвело меня». Мастер в отчаянии восклицает: «Я подвёл своё искусство».)

Что нужно, чтобы преодолеть этот разрыв? Не достаточно просто идеи «нейронов», «обрабатывающих информацию». Если вы скажете лишь эти слова и ничего более, в вашей модели лишь появится магическое, необъяснимым образом соединяющее уровни правило, благодаря которому вы переходите от шариков к мыслям.

Однако настоящий шаг по преодолению этого разрыва проделал разработчик искусственного интеллекта, который знает, как создать программу, играющую в шахматы. Если вы понимаете такие концепции как консеквенциализм, обратная цепочка рассуждений, функции полезности и деревья поиска, вы можете заставить планировать механическую (основанную исключительно на причинно-следственных связях) систему.

Делается это так. Для каждого возможного хода в шахматах, вычислите возможные ходы своего противника, затем свой ответ на эти ходы и так далее. Оцените позицию, получившуюся в результате самого далёкого хода, до которого вы в состоянии досчитать, с помощью какого-нибудь простого алгоритма (можно просто подсчитать материал [Общую стоимость фигур и пешек каждой стороны. — Прим.перев.]). Затем вернитесь назад и с помощью минимакса найдите лучший возможный ход для текущей позиции. Сделайте этот ход.

В более общем случае: если у вас в разуме есть цепочки причинно-следственной связи, в какой-то степени являющиеся отображением — зеркалом, эхом — действительности, то вы можете посчитать функцию полезности от исходов, которые предоставляет вам ваше воображение, выбрать действие, которое приведёт к исходу, полезность которого высока, и совершить это действие. Цепочки причинно-следственной связи в вашем разуме, соответствующие внешнему миру, не обязаны быть сделаны из бильярдных шариков, вокруг которых есть маленькие ауры намерений. Deep Blue будет работать и без изображений маленьких шахматных фигурок на его транзисторах. Также читайте эссе «Простая истина».

Эти рассуждения всё равно являются очень сильными упрощениями, но по крайней мере они должны сократить разрыв. Если вы всё это понимаете, вы видите, как состоящий из материи планировщик под воздействием алкоголя может выдавать более злое поведение. Бильярдные шарики алкоголя толкают бильярдные шарики, составляющие функцию полезности.

Но даже если вы знаете, как написать небольшие ИИ, вы не можете представить общность уровней между транзисторами и шахматами. Транзисторов слишком много, возможных ходов в шахматах — тоже.

Аналогично, даже если бы вы знали всё о неврологии, вы не смогли бы представить переход от уровня нейронов к уровню злости — не говоря уже о переходе от атомов к злости. Нельзя это увидеть в той же степени, в какой вы способны увидеть руку, состоящую из пальцев и ладони.

Представьте, что учёный-когнитивист заявляет: «Злость — это гормоны». Даже если вы повторите эти же слова, это не значит, что вы преодолели разрыв между уровнями. Вы можете верить в то, что вы в это верите, но это не то же самое, что понять, какое отношение бильярдные шарики имеют к тому, чтобы хотеть кого-то ударить.

В результате, вы приходите к таким интерпретациям как: «Злость это всего лишь гормоны, она вызывается маленькими молекулами, поэтому её нельзя оправдать в каком-либо моральном смысле. И поэтому нужно учиться контролировать свою злость».

Или же: «На самом деле не существует такой вещи как злость — это иллюзия, цитата без референта, вроде миража воды в пустыне или поисков дракона в гараже, которого там нет».

Эти интерпретации — горькие пилюли (впрочем, вы не обязаны их глотать), и поэтому куда легче их провозглашать, чем верить в них по-настоящему.

Мне кажется, это то, что не-редукционисты/не-материалисты думают, что критикуют, когда критикуют материалистов-редукционистов.

Но материализм не настолько прост. Он не сводится к заявлению: «Злость состоит из атомов, вот и всё, вопрос решён». Такое заявление не объяснит, как дойти от бильярдных шариков до драки между людьми. Чтобы начать преодолевать разрыв между уровнями, нужно вникнуть в теорию вычислений, консеквенциализм и деревья поиска.

А по современным стандартам это был ещё довольно простой пример, потому что я специально ограничился вопросом лишь злого поведения. Разговор о поведении не требует понимания того, как алгоритм выглядит изнутри (не нужно преодолеть разрыв между взглядом от первого и от третьего лица) или же умения разрешать неверные вопросы (не нужно распутать места, где ваш собственный разум неверно отражает реальность).

Переход от материальных сущностей, которые гнут и ломают, жгут и роняют, толкают и пихаются, к злому поведению — всего лишь практическая задача для современной философии. Но это очень важная практическая задача. Её можно всецело оценить, лишь когда вы поймёте, насколько сложно её было решить до того, как была изобретена письменность. Когда-то и здесь был разрыв в понимании — хотя сейчас, когда этот разрыв давно и успешно закрыт, в ретроспективе он может быть и незаметен.

Преодолеть разрыв в понимании можно, если принять помощь от науки и не доверять взгляду изнутри, порождённому вашим разумом.

Тепло или движение

Элиезер Юдковский

Завершив предыдущее эссе, я понял, что существует куда более простой пример, как редукционизм преодолевает разрыв между двумя вроде бы разными сущностями: редукция тепла к движению.

Сегодня, задним числом, эквивалентность тепла и движения многим кажется совершенно очевидной. Раз уж все говорят, что «тепло — это движение», то это убеждение не может быть «странным».

Но когда-то кинетическая теория тепла была крайне спорной научной гипотезой. В научном мире господствовали убеждения о теплороде, невесомом веществе, перетекающем из горячих объектов в холодные. А до того основной теорией тепла было: «потому что флогистон!»

Представьте, что вы изучили кинетическую теорию и теорию теплорода совершенно независимо. Теперь вы знаете кое-что о движении: столкновение, упругий отскок, импульс, кинетическая энергия, гравитация, инерция, траектория свободного движения. Также, без какой-либо связи с предыдущим, вы знаете кое-что о тепле: температура, давление, горение, тепловые потоки, двигатели, таяние, испарение.

Такое состояние знаний не просто возможно. Примерно такие знания были у Сади Карно, который, исходя исключительно из теории теплорода, придумал идею цикла Карно — тепловой машины максимально возможной эффективности, из существования которой следует второй закон термодинамики. И это в 1824 году, когда кинетика была уже высокоразвитой наукой.

Представьте, что, как и Карно, вы знаете многое о движении и знаете многое о тепле, но для вас это разные сущности. Для вас это разные части знания — в вашем мозге есть отдельные корзины для убеждений о движении и для убеждений о тепле. Но изнутри при таком состоянии кажется, будто в окружающем мире есть движущиеся объекты и горячие объекты, будто в окружающем мире движение и тепло — независимые свойства материи.

И вдруг к вам является физик из будущего и говорит: «Где тепло, там и движение, и наоборот. Вот почему, например, два предмета нагреваются при трении друг о друга».

Есть (как минимум) две возможные интерпретации утверждения: «Где тепло, там и движение, и наоборот».

Во-первых, вы можете предположить, что движение и тепло существуют отдельно друг от друга. Что теория теплорода верна, однако среди законов нашей вселенной существует «связывающий закон», согласно которому, когда объекты быстро двигаются, возникает теплород. И наоборот, другой связывающий закон утверждает, что теплород может давить на объекты и заставлять их двигаться, и именно поэтому горячий газ оказывает больше давления на своё окружение (таким образом, позволяя паровой машине использовать пар, чтобы двигать поршень).

Во-вторых, вы можетепредположить, что тепло и движение в некотором, хотя и пока ещё таинственном смысле, — это буквально одно и то же.

«Бессмыслица», — скажет Первый Мыслитель, — «у слов „тепло“ и „движение“ — разные значения. Поэтому мы и используем два разных слова. Мы знаем, как определить, стоит ли рассуждать о наблюдаемом явлении как о «тепле»: тепло может плавить объекты или воспламенять их. Мы знаем, как определить, что объект „быстро двигается“: он меняет своё положение в пространстве, и когда он столкнётся с препятствием, он может треснуть или деформироваться. Тепло имеет отношение к изменению вещества, движение же — к изменению местоположения и формы. Утверждать, что эти два слова имеют одно и то же значение, значит, банально вводить себя в заблуждение».

«Невозможно», — скажет Второй Мыслитель. — «Не исключено, что в нашем мире тепло и движение связывают какие-то законы, в смысле, существуют законы физики, согласно которым движение создаёт тепло и наоборот. Но я легко могу вообразить мир, где трение не нагревает предметы, а газы при высоких температурах не создают больше давления. И раз существуют возможные миры, где тепло и движение не связаны, то тепло и движение должны быть разными свойствами — это истинно априори».

Первый Мыслитель путает цитату и референт. 2 + 2 = 4, но «2 + 2» ≠ «4». Строка «2 + 2» содержит пять символов (включая пробелы), а строка «4» содержит лишь один. Если ввести обе строки в интерпретатор питона, они выведут один и тот же результат >>> 4. Таким образом, если вы видите строки «2 + 2» и «4», нельзя заключить, что из различия этих строк следует, что они должны иметь различное «значение» согласно интерпретатору питона.

Можно сказать, что слова «тепло» и «кинетическая энергия» «указывают на» одно и то же явление, даже если мы пока не знаем, как именно тепло сводится к движению. В смысле, пусть мы не знаем, какие именно объекты находятся по ссылкам, но это совпадающие объекты. Можете вообразить идеальный всеведущий интерпретатор науки, который выведет один и тот же результат, когда мы вводим в командную строку «тепло» и «кинетическая энергия».

Я использую метафору интерпретатора науки, чтобы акцентировать внимание на том, что для разыменовывания указателя приходится выйти за пределы мышления. Конечным результатом разыменовывания является нечто, находящееся в реальности, не в чьём-либо уме. Так можно сказать «настоящий референт», но нельзя непосредственно вычислить значение этих слов изнутри собственной головы. Нельзя мыслить, используя настоящий референт тепла. Если бы вы размышляли, используя настоящее тепло, то мысль «один миллион Кельвинов» тут же испарила бы ваш мозг. Однако, формируя убеждение о своём убеждении о тепле, вы можете рассуждать о вашем убеждении о тепле, и делать утверждения вида: «Возможно, что мое убеждение о тепле не слишком соответствует настоящему теплу». Вы не можете по-настоящему сравнить своё убеждение о тепле и настоящее тепло внутри своего разума, но вы можете рассуждать об этом сравнении.

Таким образом, вы можете сказать: «Мои убеждения о тепле и движении — это разные убеждения, но, возможно, что настоящие тепло и движение — это одно и то же явление». Приведу аналогию: можно додуматься до идеи, что «утренняя звезда» и «вечерняя звезда», вероятно, одна и та же планета, и при этом понимать, что нельзя это определить точно, лишь анализируя свои убеждения, — вам потребуется найти телескоп.

Аналогично можно разобрать ошибку Второго Мыслителя. Физик сказал ему: «Где тепло, там и движение», и мыслитель воспринял это утверждение как физический закон: «наличие теплорода порождает движение». Физик же на самом деле подразумевал что-то похожее на дедуктивное правило: «если вам говорят, что где-то есть „тепло“, автоматически выводите наличие там „движения“ ».

Из подобной проекции многоуровневой модели на многоуровневую реальность вытекает ещё одна, отдельная ошибка: неспособность отделить умозрительную возможность от логической. Сади Карно мог допустить существование другого мира, где тепло и движение не связаны друг с другом. Для Ричарда Фейнмана, точно знающего, как из уравнений движения выводятся уравнения тепла, такая идея не просто невообразима, но и настолько внутренне противоречива, что попытка её представить может взорвать мозг.

Отдам должное философам — некоторые из них упоминали подобные проблемы. Например, Хилари Патнэм, автор мысленного эксперимента «Земля-Близнец», писал12:

Как только мы открыли, что вода (в действительном мире) есть H2O, ни один мир, где вода не есть H2O, не может рассматриваться как возможный. В частности, если «логически возможное» утверждение — это утверждение, истинное в некотором «логически возможном мире», то утверждение «вода не есть H2O» не является логически возможным.

С другой стороны, вполне можно представить себе, что опыт убедит нас (и придаст рациональный характер нашей вере в то), что вода не есть H2O. В этом смысле мыслимо, что вода не есть H2O. Мыслимо, но не логически возможно! Быть мыслимым не значит быть логически возможным.

Мне кажется, что слово «вода» в этих двух параграфах используется в разных смыслах — в одном случае «вода» относится к данным, которые мы вводим в интерпретатор науки, а в другом «вода» относится к тому, что мы получим из интерпретатора науки, введя туда слово «вода». В первом параграфе, Хилари, как я понимаю, утверждает, что после того, как были произведены эксперименты и обнаружено, что вода это H2O, вода немедленно переопределяется так, чтобы и означать буквально H2O. Но вы могли бы непротиворечиво поддерживаться иной позиции касательно того, означает ли слово «вода» «H2O» или же «то, что на самом деле находится в этой бутылке», до тех пор пока вы используете свои определения последовательно.

Полагаю, вышенаписанное тоже уже неоднократно повторялось? Так или иначе…

Вполне вероятно, что если в мире существует некая единая сущность, которая принимает достаточно различные формы, а вы при этом недостаточно разбираетесь в редукции, то вам будет казаться, что в мире присутствуют две разных сущности. Знания, относящиеся к этим двум разным явлениям, вероятно, отнесут к разным учебным дисциплинам и их будут изучать два разных научных направления, расположенные в разных зданиях вашего университета.

Чтобы вспомнить, насколько разными когда-то казались тепло и движение, приходится настраиваться на соответствующий исторический контекст. Не исключено, что есть способ легче — в зависимости от того, сколько вы уже знаете, — если вы в состоянии игнорировать давление привычного (например, фраза «тепло — это движение» сейчас звучит не странно, а «тепло — это не движение» — странно). В смысле предположим, что завтра физики объявят: «В популярных книгах о науке всегда было одно ложное утверждение. На самом деле тепло не имеет ничего общего с движением». Смогли бы вы доказать, что они неправы?

Сказать: «Возможно, тепло и движение — это одно и то же!» — легко. Сложно — объяснить, как это. Нужно очень много знаний, чтобы дойти до того уровня, когда вы уже не сможете представить мир, в котором эти два явления могут существовать по отдельности. Редукция не дёшева, и потому она даёт столь многое.

Или, возможно, стоит переформулировать так: «Редукционизм — это легко, редукция — вот что сложно». Но весьма помогает быть редукционистом, когда дело доходит до поиска редукции.

1.Hilary Putnam, “The Meaning of Meaning,” in The Twin Earth Chronicles, ed. Andrew Pessin and Sanford Goldberg (M. E. Sharpe, Inc., 1996), 3–52.

2.Русский перевод цитируется по изданию Патнэм Х. «Философия сознания» — М.: Дом интеллектуальной книги, 1999, перевод Макеевой Л. Б., Назаровой О. А., Никифорова А. Л. — Прим.перев.

Когда антропоморфизм стал глупым

Элиезер Юдковский

Оказывается, большинство вещей во вселенной неразумны.

Это утверждение вызвало бы недоверие во множестве ранних культур. В те времена был распространён анимизм: вера в то, что деревья, камни, реки и холмы — всё имеет души, потому что, а почему бы собственно и нет?

Если эти куски плоти, называемые людьми, способны мыслить, то почему то же самое не могут делать и куски дерева?

Мои мышцы двигаются согласно моей воле, а вода течет по реке. Кто может утверждать, что река не повелевает движением воды? Река вытекает из берегов и затапливает место стоянки моего племени. Почему бы не предположить, что река разозлилась, раз она направила часть себя, чтобы навредить нам? Ведь именно это мы подумаем, когда чей-то кулак ударит в наш нос.

Нет никакой очевидной (для охотника-собирателя) причины, почему это невозможно. Это может показаться глупой ошибкой, только если путать глупость со странностью. Естественно, убеждение, что у рек есть духи, кажется нам «странным», ведь в нашем племени нет таких убеждений. Но нет ничего очевидно глупого в том, чтобы считать, что в движущейся воде есть духи, как и в движущихся кусках плоти.

Если бы эта идея была очевидно глупой, никто бы в неё и не поверил. Как, например, долгое время никто не верил в очевидно глупую идею, будто бы Земля движется, хотя всё выглядит так, будто она совершенно неподвижна.

Разве это так уж очевидно, что деревья не могут мыслить? Не будем забывать, что деревья вообще-то наши дальние родственники. У нас есть общий предок с папоротником, надо просто отойти подальше в прошлое, чтобы его найти. Если куски плоти могут мыслить, то почему не могут куски дерева?

Чтобы было очевидным, что древесина не может мыслить, нужно принадлежать к культуре, у которой есть микроскопы. Причём хорошие микроскопы.

Аристотель считал, что мозг — это орган для охлаждения крови. (Хорошо, что наши убеждения о работе нашего мозга практически не влияют на его работу).

Египтяне выкидывали мозг в процессе мумификации.

Вместилищем интеллекта мозг назвал Алкмеон Кротонский, пифагореец пятого века до нашей эры. Он отследил путь оптического нерва от глаза к мозгу. Но при тех свидетельствах, которыми он располагал, это была всего лишь догадка.

Когда центральная роль мозга перестала быть лишь догадкой? Я не знаю историюдостаточно хорошо, чтобы ответить на этот вопрос. Вероятно, даже нельзя выделить какую-то ключевую точку. Быть может, стоит объявить ей тот миг, когда кто-то проследил анатомию нервов и заметил, что отделение их от мозга приводит к потере способности двигаться и чувствовать?

Но даже в этом случае причиной остаётся лишь таинственный дух, движущийся по нервам. Кто может утверждать, что древесина и вода, пусть даже они и не содержат этих маленьких нитей, которые есть в человеческом теле, не способны переносить этот мистический дух каким-то другим способом?

Я потратил некоторое время на поиски в Сети, чтобы выяснить точно, когда кто-то обратил внимание на очень запутанную внутреннюю структуру нейронов мозга и воскликнул: «Эй, спорим, этот гигантский клубок занимается обработкой сложной информации!» Я не преуспел в своих поисках. (Это не Камилло Гольджи — связность нейронов была известна и до него). Возможно, здесь также не было единственного переломного момента.

Однако я бы сказал, что антропоморфизм постепенно начал становиться ошибочным именно с открытия этой связности, а также с появлением теории естественного отбора Чарльза Дарвина и идеи, что мышление — это вычисление.

Именно в это время стало возможным посмотреть на дерево и сказать: «Я не вижу в биологии дерева органа, который занимался бы обработкой сложной информации. По поведению дерева тоже не заметно, что у него есть подобный орган. А если он спрятан настолько, что не влияет на поведение дерева, как естественный отбор мог бы привести к его появлению?»

Именно в это время стало возможным посмотреть на реку и сказать: «В воде нет элементов, которые воспроизводились бы на протяжении множества поколений с некоторыми отличиями, которые могли бы обеспечить естественный отбор. Откуда у реки может появиться структура, сравнимая с мозгом по сложности и функциям?»

Именно в это время стало возможным посмотреть на атом и сказать: «Злость кажется очень простым явлением, но на самом деле она устроена сложно. В таком простом объекте как атом для неё нет места, разве что внутри кварков существует целая неизведанная вселенная субчастиц. Но даже в таком случае, раз мы никогда не наблюдали каких-либо признаков атомной злости, эта вселенная никак не влияла бы на известные нам высокоуровневые явления».

Именно в это время стало возможным посмотреть на щенка и сказать: «Родители щенка могут прижать его к земле, когда тот совершит что-то неправильное, но это не значит, что щенок способен на размышления о морали. Согласно нашим нынешним теориям эволюционной психологии, способность к моральным рассуждениям возникает, как ответ на более сложные социальные испытания. Развитая мораль, которая появилась у нас, — это результат естественного отбора в результате словесных споров о политике племени».

Именно в это время стало возможным посмотреть на камень и сказать: «Тут нет даже простейших поисковых деревьев, какие есть в шахматной программе. Откуда у камня может появиться намерение катиться вниз, как когда-то считал Аристотель?»

Есть известная притча:

Чжуан-цзы и Хуэй-цзы прогуливались по мосту через реку Хао. Чжуан-цзы сказал:

— Как весело играют рыбки в воде! Вот радость рыб!

— Ты ведь не рыба, — возразил Хуэй-цзы. — Откуда тебе знать, в чём радость рыб?

— Но ведь ты не я, — ответил Чжуан-цзы. — Откуда же ты знаешь, что я не знаю, в чём заключается радость рыб?1

Теперь мы знаем.

1.Цитируется перевод с китайского В. В. Малявина по книге Чжуан-Цзы, «Даосские каноны». — Прим.перев.

Априори

Элиезер Юдковский

Традиционная Рациональность сформулирована на языке социальных норм. Нарушение норм трактуется как жульничество: если ты нарушаешь правила, и никто другой этого не делает, значит, ты предаёшь первым, что делает тебя плохим, очень плохим человеком. Для байесианцев, мозг –– это машина для достижения точности: если нарушать принципы рациональности, машина просто не работает — независимо от того, нарушает ли правила кто-то ещё.

Предположим, что Традиционные философы столкнулись с проблемой бритвы Оккама. Если две гипотезы одинаково хорошо удовлетворяют одним и тем же наблюдениям, почему мы должны считать, что с большей вероятностью истинной окажется более простая из них? Наверное, кто-нибудь скажет, что бритва Оккама работала в прошлом и, таким образом, скорее всего, продолжит работать и в будущем. Но, судя по всему, такой аргумент сам является предсказанием на основании бритвы Оккама: предположение «бритва Оккама работает вплоть до 8 октября 2027 года, а затем перестаёт работать» –– более сложная гипотеза, но она также удовлетворяет всем наблюдаемым свидетельствам.

Кто-нибудь скажет, что бритва Оккама — это разумное распределение априорных вероятностей. Но какое распределение оказывается «разумным»? Почему бы не назвать «разумным» очень сложное априорное распределение, при котором бритва Оккама работает во всех предыдущих случаях, но выдаёт ошибки в будущем?

Итак, похоже, не существует способов оправдать использование бритвы Оккама иначе как путём апелляции к бритве Оккама. То есть вряд ли этот аргумент убедит какого-либо судью, который изначально не признает бритву Оккама. (Что общего в словах, выделенных курсивом?)

Если вы философ, который ежедневно лишь пишет статьи, критикует статьи других людей и отвечает на их критику своих статей, вы можете просто взглянуть на бритву Оккама и пожать плечами. Оправдания, споры и риторика здесь заканчиваются. В своём написании статей вы заключаете перемирие: пока ваши приятели-философы не требуют от вас обоснований для ваших не подкреплённых аргументами убеждений, вы не требуете от них обоснований для их не подкреплённых аргументами убеждений. И в качестве символа вашего перемирия — вашего белого флага — вы используете фразу «истинно априори».

Но для байесианца, живущего в нашу эпоху когнитивных наук, эволюционной биологии и Искусственного Интеллекта, слово «априори» совершенно не объясняет, почему мозг-машина работает. Если мозг содержит в себе удивительную «фабрику априорных истин», которая действительно работает, производя точные убеждения, становится любопытно, почему мучимый жаждой охотник-собиратель не может использовать «фабрику априорных истин», чтобы обнаружить источник питьевой воды. Становится любопытно, почему вообще эволюция привела к появлению глаз, если уж существует способ производить точные убеждения без необходимости смотреть на что-либо.

Джеймс Ньюман сказал: «Факт, что яблоко, добавленное к ещё одному яблоку, всегда даёт два яблока, помогает обучать арифметике, однако никак не связан с истинностью равенства 1 + 1 = 2». Согласно Интернет Энциклопедии Философии, априорными называются утверждения, познаваемые независимо от опыта. Википедия цитируетЮма1: к отношениям между идеями «можно прийти благодаря одной только мыслительной деятельности, независимо от того, что существует где бы то ни было во вселенной»2. Можно увидеть, что 1 + 1 = 2, всего лишь подумав об этом и безо всяких яблок.

Но в нашу эру нейронаук следует понимать, что мысли объективно существуют во вселенной. Мысли — это деятельность мозга. Материальные мозги — реальные объекты вселенной — состоят из кварков согласно единой математической физике, законы которой внутри и вне вашего черепа одинаковы.

Когда вы мысленно складываете 1 + 1 и получаете 2, эти мысли представляют собой активацию нейронов. В принципе, мы могли бы экспериментально наблюдать те же самые материальные явления в чужом мозгу. Такой эксперимент потребует некоторого прогресса в вычислительной нейробиологии и нейрокомпьютерных интерфейсах, но, теоретически, он реализуем. Вы могли бы увидеть, как чья-то чужая машина работает в рамках цепочек материальных причин и следствий, чтобы «чисто умозрительно» вычислить, что 1 + 1 = 2. Чем же наблюдение за принципом работы чужого мозга как способ познания отличается от наблюдения за собственным мозгом, решающим ту же задачу? Когда «чистый разум» говорит вам, что 1 + 1 = 2, «независимо от опыта или наблюдений», вы на самом деле наблюдаете за работой вашего мозга в качестве свидетельства.

Если это кажется контринтуитивным, попробуйте рассмотреть разум/мозг как машину, сталкивающую нейронный шаблон единицы с нейронным шаблоном единицы и получающую нейронный шаблон двойки. Если двигатель работает правильно, то он должен производить абсолютно те же самые выходные данные, как если бы он наблюдал (при помощи глаз и сетчатки) за таким же мозгом-машиной, производящей такое же столкновение и копировал себе итоговый шаблон. Проще говоря, для любого априорного знания, полученного силой «чистого разума», вы узнали бы то же самое, если бы пронаблюдали активацию нейронов чужого мозга, в котором нейроны активируются таким же образом. Машины эквивалентны, результаты их работы эквивалентны, убеждения сцеплены с реальностью в той же степени.

Нет ничего, что вы могли бы знать «априори», и при этом не могли бы узнать с тем же уровнем правдоподобия, наблюдая за выбросом нейротрансмиттеров в чьём-то мозгу. Сами-то вы кто, дорогой читатель?

Именно поэтому вы можете предсказать результат сложения 1 яблока и 1 яблока, мысленно представив сначала такое сложение, или же ввести «3 х 4» в калькулятор, чтобы предсказать результат воображения 4 рядов с 3 яблоками в каждом из них. Вы и яблоки существуете в рамках единого универсального физического процесса, и одна его часть может отражать состояние другой.

Являются ли все активации нейронов, которые философы называют «априорными убеждениями», произвольными? Многие алгоритмы ИИ работают лучше с «регуляризацией», сдвигающей пространство решений в пользу более простых решений. Но регуляризованные алгоритмы сложнее сами по себе. Они содержат лишнюю строчку кода (а может и 1000 строчек), по сравнению с нерегуляризованными алгоритмами. Человеческий мозг предвзят в пользу простоты и таким образом мы мыслим более эффективно. Если на данном этапе нажать кнопку «Пренебречь», мы получим сложноустроенный мозг, существующий и работающий без каких-либо причин. Так что не следует называть априорные убеждения произвольными –– они формируются явно не путём генерации случайных чисел. (Что вообще означает слово «произвольный»?)

Даже если другие философы затрудняются с тем, чтобы обосновать свои утверждения, это не позволяет вам называть свои утверждения «истинными априори». Факт, что философ не в состоянии что-то объяснить, не может как обеспечить холодильник электроэнергией, так и создать волшебную фабрику по производству точных убеждений. Пока вы не поймёте, почему машина работает, не может быть ни перемирий, ни белых флагов.

Если выкинуть из головы «обоснования» и «аргументы», становится очевидным, почему бритва Оккама работает на практике: мы живём в простом мире, во вселенной с низкой энтропией, и в ней можно найти простые объяснения. «Но» - воскликнете вы, - «почему сама вселенная устроена таким образом?» Этого я не знаю, но своё незнание я воспринимаю, как следующую тайну, которую необходимо понять. Этот вопрос отличается от: «Как я могу обосновать бритву Оккама для гипотетического собеседника, который её ещё не принял?»

Возможно, вы не сможете убедить в чём бы то ни было гипотетического собеседника, не принимающего бритву Оккама, как не сможете убедить в чём-нибудь камень. Разуму необходимо некоторое количество динамической структуры, чтобы быть способным воспринимать аргументы. Если разум не поддерживает modus ponens, он может целый день принимать «A» и «A → B», но так и не вывести из этого «B». Как можно обосновать modus ponens для разума, который его не поддерживает? Как можно убедить камень стать мозгом?

Мозги эволюционировали из не-мозговой материи путём естественного отбора. Их существование не было оправданно в процессе спора с идеальным студентом философии абсолютной пустоты. Это не делает наши заключения бессмысленными. Мозг-машина может корректно работать, производя точные убеждения, даже если он был всего лишь собран, — не важно, человеческими руками или же совокупным стохастическим естественным отбором — а не появился во вселенной как результат дискуссии. Но чтобы удовлетвориться этим ответом, необходимо воспринимать рациональность на языке машин, а не аргументов.

1.Юдковский ссылается на англоязычную статью, но в настоящее время она тоже не содержит упомянутой цитаты. — Прим.перев.

2.Цитируется перевод С. И. Церетели. — Прим.перев.

Редуктивная отсылка

Элизер Юдковский

Основной тезис редукционизма (в моей формулировке) состоит в том, что человеческий разум ради эффективности использует многоуровневую карту, в рамках которой мы думаем об «атомах» и «кварках», «руках» и «пальцах», «тепле» и «кинетической энергии», как об отдельных сущностях. В то же время, реальность является одноуровневой. Атомы не являются некой дополнительной сущностью, чье влияние на цепочку причин и следствий выходит за рамки кварков.

Сади Карно сформулировал предшественника Второго Закона Термодинамики, используя теорию теплорода, в которой тепло считалось жидкостью, перетекающей из горячих тел в холодные, производимой огнем и заставляющей газы расширяться – свойства тепла изучались отдельно от кинетики задолго до того, как была произведена редукция. Если вам нужно спроектировать паровой двигатель, суммарный эффект всех этих крошечный вибраций и столкновений, что мы называем «теплом», может быть представлен значительно проще, чем при помощи полного квантово-механического описания каждого отдельного кварка. Люди вычисляют эффективно, стремясь к достижению своих целей, мы думаем лишь о том, что в значительной мере влияет на них.

Но сама реальность действительно использует всю квантовую механику кварков. Однажды я встретил человека, считавшего, будто использование Общей Теории Относительности для решения задачи с малыми скоростями, подобным скорости артиллерийского снаряда, даст неверный ответ – он не просто потребует больше вычислений, но будет экспериментально ошибочен – потому что при низких скоростях, артиллерийские снаряды подчиняются Ньютоновской Механике, а не ОТО. Это отличный пример того как физика не работает. Реальность продолжает пользоваться Теорией Относительности, даже когда разница заключена лишь в четырнадцатом знаке после запятой, что человек бы воспринял как бессмысленную трату вычислительных ресурсов. Физика делает все при помощи грубой силы. Еще никто никогда не замечал, чтобы физика упрощала свои вычисления, либо же Властелины Матрицы стирали всем свидетелям память.

В таком случае наша карта очень сильно отличается от территории. Наши карты – многоуровневые, а территория – одноуровневая. И раз представление столь отлично от референта, в каком смысле убеждения вида: «Я ношу носки» может быть истинным, в то время как сама реальность состоит лишь из кварков?

В случае если вы забыли что значит слово «истинный», классическое определение было дано Альфредом Тарским:

Утверждение «снег белый» истинно тогда и только тогда, когда снег белый.

В случае если вы забыли, в чем разница между утверждениями «Я верю в то, что снег белый» и «”Снег белый” – истина», перечитайте Качественное замешательство. Истина не может быть получена лишь путем размышлений – если вы хотите знать, например, является ли истинным утверждение: «утренняя звезда = вечерняя звезда», вам потребуется телескоп, недостаточно лишь изучить сами убеждения.

Вот что упускают постмодернисты, вопрошающие: «Но откуда вы можете знать, что ваши убеждения истинны?» Когда вы проводите эксперимент, вы на самом деле выходите за пределы собственной головы. Вы вступаете в сложное взаимодействие, чей результат причинностно определен предметом рассуждения, а не одними только вашими убеждениями о нем. Я определил «реальность» следующим образом:

В некоторых случаях, когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, даже и тогда случаются сюрпризы. Так что мне нужно по-разному называть те штуки, которые определяют предсказанные мной результаты, и ту штуку, которая определяет опытный результат. Первое я называю «верой», а второе — «реальностью».

Интерпретация вашего эксперимента по-прежнему зависит от ваших исходных убеждений. Я не собираюсь сейчас рассматривать вопрос о том, Откуда Берутся Исходные Убеждения, так как это было бы отступлением от темы эссе. Суть в том, что истина определяется как идеальное сопоставление между убеждением и реальностью. Если мы понимаем, что планеты отличны от убеждений о планетах, мы можем провести такой эксперимент, что позволит проверить, является ли убеждение «утренняя звезда и вечерняя звезда – это одна и та же планета» истинным. Этот эксперимент будет включать в себя использование телескопов, а не одну только рефлексию, так как мы понимаем, что «истина» подразумевает сравнение внутреннего убеждения и внешнего факта. Поэтому мы используем инструмент – телескоп, – наблюдения через который, насколько нам известно, зависят от внешней действительности – планеты.

Убеждение, что телескоп способен помочь нам узнать «истинность» убеждения «утренняя звезда = вечерняя звезда» основывается на нашем предшествующем убеждении о том, как телескоп взаимодействует с планетой. Повторюсь, я не собираюсь рассматривать проблему исходных убеждений в данном эссе, разве что процитирую одну из моих любимых строчек Рэймонда Смаллиана: «Если более умудренный читатель возразит, что данное утверждение является всего лишь тавтологией, то пусть хотя бы отдаст ему должное за внутреннюю непротиворечивость». Аналогично, я нахожу использование телескопа примером не порочного логического круга, а самосогласованности: для любого систематического способа получения истинных убеждений должно существовать рациональное объяснение того, как он работает.

Вопрос, интересующий нас сейчас: Что значит для утверждения «снег белый» являться истинным, когда в реальности существуют лишь кварки.

Хотя сейчас мы и не можем узнать наверняка, непосредственно рассмотрев необходимые нейронные связи, считается, что существует их особый шаблон, объединяющий ваши убеждения о «снеге» и «белизне». Подобные шаблоны нейронных связей в свою очередь представляют собой еще менее известные нам шаблоны кварков. В это же время во внешнем мире молекулы воды, чья температура достаточно низка, формируют повторяющиеся шаблоны кристаллической решетки. Они совершенно не похоже на нейронные узлы. В каком же смысле, сравнение одного (еще и непостоянного) шаблона кварков с другим, может считаться истинностью убеждения «снег белый»?

Очевидно, ни я, ни кто-либо другой не может предложить Функцию Идеального Кваркового Сопоставления, принимающую на вход кварковые описания заключенного в нейронах убеждения (а также всего остального мозга) и снежинки (а также законов оптики), а в качестве результата возвращающей «истинно» или «ложно». Да и не факт что фундаментальный уровень действительно представлен полями частиц.

С другой стороны, выкидывать на помойку все наши убеждения из-за того, что они не представлены в виде огромного набора трудных для восприятия характеристик кварков, которых мы даже не можем увидеть… не кажется такой уж разумной мыслью. Не лучший способ оптимизации ради наших целей.

Мне кажется, что такие слова как «снег» или «белый» могут быть приняты вроде долговой расписки. Это не известное описание того, какие физические конфигурации кварков считаются «снегом», но, тем не менее, есть те вещи, что вы зовете снегом и те, что нет. И, даже если вы пару раз ошибетесь (например, касательно синтетического снега), Идеальный Всезнающий Интерпретатор Науки увидел бы сконцентрированный кластер в центре и переобозначил границы так, чтобы иметь более простые определения.

В одноуровневой вселенной, чей нижний уровень неизвестен наверняка или же слишком обширен для описания, концепции в многоуровневом разуме можно воспринимать как подобные долговые расписки – мы не знаем, к чему именно они относятся. Но, похоже, что мы способны отличить положительные и отрицательные примеры в предсказуемо продуктивной манере, так что мы полагаем: возможно, в некотором общем смысле существует некие отличия в кварках, некие отличия в конфигурациях на фундаментальном уровне, объясняющие отличия в наших ощущениях и, в конце концов, приводящие к тому, что мы говорим «снег» или «не снег».

Я вижу эту белую штуку, одну и ту же в нескольких случаях, так что я предполагаю, существование стабильной скрытой причины в окружающей среде. И я называю эту белую штуку «снег». Таким образом «снег» – это долговая расписка, соответствующая тому, что мы считаем простой границей, проведя которую, удастся очертить незримые причины моего опыта.

Мысленный эксперимент Хилари Патнема (в котором вода это не H2O, а некая иная субстанция, обозначаемая XYZ, со всеми известными нам свойствами, характерными для воды) и последующий за ним философский спор, помогает более явно рассмотреть данную проблему. «Снег» не имеет логического определения, известного нам – он скорее является эмпирически определенным указателем на логическое определение. Это остается истинным, даже если вы считаете, что снег это кристаллы льда, которые в свою очередь являются низкотемпературными молекулами воды. Молекулы воды состоят из кварков. Что если окажется, что кварки состоят из чего-то еще? Тогда, что же такое снежинка? Вы не знаете, но это по-прежнему снежинка, а не пожарный гидрант.

И, конечно же, эти абзацы, что я только что написал, находятся куда выше уровня кварков. «Чувствовать белую штуку, визуально категорировать ее и думать “снег” или “не снег”» – это также говорить о чем-то значительно выше кварков.

Таким образом, мои мета-убеждения также являются долговыми расписками, и Идеальный Всезнающий Интерпретатор Науки знал бы какая конфигурация кварков (или чего бы там ни было), делает мой мозг соответствующим состоянию «верить в то, что снег белый».

Но тогда вся доступная нам реальность состоит из векселей подобного рода. Кто-то мог бы назвать это порочным кругом, я же предпочитаю называть это самосогласованностью.

Это может немного беспокоить – балансировать на шатком эпистемологическом шесте, как в отношении убеждений о реальности, так и рефлексии, высоко над глубокой пропастью неизвестности, лежащей в основе фундаментальной реальности и надеяться не свалиться.

Хотя, если подумать, то разве могло быть иначе?

Таким образом, утверждение «реальность не содержит руки как фундаментальные, дополнительные сущности сверх кварков» совершенно не то же самое что «рук не существует» или «У меня нет рук». Нет никаких фундаментальных рук: руки состоят из ладони и пальцев, которые в свою очередь состоят из мышц и костей, и так далее вплоть до полей элементарных частиц, что являются фундаментальными причинностными сущностями, насколько нам известно.

Это не то же самое, что утверждение «рук не существует». Не то же самое, что «слово “руки” – это долговое обязательство, что никогда не будет оплачено, так как не существует эмпирического кластера, соответствующего ему». Или же «обязательство “руки” никогда не будет оплачено, потому что логически невозможно согласовать все необходимые характеристики». Или «утверждение “люди имеют руки” логически непротиворечиво, но это не то состояние, в котором находится реальность»

Нет. На место того, что мы воспринимаем, как руки, находятся шаблоны, существующие вреальности, у этих шаблонов есть нечто общее, но они не фундаментальны.

Если бы я действительно не имел бы рук – если бы реальность внезапно перешла в то состояние, что мы описали бы как «У Элизера нет рук» – вскоре бы реальность соответствовала состоянию, которое мы бы описали как «Элизер кричит, а кровь хлещет из обрубков его кистей»

И это истинно, даже несмотря на то, что в предложении выше не были указаны какие-либо положения кварков.

Соответственно, предыдущее предложение мета-истинно.

Карта содержит множество уровней, территория – лишь один. Это не значит, что более высоких уровней «не существует», аналогично дракону в гараже или миражу в пустыне. Высшие уровни вашей карты не ложны, не лишены референта: их референты находятся в единственном уровне физики. Если бы «крылья самолета» не существовали – самолет бы упал. «Крылья самолета» явно существуют в многоуровневой модели самолета в голове инженера, а также не явно в квантовой физике реального самолета. Неявное существование не то же самое что несуществование. Точное описание этой неявности не известно нам – оно не является явно представленным на карте. Но это не мешает нашей карте работать или даже быть истинной.

Хотя это и может немного беспокоить. Понимание, что каждое убеждение и концепция в вашем мозгу, включая мета-концепции о том, как работает ваш мозг и почему вы можете формировать корректные убеждения, взгромождены на множество и множество порядков вверх над реальностью…

Зомби! Зомби?

Элиезер Юдковский

«Зомби» в философском значении этого слова – предположительно, существо в точности подобное нам в любом отношении: одинаковое поведение, речь, мозг; каждый атом и кварк находится точно в том же месте и движется согласно тем же законам механики – отличие лишь в том, что зомби не имеет сознания.

Более того, утверждается, что если зомби «возможны» (понятие, остающееся предметом баталий), то, исходя исключительно из нашего знания об этой «возможности», мы можем a priori сделать вывод о вне-физической природе сознания – в значении, описанном далее; стандартное определение для такой точки зрения – «эпифеноменализм».

(Для тех, кто не знаком с зомби, обращаю внимание, что это не «чучело»1. См., например, статью в Стэнфордской философской энциклопедии о зомби. «Возможность» зомби признана существенной частью – вероятно, большинством – академических представителей философии сознания.)

Я где-то прочитал: «Вы не тот, кто произносит свои мысли – вы тот, кто слышит их». В иврите величайшая душа – та, которую Бог вдохнул в Адама – называется Н’шама, «слышащий».

Если вы представляете себе «сознание» как исключительно пассивное слушание, понятие «зомби» изначально кажется легко представимым. Это некто, лишенный «слышащего».

(Предупреждение: впереди много букв. Очень длинная статья из 6600 слов, затрагивающая Дэвида Чалмерса. Ее можно считать моим наглядным контрпримером к Спору с Элиезером, часть 2, где Ричард Чапелл обвиняет меня в том, что я не связываюсь со сложными аргументами настоящих философов.)

Когда вы открываете холодильник и видите, что апельсиновый сок закончился, вы думаете: «Черт, я остался без сока». Звучание этих слов, вероятно, воспроизводится в слуховом отделе коры вашего головного мозга, как будто вы слышите, как кто-то еще сказал это. (Почему я так думаю? Потому что носители китайского языка способны запоминать более длинные последовательности цифр, чем носители английского. Китайские числительные все односложные, и говорящие на китайском могут помнить до 10 цифр, в отличие от известного «7±2» для англоговорящих. Кажется, в «оперативной памяти» слухового отдела коры головного мозга существует самозамкнутая петля из повторяющихся звуков, ограничение по длине которой исчисляется в фонемах.)

Предположим, что сказанное верно; в качестве начального условия это не должно составлять трудности для сторонников зомби. Даже если в отношении людей это неверно, кажется нетрудным вообразить ИИ, разработанный на такой основе (а «возможность вообразить» - это суть спора о зомби). Сказанное не только осознаваемо в принципе – в ближайшую пару десятилетий вполне возможно, что хирурги смогут подключить сеть рецепторов нервных сигналов к слуховой коре и прочитать разворачивающееся в ней повествование. (Исследователи уже подключились к боковому коленчатому ядру2 мозга кошки и воспроизвели узнаваемые визуальные образы на входе.)

Итак, наш зомби, физически идентичный нам до последнего атома, откроет холодильник и сформирует в слуховой коре образы для фонем «Черт, я остался без сока». До этого момента эпифеноменалисты охотно с нами соглашаются.

Но, говорит эпифеноменалист, внутри зомби некому слышать; отсутствует внутренний слушатель. Внутреннее повествование произнесено, но не услышано. Вы не тот, кто высказывает ваши мысли, а тот, кто их слышит.

Они бы сказали, что, кажется, куда проще создать ИИ, которыйвыводит на печать некое внутреннее повествование, чем показывать, что внутренний слушатель слышит его.

Спор о зомби состоит в том, что если Мир Зомби возможен – не обязательно физически возможен в нашей вселенной, лишь «возможен в теории», или «может быть представлен», или что-то в этом роде – тогда сознание должно быть вне-физическим явлением, чем-то вне и сверх обычных атомов. Почему? Потому что даже если вы каким-то образом узнаете положение всех атомов во вселенной, вам все еще предстоит услышать, как отдельный и дополнительный факт, что люди обладают сознанием – что у них есть внутренний слушатель – что мы, вероятно, не в Мире Зомби.

«Зомбизм» не то же самое, что дуализм. Декарт считал, что существует телесная субстанция и совершенно отличная от нее разумная субстанция, но Декарт также полагал, что эта разумная субстанция есть источник активной причинности, взаимодействующий с телесной субстанцией и управляющий нашей речью и действиями. Лишение человека разумной субстанции породило бы традиционного, шатающегося и завывающего, зомби.

И хотя в иврите самая сокровенная душа названа Н’шама, тот-кто-слышит, я не слышал о рабби, отстаивающем возможность зомби. Большинство рабби, вероятно, почувствовали бы отвращение к идее, что божественная частица, которую Бог вдохнул в Адама, на самом деле бездействует.

Технический термин, обозначающий веру, что сознание присутствует, но не воздействует на физический мир, - эпифеноменализм.

Хотя в споре о зомби есть и другие составляющие (я разберусь с ними далее), думаю, первое, что прельщает в «зомбизме» - это интуитивно понятный тезис о пассивном слушателе. В особенности он прельщает непрофессиональную аудиторию. Ключевое понятие просто и доступно: свет горит, вот только дома никого нет.

Философы обращаются к интуитивно понятному тезису о пассивном слушателе, когда говорят: «Конечно, мир зомби можно представить; вы в точности знаете, на что он будет похож».

Одно из величайших сражений Войны зомби происходит на почве того, что, в точности, имеют в виду, говоря, что зомби «возможны». Ранние философы-зомбисты в 1970-е просто считали, что зомби «возможны» и не трудились определить, какого рода возможность они имели в виду.

Поскольку я поднаторел в математической логике, первое, что приходит мне на ум – это логическая возможность. Если у вас есть подборка утверждений вроде (A->B), (B->C), (C>~A), то сложное убеждение логически возможно, если для него есть модель – которая, в вышеприведенном простом случае, сводится к поиску таких значений для А, В, С, что все утверждения (A->B), (B->C), (C->~A) – истинны. Тогда ответом будет A=B=C=0, а также A=0, B=C=1 или A=B=0, C=1.

Нечто будет казаться возможным – «концептуально возможным» или «представимым» - если вы рассматриваете подборку утверждений, не замечая противоречий. Но, как правило, наибольшая трудность – именно обнаружить противоречия или*, с другой стороны*, разработать полную и точную модель! Если вы ограничиваетесь простыми Булевыми утверждениями вида((А или В или С) и (В или ~С или D) и (D или ~A или ~C) …), конъюнкциями или дизъюнкциями трех переменных, тогда это очень известная задача под названием 3-SAT, одна из первых задач, для которой была доказана NP-полнота3.

Итак, то, что вы не видите противоречий в Мире зомби с первого взгляда, не означает, что противоречий не существует. Это как не видеть с первого взгляда противоречий в гипотезе Римана. От концептуальной возможности («не вижу трудности») к строгой логической возможности – огромный скачок. Легко сделать так, что это будет скачок к NP-полноте, а с использованием теорий первого порядка4, даже для ограниченных задач вычисление можно сделать сколь угодно трудным. И именно логическая, а не концептуальная возможность Мира зомби необходима, чтобы предположить, что логически всезнающий разум может знать положение всех атомов во вселенной - и все же ему нужно сообщить как дополнительный, не вытекающий [из его знания] факт то, что у нас есть внутренний слушатель.

Само по себе то, что вы пока не видите противоречие, не дает гарантии, что вы не увидите противоречие в следующие 30 секунд. «Все нечетные числа – простые. Доказательство: 3 – простое, 5 – простое, 7 – простое…»

Поэтому давайте еще немного поразмыслим над Спором о зомби. Можем ли мы придумать контрпример к утверждению «Сознание не имеет причинного воздействия на мир, которое может быть обнаружено извне»?

Если вы закроете глаза и сконцентрируетесь на вашей внутренней осведомленности, в вашем внутреннем повествовании будут появляться мысли из ряда «Я сознаю…», «Мое осознание отдельно от моих мыслей», «Я не тот, кто высказывает мои мысли, но тот, кто их слышит», «Поток моего сознания не есть мое сознание» и «Кажется, существует часть меня, которую я могу представить уничтоженной без перемен в моем внешнем поведении».

Вы даже можете произнести эти фразы вслух в то время как вы размышляете. В принципе, некто со сверхчувствительным томографом5 мог бы прочитать фонемы в вашей слуховой коре; но произнести вслух означает устранить все сомнения насчет того, вошли ли вы в мир проверяемости и физических следствий.

Определенно кажется, что внутренний слушатель ловится в акте слушания той вашей частью, что создает внутреннее повествование и приводит в движение язык.

Представьте, что таинственная инопланетная раса посетила вас и оставила в подарок таинственный черный ящик. Вы тыкаете и пинаете ящик, но (насколько можете сказать) не вызываете никакой реакции. Вы не можете вынудить ящик отсыпать вам золотых монет или ответить на вопросы, и делаете вывод, что ящик причинно неактивен. «Для всех Х, черный ящик не делает Х». Черный ящик – результат, но не причина; он эпифеноменален, не имеет причинной способности. Размышляя, вы проверяете эту общую гипотезу, чтобы понять, истинна ли она в некоторых пробных случаях, и она кажется истинной – «Превращает ли ящик свинец в золото? Нет. Кипятит ли ящик воду? Нет.»

Но вы можете видеть черный ящик; он поглощает свет и веско оттягивает вашу руку. Это также часть танца причинности. Если бы черный ящик был всецело за пределами причинной вселенной, вы бы не могли его видеть; вы никак не могли бы узнать о его существовании; вы не могли бы сказать: «Спасибо за ящик!» Вы бы не думали об этом контрпримере, формулируя общее правило. «Все Х: Черный ящик не делает Х». Но он все время был здесь.

(На самом деле, инопланетяне оставили вами другой черный ящик, на этот раз совершенно эпифеноменальный, и у вас нет ни малейшего намека, что он здесь, в вашей комнате. Они так пошутили.)

Если вы можете закрыть глаза и ощутить, что вы ощущаете – если вы можете осознавать себя сознающего, и думаете «Я сознаю, что я сознаю» - и говорите это вслух – то ваше сознание не бездействует в отношении вашего внутреннего повествования или ваших шевелящихся губ. Вы можете видеть себя видящим, и ваше внутреннее повествование отражает это, так же, как ваши губы – если вы решите сказать об этом вслух.

Я не встречал приведенный выше аргумент – «слушатель, пойманный в акте слушания» - сформулированным именно так, хотя это, конечно, может быть кем-то уже высказано.

Но общепринятым моментом является то – и философы-зомбисты это признают! – что философы Мира зомби, до последнего атома идентичные нашим философам, пишут те же труды по философии сознания.

С этого момента Мир зомби перестает быть интуитивно понятным следствием идеи пассивного слушателя.

Философы, пишущие о сознании, окажутся хотя бы одним воздействием сознания на мир. Вы можете придумать изощренные причины, почему это не так, но вам придется постараться.

Интуитивно вы предположите, что если бы ваша внутренняя осведомленность исчезла, мир бы изменился так, что ваше внутреннее повествование более не включало бы фразы вроде «Внутри меня есть таинственный слушатель», потому что таинственный слушатель исчез. Но обычно ваше внутреннее повествование может сказать «Я осознаю свою осведомленность» лишь после того, как вы сфокусируете свое сознание на собственной осведомленности – из этого следует, что если первое так и не произошло, не будет и второго. Вы можете придумать изощренные причины, почему это не так, но вам придется постараться.

Вы можете внушить себе веру в то, что «Сознание не воздействует» и не увидите противоречия, пока не поймете, что разговор о сознании – следствие того, что вы сознаете. Но как только вы поймете связь между общим правилом, что «сознание не воздействует», и его частным приложением, что сознание не воздействует на то, как философы пишут труды про сознание – «зомбизм» перестает быть интуитивно понятным и начинает требовать, чтобы вы приняли как должное странные вещи.

Первая странность, которую вы должны принять – существование Повелителя зомби, бога Мира зомби, который тайно управляет зомби-философами и заставляет их говорить и писать о сознании.

Повелитель зомби не кажется невозможным. Люди часто не вполне последовательны, говоря о сознании. Наверное, нетрудно исказить их рассуждения до уровня, скажем, обывателя, разглагольствующего в баре. Можно взять за основу болтовню тысячи обывателей на тему сознания, скормить ее не сознающему, но хитроумному ИИ – продвинутому, но не самообучающемуся – и получить на выходе рассуждения о «сознании», звучащие так же здраво, как рассуждения большинства людей – то есть, вполне бредово.

Но эти рассуждения о «сознании» не будут произвольными. Они не созданы внутри ИИ – это будет записанная имитация речей кого-то еще, всего лишь симуляция6 с главным ИИ, озвучивающим персонажей. Это не то, что имеется в виду, когда говорят о Мире зомби.

Предположим, Мир зомби до последнего атома совпадает с нашим миром, за исключением того, что его обитатели лишены сознания. Далее, атомы в Мире зомби движутся по тем же физическим законам, что и в нашем мире. Если есть «законы сопряжения», определяющие, какие соединения атомов пробуждают сознание, то эти законы неизвестны. Но, гипотетически, различие и не может быть установлено экспериментально. Когда речь идет о кварке, движущемся так или этак или воздействующем на соседние кварки – о том, что можно измерить в рамках эксперимента –действуют те же законы физики.

В Мире зомби нет места для Повелителя зомби, потому что последнему придется управлять движением зомбьих губ, а такое управление, в принципе, можно обнаружить экспериментально. Повелитель зомби движет губами – следовательно, у него есть наблюдаемые следствия. Это может быть точка, в которой электрон по знаку Повелителя движется туда, а не сюда. (Если не принимать, что Повелитель на самом деле находится внутри мира, понимаемого как структура из кварков – но тогда Мир зомби не совпадает с нашим до последнего атома, если вы не думаете, что Повелитель зомби присутствует и в нашем мире.)

Когда философ в нашем мире пишет: «Я думаю, что Мир зомби возможен», его пальцы последовательно нажимают клавиши З-О-М-Б-И. В этих нажатиях можно отследить цепь причинности: сокращение мышц, возбуждение нервов, команды, посылаемые через спинной мозг двигательной областью коры головного мозга – и далее в менее известные области мозга, где внутреннее повествование философа впервые заговорило о «сознании».

И зомби-двойник философа нажимает те же клавиши, вследствие тех же факторов с точки зрения причинности. В цепи объяснений того, почему философ пишет именно так, нет причины, которой бы отсутствовала в отношении его зомби-двойника. У двойника также есть внутреннее повествование о «сознании», которое продвинутый томограф мог бы считать из его слуховой коры. И какие бы другие мысли, или иные подобные мотивы, ни вели к такому внутреннему повествованию, они в точности те же как в нашей вселенной, так и в Мире зомби.

Итак, вы не можете сказать, что философ пишет о сознании вследствие сознания, в то время как зомби-двойник пишет о сознании по знакуПовелителя зомби или ИИ. Когда вы отслеживаете цепь причинности от клавиатуры к внутреннему повествованию, отзывающемуся в слуховой коре, и к причине повествования, вы должны найти такое жефизическое объяснение в нашем мире, как и в мире зомби.

Как пишет самый убежденный защитник зомбизма Дэвид Чалмерс:

«Подумайте о моем зомби-двойнике в соседней вселенной. Он все время говорит о сознательном опыте – по сути, он кажется одержимым. Он тратит абсурдное количество времени, сгорбившись за компьютером и строча главу за главой о тайнах сознания. Он часто говорит об удовольствии, которое он получает от неких свойств чувственного опыта7, питая особую любовь к темно-зеленому и багровому. Он часто ввязывается в споры с зомби-материалистами, заявляя, что их позиция несправедлива к реалиям сознательного опыта.

И в то же время у него нет сознательного опыта вообще! В его вселенной материалисты правы, а он ошибается. Большая часть его утверждений о сознательном опыте – попросту ложь. Но, несомненно, есть физическое или физиологическое объяснение, почему он утверждает то, что утверждает. В конце концов, его вселенная всецело подчиняется законам, в ней нет чудес – следовательно, должно быть какое-то объяснение и его утверждениям.

…Любое объяснение поведения моего двойника равно будет считаться объяснением моего поведения, так как процессы внутри его тела в точности соответствуют процессам внутри моего. Основание под его утверждениями, очевидно, не зависит от существования сознания, ведь в его мире сознания не существует. Следовательно, объяснение моих утверждений также не зависит от существования сознания».

Чалмерс не выдвигает аргументы против зомби; таковы его подлинные убеждения!

Эта парадоксальная ситуация одновременно радует и пугает. Она не обязательно станет приговором убеждениям не-редукционизма, но, по крайней мере, с ней нам придется сцепиться.

Я на самом деле полагаю, что эта пилюля горчайшая из всех, что нам вовеки пришлось проглотить. Таков мой сомнительный комплимент Дэвиду Чалмерсу. Менее горькая не помогла бы прояснить все следствия, позволила бы уйти от столкновения с ними или рационализировать причину, почему все не так страшно.

Почему кто бы то ни было решил проглотить такую пилюлю? Почему кто-то выдвинул утверждение о бессознательных зомби, которые пишут труды о сознании точно по той же причине, что и наши, несомненно наделенные сознанием, философы?

Я писал не об интуитивно ясном понятии пассивного слушателя. Интуиция в этом случае может подсказать, что зомби могут водить машину, заниматься математикой или даже влюбиться – но она не говорит, что зомби пишут философские труды о своем пассивном слушателе.

Спор о зомби покоится не только на понятии пассивного слушателя. Если б дело было только в нем, думаю, спор бы уже затих. Интуитивное представление, что «слушателя» можно устранить без последствий, исчезло бы, как только вы осознаете, что ваше внутреннее повествование, по-видимому, связывается со слушателем в каждом акте слушания.

Нет, побуждение проглотить эту пилюлю исходит из совершенно иного интуитивного представления – состоящего в том, что, сколько бы атомов вы ни добавили, сколько бы масс и электрических зарядов ни взаимодействовали, они с необходимостью никогда не вызовут субъективного ощущения таинственной красноты красного. То, что расположение таких-то атомов в таком-то порядке вызывает ощущение красноты, (по Чалмерсу) может быть фактом нашей физической вселенной – но если это верно, то без данного факта можно обойтись и объяснить [это явление], не вовлекая движение атомов.

Но если вы рассмотрите второе интуитивное представление само по себе, без понятия пассивного слушателя, трудно понять, почему оно предполагает зомбизм. Возможно это всего лишь иной род вещества, отличный от атомов и дополняющий их, который не является причинно пассивным – душа, которая на самом деле порождает вещество и на самом деле играет роль причинности, когда мы пишем о «таинственной красноте красного». Уберите душу и…хм, предполагая, что вы не впадете в кому, вы точно не напишете новых трудов о сознании.

Это точка зрения Декарта и большинства других древних мыслителей. Душа имеет иную природу, но она взаимодействует с телом. Точка зрения Декарта известна как вещественный дуализм – существуют вещество-мысль, вещество-разум, отличные от атомов; но они причинно действенны, взаимодействуют с нашей вселенной и оставляют на ней различимый отпечаток.

Зомбисты же привержены дуализму свойств – они верят не в обособленную душу, а в то, что материя в нашей вселенной имеет дополнительные свойства, не относящиеся к физическим.

«Не относящиеся к физическим?» Что это значит? А то, что дополнительные свойства здесь, но они не влияют на движение атомов, в отличие от параметров электрического заряда или массы. Дополнительные свойства не обнаруживаются стороннимэкспериментом; вы осознаете, что наделены сознанием, изнутри ваших дополнительных свойств, но ни один ученый не может непосредственно обнаружить это извне.

Итак, дополнительные свойства здесь, но они не являются причинно активными. Они не перемещают атомы и поэтому не могут быть обнаружены извне.

И поэтому мы (якобы) можем представить вселенную в точности, как эта, где все атомы на тех же местах, но дополнительные свойства отсутствуют, и все происходит так же, как раньше, только никто не наделен сознанием.

Мир зомби может быть физически невозможным, - скажут зомбисты, - так как установлено, что вся материя в нашей вселенной имеет дополнительные свойства, либо подчиняется «законам сопряжения», пробуждающим сознание – но Мир зомби возможен логически: законы сопряжения могли бы оказаться иными.

Но если вы осознаете, что «возможность вообразить» и логическая возможность не одно и то же, и что Мир зомби не так уж интуитивно понятен – почему вы говорите, что Мир зомби логически возможен?

Почему, почему вы говорите, что дополнительные свойства эпифеноменальны и не могут быть обнаружены?

Мы можем сделать эту дилемму еще жестче. Чалмерс верит, что существует нечто, называемое сознанием, и что это сознание воплощает подлинную и неописуемую сущность таинственной красноты красного. Это может быть свойство, не связанное с массой и зарядом, но оно есть, и это – сознание. Сказав все это, Чалмерс далее определяет, что сущность сознания эпифеноменальна и не является причинно действенной – но почему он так решил?

Как можно сказать, что возможно устранить самую суть сознания и оставить все атомы на своих местах и в том же состоянии? Если это верно, нам нужно отдельное физическое объяснение для всего того, что Чалмерс говорит о «таинственной красноте красного». То есть, одновременно существуют вне-физическая«таинственная краснота красного» и совершенно отдельная физическая причина того, что Чалмерс способен говорить о «таинственной красноте красного».

Чалмерс признает, что эти две вещи, по-видимому, должны быть связаны, но послушайте, зачем нам сразу обе? Почему бы не выбрать ту или другую?

Если вы утверждаете, что существует таинственная краснота красного, почему бы не сказать, что она взаимодействует с вашим внутренним повествованием и побуждает вас говорить о ней?

Не проще ли подход, выбранный Декартом – в строгом смысле?

Зачем заявлять о вне-материальной душе – и тут же о том, что эта душа не воздействует на физический мир – а затем вводить ужасно таинственный материальный процесс, который побуждает ваше внутреннее повествование говорить о сознательном опыте?

Почему бы не заявить об истинной материи сознания, к которой простые бездушные атомы в любом количестве не смогут ничего добавить – и только потом, зайдя так далеко, позволить этой материи сознания обладать свойствами причинности вроде тех, что позволяют философам говорить о сознании?

Я не одобряю подход Декарта. Но я хотя бы понимаю, из чего исходил Декарт. Сознание кажется таинственным, и вы заявляете о таинственной материи сознания. Прекрасно!

Но теперь зомбисты заявляют, что эта таинственная материя ничего не делает, так что вам необходимо абсолютно новое объяснение того, почему вы можете сказать, что наделены сознанием.

Это не витализм. Это нечто столь причудливое, что виталисты подавились бы кофе. «Когда огонь горит, он высвобождает флогистон. Но флогистон не оказывает экспериментально подтвержденного воздействия на нашу вселенную, так что вам придется искать отдельное объяснение, почему огонь плавит снег». Вы шутите?

Полагают ли приверженцы «дуализма свойств», что, если они заявят о новой действующей силе, которая оказывает причинное воздействие на наблюдаемые объекты, они высунут голову слишком далеко?

Что до меня, я бы сказал, что если вы заявляете о таинственном, дополнительном, отдельном, сугубо умозрительном свойстве сознания, не связанном с положениями и скоростями в пространстве, вы уже высунули голову дальше некуда. Сначала заявить о материи сознания, а потом о том, что она ни на что не влияет – во имя няшных котят, за что?

Это даже не является очевидным карьерным мотивом. «Привет, я философ сознания. Мой предмет исследования – самая важная штука во вселенной, и мне нужна наилучшая финансовая поддержка, понимаете? Хм, мило, что вы это сказали, но на самом деле явление, которое я изучаю, вообще ни на что не влияет». (Аргумент от карьеры несостоятелен, но я его привел, чтобы оставить место для отступления).

Чалмерс критикует вещественный дуализм на том основании, что не видно новой физической теории или нового вещественного взаимодействия, которые могли бы объяснить сознание. Но у дуализма свойств те же проблемы. Неважно, о каком роде двойных свойств вы говорите – как именно он объясняет природу сознания?

Когда Чалмерс заявляет о дополнительном свойстве, которым является сознание, он перепрыгивает необъяснимое. Как это поможет его теории определить далее, что это дополнительное свойство ни на что не влияет? Почему бы просто не придать ему причинность?

Если б я разозлился, именно сейчас я бы вытащил на свет дракона – притчу Карла Сагана о драконе в гараже. «У меня в гараже дракон!» Отлично! Пойдем посмотрим! «Ты его не увидишь – это невидимый дракон». Тогда я бы хотел его услышать! «Извини, дракон не слышен». Тогда я измерю прирост концентрации углекислоты! «Он не дышит». Я распылю в воздухе мешок муки, чтобы обрисовать его форму. «Дракон проницаем для муки».

Один из мотивов для попытки сделать свою теорию принципиально неопровергаемой8 – то, что в глубине души вы боитесь подвергнуть ее проверке. Сэр Роджер Пенроуз (физик) и Стюарт Хэмерофф (невролог) – вещественные дуалисты, полагающие, что в квантах протекает нечто таинственное, что Эверетт неправ и что «коллапс волновой функции» физически реален – что именно там обитает сознание, и таким образом оно оказывает причинное воздействие на ваши губы, когда вы произносите «Я мыслю, следовательно, я существую». Поверив в это, они предсказывают, что нейроны сопротивляются декогеренции достаточно долго, чтобы поддерживать макроскопические квантовые состояния.

Это процедура проверки, и до сих пор ее перспективы для Пенроуза выглядели не блестяще – но основная деятельность Пенроуза с научной точки зрения вполне респектабельна. Может, не соответствует Байесовым критериям – но все же имеет здоровые корни. Он выступил с бредовой гипотезой – указал, как ее проверить – вышел и действительно попытался проверить ее.

Как я сказал Стюарту Хэмероффу, «Думаю, гипотеза, которую вы проверяете, совершенно безнадежна, и ваши эксперименты определенно заслуживают финансирования. Даже если вы не найдете в точности то, что ищете, вы ищете там, где до вас никто не искал – и можете обнаружить что-нибудь интересное».

Итак, устранение эпифеноменализма будет неприятно тем, что зомбисты побоятся говорить о действующем веществе-сознании, ведь ученые могут отправиться искать эти дополнительные свойства – и не найти их.

Хотя я не думаю, что это справедливо в отношении Чалмерса. Если бы Чалмерсу недоставало честности к себе, он мог бы многое сделать намного проще.

(На случай, если Чалмерс читает это и действительно боится фальсификации, я укажу, что, если эпифеноменализм ложен, то существует другое объяснение так называемому сознанию, и оно будет в итоге найдено – тогда теория Чалмерса обрушится; так что, если Чалмерса заботит его место в истории, у него нет мотивов поддерживать эпифеноменализм, если он действительно не считает его истинным).

Чалмерс – один из самых неуспешных философов, кого я знаю. Иногда мне интересно, не готовит ли он нечто вроде «Побежденного атеизма». Чалмерс проводит действительно тонкий анализ… и в последний миг сворачивает в тупик. Он показывает все неувязки сценария с Миром зомби – и тут же, выбросив все свои доводы на свалку, смиренно принимает этот сценарий.

Чалмерс делает то же самое, когда подробно объясняет, почему нельзя оправдать нашу собственную веру в сознание тем, что наш зомби-двойник ошибается, говоря те же вещи по тем же причинам.

По поводу теории Чалмерса – его слова о вере в сознание не имеют причинногообоснования; вера не может быть вызвана фактом как таковым. В отсутствие сознания Чалмерс писал бы те же труды по тем же причинам.

Насчет эпифеноменализма – высказывание Чалмерса о вере в сознание не обосновано тем, что это результат процесса, систематически выдающего верные убеждения, поскольку зомби-двойник пишет те же труды в результате того же систематического процесса – и ошибается.

Чалмерс признает это и, на самом деле, объясняет в своей книге каждый довод очень подробно. Значит, Чалмерс прочно доказал, что его вера в эпифеноменальное сознание не обоснована, так? Нет, он пишет:

«Опыт сознания находится в центре нашей эпистемологической вселенной; у нас есть прямой доступ к нему. Отсюда вопрос: что, как не причинная связь с этим опытом и не механизмы формирования убеждений, обосновывает наше доверие к этому опыту? Думаю, ответ ясен: обладание опытом обосновывает доверие к нему. Например, сам факт, что у меня есть опыт красного, обосновывает мое убеждение, что у меня есть опыт красного…

Поскольку мой зомби-двойник лишен опыта, его эпистемологическая ситуация сильно отличается от моей, и его суждения лишены соответствующего обоснования. Тянет возразить, что, если мое убеждение относится к области физического, его обоснование также должно относиться к этой области – но это non sequitur (нелогично). Из отсутствия обоснований в области физического можно сделать вывод, что не обосновано убеждение моей физической части (скажем, мозга). Но вопрос в том, обосновано ли мое убеждение, а не убеждение моего мозга –ведь, если дуализм свойств верен, то я – нечто большее, чем мой мозг».

Итак – если я верно понял этот тезис – есть «подлинный я», где-то за пределами моего мозга, который верит, что он не зомби, и непосредственно ощущает опыт зомби-небытия – и это обосновывает его веру.

Но Чалмерс лишь написал все это в своей очень даже физической книге, и то же сделал Чалмерс-зомби.

Чалмерс-зомби не смог бы написать книгу благодаря тому, что за пределами мозга есть «подлинное зомби-я» – должна быть совершенно иная причина в рамках законов физики.

Следовательно, даже если существует скрытая часть Чалмерса, сознающая и верящая в сознание прямо и непосредственно, также существует отделимое подпространство Чалмерса – закрытая для причинности познающая подсистема, действующая всецело в рамках физики – именно это «внешнее я» проговаривает чалмерсово внутреннее повествование и пишет труды о сознании.

Не вижу способа избежать обвинения, что, исходя из его же собственной теории, этот отделимый внешний Чалмерс сошел с ума. Это часть Чалмерса, которая одинакова в этом мире и в Мире зомби, и в каждом из миров она пишет философские труды о сознании без веских причин. Его философские труды не исходят из внутреннего ядра осведомленности и убеждения в осведомленности, они исходят из обычной физики внутреннего повествования, которое заставляет пальцы Чалмерса нажимать на клавиши компьютера.

И этот безумный внешний Чалмерс пишет философские труды, которые вдруг оказываются совершенно правильными, по отдельной и дополнительной чудесной причине. Чудо не является логически необходимым (тогда был бы логически возможен и Мир зомби). Это физически возможное чудо, которое оказывается верным в том, что мы полагаем нашей вселенной, даже несмотря на то, что наука не может различить нашу вселенную и Мир зомби.

Или по меньшей мере так покажется исходя из того, что говорит нам безумный, по его собственному признанию, внешний Чалмерс.

Думаю, я говорю за всех редукционистов, когда произношу «Эээ…?»

Это не эпициклы. То есть, «Движение планет следует этим эпициклам – но эпициклы на самом деле ничего не делают – что-то еще, что я не могу объяснить, движет планеты так, как это описывают эпициклы – и, я бы сказал, даже если б не было никаких эпициклов».

У меня нестандартный взгляд на философию, поскольку я смотрю на всё глазами разработчика ИИ; конкретнее – самосовершенствующегося ИИ общего характера со стабильной структурой мотивации.

Когда я думаю о разработке ИИ, я рассматриваю такие принципы, как теория вероятности, Байесовы представления о свидетельстве как дифференциальной диагностике и, прежде всего, согласованность [связность] мышления. Любой самосовершенствующийся ИИ, начинающий работу в состоянии несогласованного мышления, долго не протянет.

Если самосовершенствующийся ИИ обратится к той своей части, что делает заключение Б исходя из условия А – части, что записывает Б в память, когда истинно условие А – исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большой вселенной, и решает, что эта часть систематически записывает в память ложные данные – тогда ИИ вносит в себя изменение: не записывать Б в область убеждений при условии А.

Любая эпистемологическая теория, не принимающая во внимание согласованность [связность] мышления – не лучшая теория, чтобы строить на ее основе самосовершенствующийся ИИ. С моей точки зрения, это сокрушительный аргумент, принимая во внимание, для чего я на самом деле собираюсь применять философию. Так что, в любом случае мне придется разработать теорию, предусматривающую согласованность мышления. И когда я это сделаю – ей-богу, согласованность мышления обретет интуитивно понятный смысл.

Таков необычный аспект, в котором я предполагаю рассматривать все эти вопросы. А теперь вернемся к Чалмерсу.

Причинно замкнутый «внешний Чалмерс» (на которого никак не влияет «внутренний Чалмерс» со своими отдельными, дополнительными знаниями и убеждениями) должен осуществлять некое систематически ненадежное, недозволенное действие, которое необъяснимым образом побуждает внутреннее повествование порождать убеждения о «внутреннем Чалмерсе» - правильные без какой-либо на то причины, логичной в нашей вселенной.

Но у внешнего Чалмерса или любого ИИ с последовательным мышлением и самодиагностикойнет возможных оснований, чтобы верить в эту чудесную правильность. Хорошо спроектированный ИИ, думаю, выглядит как последовательно мыслящий разум, воплощенный в системе причинности, с проверяемой теорией того, как эта система причинности систематически порождает точные убеждения, решая при этом поставленные перед ней задачи.

Итак, ИИ вглядится в Чалмерса и увидит познавательную систему с замкнутыми причинными связями, выдающую бессмысленное внутреннее повествование. Бессмыслица, по-видимому, существенно влияет на то, что, по мысли Чалмерса, должно считаться морально целостной личностью.

Эту проблему не нужно решать теоретикам Дружественного ИИ – сложность возникает, лишь если вы эпифеноменалист. Если верить редукционистам (сознание возникает в пределах атомарной структуры, или вещественным дуалистам (сознание представляет собой причинно действенную нематериальную сущность), говорящий о сознании говорит о чем-то реально существующем, и последовательно мыслящий байесианский ИИ может понять это, отследив цепь причин, побуждающих человека говорить о «сознании».

По Чалмерсу, познавательная система с замкнутыми причинными связями, порождающая чалмерсово внутреннее повествование, работает с (таинственными) искажениями, поскольку чудесным образом – не с необходимостью, а случайно и только в нашейвселенной – выдает верные ответы. Более того, внутреннее повествование утверждает, что «внутреннее повествование, работает с (таинственными) искажениями, но чудесным образом верно отражает обоснованные представления эпифеноменального внутреннего ядра»

Да неужели!

Не пора ли вам уже отбросить эту идею? Не пора ли, на самом грубом интуитивном уровне, прийти к мысли: «О чем я только думал?»

Человечество накопило обширный опыт того, как выглядят верные представления о мире. Они выглядят совсем не так.

«Аргумент от недоверия», - вы говорите. Отлично, вы хотите, чтобы я это сказал? Указанная чалмерсианская теория заявляет о множественных необъяснимых сложных чудесах. Это обрушивает ее изначальную вероятность, согласно вероятностному правилу конъюнкции и Бритве Оккама. Следовательно, над ней берут верх, самое малое, две теории, которые предусматривают меньше чудесного, а именно:

вещественный дуализм:

«существует еще не понятая материя сознания, необычайная сверх-физическая материя, которая оказывает видимое воздействие на наш мир; именно эта материя побуждает нас говорить о сознании».

Не-вполне-основанный-на-вере редукционизм:

так называемое «сознание» возникает в рамках физики не понятым пока образом, в точности как последние три тысячи раз, когда человечество сталкивалось с чем-то таинственным.

интуитивное представление, что вещество не может, теоретически, быть частью сознания, - неверно. Точное знание причин, почему вы можете рассуждать о сознании, могло бы подтолкнуть вас к пониманию вещей, о которых вы не имеете пока никакого представления; и впоследствии вы бы осознали, что ваши доводы о том, что в физике нет места сознанию, имели изъян.

Сравните с эпифеноменальным дуализмом свойств:

У вещества есть дополнительные свойства, обусловленные сознанием, которые мы пока не понимаем. Эти свойства эпифеноменальны по отношению к экспериментальной физике – они не воздействуют на движение частиц.

Отдельносуществует еще не понятая физическая причина, по которой философы могут говорить о сознании и выдумывать теории двойных свойств.

Чудесным образом, когда философы говорят о сознании, законы сопряжения с нашим миром в точности таковы, что рассуждения о сознании оказываются верными, хотя они и возникают вследствие неисправности (логически не допустимых выводов) в познавательной системе с замкнутыми причинными связями, которая строчит философские труды.

Знаю, что мои слова основаны на ограниченном опыте. Но исходя из моего ограниченного опыта Спор о зомби может быть кандидатом на самую безумную идею в философии.

Временами вы как рационалист вынуждены верить в вещи, кажущиеся вам странными. Странными кажутся относительность, квантовая механика, естественный отбор.

Но эти странности закреплены солидными свидетельствами. Есть разница между верой в что-то странное, но в полной мере подтвержденное наукой –

и верой в утверждение, которое кажется совершенно безумным, поскольку большой сложный философский спор крутится вокруг неопределенных чудес и громадных слепых пятен, даже не претендующих на постижимость -

и даже после того, как вы примете на веру все, что вам говорят, явление все еще будет казаться тайной и останется таким же удивительно непроницаемым, каким было изначально.

Если бы все аргументы Дэвида Чалмерса по отдельности казались правдоподобными – а они таковыми мне не кажутся – то рационалисту уместно было бы сказать:

«Ладно… Признаю, что не знаю, как работает сознание… может, я неверно подхожу к проблеме как таковой или задаю неверные вопросы…но эта тема с зомби не может быть здравой. Аргументы недостаточно хорошо стыкуются, чтобы вынудить меня во все это поверить – особенно когда я понимаю, что не стану оттого менее озадаченным. На уровне чутья, она просто не похожа на то, как действительность могла бы работать на самом-самом деле.

Обратите внимание, я не говорю, что это заменит аккуратное аналитическое опровержение тезиса Чалмерса. Система 1 не заменит Систему 2, хотя она может направить к цели. Вам все же придется найти, в чем именно загвоздка.

Чалмерс написал толстую книгу, не полностью доступную в бесплатном анонсе Гугла. Я не воспроизвел длинные цепи аргументов, которые Чалмерс обстоятельно выдвигает против себя. Я лишь взялся за окончательное опровержение последних доводов Чалмерса в свою защиту, которые он еще не противопоставил моим знаниям – чтобы загнать мяч на его поле, где он и был.

Но на глубинном уровне – да, при виде аргументов в пользу зомби разумно сказать: «Это не может быть верно», - и начать поиск ошибки.

1.Понятие «чемпион» (steel man) используется, когда обращаются к наиболее сильной форме позиции или аргумента противника. «Чучело» (straw man)- это искажение позиции или аргумента оппонента с тем, чтобы их было легко опровергнуть.

2.*Боковое коленчатое ядро -**одно из двух клеточных ядер таламуса, расположенных на концах каждого из оптических трактов, из которых зрительные пути идут к полосатой области затылочной коры.*

3.NP - класс задач, решения для которых можно быстро проверить. NP-полная задача - задача, умея решать которую, можно решить любую NP-задачу

4.Теория первого порядка – теория, в которой можно формулировать утверждения про объекты ее модели, но не про множества объектов.

5.fMRI – functional magnetic resonance imaging, функциональная магнитно-резонансная томография.

6.Holodeck - Holographic Environment Simulator (Голографический симулятор окружающей среды) - система виртуальной реальности для экипажей космических кораблей вселенной Star trek.

7.Термин, используемый в аналитической философии сознания для обозначения сенсорных, чувствительных явлений любого рода. В более точных философских терминах квалиа — это свойствачувственного опыта.

8.Unfalsifiable, нефальсифицируемой (согласно критерию Поппера).

Зомби: теперь в кино!

Элиезер Юдковский

Военный штаб. За столом сидят несколько человек в офицерской форме. Во главе стола — командир базы генерал Фред, грузный мужчина с резкими чертами лица.

Генерал Фред

: Сообщения подтвердились. Нью-Йорк заполонён… зомби.

Полковник Тодд

: Опять?! Но у нас уже были зомби, всего месяц назад!

Генерал Фред

: Эти зомби… они другие. Это философские зомби.

Капитан Мадд

: Они агрессивные? Бросаются на людей, кусаются?

Полковник Тодд

: Они полностью теряют мыслительные способности?

Генерал Фред

: Нет. Внешне они ничем не отличаются от людей… Но они лишены сознания.

Гнетущая тишина.

Полковник Тодд

: О, боже.

Генерал Фред встал и подошёл к большому экрану на стене.

Генерал Фред

: Это — Нью-Йорк две недели назад.

На экране сменяются кадры: шумная многолюдная улица, ресторан с обедающими посетителями, работники, загружающие мусорный контейнер в грузовик.

Генерал Фред

: А это — Нью-Йорк… сегодня.