Рациональность: От ИИ до Зомби [Элиезер Шломо Юдковски Less Wrong] (fb2) читать постранично

Искажения: введение

Роб Бенсинджер

Это не тайна. Но почему-то это редко всплывает в разговорах и очень немногие спрашивают, что же нам с этим делать. Это шаблон, спрятанный за всеми нашими победами и поражениями, невидимый нашему глазу. Что же это?

Представьте себе урну с 70 белыми и 30 красными шарами; вы вытаскиваете 10 наугад. Возможно, 3 из них будут красными, и вы верно угадаете, сколько всего красных шаров в урне. Или, возможно, у вас будет 4 красных шара, а может быть, другое число. И тогда вы получите неверное общее число.

Эта случайная ошибка — цена за неполное знание, и это в целом неплохо, как и любая ошибка. В среднем наши оценки будут верны, и чем больше мы узнаём — тем меньше мы делаем ошибок.

Но предположим, что белые шары тяжелее и опускаются на дно урны. Тогда ваша выборка может быть нерепрезентативной постоянно.

Такие ошибки называются систематическими. Когда ваш метод познания мира искажён, изучение мира может вводить вас в заблуждение. Накопленные данные могут даже искажать предсказания. Для человека, привыкшего высоко ценить знания и способы их получения, это пугающая перспектива. Если мы хотим быть уверены, что познание помогает, а не делает всё только хуже, нужно узнавать об искажениях в наших данных и исправлять их.

Идея когнитивного искажения в психологии работает похожим образом. Когнитивное искажение — систематическая ошибка нашего мышления (в противоположность случайной ошибке, вызванной простым невежеством). Статистическая погрешность искажает выборку так, что она менее точно отражает положение дел. Когнитивные искажения же портят не выборку, а наши убеждения, и убеждения менее точно отражают факты; такие искажения вмешиваются в процесс принятия решений, и мы достигаем наших целей с меньшей надёжностью.

Возможно, вы оптимист, а красные шары можно использовать как лекарство от редкой тропической болезни, которую подхватил ваш брат. Тогда вы переоцените количество красных шаров в урне, потому что вам хочется, чтобы их было больше. И здесь искажена не выборка, а вы сами.

Тем не менее нужно быть осторожным, говоря про искажения в людях. Обычно мы имеем в виду, что люди нечестны или предвзяты. Но когнитивные искажения — это совершенно другое. Они — неотъемлемая часть человеческого мышления, а не дефект, который можно списать на воспитание или гнилой характер1.

Когнитивное искажение — это проторенная дорожка для ваших внутренних шаблонов мысли, по которой нельзя прийти к истине (или другой потенциально достижимой цели — например, счастью). Как и статистические погрешности, когнитивные искажения могут искривлять наше видение реальности, в большинстве случаев их нельзя исправить, просто собрав побольше данных, и их эффекты со временем суммируются. Но когда неточный инструмент, который нужно откалибровать, это вы сами — избавиться от искажений будет уникальным вызовом.

И тут возникает вполне очевидный вопрос. Если нельзя доверять своему мозгу, то как вообще чему-то можно доверять?

Хорошо бы иметь конкретное название для преодоления когнитивных искажений и вообще ошибок, которыми наши сознания могут себе навредить.

Мы могли бы назвать этот проект как угодно. Я считаю, что на данный момент название «рациональность» прекрасно подходит.

Рациональные чувства

Голливуд считает, что быть «рациональным» — значит суровым и гиперинтеллектуальным. Вспомните Спока из «Звёздного пути» — он «рационально» подавляет эмоции, «рационально» отказывается полагаться на интуицию, но его может легко сбить с толку «иррациональный» оппонент2.

Есть и другое определение «рациональности», которое используют математики, психологи и социологи. Грубо говоря, идея в том, чтобы действовать наилучшим возможным образом. Рациональный человек, даже если он не знаком с темой, формирует максимально близкие к реальности убеждения на основе имеющихся у него свидетельств. Неважно, насколько плохо идут дела у рационального человека — он делает наилучший возможный выбор и таким образом повышает свои шансы на успех.

Реальная рациональность состоит не в том, чтобы игнорировать интуицию и эмоции. Для рационального человека быть рациональным зачастую означает лучше осознать свои чувства и учитывать их при принятии решений.

Рациональность — это и знание о том, когда не нужно слишком долго размышлять. В экспериментах, где нужно было выбрать постер на стену или предсказать исход баскетбольного матча, испытуемые показывали худший результат, если старательно обдумывали своё решение. 3, 4 Есть задачи,