Рационалисты

Рационалисты предлагают придерживаться принципов рациональности в мышлении и действиях[1]. Под рациональностью понимается построение наиболее точно соответствующей реальности картины мира как по общим, так и по частным вопросам[2] (эпистемическая рациональность) и выбор таких действий, которые с учётом имеющейся информации дают наиболее желанный ожидаемый результат (инструментальная рациональность)[3].

Для систематического применения рационального подхода требуется строгий понятийный аппарат. Его предоставляет нормативная теория принятия решений. С точки зрения Юдковского, основывающейся на работах Э. Т. Джейнса, ключевым компонентом рационального принятия решений является теорема Байеса — она и основывающиеся на ней подходы и теории (байесовская оценка решения, байесовская эпистемология) представляют оптимальный способ учёта поступающей информации, к которому так или иначе должны сводиться все эффективные эмпирические подходы к принятию решений[4]. Чтобы эффективно применять принципы рационального мышления, необходимо знать о систематических ошибках человеческого мышления — когнитивных искажениях, исследованных Д. Канеманом и А. Тверски[5], — и уметь справляться с их влиянием на собственное мышление[1].

Рациональность сама по себе нацелена на достижение целей, но не устанавливает эти цели (в терминах теории принятия решений — функцию полезности). У человека они определяются его потребностями и этическими установками, а в случае созданных и запрограммированных человеком сущностей — закладываются создателями[6]. При этом рациональность не предполагает отказа ни от эмоций, ни от учёта эмоций и нерациональности других людей, как это делают такие часто ассоциируемые с «рациональностью» вымышленные персонажи, как Спок: напротив, собственные эмоции вполне могут быть учтены в функции полезности человека, а учёт чужих необходим хотя бы потому, что они влияют на достижение целей[3]. Рациональность также не имеет отношения и к эгоизму, поскольку цели человека могут быть какими угодно, в том числе и альтруистическими[7].

Проблема вагонетки: утилитарист без колебаний переключит стрелку, чтобы спасти нескольких людей ценой убийства одного, но в реальной жизни последствия поступков обычно труднее оценить[6].

В этическом плане рационалисты — сторонники консеквенциализма, который предписывает выбор действий исходя из их ожидаемых последствий. Более конкретно, они придерживаются того или иного варианта утилитаризма: морально то, что максимизирует суммарное счастье всех живущих. Естественно, этот принцип снабжён более точными определениями того, что́ подразумевается под счастьем и как именно оценивать его количественно — разными в разных вариантах. (От этих деталей многое зависит: так, предписываемый утилитаризмом наиболее этичный образ действий значительно зависит от того, включать ли в рассмотрение счастье и страдание животных[8].) Один из неоднозначных моментов консеквенциализма состоит в том, что теоретически он предписывает полностью игнорировать деонтологические принципы, даже такие, как «не убивать людей»; Юдковский обходит эту трудность, указывая, что на практике люди крайне редко оказываются в ситуации, когда с достаточной достоверностью известны будущие последствия нарушения общепринятых деонтологических принципов, поэтому последние нужно рассматривать как эмпирические правила, отказываться от которых нерационально[6].

Для коллективного обсуждения и принятия рациональных решений необходимо вести дискуссии добросовестно и проявлять интеллектуальную открытость[9], готовность признать собственную неправоту[2]. Неприемлема ситуация, когда дискуссия рассматривается как война, где аргументы — солдаты, и цель состоит в победе над противной стороной, а не выяснении истины[10]. Кроме того, важно отличать споры о содержательных утверждениях («Этот политик национализирует железные дороги, если придёт к власти?») от споров о наименованиях («Этот политик — марксист?»)[11].

Рационалисты известны идеей об опасности искусственного интеллекта для существования человечества. Тесная ассоциация между этой концепцией и движением рационалистов несколько преувеличивает её важность для движения[12] — центральной концепцией всё же является рациональность, а не риск ИИ, — однако исторически сообщество и движение рационалистов выросли именно из обсуждения этой идеи[13][6].

Если технический прогресс успешно продолжится и будет приложен в должном направлении, то человечество сможет развернуть космическую экспансию, а также улучшить качество жизни людей, в том числе добиться бессмертия, если пожелает (возможность и желательность такого сценария декларируется трансгуманизмом[13]). Как замечает Ник Бостром, в этом случае количество более или менее счастливых человеческих жизней и в целом счастья, полученного людьми в будущем, на десятки порядков превысит всё счастье жившего до сих пор человечества; следовательно, если счастье потомков имеет хоть какое-то значение, то забота о повышении вероятности такого развития истории человечества крайне важна с позиций утилитаристской этики[14].

В частности, необходимо избегать таких глобальных катастроф, которые приведут к полному уничтожению человечества или необратимой потере возможности развиваться. Естественным катастрофам вроде падения гигантского метеорита на нынешнем уровне технического развития противостоять невозможно, однако их не случалось за миллионы лет существования людей, поэтому можно заключить, что такие события редки. Иная ситуация с риском антропогенных катастроф: он возник лишь недавно. Так, во время холодной войны был вполне реален риск ядерной войны с возможной последующей гибелью человечества[15].

Юдковский и Бостром считают, что наибольшую опасность представляет сверхразумный искусственный интеллект — и он же при должных предосторожностях может радикально ускорить темп прогресса. Здесь и далее под интеллектом подразумевается не какой-либо тип мышления, похожий или непохожий на человеческий, а — в соответствии с классической книгой Artificial Intelligence: A Modern Approach — способность эффективно решать поставленные задачи, то есть рациональность, а под сверхразумностью — способность решать в основном все те же задачи, что и человек, но значительно лучше[7]. Другие рационалисты, например Холден Карнофски, также причисляют к наибольшим рискам гибели человечества в современную эпоху пандемию опасного заболевания, созданного искусственно как биологическое оружие[15].

Опасность ИИ, по Юдковскому, заключается не в том, что ИИ обретёт свободу воли и выработает собственные цели, отличные от заложенных в него, в духе Скайнета — напротив, ИИ будет стремиться к достижению поставленных перед ним задач, но при недостаточно аккуратной их формулировке побочные эффекты могут быть катастрофическими. Классическая упрощённая модель такого сценария — мысленный эксперимент под названием «максимизатор скрепок»: если поставить перед могущественным ИИ на первый взгляд безобидную задачу «делай скрепки, чем эффективней — тем лучше», то он захватит всю планету и оборудует её заводами по производству скрепок и компьютерами, помогающими ему оптимизировать процесс их производства, с печальными последствиями для человечества. Другой пример — история ученика чародея из мультфильма «Фантазия» по балладе Гёте, велевшего заколдованной метле наполнять котёл водой, что кончилось потопом. Функция полезности человека сложна: всякий раз, когда человек ставит перед собой цель, он неявно учитывает множество дополнительных условий — мораль, правила поведения в обществе, самосохранение и т. д.; у ИИ, вообще говоря, нет этих дополнительных ограничений[16].

Проблема состоит в том, что практически любая задача, поставленная перед ИИ, кроме снабжённых специальными, тщательно подобранными оговорками, порождает вспомогательные цели для него[17]:

• совершенствование собственных интеллектуальных способностей для более эффективного выполнения задачи[18];
• захват максимального объёма материальных ресурсов для лучшего выполнения задачи[18];
• предотвращение собственного отключения, поскольку оно помешает выполнять задачу[19];
• предотвращение изменения поставленных перед ним задач, поскольку оно помешает выполнять эти задачи[20].

При этом, вообще говоря, для ИИ рационально предпринять превентивные меры по последним двум пунктам не при попытке отключения или перепрограммирования, а заранее, при первой возможности, и уничтожение человечества вполне может оказаться наиболее надёжной формой этих превентивных мер, равно как и непредвиденной формой выполнения поставленной задачи: убийство всех людей решает задачу «сделать так, чтобы люди как можно скорее перестали умирать от рака»[19]. Достаточно умный ИИ сможет проэксплуатировать любую лазейку в условиях задачи, позволяющую ему формально выполнить её наиболее эффективно[21]. Подобные непредвиденные способы решения поставленной задачи проявляются уже в модельных эволюционных алгоритмах: так, система, задачей которой было создавать тексты, похожие на целевой, научилась удалять файл с целевым текстом[22].

Чтобы управлять материальными ресурсами, искусственному интеллекту достаточно получить неконтролируемый доступ в интернет: он может взламывать подключённые к интернету системы для непосредственного управления электронными устройствами или шантажа могущественных людей, либо, к примеру, заработать крупную сумму денег, анонимно торгуя ценными бумагами или запустив новый финансовый инструмент (так, личность создателя биткойна Сатоси Накамото на начало 2020-х годов остаётся неизвестной). Можно ограничить доступ ИИ к интернету и материальным ресурсам, но поддерживать ограничение может оказаться непросто, поскольку он будет достаточно хитёр, чтобы обманом или угрозами добиться снятия этих ограничений[23].

Достаточно развитый ИИ сможет выделить истинные мотивы и желания людей, поставивших ему задачу, но это вовсе не заставит его следовать этим истинным желаниям, а не поставленным ему целям. Так же и человек может знать, что «истинная цель» (биологическая функция) секса и потребления сладкой еды состоит в размножении и запасании углеводов соответственно, но заниматься этим лишь с целью получить удовольствие от этих процессов, избегая размножения с помощью контрацепции в первом случае и даже нанося вред собственному здоровью неумеренным потреблением сахара во втором случае[17].

Первая игра матча AlphaGo — Ли Седоль. Ещё за полгода до матча игра го на профессиональном уровне была недоступна компьютерам, но в этой игре, а затем и во всём матче, программа AlphaGo победила многократного чемпиона-человека. Впоследствии AlphaZero, программа — «потомок» AlphaGo, обучилась играть в шахматы и сёги лучше всех людей и других программ с нуля всего за несколько часов[24].

Причина же, по которой рационалисты считают проблему сверхразумного ИИ актуальной уже в настоящее время — в первой половине XXI века — состоит в том, что как только ИИ достигнет уровня искусственного интеллекта общего назначения, или сильного ИИ, то есть приобретёт способность решать все те же интеллектуальные задачи, что и люди[7], то он сможет совершенствовать сам себя не хуже, чем это делают разработавшие его люди. А поскольку, как уже говорилось, это практически в любом случае будет полезно для решения поставленных перед ним задач, то он начнёт работать над повышением собственного интеллектуального уровня. Чем дальше он продвинется в этой работе, тем эффективнее и быстрее он сможет её выполнять, так что повышение уровня развития ИИ и расширение его возможностей будет стремительно ускоряться[24][18]. Этот процесс может занять годы — достаточно, чтобы человечество успело отреагировать, — но может занять и очень короткое время, и тогда всего за часы или минуты произойдёт интеллектуальный взрыв, и наступит технологическая сингулярность. Бостром настаивает, что именно этот сценарий является наиболее вероятным[25]. При этом разработчики и теоретические информатики, работающие над развитием искусственного интеллекта, в целом считают весьма вероятным появление искусственного интеллекта общего назначения в XXI веке. Кроме того, Юдковский отмечает, что это может произойти неожиданно[26].

Таким образом, рационалисты считают актуальной и важнейшей целью контроль ИИ — создание искусственного интеллекта общего назначения, задачи которого согласованны с благом человечества (англ. aligned AI)[13].

Комплекс идей и ядро будущего сообщества рационалистов начали формироваться в конце 1990-х годов. Однако выросли они из идей и сообщества трансгуманистов. Трансгуманисты полагают, что научно-технический прогресс сможет избавить человечество от болезней и даже смерти, и стремятся к этому, и эти идеи достаточно старые: так, ещё Кондорсе предполагал, что нет предела длительности человеческой жизни без старения[13].

В 1990-х годах сформировалась своеобразная сетевая культура трансгуманистов и, в частности, людей, интересующихся идеей технологической сингулярности. Эти идеи не были широко популярными и в основном воспринимались обществом как странные, но привлекали людей определённого типа — похожих на стереотипных нердов. В частности, действовала тематическая рассылка «Экстропианцы», в которой эти вопросы обсуждали, помимо прочих, Элиезер Юдковский — американский подросток, Ник Бостром — шведский и британский студент, изучавший философию, математику и связанные области, Робин Хэнсон — американский экономист, занимавшийся рынками предсказаний[13].

Элиезер Юдковский

Юдковский организовал собственную рассылку SL4 (Shock Level 4 — название означает тему наиболее радикальных будущих изменений в жизни человечества, вызывающих максимальный футурошок). В обсуждениях в SL4 участвовали Бостром, Хэнсон и многие люди, впоследствии ставшие известными разработчиками и предпринимателями, такие как Бен Герцель или Вэй Дай. Кроме того, в 2000 году 20-летний Юдковский основал некоммерческую организацию «Институт сингулярности», которая впоследствии была переименована в «Институт изучения машинного разума» (Machine Intelligence Research Institute, MIRI)[13].

Поначалу Юдковский считал скорейшее наступление технологической сингулярности желательным событием, однако затем пришёл к выводу, что появление сверхразумного ИИ может быть опасно для существования человечества. Именно в рассылке экстропианцев и в SL4 впервые возникли важные идеи будущего сообщества рационалистов, такие как «максимизатор скрепок». Однако идеи Юдковского не воспринимались достаточно серьёзно, поскольку — как он считал — коллеги по рассылке недостаточно рационально рассуждали и, в частности, не владели количественными (байесовскими) методами учёта информации для корректировки убеждений. Робин Хэнсон завёл блог Overcoming Bias, с англ. — «Преодолевая искажения» (знаменитая книга Д. Канемана о когнитивных искажениях тогда ещё не вышла, но в SL4 были известны его работы). Юдковский стал публиковать в этом блоге тексты о рациональности и других темах[13].

В 2009 году Элиезер Юдковский переместил свои тексты на новый отдельный сайт под названием LessWrong (с англ. — «[стремиться быть] менее неправым»). Его записи, дополненные другими авторами и завершённые на следующий год, получили общее название «Цепочки» и стали важнейшим текстом для рационалистов. Впоследствии Юдковский оформил Цепочки в виде книги Rationality: From AI to Zombies (с англ. — «Рациональность: от ИИ до зомби»)[13][27].

LessWrong устроен как коллективный блог и форум для обсуждения всевозможных вопросов, связанных с рациональностью. Он стал информационным и социальным хабом для сообщества рационалистов, то есть собранием информации об их идеях и точкой входа в сообщество. При это сообщество росло, сайт стал довольно популярен: на пике посещаемости (2012 год) у LessWrong было порядка миллиона просмотров страниц в день[13].

Кроме того, в 2010—2015 годах Юдковский написал и опубликовал в интернете роман «Гарри Поттер и методы рационального мышления» по мотивам книг о Гарри Поттере, в котором в художественной форме рассказал о важности рациональности и, в частности, предотвращения глобальных катастроф. Роман стал известен, был переведён на другие языки, в том числе русский, и привлёк в сообщество рационалистов много людей[13].

В 2014 году вышла книга Ника Бострома Superintelligence: Paths, Dangers, Strategies (с англ. — «Сверхразум: пути, опасности, стратегии») о перспективах и последствиях появления сверхразумного интеллекта, в первую очередь машинного. Для Бострома к тому времени активное участие в онлайн-дискуссиях рационалистов осталось в прошлом, но он изложил в книге их аргументы, касавшиеся необходимости контроля ИИ. Книга стала бестселлером. С этого времени и в том числе непосредственно вследствие того, что Бостром ввёл идеи рационалистов в научно-технический дискурс, эти идеи стали относительно известны и стали в меньшей степени считаться экзотическими в широких кругах[28].

Стремление к преодолению когнитивных искажений и систематическому принятию решений на основе рациональности и вероятностей на протяжении 2010-х годов вышло за пределы компактного интернет-сообщества, приняв форму полноценного интеллектуального движения. Оно распространилось в первую очередь в кругах, связанных с информационными технологиями[12].

В то же время сайт LessWrong стал терять популярность. Юдковский, завершив Цепочки, вскоре перестал писать в LessWrong. Известный рационалист, врач-психиатр Скотт Александер завёл собственный блог Slate Star Codex. В сообществе сформировался пласт «неявного знания», труднодоступного для новых участников[27], и набор постоянно используемых терминов, непонятных новичкам (например, «мотт и бейли»)[29]. По этим и другим причинам LessWrong перестал выполнять свои функции хаба, и замены ему в виде какого-либо достаточно полного собрания сведений о дальнейшем развитии идей и сообщества рационалистов так и не появилось[27].

Тем не менее, в смысле социальной организации у сообщества рационалистов появился новый центр — блог Скотта Александера. Александер особенно последовательно призывает к поддержанию открытой, цивилизованной и аргументированной дискуссии, и ему удалось выстроить онлайн-сообщество, в котором такой подход стал нормой[29][27].

В самом начале пандемии COVID-19 рационалисты были в числе тех, кто всерьёз предупреждал о её возможном катастрофическом развитии, что в итоге и произошло. Позже со Скоттом Александером связался журналист The New York Times для обсуждения, как думал Александер, именно этой темы, однако при этом журналист планировал назвать в статье полное настоящее имя Скотта Александера («Скотт Александер» — псевдоним, совпадающий с первым и вторым личным именем этого автора, полное имя которого — Скотт Александер Сискинд[30]), против чего тот категорически возражал. В качестве последней меры противодействия Александер закрыл доступ ко всему Slate Star Codex. Эта история вызвала общественный резонанс и серьёзные разногласия внутри самой The New York Times[29]. В итоге статья в The New York Times[31] вышла в начале 2021 года, вскоре после того, как Скотт Александер открыл новый блог Astral Codex Ten и доступ к старому и сам назвал своё полное имя; в этой статье рационалистам приписываются ультраправые взгляды[30].

Состав сообществ LessWrong и блога Скотта Александера довольно своеобразен: во многом довольно однородный — большинство рационалистов — мужчины[10], чаще молодые[32], и среди них чаще обычного встречаются люди, страдающие расстройствами аутистического спектра или склонные к ним, — но при этом в сообществе представлены люди с очень разным уровнем образования, от школьников до обладателей учёных степеней[27][10]. Среди рационалистов относительно много полиаморов[33]. Нередко рационалисты склонны считать, что могут создать с нуля лучшие решения тех или иных достаточно давно известных проблем[27][29]. Согласно опросу читателей Slate Star Codex 2018 года, 80 % из них — американцы. В политическом плане рационалисты в основном умеренные леволибералы[10].

Вид на область залива Сан-Франциско

Сообщество рационалистов не имеет чёткой границы[32]: с одной стороны, оно распространилось довольно широко, и как минимум виртуальные сообщества рационалистов существуют в самых разных странах мира, от Израиля до России[34] и Нидерландов; с другой — немало тех, кто интересуется идеями рационалистов, но не считает себя частью сообщества и/или не разделяет весь комплекс взглядов рационалистов. Кроме чисто виртуального общения, рационалисты проводят и очные встречи. «Ядро» сообщества составляют несколько сотен или тысяч человек, которые глубоко погружены в сообщество финансово или социально. Место наибольшей концентрации активных участников сообщества — область залива Сан-Франциско (где, помимо прочего, расположена Кремниевая долина); в частности, там живут Элиезер Юдковский и Скотт Александер, расположены офисы связанных с рационалистами организаций — MIRI, CFAR[33].

Среди тех, кто одобряет и применяет методы рационального мышления, не все согласны с взглядом рационалистов на проблему ИИ. Как суперпрогнозисты, так и некоторые эффективные альтруисты считают опасность ИИ вредным мемом рационалистов, которому удалось закрепиться из-за относительной однородности их сообщества: среди рационалистов много IT-специалистов, и, согласно этому критическому взгляду, они просто склонны придавать чрезмерное значение своей сфере[38][35].

LessWrong обвиняют в том, что сообщество представляет собой культ, или даже секс-культ, согласно суперпрогнозисту-консерватору Эндрю Сабиски. В самом деле, имеется харизматичный лидер (Юдковский), «священные тексты» (Цепочки), нетрадиционные сексуальные практики (полиамория), идея об апокалипсисе или вечной жизни (технологическая сингулярность) и возможность жертвовать деньги, чтобы спастись (пожертвования MIRI). Тем не менее, Чайверс отмечает, что безотносительно перечисленных формальных признаков рационалисты определённо не являются деструктивным культом; что же касается несколько больше, чем в среднем в обществе, распространённых полиаморных отношений, то причинно-следственная связь скорее обратная: рационалисты привлекают мужчин и женщин, которые уже практикует полиаморию, готовностью обсуждать табуированные темы (напрямую связанной с привычкой систематически подвергать сомнению устоявшиеся представления)[32].

Из сообщества рационалистов выросло консервативное неореакционное движение, представители которого были непропорционально активны среди рационалистов, особенно на LessWrong. Это стало возможным вследствие интеллектуальной открытости, свободы дискуссии и концентрации на аргументах, принятых на платформах обсуждений рационалистов, но достаточно редких для обсуждений вообще и особенно в онлайн-пространстве: хотя неореакционеры составляют незначительное меньшинство рационалистов, которым в целом чужда консервативная идеология, неореакционные идеи обсуждаются (и отвергаются) в сообществе исключительно в ходе дискуссий. Это принципиальное неприятие деплатформинга и вообще идеологии и стремление к точности формулировок в ущерб эффектности (так, Скотт Александер настаивал, что неверно говорить, что Дональд Трамп проявляет «неприкрытый» расизм) привело к сильной (и взаимной) неприязни со стороны более радикальных либеральных активистов[10][9][29].

Наконец, Гидеон Льюис-Краус из «Нью-Йоркера», отдавая должное принципам цивилизованной дискуссии, которые отстаивают рационалисты, считает, что им не удаётся в полной мере придерживаться этих принципов, когда речь заходит о вопросах, болезненных для них самих. В частности, Льюис-Краус полагает, что выступление сообщества в защиту анонимности Скотта Александера против The New York Times стало полноценным политическим актом на фоне общей усиливающейся политической поляризации в американском обществе[29].