Machine Intelligence Research Institute

Machine Intelligence Research Institute изучает стратегические вопросы, связанные с ИИ, например: что мы можем (и не можем) предсказать о будущей технологии ИИ? Как мы можем улучшить наши способности к прогнозированию? Какие вмешательства, доступные сегодня, кажутся наиболее полезными, учитывая то, что мы мало знаем?[10]

Начиная с 2014 года MIRI финансирует работу по прогнозированию через независимый проект AI Impacts. AI Impacts изучает исторические примеры прерывистых технологических изменений и разработал новые меры относительной вычислительной мощности человека и компьютерного оборудования.[11][12]

Интерес исследователей MIRI к прерывистому искусственному интеллекту связан с аргументом И. Дж. Гуда о том, что достаточно продвинутые системы ИИ в конечном итоге превзойдут людей в задачах разработки программного обеспечения, что приведет к созданию цикла обратной связи все более способных систем ИИ:

Пусть ультраинтеллектуальная машина определяется как машина, которая может намного превосходить все интеллектуальные действия любого человека, насколько это возможно. Поскольку конструкция машин является одной из этих интеллектуальных задач, ультраинтеллектуальная машина могла бы разрабатывать ещё лучшие машины; Тогда бесспорно был бы «Интеллектуальный взрыв» (ориг: «intelligence explosion»), и разум человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина является последним изобретением, которое человек должен когда-либо делать, при условии, что машина достаточно послушна, чтобы рассказать нам, как держать её под контролем.[13]

Писатели, такие как Бостром, используют термин суперинтеллекция вместо ультраинтеллектуала Гуда. Следуя Вернору Винджу, идея Гуда о взрыве интеллекта стала связана с идеей «технологической сингулярности». Бостром и исследователи из MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, что суперинтеллекция «находится за углом». Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности, утверждая, что прошлые предсказания прогресса ИИ не были надежными.[14]

Документ о приоритетах исследований Института Будущего Жизни (FLI) гласит:

Математические инструменты, такие как формальная логика, вероятность и теория принятия решений, дали значительное представление об основах рассуждений и принятия решений. Однако в основе рассуждений и решений по-прежнему остается множество открытых проблем. Решения этих проблем могут сделать поведение очень способных систем намного более надежными и предсказуемыми. Примеры исследований в этой области включают рассуждения и решения в рамках ограниченных вычислительных ресурсов à la Horvitz and Russell, как учитывать корреляции между поведением AI-систем и поведением их окружения, агентов, как агенты, встроенные в их среду, или других детерминированных вычислений. Эти темы могут выиграть от совместного рассмотрения, поскольку они кажутся глубоко связанными

Стандартные процедуры принятия решения недостаточно точно определены (например, в отношении контрфактов), для того, чтобы быть оформленными как алгоритмы. Исследователь Machine Intelligence Research Institute Бенья Палленштейн и тогдашний исследователь Нейт Соареш пишут, что теория причинно-следственных решений «неустойчива при отражении» в том смысле, что рациональный агент, следующий за теорией причинно-следственных решений, «правильно идентифицирует, что агент должен изменить себя, чтобы прекратить использовать теорию причинно-следственных решений для принятия решений». Исследователи идентифицируют «логические теории принятия решений» как альтернативы, которые лучше выполняют общие задачи принятия решений.

Если система ИИ выбирает действия, которые наилучшим образом позволяют ей выполнить задание, то избегать условий, которые препятствуют тому, чтобы система продолжала выполнять задачу, является естественным подцелем (и, наоборот, поиск безусловных ситуаций иногда является полезной эвристикой). Однако это может стать проблематичным, если мы хотим перераспределить систему, деактивировать её или существенно изменить процесс принятия решений; Такая система будет рационально избегать этих изменений. Системы, которые не проявляют такого поведения, называются исправительными системами, и теоретическая и практическая работа в этой области представляется приемлемой и полезной.

Приоритеты Machine Intelligence Research Institute в этих областях обобщены в технической программе 2015 года.