Терминология оценки вероятности (разведка)

В 1964 году ветеран ЦРУ Шерман Кент, нередко именуемый «отцом разведывательного анализа», обратился к проблеме неточности терминологии, используемой в аналитических документах, которые готовятся разведывательным сообществом США. В своей статье Терминология оценки вероятности (англ. Words of estimative probability) Кент исследовал различие в стиле оформления аналитических документов спецслужб между «поэтами» (авторами, которые предпочитают многословные вероятностные заявления) и «математиками» (теми, кто предпочитает давать количественные оценки). Кент разработал свою парадигму выработки оценочной терминологии. Его целью было «…выработать для разведывательного сообщества инструментарий, который бы позволял лицу, читающему документ, получить ясное представление, по каким аспектам проблемы имеются точные сведения, что является обоснованным выводом, и с какой степенью уверенности можно принимать последующие ключевые решения»[1]. Инициатива Кента не была принята разведывательным сообществом, хотя остаётся актуальной до настоящего времени.

В медицине существует аналогичная проблема при получении информированного добровольного согласия пациентов, когда необходимо сообщить в доступной форме фактическую вероятность того или иного варианта результатов лечения. При этом крайне редко встречаются количественные оценки такой вероятности.

Руководство по получению информированного добровольного согласия от людей, участвующих в исследованиях или подвергающихся рискованным медицинским процедурам, разработанное в исследовательском Университете Теннесси в Чаттануге предлагает следующую терминологию оценок шансов неблагоприятного исхода:

Как отмечено в руководстве:

При исследовании действий экспериментальных доз или комбинаций препаратов и/или лечебных процедур, участники исследования должны быть предупреждены, что могут быть неизвестные риски, связанные с препаратами/лечением, но они будут проинформированы при появлении любой новой информации, которая может повлиять на их желание участвовать в исследовании

— http://www.utc.edu/Administration/InstitutionalReviewBoard/faq.php Institutional Review Board Frequently Asked Questions

Ежедневное президентское резюме от 6 августа 2001

Американский аналитик Д. Вожны рассматривает в качестве примера ущерба, который может нанести отсутствие или расплывчатость оценочной терминологии в аналитических документах спецслужб, эпизод с Ежедневным президентским резюме от 6 августа 2001 года, озаглавленном «Бен Ладен намерен атаковать США» (Bin Laden Determined to Strike in US).

Ежедневное президентское резюме (англ. President's Daily Brief, PDB) — документ, который Директор Национальной разведки ежедневно представляет президенту США. PDB готовится группой аналитиков из Управления Директора национальной разведки и предназначено для ознакомления президента США с разведывательными данными, касающимися значимых для интересов США международных ситуаций.

Ситуация с резюме от 6 августа 2001 года находится в центре многих дискуссий в разведывательном сообществе США. Этот документ имеет не только расплывчатый заголовок, но и столь же неясное содержание:

• «Бен Ладен с 1997 года хотел провести теракты в США» (CIA, 2001, п.1.);
• «предполагается, что последователи Бен Ладена могут вести борьбу в Америке» (CIA , 2001, п.1.);
• «атаки Бен Ладена на американские посольства… в 1998 году показывают, что он готовит операции на годы вперёд и его не останавливают неудачи» (CIA , 2001, п.6.);
• «Информация ФБР …указывает на подозрительную активность в этой стране, с подготовкой угонов или других типов атак» (CIA , 2001, п.10.);
• «в обращении посольства [США] в ОАЭ в мае [говорится], что группа сторонников Бен Ладена планирует нападение в США с использованием взрывчатки» (CIA , 2001, п.11.) .[3]

Поскольку данное резюме не содержало описания предыдущей деятельности Бен Ладена, оно не позволяло президенту дать ясную оценку деятельности Бен Ладена в ближайшие месяцы:

Как сообщили осведомлённые источники, Буш просил разведку предоставить анализ возможных атак Аль-Каиды на территории Соединенных Штатов, поскольку большая часть информации, представленной ему этим летом касалась возможных угроз от Аль-Каиды для американских объектов за рубежом. Один из источников заявил, что Белый дом был разочарован, потому что анализ не содержал точных выводов и не представлял новых разведывательных данных.

— http://www.commondreams.org/headlines02/0518-04.htm August Memo Focused On Attacks in U.S

Отсутствие надлежащей оценочной терминологии привело к путанице по поводу вероятности террористической атаки и её возможной дате. В результате теракты 11 сентября 2001 года застали врасплох разведывательное сообщество США.

Выводы комиссии по расследованию терактов 11 сентября и комиссии по оружию массового поражения Иракапривели к структурной реформе разведывательного сообщества США. Эти реформы были направлены на улучшение функционирования разведывательного сообщества в целом, в частности в плане межведомственного сотрудничества и обмена информацией, но при этом уделили мало внимания повышению качества анализа разведывательных данных и подготовки аналитических документов[4].

Как отмечал в статье в «Вашингтон Пост» Майкл Шредж, советник Программы исследований безопасности из Массачусетского технологического института (MIT), требование к аналитикам разведки включать в свои документы количественные показатели надёжности и достоверности источника информации уменьшило бы двусмысленность этих документов[5][6]. Шредж также сообщил, что бывший временно исполняющий обязанности директора ЦРУ Джон Маклафлин пытался внедрить такие требования в ЦРУ, но, как и инициатива Кента, это предложение не было принято.

"Бывший исполняющий обязанности директора ЦРУ и аналитик разведки с большим стажем Джон Маклафлин пытался в 1990-х внедрить оценочную терминологию в работу аналитиков разведки, но безуспешно. Как сказал мне высокопоставленный сотрудник ЦРУ с более чем 20-летним стажем работы, «аналитики разведки предпочитают использовать слова, нежели цифры, чтобы описать, насколько они уверенны в результатах анализа». Более того, «большинство потребителей аналитических материалов разведки предпочитают не слишком сложные для восприятия материалы, они любят слова и картинки. Мой опыт показывает, что [они] предпочитают краткие материалы, не делающие акцента на математических расчётах. Это не значит, что мы не можем этого сделать, но спрос на такие материалы действительно невелик»[7].

Количественные оценки вероятности, широко применяемые в бизнес-прогнозировании, маркетинге, медицине (в частности, эпидемиологии), включая такие инструменты, как теория вероятностей и байесовский анализ, также могут использоваться разведывательным сообществом. Использование аппарата теории вероятностей и других стохастических методов привлекательно тем, что они являются рациональными и математически строгими, и в меньшей степени зависят от «человеческого фактора», в силу чего выводы на их основе кажутся однозначными. Основным аргументом против использования этих методов является то, что лишь небольшое количество аналитиков разведки и потребителей разведывательной аналитики способны производить численные расчеты. Помимо этого, по оценке директора Центра оборонной информации Брюса Блэра, разведывательная информация из секретных источников часто имеет неизвестную достоверность, и применение передовых математических методов не позволяет повысить её достоверность. Тем не менее Блэр является сторонником внедрения количественных методов в аналитических подразделениях разведсообщества, но при этом полагает, что внедрение стохастического анализа в них — довольно отдалённая перспектива. Математический и статистический анализ требует большого объёма работы без быстрой адекватной отдачи в повышении точности, скорости или качества деятельности[8].

Рекомендации Национального совета по разведке США предполагают использование парадигмы WEP (Таблица 2) в сочетании с оценкой уровня доверия («высокий, средний, низкий»), основанном на объёме и качестве вспомогательной информации:

Тем не менее, дискуссии внутри самого Национального совета по разведке говорят о серьёзных сомнениях в эффективности данной парадигмы:

«Суждения аналитиков разведки, относящиеся к вероятности, призваны отразить ощущение разведсообщества в отношении вероятности события или развития событий. […] Мы не намерены использовать термин „маловероятно“, подразумевая, что событие не произойдет. Мы используем термины „вероятно“ и „возможно“, чтобы показать, что вероятность события больше, чем просто шанс. Мы используем такие слова, как „мы не можем исключать“, и „мы не можем сбрасывать со счёта“, чтобы отразить маловероятное — или даже невероятное — событие, которое не заслуживает такого упоминания. Такие слова, как „может быть“ и „предполагаем“ используются для отражения ситуации, в которых мы не в состоянии оценить вероятность вообще, потому что соответствующая информация не существует, отрывочны, или носит фрагментарный характер»[10].

В 1964 году Ш.Кент выступал против использования в аналитических документах «выражений … которые передают определенный смысл, но в то же время либо полностью освобождает нас от ответственности, либо делают оценку достаточно удаленной … ,во избежание последствий для себя»[11].

Институт исследований разведки при университете Меркихёрста в Эри (штат Пенсильвания) провёл исследования интерпретаций оценочной терминологии Национальным советом по разведке[12][13]) and[14]. Результаты исследований показали, что использование оценочной терминологии (WEPs) в Национальном совете по разведке (англ. National Intelligence Council, NIC) в последние три десятилетия привело к существенным изменениям в способах формулирования решений по вопросам разведки[14].

Оценочная терминология в парадигме института Меркихёрст является модифицированной схемой Кента :

Достоверность и надёжность источника информации выражаются числом от 1 до 10 (10 — максимальная оценка).

Таблица 4 содержит перечень терминов, которые являются особенно расплывчатыми и известны как слова из неавторитетных источников. Их использование в оценочных заявлениях почти наверняка приведёт к путанице, поэтому в документах их следует избегать любой ценой[15].