Экспертное оценивание

Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

• Выбор лучшего варианта решения среди имеющихся.
• Прогнозирование развития процесса.
• Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил;

• Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
• Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
• Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Существующие виды экспертных оценок можно классифицировать по признакам:

• По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
• По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.
• По решаемым задачам: генерирующие решения и оценивающие варианты.
• По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
• По способу обработки мнений экспертов: непосредственные и аналитические.
• По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 — 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает своё мнение.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

• Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
• Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

Основные этапы обработки экспертных оценок:

• определение компетенции экспертов;
• определение обобщенной оценки;
• построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);
• определение зависимостей между ранжировками;
• оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
• оценка ошибки исследования;
• построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
• подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).