Методы экспертных оценок

0
1272

Методы экспертных оценок

Изучению возможностей и особенностей применения экспертных оценок посвящено много работ. В них рассматриваются формы экспертного опроса (разные виды анкетирования, интервью), подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения и т.д.), методы обработки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компетентности экспертов, достоверности их мнений), методики организации экспертных опросов. Выбор форм и методов проведения экспертных опросов, подходов к обработке результатов опроса и т.д. зависит от конкретной задачи и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые нужно помнить специалисту по системному анализу.

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип \»хорошего измерителя\», считая эксперта хранителем большого объема информации, а групповое мнение экспертов — близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно; экспертов нельзя рассматривать как \»хороших измерителей\», и необходимо осторожно подходить к обработке результатов экспертизы, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка Результатов. Использование методов осреднения (справедливых для \»хороших измерителей\») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных планов целесообразно выявлять \»редкие\» мнения и подвергать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экспертные оценки нужно смотреть как на некоторую \»общественную точку зрения\», зависящую от уровня научно-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос — это не одноразовая процедура. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода \»механизмом\» в сложной системе, т.е. необходимо создать регулярную систему работы с экспертами.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при организации проведения экспертных опросов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использования представительности выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели. Одной из разновидностей экспертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности — метод SWOT-анализа.