Метод экспертных оценок

является подготовка и издание руководящего документа, в котором

формулируется цель работы и основные положения по ее выполнению. В этом

документе должны быть отражены следующие вопросы: постановка задачи-

эксперимента; цели эксперимента; обоснование необходимости эксперимента;

сроки выполнения работ; задачи и состав группы управления; обязанности и

права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руководства всей работой

назначается руководитель экспертизы. На него возлагается формирование

группы управления и ответственность за организацию ее работы.

После формирования группа управления осуществляет работу по подбору

экспертной группы примерно в такой последовательности: уяснение решаемой

проблемы; определение круга областей деятельности, связанных с проблемой;

определение долевого состава экспертов по каждой области деятельности;

определение количества экспертов в группе; составление предварительного

списка экспертов с учетом их местонахождения; анализ качеств экспертов и

уточнение списка экспертов в группе; получение согласия экспертов на

участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления

проводит разработку организации и методики проведения опроса экспертов. При

этом решаются следующие вопросы: место и время проведения опроса;

количество и задачи туров опроса; форма проведения опроса; порядок

фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение

организации и методики обработки данных опроса. На данном этапе необходимо

определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы

и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его

результатов группа управления осуществляет выполнение комплекса работ в

соответствии с разработанным планом, корректируя его по мере необходимости

по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления является оформление

результатов работы. На этом этапе производится анализ результатов

экспертного оценивания; составление отчета; обсуждение и одобрение

результатов; представление итогов работы на утверждение; ознакомление с

результатами экспертизы организаций и лиц.

1.4. Подбор экспертов

Для реализации процедуры экспертного оценивания необходимо сформировать

группу экспертов. Общим требованием при формировании группы экспертов

является эффективное решение проблемы экспертизы. Эффективность решения

проблемы определяется характеристиками достоверности экспертизы и затрат на

нее.

Достоверность экспертного оценивания может быть определена только на

основе практического решения проблемы и анализа ее результатов.

Использование экспертов как раз и обусловлено тем, что отсутствуют какие-

либо другие способы получения информации. Поэтому оценка достоверности

экспертизы может осуществляться, как правило, только по апостериорным

(послеопытным) данным. Если экспертиза проводится систематически с

примерно одним и тем же составам экспертов, то появляется возможность

накопления статистических данных по достоверности работы группы экспертов и

получения устойчивой числовой оценки достоверности. Эту оценку можно

использовать в качестве априорных данных о достоверности группы экспертов

для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа

экспертов в группе, долевого состава различных специалистов в группе, от

характеристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов

является еще одной проблемой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы

характеристик эксперта, существенно влияющих на ход и результаты

экспертизы. Эти характеристики должны описывать специфические свойства

специалиста и возможные отношения между людьми, влияющие на экспертизу.

Важным требованием к характеристикам эксперта является измеримость этих

характеристик.

Еще одной проблемой является организация процедуры подбора экспертов,

т.е. определение четкой последовательности работ, выполняемых в процессе

подбора экспертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по

финансовым ресурсам. Определив зависимость между достоверностью,

количеством экспертов и расходами на оплату, группа управления представляет

руководству эту информацию и формулирует возможные альтернативы решений.

Такими альтернативами могут быть либо снижение достоверности результатов

экспертного оценивания до уровня, обеспечивающего выполнение ограничения по

расходам на оплату экспертов, либо сохранение исходного требования на

достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов является составление

предварительного списка экспертов. При составлении этого списка проводится

анализ качеств экспертов. Кроме учета качеств экспертов, определяются их

местонахождение и возможности участия выбранных специалистов в экспертизе.

При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в

эксперты.

После составления списка экспертов им направляются письма с приглашением

участвовать в экспертизе. В письмах объясняется цель проведения экспертизы,

ее сроки, порядок проведения, объем работы и условия вознаграждения. К

письмам прилагаются анкеты данных эксперта и самооценки компетентности.

Получив ответы экспертов, группа управления составляет окончательный список

группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о

включении их в состав экспертной группы. Если экспертное оценивание

производится методом анкетирования, то одновременно с уведомлением о

включении в экспертную группу всем экспертам высылается анкета с

необходимыми инструкциями для их заполнения. Сообщением экспертам о

включении их в экспертизу заканчивается работа по подбору экспертов.

1.5. Опрос экспертов

Опрос – главный этап совместной работы группы управления и экспертов.

Основным содержанием опроса является:

- постановка задачи и предъявление вопросов экспертам;

- информационное обеспечение работы экспертов;

- выработка экспертами суждений, оценок, предложений;

- сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

- оценка качественная или количественная заданных объектов;

- построение новых объектов;

- построение и оценка новых объектов.

При коллективной экспертизе используются следующие основные виды опроса:

дискуссия, анкетирование и интервьюирование, метод коллективной генерации

идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При

анкетировании с обратной связью опрос экспертов производится в несколько

этапов с доведением до сведения экспертов некоторых результатов опроса на

предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и

максимума творческой активности, самостоятельности эксперта. Необходимо

стремиться довести до каждого эксперта по возможности всю информацию,

относящуюся к анализируемому явлению, которой располагают как эксперты, так

и организаторы опроса, не лишая в то же время эксперта творческой

самостоятельности и активности.

Однако возможности эксперта по переработке информации ограниченны. В

результате эксперт может принять решение, не используя всей информации,

имеющейся в его распоряжении. Кроме того, новая информация воспринимается

человеком с определенным внутренним сопротивлением и не сразу влияет на уже

сложившиеся субъективные оценки. Отношение к новой информации

благожелательнее, а восприятие и использование ее полнее, если она

представляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необходимость предоставления

экспертам возможностей для фиксации поступающей информации путем ведения

записей, использования технических средств, а также необходимость

предварительной обработки информации и представления ее экспертам в

наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами

информацией, так как получение такой информации таит опасность потери

творческой независимости в построении модели объекта экспертом. Разрешение

этого противоречия в полной мере невозможно, и при каждой экспертизе ее

организаторы должны находить разумный компромисс, прежде всего, путем

выбора вида опроса, формы и степени общения экспертов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении

обмена информацией между экспертами и в организации их независимого

творчества. Выбор того или иного вида опроса определяется многими

факторами, из которых основными являются:

- цель и задачи экспертизы;

- существо и сложность анализируемой проблемы;

- полнота и достоверность исходной информации;

- требуемые объем и достоверность информации, получаемой в результате

опроса;

- время, отведенное на опрос и экспертизу в целом;

- допустимая стоимость опроса, и экспертизы в целом;

- количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным

видом опроса, ибо позволяет наилучшим образом сочетать информационное

обеспечение экспертов с их самостоятельным творчеством.

Глава 2. ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ СРАВНЕНИЙ

Рациональное использование информации, полученной от экспертов, возможно

при условии образования ее в форму, удобную для дальнейшего анализа,

направленного на подготовку и принятие решений.

Возможности формализации информации зависят от специфических особенностей

исследуемого объекта, надежности и полноты имеющихся данных, уровня

принятия решения. Форма представления экспертных данных зависит и от

принятого критерия, на выбор которого, в свою очередь, существенное влияние

оказывает специфика исследуемой проблемы.

Формализация информации, полученной от экспертов, должна быть направлена

на подготовку решения таких технико-экономических и хозяйственных задач,

которые не могут быть в полной мере описаны математически, поскольку

являются «слабоструктуризованными», т.е. содержат неопределенности,

связанные не только с измерением, но и самим характером исследуемых целей,

средств их достижения и внешних условий.

При анализе перспектив необходимо не только представить в виде косвенных

оценок часть информации, не поддающуюся количественному измерению, и не

только выразить с помощью таких оценок количественно измеримую информацию,

о которой в момент подготовки решения нет достаточно надежных данных. Самое

важное – формализовать эту информацию так, чтобы помочь принимающему

решение выбрать из множества действий одно или несколько, наиболее

предпочтительные в отношении некоторого критерия.

Если эксперт в состоянии сравнить и оценить возможные варианты действий,

приписав каждому из них определенное число, значит, он обладает

определенной системой предпочтений. В зависимости от того, по какой шкале

могут быть заданы эти предпочтения, экспертные оценки содержат больший или

меньший объем информации и обладают различной способностью к формализации.

Исследуемые объекты или явления можно опознавать или различать на основе

признаков или факторов. Фактор – это множество, состоящее, по крайней мере,

из двух элементов, отражающих различные уровни некоторых подлежащих

рассмотрению величин. Уровень одних факторов может быть выражен

количественно (в рублях, процентах, килограммах и т.д.) – такие факторы

называются количественными. Уровень других нельзя выразить с помощью числа,

их называют качественными.

Факторы условно разделяют на дискретные и непрерывные. Дискретными

являются факторы с определенным, обычно небольшим, числом уровней. Факторы,

уровни которых рассматриваются как образующие непрерывное множество,

называют непрерывными. В зависимости от целей и возможностей анализа одни и

те же факторы могут трактоваться или как дискретные, или как непрерывные.

Рассмотрим основные логические аксиомы, которые используются в эксперных

методах при формализации информации с помощью различных шкал.

При использовании номинальных шкал исследуемые объекты можно опознавать и

различать на основе трех аксиом идентификации [6]:

1) i либо есть j, либо есть не j;

2) если i есть j, то j есть i;

3) если i есть j и j есть k, то i есть k.

Факторы в данном случае выступают как ассоциативные показатели,

обладающие информацией, которая может быть формализована в виде бинарных

оценок двух уровней: 1 (идентичен) или 0 (различен).

В случаях, когда исследуемые объекты можно в результате сравнения

расположить в определенной последовательности с учетом какого-либо

существенного фактора (факторов), используются порядковые шкалы,

позволяющие устанавливать равноценность или доминирование.

Предположим, что необходимо расположить в определенной последовательности

n объектов по какому-либо фактору (критерию). Представим это упорядочение в

виде матрицы [pic] где i, j = 1,2,…, n.

Величины [pic] устанавливают соотношения между объектами и могут быть

определены следующим образом [6]:

[pic] [pic] [pic][pic]

Установим основные аксиомы, необходимые для соблюдения условий

упорядочения. Соотношение [pic] означающее, что i предпочтительнее j,

должно быть ассиметричным, т.е., если [pic] то [pic] и транзитивным, т.е.,

если [pic] [pic] то [pic]

Соотношение [pic] означающее, что i и j равноценны, называется

соотношением эквивалентности. Такое соотношение должно быть

рефлексивным, т.е. [pic]

симметричным, т.е., если [pic] то [pic]

транзитивным, т.е., если [pic] и [pic] то [pic]

Кроме того, эти два соотношения должны быть совместимы, т.е., если [pic]

и [pic] то [pic] а также, если [pic] и [pic] то [pic]

И, наконец, упорядочение должно быть связным, т.е. для любых i и j или

[pic] или [pic] или [pic]

Использование порядковых шкал позволяет различать объекты и в тех

случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не

знаем признака сравнения, но можем частично или полностью упорядочить

объекты на основе системы предпочтений, которой обладает эксперт.

Любое множество A будем называть упорядоченным, если для любых двух его

элементов X и Y установлено, что, либо X предшествует Y, либо Y

предшествует X. Иногда не удается установить строгое предшествование для

всех элементов множества, но можно произвести «групповое» упорядочение,

когда упорядочиваются подмножества равноценных элементов. Далее можно

поставить задачу сравнения и упорядочения этих подмножеств.

Использование порядковых шкал позволяет производить преобразования

полученных от экспертов оценок, соответствующих всем монотонно возрастающим

функциям. Так, например, положительные оценки могут либо быть заменены их

квадратами, или логарифмами, или любой другой монотонно возрастающей

функцией.

Для формализации оценок, полученных от экспертов, часто используют

интервальные шкалы. При использовании таких шкал для этих целей можно брать

почти все обычные статистические меры. Исключением являются те меры,

которые предполагают знание «истинно» нулевой точки шкалы, которая вводится

здесь условно.

Интервальные шкалы предполагают возможность трансформации оценок,

полученных на одной шкале, в оценки на другой шкале при помощи уравнения

[pic]

Разности между значениями на шкале интервалов становятся мерами на шкале

отношений, т.е. на обычной числовой шкале, т.к. в результате вычитания

можно избавиться от постоянного слагаемого b.

В ряде случаев при формализации экспертных оценок используется свойство

аддитивности, которое присуще только шкале отношений. Наличие аддитивности

выражается следующими аксиомами [6]:

1) если j = a и i > 0, то i + j > a;

2) i + j = j + i;

3) если i = a и j = b, то i + j = a + b;

4) (i + j) + k = i + (j + k).

Обычная ситуация, когда необходимо принять решение с учетом аддитивности,

заключается в том, что имеется несколько (по крайней мере, два)

качественных факторов. При наличии нескольких факторов, характеризующих

конкретные объекты, существует множество реальных свойств и типов связей

объектов.

Так, например, факторы (показатели), характеризующие эффективность

создания и внедрения новой техники, по их объективному содержанию можно

подразделить на технические, экономические и социальные. С другой стороны,

эти факторы можно сгруппировать в соответствии с их ролью в процессе

создания и внедрения новой техники, выделив, например, показатели,

характеризующие затраты, качество, экономическую эффективность и т.д.

В зависимости от характера и цели исследуемой проблемы факторы, по

которым различаются объекты, могут быть количественно сравнимы или

несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь

некоторые из них), упорядочены по степени их важности и т.д.

Несоизмеримость различных факторов обусловлена не только необходимостью

применения разных единиц измерения, но и тем, что каждый фактор, выражая

определенное свойство, одновременно является оценкой отношения к данному

свойству со стороны принимающего решение.

В практике управления во всех его уровнях часто возникают ситуации, когда

необходимо принять решение с учетом многих факторов. Вопрос о том, какие

именно факторы следует считать наиболее важными, зависит от качественных

особенностей объекта решения и целей, которым должно отвечать это решение.

Например, при рассмотрении нескольких вариантов плана или вариантов

организационно-технических мероприятий следует принимать во внимание

факторы времени, затрат, технических и социальных результатов,

экономической эффективности и т.д. Обычно все разнообразие факторов

пытаются привести к однозначной комплексной оценке, причем наиболее удобной

и распространенной такой оценкой является денежная.

Однако, поскольку последствия любого решения, особенно решений, связанных

с научно-техническим прогрессом, выходят за рамки стоимостных показателей,

необходимы измерители, характеризующие значимость, полезность того или

иного фактора (или их комплекса). Такие комплексные измерители широко

применяются при оценке качества продукции, технико-экономического уровня

производства, при оценке результатов деятельности научных организаций и в

ряде других задач. Хотя вопрос о создании достаточно обоснованной

формализованной системы таких измерителей еще далек от окончательного

решения, можно указать некоторые общие черты, обеспечивающие подход к

формализации этого процесса и к использованию того или иного логико-

математического аппарата.

В случае, когда все факторы задаются по номинальной шкале, т.е. задаются

по этой шкале некоторый признак a и исходное множество элементов M, цель

состоит в выборе подмножества элементов M(a), обладающих этим признаком. В

таких случаях производится сравнение элементов, точнее их свойств, с

признаком – эталоном, а результат – разбиение множества – можно

рассматривать как упорядочение по двухэлементной шкале, по которой каждому

из элементов присваивается балл, равный либо нулю, либо единице.

В случае, когда факторы заданы по порядковой шкале или по нескольким

порядковым шкалам, цель состоит в упорядочении элементов исходного

множества, в выявлении с помощью экспертов скрытой упорядоченности,

которая, по предположению, присуща этому множеству. Необходимым условием

Страницы: 1, 2, 3, 4