Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?
1. Экспертное оценивание, Экспертное оценивание
Эксперты (от латинского «expertus» — опытный) — это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.
Методы экспертных оценок
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.
Экспертные оценки часто используются при выборе, например:
одного варианта технического устройства для запуска в серию из нескольких образцов,
группы космонавтов из многих претендентов,
набора проектов научно-исследовательских работ для финансирования из массы заявок,
получателей экологических кредитов из многих желающих,
при выборе инвестиционных проектов для реализации среди представленных, и т.д.
2. Этапы экспертного оценивания, Постановка цели исследования.
Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:
- Выбор лучшего варианта решения среди имеющихся.
- Прогнозирование развития процесса.
- Поиска возможного решения сложных задач.
Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:
Особенности применения метода экспертных оценок при проведении ...
... метода экспертных оценок при проведении научных исследований в туризме. Задачи исследования. Исходя из цели исследования,в работе были поставлены следующие задачи: Изучить роль экспертизы в туризме. Рассмотреть порядок организации экспертного оценивания. ...
- Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.
- Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.
— Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.
Выбор формы исследования, определение бюджета проекта.
Существующие виды экспертных оценок можно классифицировать по признакам:
- По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.
- По количеству итераций (повторов процедуры для повышения точности) — одношаговые и итерационные.
- По решаемым задачам: генерирующие решения и оценивающие варианты.
- По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
- По способу обработки мнений экспертов: непосредственные и аналитические.
- По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.
Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.
Подготовка информационных материалов, бланков анкет, модератора процедуры.
Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.
Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.
Методы решения проблем международного туризма и его дальнейшие перспективы
... В третьей главе рассмотрены методы решения проблем современного международного туризма, а также перспективы его дальнейшего развития. Целью данной курсовой работы является разработать пути решения проблем и прогноза развития международного ... на рис. 1.1. [4, c.22] Рис.1.1. Категории международного туризма и логика его количественной оценки Состояние туристических ресурсов и индустрии этой отрасли в ...
Подбор экспертов.
Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.
В проблеме подбора экспертов можно выделить две составляющие — составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.
Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.
Проведение экспертизы.
Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:
- Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
- Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
Статистический анализ результатов
1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).
Оценить ошибку исследования.
Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).
Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.
Подготовка отчета с результатами экспертного оценивания. , . Виды экспертных оценок, Методы экспертных оценок можно разделить на две группы:
§ методы коллективной работы экспертной группы
§ методы получения индивидуального мнения членов экспертной группы.
Методы коллективной работы экспертной группы
Методы коллективной работы включают методы «мозговой атаки», «сценариев», «деловых игр», «совещаний» и «суда».
Мозговая атака., Метод «635», Деловые игры
Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.
Метод совещаний
Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.
Показатели качества продукции и методы их определения
... показатели и методы оценки качества продукции. Задачи работы рассмотреть: 1. Показатели уровня качества и методы их оценки. 2. Показатели уровня качества и методы их оценки на примере меда. 3. Характеристика показателей качества и методов их оценки. 1. Показатели уровня качества и методы их оценки 1.1 Понятие качества В ...
Метод комиссий, Метод написания сценария
от каких простейших форм к более сложным должен пройти этот процесс;
- как он повлияет на национальное хозяйство и экономические связи стран;
- каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.
Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.
Он обычно носит многовариантный характер и освещает три линии поведения:
- оптимистическую — развитие системы в наиболее благоприятной ситуации;
- пессимистическую — развитие системы в наименее благоприятной ситуации;
- рабочую — развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.
В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
Метод суда
В роли «подсудимых» выступают выбираемые варианты решения;
- в роли «судей» — лица, принимающие решение;
- в роли «прокуроров» и «защитников» — члены экспертной группы.
Роль «свидетелей» выполняют различные условия выбора и доводы экспертов. При ведении такого «судебного процесса» отклоняются или принимаются те или иные решения.
Метод «суда» целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.
Методы получения индивидуального мнения членов экспертной группы , Метод «Дельфи».
а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);
- б) возможность использования результатов предыдущего тура опроса;
- в) статистическая характеристика группового мнения.
Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.
Метод интервью, Аналитический метод, . Обработка результатов опроса экспертов
экспертный коллективный индивидуальный опрос
Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.
Анализ методов эффективного управления в турфирме
... в себя формулировку цели управления, выбор методов разработки решений, критериев оценки вариантов, разработку алгоритма ... может использовать мнение грамотных специалистов, экспертов в выбранной сфере деятельности для ... объект управления (организацию). Система управления - это совокупность взаимосвязанных элементов, способ реализации технологии управления, которая предполагает воздействие объекта ...
На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.
Чаще всего при обработке результатов опроса используются методы математической статистики.
В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:
- формирование обобщенной оценки;
- определение относительных весов объектов;
- установление степени согласованности мнений экспертов и др.
Далее рассмотрим некоторые методы решения каждой из перечисленных задач.
1) Формирование обобщенной оценки
Итак, пусть группа экспертов оценила какой-либо объект, тогда x j — оценка j-го эксперта, , где m — число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (M E), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:
2) Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.
Один из методов определения весов состоит в следующем. Пусть x ij — оценка фактора i, данная j-ым экспертом, , , n — число сравниваемых объектов, m — число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:
где w ij — вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:
3) Установление степени согласованности мнений экспертов
В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики — меры разброса.
Вариационный размах (R):
= x max — xmin,
где x max — максимальная оценка объекта;min — минимальная оценка объекта.
Среднее квадратическое отклонение, вычисляемое по известной формуле:
Оценка эффективности управленческих решений
... широком осмыслении управленческое решение рассматривают как главный вид управленческой работы, совокупность взаимосвязанных, целенаправленных и закономерно поочередных управленческих деяний, которые обеспечивают реализацию управленческих задач. Цель курсового проекта - анализ теоретических основ оценки эффективности управленческих решений. Задачи курсового проекта: изучить ...
- где xj — оценка, данная j-ым экспертом;
- количество экспертов.
Коэффициент вариации (V), который обычно выражается в процентах:
Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.
В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x 1j, x2j, …, xnj.
Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:
- где xij — ранг, присвоенный i-му объекту j-ым экспертом;ik — ранг, присвоенный i-му объекту k-ым экспертом;i — разница между рангами, присвоенными i-му объекту.
Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.
В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное — об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.
Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации — общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:
Где
Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.
Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.
Заключение
Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.
Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.
Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.
Оценка персонала предприятия
... Оценка группой экспертов возможностей кандидата на другие должности по определенной методике. [13, 160 с.] В большинстве современных компаний (как отечественных, так и зарубежных) оценка персонала ... в компании. 8. Метод коэффициентов – Выделение факторов оценки и определение нормативных значений этих ... анализа и синтеза, метод научной абстракции, статистический метод, метод экспертных оценок, метод ...
Список литературы
[Электронный ресурс]//URL: https://jret.ru/referat/izuchit-ekspertnuyu-otsenku-predpochteniya-vyibora-kurortov-2/
1 Орлов А.И. Экспертные оценки. // Заводская лаборатория. ? 1996. ? Т. 62. ? №1. ? С. 54-60.
2 Орлов А.И. Экспертные оценки. Учеб. пособие. — М.: 2002.
Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. — М.: Экономика, 1976. ? 287 с.
Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. — М.: Экономика, 1978. ? 133 с.
Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. — М.: Знание, 2000. — 288 с.
Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. — М.: Наука, 1973. — 79 с.
Статистические методы анализа экспертных оценок. — М.: Наука, 1977. — 384 с.
Моисеев Н.Н. Математические задачи системного анализа. — М.: Наука, 1981. — 487 с.
Литвак Б.Г.Экспертные оценки и принятие решений. — М.: Патент, 1996.
Характеристики методов экспертных оценок [Электронный ресурс]: #»justify»>Экспертное оценивание. / Википедия. [Электронный ресурс]: #»justify»>Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс]: http://www.spc-consulting.ru/app/expert.htm
