Концепция субъективной экспертной оценки

Экспертная оценка – это… Что такое экспертная оценка: этапы, методы и виды

Добавлено в закладки: 0

Что такое экспертная оценка? Описание и определение понятия.

Экспертная оценка –  это оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить любые точные науки,поэтому оценка проводится на основании профессионального опыта специалиста, как одного, тогда экспертная оценка будет индивидуальной, так и нескольких, тогда экспертная оценка будет коллективной. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и так далее. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития или изменения ситуации, процесса, предмета.

Рассмотрим, более детально, что значит экспертная оценка .

Экспертная оценка – это диагностический метод измерения, процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения(выбора).

Виды экспертных оценок

Выделяют две группы экспертных оценок:

  • Индивидуальные оценки (основываются на использовании мнения независимых друг от друга отдельных экспертов).
  • Коллективные оценки (основываются на использовании только коллективного мнения экспертов).

Совместное (коллективное) мнение, безусловно, обладает наибольшей точностью, по сравнению с индивидуальным мнением каждого отдельного специалиста.

Этот метод применяется для получения количественных оценок и качественных характеристик и свойств.

Методы экспертных оценок

Существует несколько методов экспертных оценок:

  1. Метод ассоциаций. Этот метод основывается на изучении похожего по свойствам объекта с другим объектом.
  2. Метод парных (или бинарных) сравнений. Это метод основывается на том, что эксперт четко сопоставляет альтернативные варианты, из которых надо выбрать наиболее подходящие или предпочтительные.
  3. Метод векторов предпочтений. Это метод, при котором эксперт анализирует весь возможный набор альтернативных вариантов и выбирает наиболее предпочтительные из них.
  4. Метод фокальных объектов. Этот метод основывается на перенесении признаков случайно (рандомно) отобранных аналогов на исследуемый объект.
  5. Индивидуальный экспертный опрос. Это своего рода интервью или опрос в виде анализа экспертных оценок. Индивидуальный экспертный опрос подразумевает диалог между экспертом и заказчиком, в ходе которого заказчик ставит перед экспертом вопросы, ответы на которые очень существенны для достижения программных целей.
  6. Под анализом экспертных оценок подразумевается, что эксперт заполняет индивидуально разработанный заказчиком формуляр, по результатам которого и производится всесторонний анализ проблемной ситуации, а также рассматриваются все возможные пути её решения. Эксперт выносит все свои соображения по данному вопросу в виде отдельного письменного документа.
  7. Метод средней точки. Это метод основывается на том, что в процессе экспертной оценки формулируются два альтернативных варианта решения, один из которых менее предпочтителен, а другой, наоборот более предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена посередине, то есть между значений первой и второй альтернативы.

Этапы экспертного оценивания

Выделяют несколько этапов:

  • Ставится цель исследования.
  • Выбирается форма исследования и определяется бюджет проекта.
  • Подготовительный этап ( в него включается процесс сбора всего необходимого: информационных материалов, бланков анкет, модератора процедуры и такдалеее).
  • Тщательно подбираются компетентные эксперты.
  • Проведение самой экспертизы.
  • Проводится полный анализ результатов (то есть обрабатываются экспертные оценки).
  • Подготавливается и составляется отчет с результатами экспертного оценивания.

Постановка цели исследования

Перед тем как начать экспертное исследование, очень важно четко определить его цель (или проблему) и сформулировать соответствующий вопрос для экспертов.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по разным признакам:

  1. По форме участия экспертов: заочное или очное. Если говорить о достоверности результатов, то очный метод экспертной оценки считается более качественным, так как он позволяет сосредоточить все внимание экспертов на решаемой проблеме, однако заочный метод тоже имеет свой огромный плюс – он может быть значительно дешевле, чем очный метод.
  2. По количеству итераций (или повторов процедуры для повышения точности экспертной оценки) — различают итерационные (то есть много повторов) и одношаговые.
  3. По решаемым задачам экспертные оценки подразделяются на генерирующие решения и оценивающие варианты.
  4. По типу ответа экспертные оценки делятся на: ранжирующие, идейные, оценивающие объект в относительной или абсолютной (численной) шкале.
  5. По способу обработки мнений экспертов: непосредственные и аналитические экспертные оценки.
  6. По количеству привлекаемых экспертов: ограниченные или без ограничения. Обычно на практике используется от пяти до двенадцати человек экспертов.

Перечислим наиболее известные методы экспертных оценок:

  • метод Дельфи,
  • мозговой штурм и
  • метод анализа иерархий.

У каждого метода существуют свои сроки проведения, а также потребность в экспертах. После того, как был выбран метод экспертного оценивания можно уже определять затраты на процедуру экспертной оценки – сюда включается оплата услуг экспертов, аренда помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы и так далее, тому подобное.

Эксперты перед вынесением суждения должны тщательно и с разных сторон рассмотреть представленную проблему. Для этого необходимо подготовить информационные материалы с описанием проблемы, уже имеющиеся статистические данные, справочные материалы, бланки анкет, а также инвентарь.

Стоит избегать следующих ошибок: упоминать разработчиков материалов, каким-то образом выделять тот или иной вариант решения или намекать на него, выражать (прямо или косвенно) отношение руководства к ожидаемым результатам.

Данные должны быть разносторонние, а мнения и суждения экспертов непредвзятые и нейтральные. Необходимо заранее разработать бланки анкет для экспертов.

Обратите внимание

В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или же в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который обязательно контролирует соблюдение регламента, раздает необходимые материалы и анкеты, но сам своё мнение не высказывает.

Подбор экспертов

Эксперты должны быть компетентными в данных вопросах, а также должны обладать определенным опытом в областях, соответствующих решаемым задачам. Приподборе экспертов желательно учитывать момент личной заинтересованности, который может стать очень существенным препятствием для получения объективного суждения.

С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран весь необходимый коллектив. При решении задачи формирования экспертной группы необходимо выявить и стабилизировать работоспособную сеть экспертов.

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Обычно к эксперту предъявляются такие требования:

  1. уровень общей эрудиции должен быть высокий;
  2. оценки эксперта должны быть стабильны во времени;
  3.  эксперт должен владеть дополнительной информацией, что будет только подтверждать его оценку по данному вопросу;
  4. у эксперта должен быть богатый исследовательский и практический опыт, а также репутация признанного специалиста в данной области знаний;
  5.  далеко не последнюю роль играет наличие психологической установки на будущее;
  6.  эксперт должен обладать способностью к адекватному отображению тенденций развития исследуемого объекта;
  7.  и последнее — эксперт не должен быть незаинтересован в каком-то определенном или конкретном результате прогноза.

Проведение экспертизы

Проведение экспертизы может отличаться от случая к случаю в зависимости от того, какой метод был выбран для использования. Общие рекомендации по этому вопросу следующие:

  • Необходимо препятствовать давлению авторитетов (эксперт, как правило, часто боится противоречить мнению большинства или, например, наиболее уважаемого специалиста).
  • Необходимо установить и жестко соблюдать установленный регламент. Замечено, что увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
  • Анализ результатов (или обработка экспертных оценок).

Основные этапы обработки экспертных оценок:

  1. определение компетентности приглашенных экспертов;
  2. определение их обобщенной оценки;
  3. построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив;
  4. определение зависимостей между ранжировками;
  5. оценка степени согласованности мнений экспертов. Если значимая согласованность экспертов отсутствует, то необходимо во-первых выявить причины несогласованности, а во-вторых – признать отсутствие согласованного мнения (это так сказать ничтожные результаты);
  6. оценка ошибки исследования;
  7. построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
  8. подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

Подходы к  экспертным оценкам

Основное содержание метода экспертных оценок заключается в рациональной организации работы одного или нескольких специалистов над поставленной проблемой с регистрацией и последующей обработкой полученных данных.

Методы экспертных оценок основаны на использовании экспертной информации. Они помогают установить степень сложности и актуальности проблемы, определить основные цели и критерии, выявить важные факторы и взаимосвязи между ними, выбрать наиболее предпочтительные альтернативы.

Прогнозные экспертные оценки – они отражают индивидуальность суждения каждого из специалистов относительно эффективности, безопасности, расхода ресурсов, а также перспектив развития объекта. Основаны прогнозные экспертные оценки как правило на мобилизации профессионального опыта и интуиции экспертов.

Интуитивные (или экспертные) методы исследований используются для анализа и диагностики состояния, для последующего прогнозирования вариантов развития объектов (особенно в тех случаях, где обьект не поддается предметному описанию или математической формализации;

Также интуитивные методы используются когда нет достаточной и достоверной статистики по характеристикам исследуемого объекта, или в условиях большой неопределенности среды функционирования объекта, например,рыночной среды или в экстремальных ситуациях.

Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.

Кроме того, известны два подхода к использованию экспертов: индивидуальные оценки и групповые.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы, которая решается.

Методы получения индивидуального мнения членов экспертной группы основываются на том, что сначала получают предварительную информацию от экспертов, которых опрашивают независимо друг от друга, а потом полученные данные обрабатываются.

Индивидуальные мнения экспертов состоят в том, что каждый из них дает оценку независимо от других, а затем с помощью какого-либо приема эти оценки объединяются в одну общую оценку. Представляются индивидуальные экспертные оценки в виде оценок типа интервью или в виде аналитических записок.

Коллективные методы экспертизы основываются на групповой работе экспертов и получении суммарной оценки от всей группы специалистов в целом. Среди коллективных методов самым распространенным является метод мозговой атаки (это метод коллективной генерации идей или же метод группового рассмотрения с отнесенной оценкой), а также и метод Дельфи.

Важно

Следует заметить, что основной задачей экспертной оценки является максимальное приближение к истине. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.

После того, как эксперты выносят свою оценку, исследователь проверяет индивидуальные суждения экспертов, анализирует совокупности мнений экспертов с целью установления степени согласованности их между собой, а   в случае наличия существенных расхождений в оценках выявляет причины разных мнений и определяет влияние компетентности экспертов на содержание их оценок и обоснований.

Экспертные ошибки

Реальность такова, что экспертные ошибки встречаются довольно часто. Но все же стоит помнить, что экспертные ошибки — это результат добросовестного заблуждения эксперта.

Причины экспертных ошибок могут быть объективными, то есть не зависящими от эксперта как субъекта экспертного исследования, и субъективными, то есть коренящимися в образе мышления и (или) действиях самого эксперта.

Читайте также:  Paradigm seismic 110

Ошибки могут быть обнаружены самим экспертом в ходе работы, комиссией экспертов при обсуждении результатов исследования или руководителем экспертного учреждения.

Характеризуя экспертов, стоит учитывать, что в результате выработки оценок могут иметь место ошибки двух видов:

  1.  систематические ошибки. Если эксперт склонен к систематическим ошибкам, он выдает значения, которые устойчиво отличаются от истинного в сторону или увеличения или уменьшения. Предполагается, что такие ошибки связаны в первую очередь со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.
  2.  случайные ошибки. Случайные ошибки могут изменяться от одной экспертной оценки к другой и характеризуются они величиной дисперсии.

Повторная экспертная оценка

Если возникает потребность в проведении повторной экспертизы, то стоит учесть некоторые моменты. Например, при повторной экспертизе решаются те же самыевопросы и исследуются те же самые объекты, что и при первичной, но уже другими экспертами. Оценка заключения повторной экспертизы проходит те же этапы, что и оценка первичной экспертной оценки.

Причем как само заключение, так и выводы повторной экспертизы не имеют абсолютно никаких преимуществ по отношению к первичной, несмотря на возможные расхождения как в применяемых методах, средствах, методиках, так и в полученных результатах и в сформулированных выводах.

И то, и другое заключения должны быть все также оценены с позиций относимости, допустимости, достоверности и достаточности.

Применимость метода экспертных оценок

Экспертные оценки применяются на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации какиех-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка  решений не могут быть выполнены на основе точных расчетов.

Мы коротко рассмотрели экспертная оценка, ее этапы, методы и виды, а также ошибки

Оставляйте свои комментарии или дополнения к материалу.

Источник: https://biznes-prost.ru/ekspertnaya-ocenka.html

Методы экспертных оценок

Министерство образования и науки России

Марийский Государственный технический университет

Кафедра контроля и производства радиоаппаратуры

Реферат

на тему: Методы экспертных оценок

Выполнила: ст. гр. БЖД-41

Копылова И.В.

Проверил: проф. каф. КиПР

Скулкин Н.М.

Йошкар-Ола 2012

Содержание

Введение

. Экспертное оценивание

. Этапы экспертного оценивания

. Виды экспертных оценок

. Обработка результатов опроса экспертов

Заключение

Список литературы

Введение

Примеры методов экспертных оценок.

Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

1. Экспертное оценивание

Экспертное оценивание – процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Эксперты (от латинского “expertus” – опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Методы экспертных оценок – это методы организации работы со специалистами-экспертами и обработки мнений экспертов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

Экспертные оценки часто используются при выборе, например:

одного варианта технического устройства для запуска в серию из нескольких образцов,

группы космонавтов из многих претендентов,

набора проектов научно-исследовательских работ для финансирования из массы заявок,

получателей экологических кредитов из многих желающих,

при выборе инвестиционных проектов для реализации среди представленных, и т.д.

2. Этапы экспертного оценивания

1.Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

·Выбор лучшего варианта решения среди имеющихся.

·Прогнозирование развития процесса.

·Поиска возможного решения сложных задач.

Совет

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

·Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

·Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

·Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2.Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

·По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

·По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерационные.

·По решаемым задачам: генерирующие решения и оценивающие варианты.

·По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

·По способу обработки мнений экспертов: непосредственные и аналитические.

·По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3.Подготовка информационных материалов, бланков анкет, модератора процедуры.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь.

Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов.

В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4.Подбор экспертов.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

Обратите внимание

В проблеме подбора экспертов можно выделить две составляющие – составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам.

При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения.

С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5.Проведение экспертизы.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

·Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

·Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6.Статистический анализ результатов. После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

)Оценить ошибку исследования.

)Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

7.Подготовка отчета с результатами экспертного оценивания.

. Виды экспертных оценок

Методы экспертных оценок можно разделить на две группы:

§методы коллективной работы экспертной группы

§методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения.

Основное преимущество этих методов заключается в возможности разностороннего анализа проблем.

Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы “мозговой атаки”, “сценариев”, “деловых игр”, “совещаний” и “суда”.

Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение – нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, “заражаясь” друг от друга, высказывают все более экстравагантные соображения.

Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма – анализ высказанных идей.

Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект – прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей – творческий процесс.

Важно

Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: “Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс”. После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Метод «635» – одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу.

Читайте также:  Доработка s-90d с родными динамиками и переключателями. nivaga

Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе – 108. Структура идей четко определена. Возможны модификации метода.

Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели.

В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод совещаний (“комиссий”, “круглого стола”) – самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме.

В отличие от метода “мозговой атаки” каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других.

В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий

Источник: http://diplomba.ru/work/29551

Оценка персонала: объективные и субъективные факторы

Суть проблемы — в отсутствии достаточно объективной базы оценки персонала. Под определением «объективной» понимаются условия, при которых результат оценочной работы не зависит от того, кто ее проводит.

К сожалению, на большинстве предприятий и организаций оценка не только кандидатов на вакантные места, но и действующего персонала проводится в значительной мере субъективно. Более того, оценка руководителем своего подчиненного остается по существу доминирующим фактором. Даже если применяются специальные методы: анкетирование, фотография рабочего дня, собеседования и т. д.

Наконец, весьма сложна психологическая составляющая оценки персонала, поскольку как сами методы получения данных, так и их трактовка есть результат деятельности конкретной личности, и следовательно, носят субъективный характер.

Субъективность психологических тестов и спорность полученных с их помощью результатов — предмет многократного обсуждения в печати, в научном сообществе.

Сомнения в верности инструментальной базы существующих методов оценки персонала достаточно обоснованны еще потому, что сам предмет исследования содержит в себе высокий уровень неопределенности. К таким качествам, как упорство, последовательность в достижении цели, умение сосредоточиться и т. п.

, могут быть применены только ранговые (сопоставительные) оценки типа «более» или «менее». Например, «Иванов более усидчив, чем Петров» или «Сидоров в работе более упорен, чем Кузнецов» и т. д.

По существу, сами понятия «работоспособность», «настойчивость», «внимательность», «дисциплинированность» и аналогичные другие являются субъективными оценочными категориями, поскольку представляют собой в основном стереотипы общественного мнения.

Совет

То, что в отдельных случаях можно сравнить двух работников по какому-либо признаку, сказав, что у одного он более высокого значения, чем у другого, вовсе не означает, что такое сравнение всегда возможно.

В самом деле, можно ли совокупность определенных качеств обозначить общей категорией «трудоспособность»? Что вообще под этим подразумевается и есть ли уверенность, что разные исследователи под одним и тем же определением понимают нечто общее, единое?

Ответов на эти и многие другие вопросы пока нет, а следовательно, и не может быть полной уверенности в том, что эти категории действительно имеют объективный характер.

Неопределенность в оценках становится очевидной при конфликтной ситуации, которая иногда может перейти в судебное разбирательство. Тогда вопрос об адекватности выбранных критериев оценки персонала из чисто научного спора может превратиться в сугубо юридический.

При этом если организаторы процедур оценки работника будут ссылаться на несоответствие его определенным критериям, в частности, таким как «способность работать в команде» или «умение управлять людьми», то истец вправе потребовать юридического обоснования этих критериев.

Это означает, что ответчику (собственнику или руководителю организации) нужно будет представить документы (правовые, методические), в которых органами, наделенными соответствующими полномочиями (Министерство труда и социального развития, Министерство юстиции), определен точный смысл той или иной качественной профессиональной характеристики.

Сказанное, однако, не означает, что сомнения в объективности методик (а следовательно, и в их эффективности) лишают руководителя возможности применять те или иные критерии оценки персонала. И диктуется это не столько субъективными намерениями, сколько требованием повышения эффективности деятельности организации в целом.

Критерием объективности и целесообразности методик оценки персонала в данном случае может служить многолетний и положительный опыт их применения.

Несовершенство «объективок»

Обратите внимание

Согласно языковой практике субъективные оценки признаются неточными, тенденциозными и недостаточно надежными по сравнению с объективными, т. е. основанными на статистических данных.

К таковым относят количественно измеряемые показатели (объем выполнения работником своих производственных функций, уровень выполнения плановых заданий и т. д.

) Тем не менее индивидуальное мнение о профессионализме работника в ряде случаев может быть достаточно объективным и полным, а, в свою очередь, количественные показатели — далеко не точными и не полными.

С методической точки зрения, преимуществом объективных показателей является их юридическая доказательность, а недостатком — громоздкость процесса сбора данных, их обобщения и придания им юридического статуса (разработка и утверждение учетных форм, согласовательные подписи, контроль за самим этим процессом). Словом, объективные показатели в большинстве своем носят формальный характер. Отсюда их лишь относительная точность.

При факторной экспертной оценке персонала число факторов (критериев) всегда более одного, и соответственно повышается их точность и полнота. Но растут трудоемкость и стоимость оценочных работ. Поэтому вполне приемлемо совмещение экономичных, естественных, объективных показателей с факторной экспертной оценкой.

Существенным недостатком систем оценки персонала, основанных на объективных показателях, является противоречие между видимостью объективности измерения и невозможностью исчерпывающего охвата всех видов и элементов работ. Работы начинают делить на учитываемые (измеряемые) и не учитываемые (не измеряемые) и, соответственно, — на важные и не важные для работника.

В числе измеряемых, в свою очередь, могут быть выгодные и невыгодные. Такая ситуация характеризуется многими как несправедливая, в результате чего в круг оцениваемых работ включают все новые и новые работы и все более мелкие. Система их учета и измерения становится все более громоздкой, трудоемкой. И все же полной справедливости (полноты оценки) так и не наступает.

Другой недостаток этих систем — усиление формального отношения сотрудников к работе, увлечение «хорошими» показателями в ущерб существу дела, погоня за выгодными с точки зрения оценки трудовыми операциями.

Кроме того, налицо прямая связь показателей с оплатой труда, что также приводит к нежелательным результатам.

Так, введение показателя «процент выполнения плана» побуждает работников принимать заниженные планы, показатель «подготовка аналитических материалов и предложений в вышестоящие органы» побуждает работников увеличивать их количество или объем текста (печатные листы).

Введение показателя «участие в семинарах-совещаниях» с сильным коэффициентом связи с премией может побудить сотрудника посещать по возможности больше семинаров, независимо от реальной пользы в их участии.

В итоге, как показывает опыт, руководители отказываются от подробных изощренных «объективных» методик оценки персонала и переходят на простые, основанные на здравом смысле и экспертных методах, системы.

Цикличность оценки

Важно

Любой управленческий процесс имеет циклический характер. Начинается цикл управления с осуществления функции «планирования» и завершается «контролем и анализом».

Цикличность же процесса управления персоналом проявляется не только в последовательной реализации функций управления, но и в реализации конкретных кадровых процедур, операций и действий.

Рассмотрим роль объективной и субъективной оценки персонала в системе кадрового менеджмента.

Неотъемлемой частью работы с персоналом является кадровое планирование. Однако для того чтобы работа организации была эффективной, необходимо стремиться к оптимальной численности персонала и к соответствующему профессиональному его составу.

Решить эти задачи без объективной оценки существующего кадрового потенциала невозможно.

Такая оценка позволяет определить степень загруженности специалистов, соответствие профессионального состава кадров стоящим перед ним задачам, соответствие выполняемых работ квалификации исполнителей, наметить, что следует сделать для повышения отдачи сотрудников.

Исходный этап работы с персоналом — набор и отбор кадров. Отбор персонала на предприятие осуществляется в соответствии с квалификационно-должностными требованиями, а также требованиями к личностным качествам специалиста.

Для определения соответствия кандидатов предъявляемым требованиям разработан ряд способов и методов оценки: психологическое тестирование, различные виды собеседований, экзамены, другие методы. Во многих странах создаются специальные центры оценки.

Есть опыт создания подобных центров и у нас в стране.

Совет

Результаты оценки претендента определяют, во-первых, быть ли ему принятым на службу, и, во-вторых, на какую должность целесообразно определить его. После прохождения испытательного срока вновь возникает вопрос о судьбе специалиста и вновь руководителю приходится заниматься расстановкой кадров.

Через определенный промежуток времени служащий проходит процедуру оценки результатов его деятельности, умению работать в команде. Анализ материалов оценки и сопоставление качеств с результатами тестирования при приеме на работу позволяют скорректировать требования к кандидату на данную должность.

В основе данного цикла — организация исполнения работы, расстановка кадров и, соответственно, оценка персонала.

Это позволяет выявить недостатки в организации исполнения работ, во взаимодействии руководителя и подчиненного, определить предрасположенность специалистов к решению определенных задач.

Анализ полученных данных является основанием для принятия управленческих решений по расстановке кадров, изменению стиля руководства, внесению изменений в организацию деятельности и т. д.

Тут же и мотивационный вопрос: кого из специалистов повысить в должности, кому увеличить оклад, кто достоин морального поощрения и т. д. Такой подход к вопросам мотивации труда позволяет повысить отдачу и тех, кто не удостоился поощрения: у них на это тоже ведь есть шанс.

Следующий цикл в оценке персонала — выявление, каких знаний и каких навыков недостает тому или иному работнику для эффективной работы. Обобщение и анализ материалов оценки позволяет как разработать программу развития конкретного специалиста, так и скорректировать планы и программы подготовки и переподготовки работников.

Таким образом, объективная оценка персонала, являясь одним из направлений работы в системе кадрового менеджмента, занимает особое положение, поскольку замыкает на себя все циклы управления персоналом.

Обратите внимание

Посредством оценки персонала осуществляется обратная связь между руководителем и исполнителем.

Отлаженная система периодической оценки персонала предприятия не только стимулирует возникновение позитивных тенденций в кадровой деятельности, но и препятствует развитию негативных явлений.

Читайте также:  Как подключить сабвуфер

Субъективная же оценка важна для решения задач, стоящих перед руководителем в сфере управления персоналом. Такая оценка осуществляется в ходе собеседования руководителя с непосредственным подчиненным по определенной программе. При этом начальник оценивает:

  • результаты деятельности подчиненного за прошедший период работы;
  • личные его достоинства как специалиста;
  • возможности улучшения работы;
  • потребность в специальном обучении.

В результате формулируются задачи подчиненному на предстоящий период, выясняются его ожидания в карьерном росте и выставляется общая оценка.

Начальники отделов проводят текущую оценку своих работников, как правило, два раза в год. Сами начальники отделов, заместители начальника департамента подвергаются оценке профессионализма раз в год.

По результатам оценки принимаются решения относительно размера оплаты их труда, надбавок, должностного продвижения и намечаются цели на предстоящий период.

Промежуточные (полугодовые) оценки направлены на повышение их квалификации.

Таким образом, разные по целям оценки разведены во времени, что позволяет руководителю проще строить свои отношения с подчиненным в процессе собеседования. Тут руководитель выступает в роли судьи, строгого оценщика, в руках которого находится решение таких жизненно важных для подчиненного вопросов, как уровень оплаты и премирования труда, должностное продвижение.

Но руководитель может выступать в отношении подчиненного и в роли старшего товарища, советчика, наставника, помогающего его профессиональному становлению и совершенствованию.

Рекомендуемая продолжительность собеседования 1–1,5 часа. Опыт показывает, что большая или (особенно) меньшая продолжительность собеседования может вызвать у подчиненного разочарование, неудовлетворительность.

Собеседование проходит с глазу на глаз и не должно прерываться.

Основные моменты собеседования документируются в оценочной форме и подписываются обеими сторонами, при этом подчиненный может сделать свой комментарий, пояснения к выводам и решениям руководителя. За ним также остается право апелляции итогов собеседования в службу персонала, вышестоящему руководителю или в аттестационную комиссию.

Важно

Субъективная оценка позволяет сделать процесс управления прозрачным сверху донизу, так как руководители (являясь, в свою очередь, подчиненными вышестоящего руководителя) также проходят собеседование со своими непосредственными начальниками и по той же схеме.

При этом с начальниками отделов проводят собеседования кураторы отделов, а с кураторами — начальник департамента.

Первым проводит собеседование с нижестоящими начальниками руководитель вышестоящего уровня с тем, чтобы каждый из них, перед тем как организовать свои оценочные действия, побывал в роли оцениваемого.

Вся процедура оценки находится под контролем отдела управления персоналом. Сюда же передается вся информация о перспективах использования оцениваемого работника. Эта информация считается конфиденциальной, т. е. не сообщается ни оцениваемому, ни другим членам коллектива. Работник получает на руки лишь копию формы анализа и оценки своей деятельности — без конфиденциальной части.

Периодические собеседования руководителей с непосредственными подчиненными с последующим анализом их работ и оценкой результатов труда означают перевод работы руководителя с кадрами на другой, более высокий уровень и соответственно требует формирования нового стиля отношения руководителей к подчиненным — как к равноправным партнерам единого трудового процесса.

Документированность оценки работников предполагает подконтрольность этой процедуры руководству, позволяет накапливать информацию о качестве работы подчиненных, аргументированно решать кадровые вопросы.

Процедура субъективной оценки работников их непосредственными руководителями призвана обеспечить подчиненным ясность поставленных перед ними задач и способов их выполнения.

Благодаря установлению обратной связи с начальником у подчиненного появляется возможность получать регулярную помощь в улучшении исполнения своих трудовых обязанностей, что способствует его профессиональному росту.

Оценка работника дает ему официальный повод для высказывания замечаний, претензий и предложений по текущим и перспективным делам предприятия, по вопросам повышения своей квалификации, оплаты труда и продвижения в должности.

Таким образом, подводя итог рассуждениям относительно адекватности оценки персонала, необходимо констатировать следующее:

  • адекватная оценка профессиональных и личностных качеств работников затруднена рядом факторов субъективного и объективного характера;
  • экспертные заключения обеспечивают достаточно высокую степень адекватности оценки;
  • формализация процедур оценки работников способствует блокированию некоторых субъективных причин ее неадекватности;
  • для повышения степени адекватности оценки персонала требуется разработать и принять комплексную программу обучения руководителей всех рангов основам, методам и приемам оценки персонала.

И. Симонова, И. Еремина, Л. Дудаева

Otiss

Источник: http://hr-portal.ru/article/ocenka-personala-obektivnye-i-subektivnye-faktory

12.1. Сущность метода экспертных оценок

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов.

Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

Комплексное использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы.

Совет

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т.п.

) и производят измерение их характеристик (вероятности свершения событий, коэффициентов значимости, целей, предпочтения решений и т.п.). Формирование объектов осуществляется экспертами на основе логического мышления и интуиции.

При этом большую роль играют знания и опыт эксперта. Измерение характеристик объектов требует от экспертов знания теории измерений.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются, во-первых, научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение количественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы.

Основные трудности в решении проблем первого класса при экспертной оценке  заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов.

При этом мето­ды опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип

означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации (своего рода «информационный измеритель» с небольшими погрешностями);

2) групповое мнение экспертов близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей», поэтому необходимо очень осторожно проводить обработку результатов  экспертизы.

Применение методов осреднения, справедливых для «хороших измерителей», в данном случае  может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Обратите внимание

Мы основное внимание уделим вопросам экспертного оценивания для решения проблем первого класса.

Область применения метода экспертных оценок весь­ма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

· составление перечня возможных событий в различных областях за определенный промежуток времени;

· определение наиболее вероятных интервалов време­ни свершения совокупности событий;

· определение целей и задач управления с упорядоче­нием их по степени важности;

· определение альтернативных вариантов решения задачи с оценкой их предпочтения;

· альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

· принятие альтернативных вариантов решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоящее время применяются различные разновидности метода экспертных оценок.

К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; деловая игра; сценарий.

Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы. Анкетирование и сценарий предполагают индивидуальную работу эксперта.

Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов в работе.

Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В это определение включены три понятия: объект, показатель (признак) и процедура сравнения.

Важно

Объектами могут быть предметы, явления, решения. В качестве показателей сравнения могут использоваться пространственно-временные, физические, физиологические, психические и другие свойства и характеристики объектов.

Процедура сравнения включает определение отношений между объектами и способ их сравнения.

Введение конкретных показателей сравнения позволяет установить отношения между объектами, например: «больше», «меньше», «равны», «лучше», «хуже», «одинаковы», «предпочтительнее» и т.п. Способ сравнения определяет, например, сравнение всех объектов последовательно с одним объектом или сравнение всех объектов друг с другом в произвольной последовательности.

Для формального описания множества объектов и отношений между ними вводится понятие эмпирической системы с отношениями:

,   (12.1)

где О = (О1, О2, …, Оn ) – множество объектов (предметов, явлений, событий, решений и т.п.); R = Ri, R2, …, Rm – множество отношений между объектами.

Запись OiRkOj означает, что объект Oi находится в отношении Rk к объекту Oj. Такое отношение называется двуместным (бинарным),поскольку оно связывает два объекта. Если отношение существует между тремя объектами, оно называется трехместным и т.п.

Определим основные свойства отношений:

· отношение R рефлексивно, если   OiROj истинно;

· отношение R антирефлексивно, если OiROj – ложно;

· отношение R симметрично, если из OiROj следует OjROi;

· отношение R антисимметрично, если из   OiROj и OjROi следует Oi = Oj;

· отношение R несимметрично, если из истинности OiROj следует, что OjROi ложно;

· отношение R транзитивно, если из OiROj и OjROk следует  OiROK, где Oi, Oj, Оk суть элементы множества О.

Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности, называется отношением эквивалентности Oi ¥ Oj, При экспертном оце­нивании, кроме отношения эквивалентности, используется отношение порядка. Это отношение может означать, например: «раньше чем», «больше чем», «предпочтительнее чем». Отношение порядка антирефлексивно и транзитивно. Отношение Oi предпочтительнее Oj обозначается:

Oi   Oj.

Источник: http://libraryno.ru/12-1-suschnost-metoda-ekspertnyh-ocenok-isslsysypr/

Ссылка на основную публикацию