Коэффициента конкордации

Одна из основных целей проведения экспертиз — получение согласованного мнения экспертов. Согласованность оценивается с помощью коэффициентов ранговой корреляции и конкордации.

Коэффициент ранговой корреляции оценивает

Коэффициент конкордации –

Степень согласованности оценок характеризуется коэффициентом конкордации (согласия) W и соответствующим уровнем значимости а.

Коэффициент конкордации определяется по формуле:

(5.4)

где N — количество экспертов;

m— количество оцениваемых вариантов;

Si — сумма рангов, присвоенных решению Pi всеми экспертами

(5.5)

где Rij- ранг, присвоенный этому решению j экспертом.

Сумма среднеарифметической суммы рангов, полученных всеми объектами, рассчитывается по

формуле:

(5.6)

Показатель, связанных (равных) рангов, назначенных j экспертом, рассчитывается по формуле:

(5.7)

Если все m оценок эксперта различны, то Tj = 0, а если среди рангов есть одинаковые, то Tj

определяется по приведенной формуле.

Если эксперт задал ранги 1, 2, 2, 4, то Tj = 2 — 2 = 6

Во всех случаях показатель степени n равен трем.

Коэффициент конкордации изменяется от 0 до 1.

Обычно согласованность считается удовлетворительной, если W >0,5, если W >0,7, то согласованность считается хорошей.

Величина уровня значимости а определяется с помощью критерия Пирсона с n -1 степенями свободы.

Вопрос 6 Пример решения задачи методом экспертных оценок

Для формирования первоначального набора технико-экономических показателей, влияющих на рост производительности труда машиностроительных и металлообрабатывающих предприятиях Севастополя, работникам отделов труда и заработной платы заводов «Центролит» была роздана анкета. В анкете первого тура указывалось: «В целях изыскания резервов роста производительности труда на Вашем предприятии предлагаем Вам указать по 5 технико-экономических показателей, оказывающих, по Вашему мнению, наибольшее влияние на рост производительности труда». Так как мнения опрашиваемых экспертов-специалистов на совпали полностью, то в первоначальный набор вошли 9 технико-эжкономических показателей работы предприятия:

X1- машиновооруженность рабочих, грн.;

Х2-фондовооруженность рабочих, грн.;

ХЗ- электровооруженность рабочих, кВт.ч;

Х4- энерговооруженность рабочих, Гкал;

Х5 -интегральный коэффициент работы оборудования;

X6- использование баланса рабочего времени ( отработано рабочим чел/дней);

Х7- социально-экономические факторы (разряд, стаж., уровень образования и т.д.);

Х8- условия труда на рабочем месте (освещенность, загазованность, шум, вибрация и т.д.);

Х9- специализация предприятия, коэффициент.

Все они были внесены в анкету второго тура, розданную тем же экспертам-специалистам с предложением проранжировать влияние этих технико-эжкономических показателей на рост производительности труда, (технико-экономическому показателю, оказывающему наибольшее влияние на рост производительности труда присваивается ранг 1, следующему 2, далее 3 и 4 и т. д. (случай несвязанных рангов)). Если же эксперт затрудняется разграничить влияние каких-то показателей на рост производительности труда, то присваивает им одинаковые ранги (случай развитых рангов).

Ответы экспертов сводятся в матрицу рангов, где m — количество экспертов, n- количество технико-экономических показателей-факторов.

Степень согласованности мнений специалистов характеризует коэффициент конкордации W, величина которого изменяется от 0 до 1 (W=0, мнения экспертов не совпадают, W=1, полностью совпадают).

Наличие (отсутствие) связанных рангов обуславливает методику определения коэффициента конкордации, характеризующего степень согласованности мнения экспертов.

При анализе анкет по отдельным заводам имелись случаи наличия связанных (завод «Ценролит») (табл.5.1) рангов в ответах экспертов.

Методика расчета коэффициента конкордации в случае связанных рангов состоит в следующем:

1. Складываются порядковые номера мест факторов.

2. Полученная сумма рангов делится на количество связанных рангов.

3. Каждому связанному фактору присваивается ранг, полученный в результате переранжировки.

4. Последующим факторам присваивается очередной номер, не участвовавший в предыдущих расчетах.

Таблица 5.1 — Матрица рангов ответов экспертов литейного завода Ценролит»
Факторы	Эксперты
Х2
ХЗ
Х4
Х5
Х6
Х7
Х8
Х9
Сумма

Переранжировка рангов факторов в первом столбце табл.5.1. Ранг фактора Х1=1, ХЗ = Х6=

(2+3)/2=2,5; Х7 — Х8= (4+5) / 2- 4,5; Х5=6; Х2=Х4- Х9 — (7+8+9 /3 = 8.

В остальных столбцах переранжировки рангов факторов осуществляются аналогично.

Результаты переранжировки сводятся в матрицу переранжировки рангов (табл.5.2).

1. Суммы рангов столбцов после переранжировки должны быть равны между собой -45.

2. По дочитываются суммы рангов каждой в отдельности взятой строки и всех строк.

3. Сумма рангов столбцов должна быть равна сумме рангов строк-225 (графа 7, табл.5.2).

4. Определяется средний ранг фактора.

1. Определяется величина 5 (графа 9, табл.5.2).

Формула коэффициента конкордации имеет вид:

Где t -число связанных рангов в каждом отдельно взятом столбце матрицы рангов. Т1 = 1/12 *=3,

………………………………………..

Т5 = 1/12 * =4,5

1. и-

Ti=3+3,5+3,5+7+4,5-21,5

Для определения значимости коэффициента конкордации исчисляется критерий 2 (Пирсона) с числом степеней свободы n-1.

Значение 2 сравнивается с табличным 2Т. Величина 2 должна быть больше 2Т, так как 2>2т, при 5 %-ном уровне значимости, то нулевую гипотезу случайности совпадений мнений экспертов следует считать отвергнутой.

Рисунок 5.1 — Гистограмма распределения факторов по степени их влияния на рост производительности труда на заводе «Ценролит».

8. Строится гистограмма распределения факторов степени производительности труда (графа 7, табл.5.2) и дается ее анализ.

Данное распределение почти такое же, как и на заводе пусковых двигателей (замены места только рядом стоящих факторов ХЗ с Х6 и Х4 с Х9). На других промышленных предприятиях, где проводился опрос специалистов, распределение факторов по степени их влияния на рост производительности труда аналогично.

1 В зависимости от вида специальных ограничений различают следующие ЗЛП:

• каноническая ЗЛП, включающая в качестве ограничений только уравнения, т. е.

• стандартная ЗЛП, включающая в качестве ограничений только неравенства, т. е.

Результаты экзаменов и зачетов обычно выражаются в оценках. Однако в Европе сосуществуют множество различных систем оценивания. К тому же вопрос перезачета оценок был одной из важнейших проблем студентов — участников ЕСТS:
а) с одной стороны, толкование оценок значительно отличается в одной стране от другой, от одного предмета к другому, и от одного учреждения в другом;
б) с другой стороны, ошибка при перезачете оценки может иметь серьезные последствия для студентов.
В результате Европейская комиссия созвала группу экспертов для определения спорных вопросов. Информация, комментарии и статистические данные представлены 80 заведениями из 84 учреждений-участников ЕСТS в то время, были приняты во внимание для того, чтобы отработать предложенную шкалу оценивания ЕСТ. Все группы предметов были согласованы с использованием шкалы оценки трудоемкости, для того чтобы проверить ее эффективность.
Шкала оценки ЕСТS была разработана для того, чтобы помочь учреждениям перенести оценки, выставленные местным заведением. Она представляет дополнительную информацию о работе студентов, а не заменяет общие оценки. Высшие учебные заведения принимают собственные решения относительно использования шкалы оценивания в своей собственной системе.

Европейская система «облегченной шкалы оценивания»

Она появилась в результате разносторонних обсуждений, которые происходили среди пяти групп от начала поискового этапа о том, что передача оценок может эффективно проводиться при помощи облегченного оценивания, понятно повсюду в Европе. Концепция «облегченной шкалы оценивания» означала, что:
* шкала была достаточно хорошо охарактеризована и любое заведение смогло бы использовать ее для своих предметов;
* следовательно, шкала ЕСТS представила дополнительную информацию к оценке учреждения, но не заменила ее;
* шкала оценивания ЕСТS была понятной другим заведениям, которые выставляли соответствующую оценку согласно собственной системы оценки студентам, которые поступают, или выпускникам;
* оценка по системе ЕСТS определяла бы, наряду с оценкой, выставленной заведением в перечень оценок дисциплин студента, достижения каждого студента до и после периода обучения.
Иными словами, «облегченная шкала оценивания» внесла бы ясность, но не помешала бы нормальному процессу выставления оценок в рамках каждого учреждения.
Во время дискуссий относительно шкалы оценивания ЕСТS особое внимание уделялось строгому цифровому определению, которое базировалось на классификации студентов по знаниям в классе и наиболее качественном определении, которое базировалось на общем понимании ключевых слов, таких, как «хорошо» и «отлично». Ни один подход не дал удовлетворительных результатов. Кроме того:
* строгий цифровой подход определил границы, которые были бы нелогичны с точки зрения международной системы оценивания;
* таким образом, появились различия в понимании ключевых слов разными учреждениями.

Оценка в балах	Оценка по национальной шкале	Оценка по шкале ECTS
		Оценка	Объяснения
	Отлично	А	Отлично (отличное выполнение лишь с незначительным количеством ошибок)
	Хорошо		Очень хорошо (выше среднего уровня с несколькими ошибками)
		С	Хорошо (в целом правильное выполнение с определенным количеством существенных ошибок)
	Удовлетворительно		Удовлетворительно (неплохо, но со значительным количеством недостатков)
			Достаточно (выполнение удовлетворяет минимальные критерии)
	Неудовлетворительно		Неудовлетворительно (с возможностью повторной сдачи)
			Неудовлетворительно (с обязательным повторным курсом)

Количество оценок в шкале оценивания ЕСТS является компромиссной. Меньшее количество оценок дало бы слишком мало информации, большее количество оценок означало бы определенные уточнения, которых не существует, и вызвало бы увеличение механической работы при выставлении оценок. Определение пяти проходных уровней оценок было выбрано для максимизации значения рейтингов «А» и «Е».
Двойное использование термина «отлично» и статистического выражения «высокие десять процентов студентов» представляет два подхода к общей цели. Шкала не навязывает определение «отлично» каждому заведению, скорее она навязывает это определение оценке «А» шкалы ЕСТS. Многие пункты посвящены выбору цифры 10%. Более строгого определения трудно было бы достичь в некоторых заведениях, но более общее определение снизило бы стимул для более способных студентов.
Кроме того, шкала оценивания ЕСТS не основана на предположении о любом распределении студенческих оценок, она базируется на определении совершенства. Определение системой ЕСТS совершенства и окончательной оценки создано для облегчения перезачета, но не для замены и создания путаницы в оценках, выставленных в заведении, где учится студент.
Хотя больше внимания уделяется оценке «отлично», определение низших оценок играет важную роль для очень большого количества студентов и требует внедрения шкалы ЕСТS на всех уровнях достижений.
Невозможно определить единый критерий систем оценивания в европейских странах. В большинстве стран есть всеобщая система оценивания, которая ни в коем случае не является универсальной, кроме этого, определение балла «прохождения» по определенной шкале может различаться между учреждениями, и предел применения всех доступных баллов существенно отличается в разных учреждениях, меняется из года в год, и отличается по каждому предмету.
Одним из основных принципов шкалы оценивания системы ЕСТS является то, что она достаточно четко определена для того, чтобы учреждения приняли свои решения по поводу применения этой шкалы.
Способ соответствия баллов заведения к шкале оценивания системы ЕСТS такой:
* Учреждение рассматривает распределение баллов, присвоенных студентам. Чтобы получить 10-25-30-25-10 баллов за моделью, границы между оценками отвечали бы 10%, 35%, 65% и 90% общего количества успешных студентов.
* Невозможно начертить статистическую границу оценки, которую получили 10% лучших студентов, также ко вниманию должны приниматься ключевые слова, как и статистика. Шкала имеет крепкое статистическое подкрепление, но статистические данные должны быть соединены с реалистичным описательным подходом. Например, в назначении оценки «А» системы ЕСТS заведение Великобритании, присуждая отличие первого класса 8% своих студентов, может полностью решить сохранить то самое определение «лучшей успеваемости» в оценке системы ЕСТS, и заведение Италии, присуждая 30 е lоdе 14% своих студентов, не будет иметь способов различения этих студентов. Кроме того, присуждение Matricula de Honor учреждением Испании менее 5% своих студентов и поэтому было бы слишком ограниченное определение «лучшей успеваемости» для целей системы ЕСТS.
* Низкое отличие выданных оценок в Испании, Нидерландах и, возможно, Греции может сделать рисунок границ оценки системы ЕСТS достаточно тяжелым. В ярком примере 70% студентов группы присвоено 7 баллов в изданной записи датского заведения, легко охватывая оценки «С» и «D» системы ЕСТS. Обычно нужно выдать оценку 7, даже если экзаменатор награждает высшими баллами, возможно 6.8 или 7.2. Поэтому баллы экзаменатора могут применяться в этих странах для достижения реалистичного распределения студентов среди оценок системы ЕСТS.
Важным является распределение баллов для установления оценок. Распределение баллов курса может изменяться из года в год, также могут быть различия между количественной и качественной степенью занятий. Чем больше приближено заведение к единому критерию между своими баллами и шкале оценивания системы ЕСТS, тем легче пройдет процесс оценки, но непринужденность этого действия должна быть сбалансированной против значительного и систематического отклонения от определения шкалы оценивания, другими словами, против несправедливости по отношению к студентам.
* Если количество студентов, посещающих занятия, достаточно мала, четкое распределение этого маленького количества по модели 10-25-30-25-10 нецелесообразно. Однако опыт предлагает следующее:
а) баллы за несколько занятий подобного уровня обычно распределяются;
б) распределение баллов за пятилетний период более вероятно приведет к сбалансированному результату.
* Информация, представленная оценкой системы ЕСТS, связывает работу одного студента с работой других студентов группы. Понятно, что студент высокого уровня в группе низкого уровня, очевидно, получит высшую оценку, нежели если бы он выполнял общую работу; как и студент, посещающий описательные курсы, окажется в невыгодном для себя положении в заграничном заведении, которое делает акцент на математических навыках. Ни одна шкала оценивания не решит этой проблемы: информация, которая перенесена на перечень оценок дисциплин, должна представить то, что действительно случилось, а не то, что могло бы произойти, если бы …
* Оценки должны быть признаком зачисления зачета по индивидуальным занятиям, если они представлены в перечне оценок дисциплин. Поэтому важно, чтобы распределение среднегодовых баллов не считалось подходящим к определению этих оценок, поскольку распределение среднегодовых баллов в значительной мере отличается от распределения баллов групповых занятий, которые составляют среднее число; например, больше студентов получит определенный очень высокий балл на одном индивидуальном занятии, чем они бы получили этот балл как средний, учитывая все занятия года. Это может значительно повлиять на определение оценки «А» системы ЕСТS, и в меньшей степени на оценку «В».
* Оценки системы ЕСТS от «А» до «Е» присваиваются при условии сдачи зачета, и оценки от «FХ» до «F» присваиваются в случае его несдачи; различие между «FХ» и «F» будет способствовать определению будущего учебного плана для некоторых не очень успешных студентов. Те заведения, которые не способны различить уровни неудовлетворительной сдачи зачета, будут применять только оценку «F», не принимая во внимание оценку «FХ».
* Когда местное и зарубежное учреждения решат, как их баллы соответствуют оценкам системы ЕСТS, происходит перезачет оценок, например:
а) Студент из Италии сдает экзамен в заведении Франции, получив 13 баллов из 20 возможных. В этом заведении 13 баллов означает, что работа выполнена на «хорошо» и соответствует оценке «С» в системе ЕСТS. Перечень оценок дисциплин представляет наличие 13-ти баллов и оценку «С» в ЕСТS. На основе этой информации местное заведение в Италии присваивает 27 баллов из 30 возможных.
б) Студент из Германии не проявляет успеха при сдаче экзамена по одной из дисциплин в Испании, и перечень оценок дисциплин представляет наличие 5 баллов из 10 возможных и оценку «Е» в системе ЕСТS. Немецкий заведение признает зачет с оценкой 4.0 по шкале от 1.0 (очень хорошо) до 5.0 (неудовлетворительно).
с) Студентка из Португалии в Нидерландах получает 9 баллов из 10 возможных, благодаря чему она становится одной из лучших студентов, которые составляют 10% класса. Она получает оценку «отлично» и перечень оценок дисциплин демонстрирует данное количество полученных баллов и оценку «А» в системе ЕСТS. Местное учреждение в Португалии использует эту информацию для присвоения 19-ти баллов из 20 возможных.

Как можно увидеть из вышеприведенного, учреждения высшего образования могут применять шкалу оценивания системы ЕСТS наиболее целесообразным, по их мнению, образом. Однако проявление незначительной гибкости настойчиво рекомендуется, поскольку шкала оценивания системы ЕСТS создана для отображения различных систем оценивания, существующих в странах-членах ЕС и странах Европейской ассоциации свободной торговли, и которые не могут самостоятельно охватить все возможные варианты оценки и его распределения.