Рейтинг судей по выездке
13 октября 2023
По результатам чемпионата России по выездке почти три десятка спортсменов, судей и владельцев лошадей написали в федерацию обращение с просьбой разобраться с процедурой назначения судей на крупнейшие старты. Недоумение вызвал серьезный разброс оценок, как в процентах, так и в распределении спортсменов по местам (например, в юношеских ездах одну и ту же пару двое разных судей ставили на 4 и 21 место). Все это действительно можно увидеть в протоколах. Возникает законный вопрос – действительно ли все судьи главного старта календаря имели необходимый опыт и знания для работы на главном старте сезона? Возможно ли оценить с помощью математических объективных методик качество выставления оценок в выездке?
Автор: Н. Чебышев, Е.Штатнова, А.Кочетов
Ежегодно в базу данных Equestrian.ru вносятся данные об активности 60-70 российских судей по выездке и еще нескольких зарубежных. В списках ФКСР значатся шесть десятков официальных лиц, имеющих судейскую категорию ВК и обладающих правом судить соревнования по выездке любого уровня, вплоть до чемпионатов России. В списках “FEI” 9 официальных лиц граждан России, которые могут обслуживать международные турниры разного уровня включая Олимпийские Игры. Очевидно, что у всех разный опыт, разная квалификация, разный стаж работы в качестве выездкового судьи. Мы задались вопросом, существуют ли объективные способы оценить текущую квалификацию судей по выездке, не прибегая к субъективному мнению экспертов, коллег и прочих заинтересованных лиц? Оказалось, да. Такие методы есть, они разработаны давным-давно и вполне успешно применяются в совершенно разных областях деятельности человека. Используя проверенные методы математической статистики удалось получить вполне адекватную картину текущего состояния судейского корпуса и даже делать кое-какие прогнозы относительно успешности судейства на некоторой, не слишком длинной перспективе. Если коротко, то рейтинг каждого судьи показывает в процентах, насколько близко его оценки к гипотетическому идеально точному результату. Важно, что учитываются только соревнования, в которых участвовало не менее 12 спортивных пар, и судья в течение года отсудил не менее 100 участников. Это позволяет сгладить неизбежные случайные отклонения. Для знатоков математической статистики - в этом случае доверительная вероятность составляет 95% при доверительном интервале не более 0,1 пункта рейтинга. Расчет полностью автоматизирован, ошибки могут возникать только в случае некорректных технических результатов.
Рейтинг выездковых судей можно посмотреть в разделе СПОРТ. Он будет обновляться каждый месяц, и мы надеемся, что он будет полезен спортсменам, тренерам, организаторам турниров и самим судьям, как объективный инструмент контроля.
Дополнительная информация. В связи с тем, что при подсчете рейтинга учитываются только соревнования, в которых участвовало не менее 12 спортивных пар, и судья в течение года отсудил не менее 100 участников, добавлена еще одна опция - для всех. Над таблицей с оценками каждой езды выводится список судей с цифрами в скобках. Это коэффициент корреляции оценок данного судьи со всеми оценками. Чем больше этот коэффициент, тем лучше.
Методика расчета – Чебышев Н., данные для расчетов – из базы equestrian.ru.
ОБСУЖДЕНИЕ
Добавить комментарий
Чтобы добавлять комментарии в этом разделе вам необходимо зарегистрироваться и авторизоваться (ввести свой логин и пароль в соответствующую форму на главной странице)!
Избранные комментарии
16 октября 2023, 15:02:58
Все комментарии
16 октября 2023, 03:19:49
Ну это мое личное мнение, основанное на многолетних наблюдениях, анализах результатов и поисках судей для местных соревнований, так что 15-16 идеальных судей мы смело пропускаем и смотрим в рейтинге, кто сможет приехать к нам.
16 октября 2023, 07:45:55
16 октября 2023, 14:22:06
16 октября 2023, 14:56:18
2. Где пример расчета, в котором "ошибки быть не может"?
3. Какая "адекватная картина судейского корпуса была получена"?
4. Где сами "прогнозы успешности судейства", о которых говорится выше?
Пока выглядит как анонс чего-то, а не результат проведенной работы.
"Гипотетически идеального точного результата" в выездке быть не может. Если все наши судьи вдруг начнут судить одинаково, то это всего лишь значит, что они наконец договорись/сошлись во мнении. А тут скорее рак на горе свиснет. При этом здесь не учитываются другие факторы (кто приглашающая сторона, регион и т.д.).
Если цель была отсудить одинаково, то нужно было всего лишь пригласить судей из одной тусовки. Тогда они бы поставили на призовые места тех всадников, которые едут согласно их мировоззрению. Возможно, эти всадники тренируются у этих же судей. Так что здесь полное взаимопонимание. Но при этом в аутсайдерах осталась бы другая часть всадников, которые ездят: 1) в другом регионе 2) по другой методике 3) тренируются с другими судьями.
Так что математика тут не спасет, т.к. на Чемпионате России встречаются разные судьи и разные всадники.
16 октября 2023, 15:02:58
24 октября 2023, 02:21:22
21 октября 2023, 04:02:11
На Чемпионате Росси в протоколы в этом году ввели еще ячейку для каждого судьи +- от общего, вот там математически честно всем было показано на сколько баллов заинтересованный в своей команде судья ставил сознательно выше и как занижали средним по больнице. Вот анализ таких протоколов с данными рейтинга судей и позволит отбирать клубам для судейства по вкусу и совести)))
23 октября 2023, 21:40:17
Клубы уже отобрали и работают с теми судьями, с которыми им удобно.
Чемпионат России это чехорда, где сгребли в одну кучу всех и вся. Нет у нас таких судей, которые бы всех устраивали, кто участвует в Чемпионате России или на других аналогичных стартах. Здесь речь не то, что об адекватности или не об адекватности. Взгляды разные, школы разные, подходы разные. И так будет всегда.
Плюс личные приязни/неприязни.
Плюс молодые судьи добавляются. Плюс система не автоматизирована и всегда есть риск ошибки, в т.ч. и в рейтингах. Поэтому в рейтингах equestrian написано, что они не могут являться основанием для того и того то. А здесь просто табличка цифра и фамилия. Верьте на слово, клубы.
К тому же, какой у нас призовой фонд на ЧР? 0р? Кто с этого ЧР какое место займет на местном чемпионате Германии/Голландии/Дании/Б? ?льгии? Даже если чисто математически расставить полученные здесь %, (а в реальности еще и скинуть 2-3-4%)? Почему большая часть всадников (особенно МС) предпочитает у нас стартовать на местных стартах, в своих клубах? Почему по БП (или гран-при маршрутам) стартуют единицы? Почему важных стартов, где могут встретится сильные всадники из разных клубов, всего только один раз в году? И т.д. и т.д. очень много вопросов, завязанных на ауте.
24 октября 2023, 01:46:24
24 октября 2023, 07:21:10
Государство не нищее, оно просто направляет деньги туда, куда нужно, плюс воровство чиновников.
Если бы удалось собирать всех наших большепризников хотя бы раз 8 за год (а не 1 раз). При этом (также как Максима сейчас проводит) сформировать призовой фонд, то от желающих бы отбоя не было. Но надо объявить это заранее: за год, за два года, а не накануне вечером (как это было у конкуристов в этом году). У ФКСР есть стратегия, там должно быть это прописано (в 2024г: ..., в 2025г: ..., в 2026г.: ..., и т.д.). И у судей будет возможность видеть всех всадников сразу несколько раз в год, а не один. Отсудили бы раз 5 подряд и адаптировались.
У нас много МСов, но они просто не стартуют. На КМС вся активность заканчивается.
25 октября 2023, 02:12:24
28 октября 2023, 20:09:03
28 октября 2023, 20:40:25
28 октября 2023, 21:27:12
Частное или гос. финансирование это не важно. Оно просто должно быть. Всадник не должен ехать бесплатно. Соревнования без призовых фондов это не соревнования. Это разрушает всю систему. Призовые фонды должны делится в зависимости от сложности езды, уровня звезд турнира, занимаемого места. И это не маленькие суммы в 100 т.р., которые выставляет ФКСР. Особенно должны награждаться российские лошади, зарегистрированные в плем. книге и российские всадники.
От судей здесь достаточно объективности. И правильно Инесса сказала, жеребьевка как раз обеспечивает эту объективность.
Регулярные старты, возможность заработать на этих стартах, объективное судейство даст нужный результат. Большепризники будут заинтересованы, чтобы готовить и выводить лошадей на старты, а не будут заниматься подработкой ввиде подготовки детей и молодежи.
Ну и рейтинги у нас сильно хромают. Если их привести в порядок, чтобы они давали реальную картину, а не путали бы всех, тоже было бы здорово.
29 октября 2023, 07:29:06
Остальные Ваши тезисы это Ваше личное мнение, частично очень спорное, частично безосновательное, частично давным-давно опровергнутое практикой.
29 октября 2023, 08:43:06
31 октября 2023, 21:58:16
По советскому спорту хотелось бы еще посчитать, но там надо ехать во ВНИИК - и то если повезет и библиотекарь будет на месте и вручную из журналов все перепечатывать. На это несколько дней уйдет.
1 ноября 2023, 08:09:49
5 ноября 2023, 21:49:06
25 октября 2023, 17:14:03
25 октября 2023, 19:58:06
26 октября 2023, 18:34:32
26 октября 2023, 21:31:47
26 октября 2023, 18:38:47
26 октября 2023, 21:37:55
29 октября 2023, 13:49:14
29 октября 2023, 14:24:18
К сожалению, именно к сожалению, я уже давно не боюсь никого и ничего. Ни в коем случае ни я, ни команда Equestrian не навязывают свои рейтинги. Хотите смотрите, не хотите - воля Ваша. А методику я могу рассказать в личной беседе, но не хочу ввязываться в бесплодные публичные дискуссии с "другими математиками", например с теми, кто уверен в допустимости сравнения процента отклонения результатов по судьям на разных турнирах. Надеюсь, Вы понимаете, на что я намекаю.
1 ноября 2023, 14:08:45
1 ноября 2023, 16:06:38
1 ноября 2023, 16:10:19
Ответить на вопрос, что конкретно случилось на этом старте, мы естественно не можем.
И кстати в следующем месяце, так как конкретно этот старт перестанет учитываться, скорее всего Мартьянова в рейтинге сильно подвинется наверх.
8 ноября 2023, 22:13:18
от 0,3 до 0,5 слабая взаимосвязь
от 0, 5 до 0,7 средняя взаимосвязь
от 0,7 до 0,9 высокая взаимосвязь
от 0,9 до 1 очень высокая взаимосвязь
Какой диапазон выбран для данного рейтинга?
Ответить на вопрос, что "случилось" в данном старте необходимо. Потому что применяемые расчеты необходимо проверять. Возможно, Мартьянова единственная, кто увидела ошибку, допустившую всадницей и поэтому поставила ее на 9 место, а не на 1, 2 или 4. При этом корреляция с остальными судьями остается высокой - 0.767.
9 ноября 2023, 09:50:27
Ну ответьте, вам кто-то запрещает что ли? Рейтинг показывает вам объективную картину и подсвечивает моменты, на которые можно/нужно обратить внимание. Дальше ваше дело, что с этим делать.
9 ноября 2023, 10:51:08
Пока единственное, что можно сказать про наших судей - это то, что все молодцы. Корреляция у них высокая, больше 0.8.
Большой вопрос нужно ли, чтобы она была 0.9 или выше. Это всего лишь говорит о том, выступают одни и те же всадники, которые уже из года в год распределились по турнирной таблице. Отсутствует конкуренция. А также судят одни те же судьи.
9 ноября 2023, 11:29:31
Проверьте. Все данные открытые.
9 ноября 2023, 15:44:10
Сейчас выглядит так, что оценки всех 40 судей в норме, т.е. все больше 0.8.
13 ноября 2023, 20:22:29
Там шеф-стюард на букве все соревнования подрабатывает и ничего, ну ни у кого вопросы не возникают(((
1 ноября 2023, 20:59:37
29 октября 2023, 16:30:18
5 ноября 2023, 22:56:48
5 ноября 2023, 22:57:29
5 ноября 2023, 22:57:45
8 ноября 2023, 22:00:42
И никто не смотрит на то, что коэффициет корреляции описывает взаимосвязь случайных величин (например, между атмосферным давлением и влажностью воздуха). Разве наши судьи выставяют оценки случайно? И разве три езды это множественные события? А в большинстве соревнований у нас как раз по три всадника на езду.
Посмотрела этот разброс 4 - 20 место на ЧР. Ну поставила судья на букве В, допустим, двум всадникам из 50: одному - самые низкие, другому - самые высокие оценки. Ну и что? Ее общий коэффициент корреляции остался больше 0.9. Она в шоколаде. Что дальше?
Что дает этот коэффициент корреляции? Ничего. Разброс как был, так и останется. А в статье указывается на то, что в этом как раз проблема. Но она не решена.
9 ноября 2023, 09:48:59
9 ноября 2023, 10:57:32
У судьи, которая поставила всадника на 4 и на 20 место на ЧР коэффициент корреляции там больше 0.9. Т.е. предлагаемая методика ничего не подсветила.
9 ноября 2023, 14:34:31
Госпожа Nataliya Kurbatova, вот попробуйте объяснить в рамках комментариев на конном ресурсе госпоже Katerina Somova почему оценки судей являются случайной величиной. А я поучусь, как это делается.
13 ноября 2023, 20:24:31
17 ноября 2023, 08:24:00
Юноши, 20 октября 2022, Максима
Всадник #2: мин оценка 62.667% (9 место), макс. оценка 67.000% (1 место), разница 4.3%
КэссиКрюф_freestyle_Denmark_10.2022
Техника: мин оценка 78.750%, макс оценка 82.250%, разница 3.5%
Артистизм: мин оценка 88.6%, макс оценка 93.4%, разница 4.8%
Когда ты берешь что-то считать, надо в этом разбираться, а не делать это для галочки. Тем более, многие конники не математики и будут принимать все эти рейтинги на веру.
17 ноября 2023, 09:06:59