Директор РИКЗ: «На специальности, где раньше были невысокие проходные баллы, они объективно увеличатся […] Будет решаться вопрос об увеличении минимального порогового балла»

29.10.2018 «Настаўніцкая газета», KudaPostupat.by Архив (2018г.)

Новая методика подсчета  тестовых баллов при проведении РТ и ЦТ наделала много шума. Абитуриенты, принявшие участие в 1 этапе РТ 2018 г., их родители, репетиторы, учителя и СМИ активно обсуждают нововведение. Кому-то нравится. Кому-то не нравится. Кого-то ситуация пугает и настораживает. Электронный справочник абитуриента Беларуси KudaPostupat.by решил изучить информацию, постоянно поступающую от всех заинтересованных. Так на днях «Настаўніцкая газета» опубликовала интервью  с директором Республиканского института контроля знаний (РИКЗ), в котором Юрий Миксюк подробно разъяснил ситуацию. Мы позволили себе сделать перевод интервью с белорусского языка на русский — для удобства прочтения данного материала иностранными абитуриентами, планирующими поступать в белорусские вузы и планирующими сдавать ЦТ-2019, — и предлагаем его вашему вниманию информацию из первых уст.

 

— Как сообщалось ранее, на ЦТ-2018 при анализе тестов использовались две системы оценки: рейтинговая, по которой и выставлялись баллы абитуриентам, и так называемый метод нормального распределения — в качестве эксперимента. Юрий Иванович, расскажите о результатах этой работы. Как коррелируют между собой баллы, полученные в различных системах?

— В прежней системе чем больше абитуриентов знали определенный раздел учебной программы и, соответственно, выполняли ту или иную задачу— тем меньше был вклад этих задач в итоговый балл. Стоимость заданий, с которыми справились 100% абитуриентов, в общем приближалась к нулю. И в этом была определенная погрешность старой методики оценивания. Да, она качественно ранжировала хорошо подготовленных абитуриентов, которые набирали баллы на сложных задачах. Однако погрешность измерения уровня знаний абитуриентов среднего и невысокого уровня была значительной. Сейчас занижения баллов из-за того, что конкретное задание выполнило большое количество абитуриентов, не будет. Баллы начисляются за каждое правильно сделанное задание. Таким образом, новая система будет не только эффективно ранжировать абитуриентов, но и отражать реальный уровень их знаний. Что касается корреляции результатов, рассчитанных по двум различным методикам, то в области высоких баллов мы наблюдаем почти полное совпадение. А вот в нижней части шкалы есть существенные расхождения.

Новая методика, где принимаются во внимание все правильно выполненные задания, позволяет более точно оценить знания абитуриентов и, соответственно, ранжировать их во всем диапазоне 100-балльной шкалы.

Хочу обратить внимание абитуриентов на то, что баллы, которые они получат по новой методике расчета, будут не ниже тех баллов, которые они получили бы по старой методике. Кроме того, в этом году мы сделали сравнительный анализ результатов ЦТ, рассчитанных по новой методике, с результатами независимых проверочных контрольных работ, которые Департамент контроля качества образования проводил в отдельных школах страны. Могу отметить, что и здесь имеет место значительная корреляция. Это также свидетельствует о том, что новая методика корректно и довольно точно измеряет знания абитуриентов.

 

 

— Можете назвать другие преимущества, которыми обладает новая методика?

— Повторюсь, сегодня мы имеем инструмент не только для ранжирования, но и для точного измерения уровня знаний абитуриентов. В основе новой методики лежит фундаментальный принцип нормального распределения, который, словно метр, дает нам возможность в любых условиях проводить необходимые измерения и получать объективную оценку знаний. А это позволяет осуществлять любую аналитику, сравнивать, наблюдать тенденции в образовании, делать выводы и прогнозы.

Еще одно достоинство новой методики в том, что при расчете тестового балла будут зачисляться частично правильные ответы. Во многих странах и многих системах разрабатываются специальные адаптивные тесты, позволяющие с минимальной погрешностью измерять уровень знаний абитуриентов. Когда молодой человек, например, не выполняет сложное задание, ему предлагается более легкое (потом уровень сложности заданий снова может возрастать). Аналогичную функцию будут выполнять задания ЦТ с зачетом частично правильных ответов.

Вместо того чтобы выставлять только крайние оценки (выполнено или не выполнено, как это было в старой системе), сейчас есть возможность оценить отдельные компоненты. И если, например, допущена одна ошибка, то ответ будет учтен как частично правильный с выставлением соответствующего балла. Таким образом, точность измерений возрастает, и это важный положительный момент. С введением новой методики одновременно мы снимаем психологическую проблему, с которой раньше сталкивались абитуриенты и их родители. Рейтинговый балл было невозможно корректно сопоставить с успеваемостью в школе, он не отражал в привычном понимании уровень знаний. Нынешняя система более понятна.

Еще одним положительным моментом я назвал бы прозрачность процедуры ЦТ, так как абитуриенты заранее, еще до проведения экзамена, будут иметь таблицу,  отражающую, сколько первичных баллов дается за выполнение того или иного задания. И они могут определенным образом планировать и оценивать свою работу.

Сразу после выполнения ЦТ, если будет набран весь массив данных, в результате статистической обработки (еще до фиксации персональных результатов) будет создана таблица соответствия первичных баллов и тестовых баллов. Она сразу появится в свободном доступе, и каждый абитуриент сам сможет подсчитать свой тестовый балл. В дальнейшем РИКЗ проинформирует, правильно или неправильно было выполнено то или иное задание, укажет персональный результат каждого абитуриента и выдаст сертификат ЦТ. Такой подход делает всю процедуру централизованного тестирования прозрачной для абитуриентов.

 

— Как первичный балл будет коррелировать с тестовым баллом?

— Это заложено в самой методике, которая базируется на основе фундаментального принципа нормального распределения (этот принцип широко распространен в природе, в том числе для оценки уровня знаний, различных психологических факторов, IQ и т.д.). После статистической обработки всех результатов тестирования по набранным первичным баллам осуществляется нормальное распределение, где каждому первичному баллу будет соответствовать тестовый балл в 100-балльной шкале. Дело в том, что первичных баллов не 100, а меньше, иногда гораздо меньше. Статистическая обработка с учетом нормального распределения позволяет построить таблицу соответствия.

Результаты тестирования на сайте РИКЗ теперь выглядят так. Фото: sputnik.by

 

Еще один плюс новой методики в том, что возрастает значимость результатов ЦТ. Теперь абитуриенты получат реальную оценку своих знаний, и баллы в области низких значений объективно вырастут. Это значит, что в сумме баллов, где учитывается средний балл аттестата и баллы ЦТ, составляющая тестовых результатов по предметам увеличится.

 

— Кто более всего выиграет от перехода на новую систему?

— Появился действительно действенный инструмент для более точной независимой оценки уровня знаний абитуриентов, чего до сих пор не было, а потому выиграют все.

Абитуриенты, ведь оценка их знаний будет более объективной. Университеты, которые смогут увидеть не только рейтинговые (относительные) балла, а реальный уровень знаний своих будущих студентов. То есть у них появится возможность соответствующим образом корректировать свои учебные программы и более обоснованно влиять на определение пороговых значений баллов ЦТ, дающих право на участие абитуриентов в конкурсе.

Выигрывает и Министерство образования — в общем, вся система образования, так как научно обоснованный анализ результатов ЦТ можно будет сопоставлять в разрезе регионов, отдельных школ, в любом временном диапазоне и т.д., что позволит принимать обоснованные решения для дальнейшего развития образовательной сферы.

 

— На сайте РИКЗ написано, что выбранная методика более 100 лет используется в развитых странах мира при проведении различных видов тестирования. Именно этот факт стал решающим при выборе дальнейшего пути, по которому будет развиваться ЦТ в Беларуси?

— Да, мы выбирали методику, которая прошла серьезное испытание временем. Сегодня в мире существуют два основных подхода к оценке знаний при проведении различных видов тестирования: классический, к которому относится выбранная нами методика, и так называемая теория IRT. Они используются параллельно, однако в ряде случаев некоторые страны должны были отказаться от IRT из-за очень сложного математического подхода. Только хорошо подготовленный математик способен понять всю последовательность и значение математических выкладок и процедур, используемых для измерения уровня знаний по методике IRT. И чрезвычайно сложно объяснить все это общественности. Кроме того, есть целый ряд серьезных математиков, которые сомневаются в том, что упомянутая методика позволяет корректно оценивать знания. Поэтому мы сделали выбор в пользу уже проверенного классического метода, в основе которого лежит принцип нормального распределения. Он уже более 100 лет с успехом используется в развитых странах для оценки знаний. Среди них в частности США, Германия, Канада, Швейцария, Финляндия, Австралия и другие. Причем упомянутый метод хорошо зарекомендовал себя при отборе молодых людей как на первую ступень высшего образования, так и в магистратуру и аспирантуру. Он наиболее простой в понимании и реализации, а эффективность подхода доказана множеством испытаний.

 

— Сторонники рейтинговой системы указывали на то, что именно она наилучшим образом способна ранжировать абитуриентов для последующего зачисления в учреждения образования. С введением новой системы не случится ли так, что университетам будет трудно распределять абитуриентов на наиболее престижные специальности?

— Для хорошо подготовленных абитуриентов с введением новой системы практически ничего не изменится: процент тех, кто набирает 75 и более баллов, примерно сохранится. Поэтому прием на престижные специальности будет проходить в том же режиме, что и в предыдущие годы.

А если говорить в общем о проблеме полупроходного балла, то она существовала всегда, и мы умудрялись решать ее даже в диапазоне отметок "3", "4" и "5". А сегодня мы имеем 100-балльную систему, и суммарный набор баллов может достигать 400— распределение баллов очень широкое, что значительно упрощает задачу. Как показывает анализ, на ЦТ по физике всегда много случайных людей, испытывающих судьбу, надеющихся на удачу. Дело в том, что в тесте есть несколько заданий, которые позволяют оценить, насколько человек вообще хорошо разбирается в физике. Если абитуриент, например, не может ответить на вопрос, каким прибором измеряется сила тока или в каких единицах измеряется та или иная сила, это свидетельствует о том, что он не готовился. Возможно, такие абитуриенты надеются "натыкать" на определенный балл и в будущем попробовать поступить на какую-либо ИТ-специальность.

Могу сказать, что и при прежней, и при нынешней методике оценки знаний такие абитуриенты не смогут преодолеть определенный порог.

При так называемых полупроходных баллах решение о зачислении принимается не только на основании общего балла, учитываются и другие факторы. Все это прописано в Правилах приема, и я не думаю, что с введением новой системы подсчета баллов решение этого вопроса существенно изменится.

 

— Как вы прогнозируете, Юрий Иванович, количество 100-балльников может увеличиться?

— Думаю, что нет. В части высоких баллов новая методика показывает практически полную корреляцию со старой методикой, и поэтому ее ввод на количество 100-балльников не повлияет. Как раньше, так и сейчас на 100 баллов может рассчитывать только тот, кто верно ответил на все вопросы теста.

Благодаря новой методике абитуриент может самостоятельно оценить процент людей, которые показали лучшие знания и получили более высокие баллы, чем он. Это поможет ему реально оценивать свой уровень и видеть, куда стремиться. А стремиться надо всегда до 100 баллов.

 

— А если пороги сохранятся на нынешнем уровне, большинство абитуриентов смогут их преодолеть?

— Безусловно. Но подчеркну, что не ставилась задача просто так взять и увеличить баллы. Основная цель — точно измерить уровень знаний абитуриентов. Сейчас больше участников ЦТ смогут получить более высокие баллы, чем при старой методике оценивания, так как устранено их искусственное занижение. Однако при этом будет решаться вопрос и об установлении более высокого так называемого минимального порогового балла.

 

— Можно ожидать, что на ряд специальностей проходные баллы вырастут?

— Да. На те специальности, где раньше были невысокие проходные баллы, они объективно увеличатся.

 

Источник