Почему многие кандидаты обнаруживают, что их результаты оценки мышления TSA не соответствуют ожиданиям?

В этом году Ханойский университет науки и технологий уже второй раз организует экзамен по оценке мышления TSA по-новому, что означает, что структура экзамена была скорректирована по сравнению с 2022 годом и более ранними версиями. В частности, в дополнение к корректировке структуры экзамена Ханойский университет науки и технологий применил новую теорию оценки, а именно теорию ответов на вопросы (IRT), при оценке качества вопросов, а также при расчете баллов за экзамен для кандидатов.

Это привело к тому, что кандидаты не смогли самостоятельно выставить оценку после завершения теста, а были вынуждены ждать результатов оценки, полученных в результате анализа данных теста кандидатов. Поэтому после объявления результатов многие кандидаты были в замешательстве, поскольку полученные ими баллы не соответствовали их ожиданиям.

Многие студенты проявляют большой интерес к тесту по оценке мышления TSA, организованному Ханойским университетом науки и технологий.

Результаты тестов представляют собой количественную модель оценки способностей кандидата.

Чтобы развеять эту обеспокоенность у кандидатов, газета Thanh Nien взяла интервью у доктора Данг Сюань Куонга, независимого ученого с многолетним опытом исследований и внедрения образовательной оценки и измерений, одного из тех, кто в течение последних двух лет консультировал Ханойский университет науки и технологий по внедрению теста оценки мышления TSA.

По словам доктора Данга Сюань Куонга, теория вопросов и ответов основана на математических моделях, объясняющих взаимосвязь между способностями кандидатов и вопросами, измеряющими эти способности. При таком теоретическом подходе параметры вопросов (такие как сложность, дискриминация, угадывание и т. д.) и способности кандидатов будут количественно оцениваться на основе данных тестирования группы кандидатов, участвующих в тестировании. Таким образом, способности кандидата, оцененные с помощью теории вопросов и ответов, будут отличаться от способностей, оцененных с помощью традиционного метода подсчета баллов.

Кандидаты проходят тестирование перед сдачей теста TSA на оценку мышления.

При традиционной системе оценивания результат теста представляет собой просто механическое сложение баллов за вопросы теста в соответствии с определенным руководством по оценке. Эксперты называют это сырой оценкой. При наличии сырых баллов большинство кандидатов могут полагаться на ответы, чтобы оценить себя, даже если тест состоит только из объективных вопросов с несколькими вариантами ответов, кандидаты могут оценить себя после прохождения теста.

Согласно подходу теории вопросов и ответов, оценка за тест — это результат, объявляемый кандидату после процесса анализа данных его теста. Это достаточно сложный этап с точки зрения экспертизы, выполняемый с помощью специализированного программного обеспечения и тщательно просчитываемый с помощью статистических показателей. Фактически, результат теста представляет собой количественный результат, который служит основой для оценки кандидатами своих способностей, а также служит основой для сравнения их результатов теста с результатами всех других кандидатов на экзамене.

Доктор Данг Сюань Куонг пояснил: «В принципе, после того, как кандидаты завершат тест, система будет опираться на данные каждого вопроса в тесте, чтобы оценить способности кандидатов, включая информацию о том, сколько кандидатов могут ответить на каждый соответствующий вопрос и какими кандидатами они являются, на сколько вопросов может ответить каждый кандидат и какими вопросами они являются».

Данные результатов тестирования кандидатов помогут системе разработать модель оценки способностей кандидатов. На основе этой оценочной способности рассчитывается оценка мышления путем преобразования ее в шкалу, используемую в тесте (обычно от 0 до 100).

Даже если вы правильно ответите на 70 вопросов, ваши результаты теста могут быть другими.

Доктор Данг Сюань Куонг также сказал, что текущий экзамен по оценке мышления TSA Ханойского университета науки и технологий представляет собой экзамен, который сочетает применение однопараметрической модели ответа на вопрос (касающейся только сложности вопроса) и двух параметров (касающихся сложности и дискриминационной способности вопроса). Согласно принципу, изложенному выше, группа кандидатов имеет одинаковый исходный балл, но результаты теста TSA у студентов разные.

Доктор Данг Сюань Куонг привел пример: «Предположим, что тест состоит из 100 вопросов. Согласно традиционному подходу, каждый правильный ответ оценивается в 1 балл. Тогда, если 2 кандидата могут ответить на 70 вопросов, каждый кандидат получит 70 баллов. Однако, при подходе теории ответов на вопросы, каждый вопрос в тесте будет иметь разный уровень сложности, и способности кандидата будут оцениваться на основе того, на какие конкретные вопросы кандидат ответил правильно. И в случае с 2 упомянутыми здесь кандидатами, если кандидат А может ответить на более сложные вопросы, чем кандидат В, предполагаемые способности кандидата А будут выше, чем у кандидата В. Кроме того, различие вопросов также является фактором, используемым при оценке способностей кандидатов. Отсюда следует, что объявленный балл студента А выше, чем у студента В».

Проще говоря, при традиционном подходе, основанном на сырых баллах, баллы за вопросы рассчитываются с одинаковым «весом», то есть сложность или простота этих вопросов не учитывается. В теории вопросов и ответов оценки вопросов будут иметь разный «вес», однако этот вес не обусловлен субъективной волей разработчика теста, а рассчитывается на основе математических моделей, основанных на тестовых данных испытуемого.

В процессе применения теории вопросов и ответов при анализе тестовых данных также используется метод сравнения, позволяющий привести баллы кандидатов к единой общей шкале. Ежегодно экзамен по оценке мышления проводится в несколько туров, и кандидатам сообщают результаты вскоре после сдачи экзамена (не дожидаясь окончания ежегодного экзамена).

Для обеспечения справедливости при приеме кандидатов, сдающих экзамен в разных турах, организатор экзамена будет использовать шкалу первого тура в качестве первоначальной шкалы. Для последующих экзаменов при анализе результатов экзаменов применяется метод сравнения, позволяющий привести баллы кандидатов на следующих экзаменах к исходной шкале, после чего выдаются официальные результаты кандидатов. Это облегчит сравнение результатов экзаменов между сессиями.

По словам доктора Данг Сюань Куонга, каждая теория имеет свои преимущества и недостатки. «Применяя теорию вопросов и ответов в Ханойском университете науки и технологий для экзамена по оценке мышления, мы также очень тщательно следуем конкретной дорожной карте, чтобы каждый год совершенствовать экзамен», - сказал г-н Куонг.

Доктор Данг Сюань Куонг получил докторскую степень в области образования, защитив диссертацию по измерению и оценке образования в Университете Флиндерса, Австралия. Опыт работы в этой области более 18 лет.

Источник: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm