많은 지원자가 TSA 사고력 평가 점수에서 기대한 것과 다른 결과를 얻는 이유는 무엇일까요?

하노이 과학기술대학교는 올해로 2년째 TSA 사고력 평가 시험을 새로운 방식으로 실시하고 있으며, 이는 2022년 이전과 비교하여 시험 구조가 조정되었음을 의미합니다. 특히 하노이 과학기술대학교는 시험 구조를 조정하는 것 외에도 새로운 평가 이론인 문항 반응 이론(IRT)을 적용하여 응시자의 시험 문제 질을 평가하고 점수를 산출했습니다.

이로 인해 응시자는 시험을 마친 후 자신의 성적을 평가할 수 없고, 응시자의 시험 데이터 분석을 통한 성적 평가 결과를 기다려야 했습니다. 그래서 많은 수험생들은 결과 발표를 받은 후, 받은 점수가 자신이 기대했던 것과 달라서 혼란스러워했습니다.

많은 학생들이 하노이 과학기술대학교에서 실시하는 TSA 사고력 평가 시험에 큰 관심을 보이고 있습니다.

시험 점수는 지원자의 능력을 추정하는 정량화된 모델입니다.

이러한 지원자들의 걱정을 덜어주기 위해, 탄니엔 신문은 교육 평가 및 측정 분야에서 수년간 연구와 실행을 해 온 독립 과학자인 당쑤언꾸엉 박사와 인터뷰를 가졌습니다. 그는 지난 2년간 하노이 과학기술대학교에서 TSA 사고력 평가 시험을 실행하기 위해 컨설팅을 맡았던 사람 중 한 명입니다.

당쑤언 꾸옹 박사에 따르면, 질문-응답 이론은 수학적 모델을 기반으로 하여 지원자의 능력과 그 능력을 측정하는 질문 간의 관계를 설명합니다. 이러한 이론적 접근 방식을 통해 시험에 참여한 응시자 그룹의 시험 데이터를 기반으로 문제의 매개변수(난이도, 변별력, 추측 등)와 응시자의 능력을 정량화할 수 있습니다. 따라서 질문-응답 이론을 통해 추정한 지원자의 능력은 전통적인 채점 방식과 다를 것입니다.

지원자는 TSA 사고력 평가 시험을 치르기 전에 시험을 치릅니다.

전통적인 채점 방식에서는 시험 점수는 특정 채점 지침에 따라 시험 문제의 점수를 기계적으로 더한 것에 불과합니다. 전문가들은 이를 원점수라고 부릅니다. 원점수를 사용하는 경우 대부분 지원자는 시험이 객관식 문제뿐이라 할지라도 답을 바탕으로 스스로를 평가할 수 있습니다. 지원자는 시험을 치른 후에 스스로를 평가할 수 있습니다.

질문-응답 이론의 접근 방식에 따르면, 시험 점수는 응시자의 시험 데이터를 분석하는 과정을 거쳐 응시자에게 발표되는 결과입니다. 이는 전문 지식 측면에서 다소 복잡한 단계로, 전문 소프트웨어를 통해 수행되고 통계적 지표를 통해 신중하게 고려됩니다. 사실, 시험 점수는 정량화된 결과로, 응시자가 자신의 능력을 파악하는 데 도움이 되는 기준이 될 뿐만 아니라, 자신의 시험 결과를 시험에 참가한 다른 모든 응시자의 결과와 비교하는 기준이 됩니다.

당쑤언꾸옹 박사는 "원칙적으로 응시자가 시험을 마친 후, 시스템은 시험의 각 문제에 대한 데이터를 바탕으로 응시자의 능력을 추정합니다. 여기에는 각 문제에 답할 수 있는 응시자 수와 해당 문제에 답할 수 있는 응시자, 각 응시자가 답할 수 있는 문제의 수와 해당 문제에 답할 수 있는 응시자 등에 대한 정보가 포함됩니다.

응시자의 시험 결과 데이터는 시스템이 응시자의 능력을 추정하는 모델을 구축하는 데 도움이 됩니다. 이렇게 추정된 능력을 시험에서 사용하는 척도(일반적으로 0~100점)로 변환하여 사고 평가 점수를 계산합니다.

70문제를 맞히더라도 시험 점수는 다를 수 있습니다.

당쑤언꾸엉 박사는 하노이 과학기술대학교의 현재 TSA 사고력 평가 시험은 단일 매개변수 질문 응답 모델(문제의 어려움에만 관련)과 두 가지 매개변수(문제의 어려움 및 변별력에 관련)를 결합한 시험이라고 말했습니다. 위에 언급된 원칙에 따르면, 후보자 집단의 원점수는 동일하지만 학생들의 TSA 시험 점수는 다릅니다.

Dang Xuan Cuong 박사는 다음과 같은 예를 들었습니다. "시험에 100문항이 있다고 가정해 보겠습니다. 전통적인 방식에 따르면 각 정답은 1점입니다. 만약 두 명의 응시자가 70문항을 풀 수 있다면, 각 응시자는 70점을 받게 됩니다. 그러나 질문-응답 이론의 접근 방식을 사용하면 시험의 각 문항은 서로 다른 난이도를 가지며, 응시자의 능력은 응시자가 어떤 특정 문항에 정답을 맞혔는지에 따라 평가됩니다. 그리고 여기에 언급된 두 응시자의 경우, A 응시자가 B 응시자보다 더 어려운 문제를 풀 수 있다면, A 응시자의 예상 능력은 B 응시자보다 높을 것입니다. 또한, 문항의 차이 또한 응시자의 능력을 평가하는 데 사용되는 요소입니다. 따라서 A 응시자의 발표 점수가 B 응시자의 발표 점수보다 높게 됩니다."

더 간단히 말해서, 원점수를 기반으로 하는 전통적인 접근 방식에서는 문제의 점수가 동일한 "가중치"로 계산됩니다. 즉, 문제의 난이도나 용이함은 계산되지 않습니다. 질문 응답 이론의 경우, 질문의 점수는 서로 다른 "가중치"를 가지지만, 이 가중치는 시험 설계자의 주관적인 의지에 따른 것이 아니라 시험 응시자의 시험 데이터에서 얻은 수학적 모델을 기반으로 계산됩니다.

질문-응답 이론을 적용하는 과정에서 시험 데이터 분석에도 비교 기법을 사용하여 응시자들의 점수를 동일한 공통 척도로 맞추었습니다. 사고력 평가 시험은 매년 여러 차례 진행되고, 응시자는 시험을 치른 직후에(연간 시험이 끝날 때까지 기다리지 않고) 결과를 통보받습니다.

여러 라운드에서 시험을 치르는 지원자 간의 입학 공정성을 보장하기 위해, 시험 주최측은 첫 번째 라운드의 척도를 원래 척도로 사용합니다. 이후 시험의 경우, 시험 결과 분석 시 비교 기법을 적용하여 이후 시험 응시자의 점수를 원래 점수 척도로 되돌린 후, 응시자의 공식 결과를 발표합니다. 이렇게 하면 세션 간 시험 결과를 더 쉽게 비교할 수 있습니다.

당쑤언꾸옹 박사에 따르면, 각 이론에는 장단점이 있습니다. "하노이 과학기술대학에서는 사고력 평가 시험에 질의응답 이론을 적용하고 있으며, 매년 시험을 완벽하게 만들기 위한 구체적인 로드맵을 통해 매우 신중하게 접근하고 있습니다."라고 꾸옹 씨는 말했습니다.

당쑤언꾸옹 박사는 호주 플린더스 대학교에서 교육 측정 및 평가에 관한 논문으로 교육학 박사 학위를 받았습니다. 그는 이 분야에서 18년 이상의 경험을 가지고 있습니다.

출처: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm