Warum fallen die Ergebnisse des TSA-Denktestes bei vielen Kandidaten anders aus als erwartet?

Dieses Jahr ist das zweite Jahr, in dem die Hanoi University of Science and Technology die TSA-Denkfähigkeitsprüfung auf neue Weise organisiert hat, was bedeutet, dass die Prüfungsstruktur im Vergleich zu 2022 und früher angepasst wurde. Insbesondere hat die Hanoi University of Science and Technology neben der Anpassung der Prüfungsstruktur eine neue Bewertungstheorie angewendet: die Frage-Antwort-Theorie (IRT) zur Bewertung der Fragenqualität und zur Berechnung der Prüfungsergebnisse der Kandidaten.

Dies führte dazu, dass die Kandidaten sich nach Abschluss des Tests nicht selbst bewerten konnten, sondern auf die Bewertungsergebnisse aus der Analyse ihrer Testdaten warten mussten. Daher waren viele Kandidaten nach der Bekanntgabe der Ergebnisse verwirrt, weil die erzielten Ergebnisse nicht ihren Erwartungen entsprachen.

Viele Studenten sind sehr an dem von der Hanoi University of Science and Technology organisierten TSA-Denktest interessiert.

Testergebnisse sind ein quantifiziertes Modell zur Einschätzung der Fähigkeiten eines Kandidaten.

Um diese Bedenken der Kandidaten zu zerstreuen, führte die Zeitung Thanh Nien ein Interview mit Dr. Dang Xuan Cuong, einem unabhängigen Wissenschaftler mit langjähriger Erfahrung in der Forschung und Umsetzung im Bereich der Beurteilung und Messung von Bildung. Er ist einer der Berater der Hanoi University of Science and Technology, die in den vergangenen zwei Jahren den TSA-Denktest zur Beurteilung des Denkvermögens durchgeführt haben.

Laut Dr. Dang Xuan Cuong basiert die Frage-Antwort-Theorie auf mathematischen Modellen, um die Beziehung zwischen den Fähigkeiten der Kandidaten und den Fragen, mit denen diese Fähigkeiten gemessen werden, zu erklären. Bei diesem theoretischen Ansatz werden die Parameter der Fragen (wie etwa Schwierigkeit, Unterscheidungsvermögen, Raten usw.) und die Fähigkeiten der Kandidaten anhand der Testdaten der am Test teilnehmenden Kandidatengruppe quantifiziert. Deshalb wird die anhand der Frage-Antwort-Theorie geschätzte Fähigkeit des Kandidaten von der herkömmlichen Bewertungsmethode abweichen.

Die Kandidaten werden getestet, bevor sie den TSA-Denktest absolvieren.

Bei der herkömmlichen Benotung ergibt sich das Testergebnis lediglich aus der mechanischen Addition der Punktzahlen der Testfragen gemäß einem bestimmten Benotungsleitfaden. Experten nennen dies den Rohwert. Bei Rohergebnissen können sich die meisten Kandidaten bei ihrer Selbstbewertung auf die Antworten verlassen; auch wenn der Test nur aus objektiven Multiple-Choice-Fragen besteht, können sich die Kandidaten nach dem Test selbst bewerten.

Beim Ansatz der Frage-Antwort-Theorie ist ein Testergebnis ein Ergebnis, das dem Kandidaten nach einer Analyse seiner Testdaten mitgeteilt wird. Dies ist ein ziemlich komplexer Schritt, der Fachwissen erfordert, mit spezieller Software durchgeführt und anhand statistischer Indikatoren sorgfältig geprüft wird. Tatsächlich handelt es sich bei dem Testergebnis um ein quantifiziertes Ergebnis, das den Kandidaten als Grundlage zur Einschätzung ihrer Fähigkeiten und zum Vergleich ihrer Testergebnisse mit den Ergebnissen aller anderen Prüfungskandidaten dient.

Dr. Dang Xuan Cuong erläuterte: „Grundsätzlich wird das System nach Abschluss des Tests auf Grundlage der Daten zu jeder Frage im Test die Fähigkeiten der Kandidaten einschätzen. Dazu gehören Informationen darüber, wie viele Kandidaten die entsprechenden Fragen beantworten können und um welche Kandidaten es sich handelt, wie viele Fragen jeder Kandidat beantworten kann und um welche Fragen es sich handelt.“

Die Testergebnisdaten der Kandidaten helfen dem System dabei, ein Modell zur Einschätzung der Fähigkeiten der Kandidaten zu erstellen. Aus dieser geschätzten Fähigkeit wird ein Denktestergebnis berechnet, indem es in die von der Prüfung verwendete Skala (normalerweise 0 bis 100) umgerechnet wird.

Selbst wenn Sie 70 Fragen richtig beantworten, können Ihre Testergebnisse anders ausfallen.

Dr. Dang Xuan Cuong sagte außerdem, dass die aktuelle TSA-Prüfung zur Denkfähigkeitsbeurteilung der Hanoi University of Science and Technology eine Prüfung sei, die die Anwendung eines einparametrigen Frage-Antwort-Modells (das sich nur mit der Schwierigkeit der Frage befasst) und zweiparametrigen (das sich mit der Schwierigkeit und Unterscheidungskraft der Frage befasst) kombiniert. Nach dem oben genannten Prinzip hat eine Gruppe von Kandidaten zwar die gleiche Rohpunktzahl, die TSA-Testergebnisse der Schüler sind jedoch unterschiedlich.

Dr. Dang Xuan Cuong gab ein Beispiel: „Angenommen, der Test besteht aus 100 Fragen. Nach dem traditionellen Ansatz ist jede richtige Antwort 1 Punkt wert. Wenn dann 2 Kandidaten 70 Fragen beantworten können, erhält jeder Kandidat 70 Punkte. Beim Ansatz der Frage-Antwort-Theorie hat jedoch jede Frage im Test einen anderen Schwierigkeitsgrad und die Fähigkeiten des Kandidaten werden anhand der spezifischen Fragen geschätzt, die der Kandidat richtig beantwortet hat. Und bei den beiden hier erwähnten Kandidaten ist die geschätzte Fähigkeit von Kandidat A höher als die von Kandidat B, wenn Kandidat A schwierigere Fragen beantworten kann als Kandidat B. Darüber hinaus ist die Unterscheidung der Fragen auch ein Faktor, der bei der Schätzung der Fähigkeiten der Kandidaten verwendet wird. Daraus ergibt sich, dass die angekündigte Punktzahl von Student A höher ist als die von Student B.“

Einfacher ausgedrückt: Beim traditionellen Ansatz auf Basis der Rohpunktzahlen werden die Punktzahlen der Fragen mit der gleichen „Gewichtung“ berechnet, was bedeutet, dass der Schwierigkeitsgrad und die Leichtigkeit dieser Fragen nicht berechnet werden. Bei der Frage-Antwort-Theorie werden die Bewertungen der Fragen unterschiedlich „gewichtet“, allerdings beruht diese Gewichtung nicht auf dem subjektiven Willen des Testentwicklers, sondern wird anhand mathematischer Modelle aus den Testdaten des Testteilnehmers berechnet.

Bei der Anwendung der Frage-Antwort-Theorie wird bei der Analyse der Testdaten auch die Vergleichstechnik eingesetzt, um die Punktzahlen der Kandidaten auf eine gemeinsame Skala zu bringen. Die Prüfung zur Beurteilung des Denkvermögens besteht jedes Jahr aus mehreren Runden, und die Kandidaten werden kurz nach Ablegen der Prüfung über die Ergebnisse informiert (und müssen nicht warten, bis die jährliche Prüfung abgeschlossen ist).

Um eine faire Zulassung zwischen den Kandidaten zu gewährleisten, die die Prüfung in verschiedenen Runden ablegen, verwendet der Prüfungsorganisator den Maßstab der ersten Runde als Originalskala. Bei den folgenden Prüfungen wird bei der Analyse der Prüfungsergebnisse die Vergleichstechnik angewendet, um die Punktzahlen der Kandidaten in den folgenden Prüfungen wieder auf die ursprüngliche Skala zu bringen. Anschließend werden die offiziellen Ergebnisse der Kandidaten bekannt gegeben. Dadurch wird der Vergleich der Prüfungsergebnisse zwischen den Sitzungen erleichtert.

Laut Dr. Dang Xuan Cuong hat jede Theorie ihre Vor- und Nachteile. „Wir gehen bei der Anwendung der Frage-Antwort-Theorie für die Prüfung zur Denkfähigkeit an der Hanoi University of Science and Technology sehr sorgfältig vor und verfolgen einen spezifischen Plan, um die Prüfung jedes Jahr zu perfektionieren“, sagte Herr Cuong.

Dr. Dang Xuan Cuong erhielt seinen Doktortitel in Pädagogik mit einer Dissertation über Bildungsmessung und -bewertung an der Flinders University, Australien. Er verfügt über mehr als 18 Jahre Erfahrung auf diesem Gebiet.

Quelle: https://thanhnien.vn/vi-sao-nhieu-thi-sinh-thay-diem-thi-danh-gia-tu-duy-tsa-khong-nhu-ky-vong-185240525095542657.htm