Ανάλυση στοιχείων

Αυτός ο πίνακας παρουσιάζει τα επεξεργασμένα στοιχεία από ερωτήσεις τύπου κουίζ με έναν τρόπο κατάλληλο για την ανάλυση και τον έλεγχο κάθε ερώτησης για τους σκοπούς της αξιολόγησης. Οι στατιστικές παράμετροι που χρησιμοποιούνται υπολογίζονται όπως εξηγούνται από την κλασσική θεωρία τεστ (παραπομπή 1)

 

Ο δείκτης ευκολίας απάντησης (% σωστό)

Αυτό είναι ένα μέτρο για το πόσο εύκολη ή δύσκολη είναι μια ερώτηση για αυτούς που την απάντησαν. Υπολογίζεται ως εξής:

FI = (Xaverage )/$l *Xmax

όπου Xaverage είναι ο μέσος όρος πόντων που λαμβάνεται από όλους τους χρήστες που προσπάθησαν να απαντήσουν στο στοιχείο,

και Xmax είναι το μέγιστο επιτεύξιμο σύνολο πόντων για εκείνο το στοιχείο.

Εάν οι ερωτήσεις είναι τύπου Σωστού/Λάθους, αυτή η παράμετρος συμπίπτει με το ποσοστό των χρηστών που απαντούν στην ερώτηση σωστά.

 

Σταθερή απόκλιση (SD )

Αυτή η παράμετρος μετρά τη διάδοση των απαντήσεων στον πληθυσμό απάντησης. Εάν όλοι οι χρήστες απαντούν στον ίδιο, τότε SD =0. Η SD υπολογίζεται ως η στατιστική σταθερή απόκλιση για το δείγμα των κλασματικών αποτελεσμάτων (πραγματοποιημένων/μέγιστου) σε κάθε ερώτηση.

 

Δείκτης διάκρισης (DI )

Αυτό παρέχει έναν γενικό δείκτη επίδοσης για το διαχωρισμό ικανών και λιγότερο-ικανών χρηστών. Αυτή η παράμετρος υπολογίζεται διαιρώντας αρχικά τους διδασκόμενους στα τρία μέρη βασισμένα στα αποτελέσματα του κουίζ. Κατόπιν υπολογίζεται ο μέσος όρος αποτελεσμάτων στο αναλυθέν στοιχείο για το πρώτο και το τρίτο μέρος. Η μαθηματική έκφραση έχει ως εξής:

DI = (Xtop - Xbottom)/ N

όπου Xtop είναι το ποσό του κλάσματος βαθμών (πραγματοποιημένων/μέγιστων) που λαμβάνεται σε αυτό το στοιχείο από το 1/3 των χρηστών που έχουν τους υψηλότερους βαθμούς σε ολόκληρο το διαγωνισμό γνώσεων (δηλ. αριθμός σωστών απαντήσεων σε αυτήν την ομάδα),

όπου Xbottom ) είναι το αναλογικό ποσό για τους χρήστες με το χαμηλότερο 1/3 βαθμών για ολόκληρο το διαγωνισμό γνώσεων.

Αυτή η παράμετρος μπορεί να πάρει τιμές μεταξύ + 1 και -1. Εάν ο δείκτης πηγαίνει κάτω από 0,0 σημαίνει ότι περισσότεροι των αδύνατων διδασκόμενων απάντησαν σωστά στο στοιχείο σε σχέση με τους ισχυρότερους. Τέτοια στοιχεία πρέπει να απορριφθούν ως άνευ αξίας. Στην πραγματικότητα, μειώνουν την ακρίβεια του γενικού αποτελέσματος για το κουίζ.

 

Συντελεστής διάκρισης (DC )

Αυτό είναι ένα άλλο μέτρο για να διακρίνουμε τους δυνατούς από τους αδύνατους διδασκόμενους.

Ο συντελεστής διάκρισης είναι ένας συντελεστής συσχετισμού μεταξύ των αποτελεσμάτων στο στοιχείο και σε ολόκληρο το διαγωνισμό γνώσεων. Υπολογίζεται ως εξής:

DC = Sum(xy)/ (N * sx * sy)

όπου Sum (xy ) είναι το ποσό των προϊόντων των αποκλίσεων για τα αποτελέσματα στοιχείων και τα γενικά αποτελέσματα του κουίζ,

N είναι ο αριθμός απαντήσεων που δίνονται σε αυτήν την ερώτηση

sx είναι η σταθερή απόκλιση των κλασματικών αποτελεσμάτων για αυτήν την ερώτηση και,

sy είναι η σταθερή απόκλιση των αποτελεσμάτων στο διαγωνισμό γνώσεων συνολικά.

Και αυτή η παράμετρος μπορεί να πάρει τις τιμές μεταξύ + 1 και -1. Οι θετικές τιμές δείχνουν τα στοιχεία που διακρίνουν τους δυνατούς χρήστες, ενώ οι αρνητικοί δείκτες δείχνουν τα στοιχεία που απαντώνται καλύτερα από εκείνους με τους χαμηλότερους βαθμούς. Τα στοιχεία με το αρνητικό DC απαντώνται λανθασμένα και έτσι ουσιαστικά αποτελούν μια ποινική ρήτρα ενάντια στους δυνατότερους. Αυτά τα στοιχεία πρέπει να αποφευχθούν.

Το πλεονέκτημα του συντελεστή διάκρισης εναντίον του δείκτη διάκρισης είναι ότι το πρώτο χρησιμοποιεί τις πληροφορίες από ολόκληρο τον πληθυσμό των αρχαρίων, όχι μόνο τα ακραία ανώτερα και χαμηλότερα τρίτα. Κατά συνέπεια, αυτή η παράμετρος μπορεί να είναι πιο ευαίσθητη για να ανιχνεύσει την απόδοση στοιχείων.

 

 

Item Analysis

This table presents processed quiz data in a way suitable for anayzing and judging the performance of each question for the function of assessment. The statistical parameters used are calculated as explained by classical test theory (ref. 1)

Facility Index (% Correct)

This is a measure of how easy or difficult is a question for quiz-takers. It is calculated as:
FI = (X_average) / X_max
where X_average is the mean credit obtained by all users attempting the item,
and X_max is the maximum credit achievable for that item.
If questions can be distributed dicotomically into correct / uncorrect categories, this parameter coincides with the percentage of users that answer the question correctly.

Standard Deviation (SD)

This parameter measures the spread of answers in the response population. If all users answers the same, then SD=0. SD is calculated as the statistical stadard deviation for the sample of fractional scores (achieved/maximum) at each particular question.

Discrimination Index (DI)

This provides a rough indicator of the performance of each item to separate proficient vs. less-proficient users. This parameter is calculated by first dividing learners into thirds based on the overall score in the quiz. Then the average score at the analyzed item is calculated for the groups of top and bottom performers, and the average scored substracted. The matematical expression is:
DI = (X_top - X_bottom)/ N
where X_top is the sum of the fractional credit (achieved/maximum) obtained at this item by the 1/3 of users having tha highest grades in the whole quiz (i.e. number of correct responses in this group),
and X_bottom) is the analog sum for users with the lower 1/3 grades for the whole quiz.

This parameter can take values between +1 and -1. If the index goes below 0.0 it means that more of the weaker learners got the item right than the stronger learners. Such items should be discarded as worthless. In fact, they reduce the accuracy of the overall score for the quiz.

Discrimination Coefficient (DC)

This is another measure of the separating power of the item to distinguish proficient from weak learners.
The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:
DC = Sum(xy)/ (N * s_x * s_y)
where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores,
N is the number of responses given to this question
s_x is the standard deviation of fractional scores for this question and,
s_y is the standard deviation of scores at the quiz as a whole.

Again, this parameter can take values between +1 and -1. Positive values indicate items that do discriminate proficient learners, whereas negative indices mark items that are answered best by those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners and thus they are actually a penalty against the most proficient learners. Those items should be avoided.
The advantage of Discrimination Coefficient vs. Discrimitation Index is that the former uses information from the whole population of learners, not just the extreme upper and lower thirds. Thus, this parameter may be more sensitive to detect item performance.