Περιγραφή

Η δημιουργία μιας αξιολόγησης (Test Development) αποτελεί μία σύνθετη και πολυσταδιακή επιστημονική διαδικασία που αποσκοπεί στην ανάπτυξη έγκυρων, αξιόπιστων και αντικειμενικών εργαλείων μέτρησης. Είτε πρόκειται για ψυχομετρικά ερωτηματολόγια, εκπαιδευτικές δοκιμασίες, εξετάσεις πιστοποίησης ή ερευνητικά εργαλεία, η ανάπτυξή τους απαιτεί συστηματικό σχεδιασμό, τεκμηριωμένες αποφάσεις και συνεχή έλεγχο ποιότητας ώστε οι βαθμολογίες που προκύπτουν να αντανακλούν με ακρίβεια το υπό διερεύνηση χαρακτηριστικό.

Η σύγχρονη θεωρία ανάπτυξης αξιολογήσεων βασίζεται στην έννοια της εγκυρότητας (Validity), σύμφωνα με την οποία κάθε στάδιο της διαδικασίας πρέπει να παρέχει επαρκή επιστημονικά τεκμήρια ότι οι βαθμολογίες του εργαλείου μπορούν να ερμηνευθούν ορθά και να χρησιμοποιηθούν με ασφάλεια για ερευνητικούς, εκπαιδευτικούς ή επαγγελματικούς σκοπούς.

Ανάλυση και Χρήση Δεδομένων

Η ανάπτυξη ενός αξιόπιστου εργαλείου αξιολόγησης ακολουθεί μία συγκεκριμένη αλληλουχία βημάτων, τα οποία εξασφαλίζουν την ποιότητα του τελικού αποτελέσματος. Σύμφωνα με τη διεθνή βιβλιογραφία, η διαδικασία περιλαμβάνει δώδεκα βασικά στάδια:

• αρχικό προγραμματισμό,
• καθορισμό του περιεχομένου της αξιολόγησης,
• σύνταξη προδιαγραφών,
• ανάπτυξη των ερωτήσεων ή αντικειμένων,
• σχεδιασμό και συναρμολόγηση του ερωτηματολογίου,
• παραγωγή και δημοσίευση της αξιολόγησης,
• διαχείριση της διαδικασίας χορήγησης,
• βαθμολόγηση των απαντήσεων,
• καθορισμό βαθμολογιών επιτυχίας ή επιπέδων επίδοσης,
• αναφορά των αποτελεσμάτων,
• δημιουργία τράπεζας ερωτήσεων,
• σύνταξη τεχνικής έκθεσης τεκμηρίωσης.

Η σωστή εφαρμογή των παραπάνω βημάτων διασφαλίζει ότι η αξιολόγηση θα παρουσιάζει υψηλή εγκυρότητα, αξιοπιστία και δυνατότητα επαναχρησιμοποίησης σε διαφορετικούς πληθυσμούς και ερευνητικά περιβάλλοντα.

Σκοπός

Βασικός σκοπός της ανάπτυξης ενός εργαλείου αξιολόγησης είναι η δημιουργία ενός επιστημονικά τεκμηριωμένου μέσου μέτρησης που να παρέχει ακριβή, αντικειμενικά και συγκρίσιμα αποτελέσματα.

Ένα σωστά αναπτυγμένο ερωτηματολόγιο ή τεστ επιτρέπει:

• την αξιόπιστη μέτρηση γνώσεων, δεξιοτήτων, στάσεων ή ψυχολογικών χαρακτηριστικών,
• τη μείωση των σφαλμάτων μέτρησης,
• την υποστήριξη τεκμηριωμένων επιστημονικών συμπερασμάτων,
• τη συγκρισιμότητα αποτελεσμάτων μεταξύ διαφορετικών πληθυσμών,
• τη λήψη έγκυρων αποφάσεων στην έρευνα, την εκπαίδευση και την επαγγελματική αξιολόγηση.

Διαδικασία Ανάπτυξης

Η ανάπτυξη ενός σύγχρονου εργαλείου αξιολόγησης δεν περιορίζεται στη συγγραφή των ερωτήσεων αλλά περιλαμβάνει ολόκληρο τον κύκλο ζωής του εργαλείου.

Ιδιαίτερη σημασία δίνεται:

• στον σαφή ορισμό του γνωστικού ή ψυχολογικού πεδίου που πρόκειται να μετρηθεί,
• στην επιλογή κατάλληλου τύπου ερωτήσεων (πολλαπλής επιλογής, Likert, ανοικτών ή μεικτών),
• στον σχεδιασμό κανόνων βαθμολόγησης,
• στην πιλοτική εφαρμογή,
• στην αξιολόγηση της λειτουργικότητας κάθε ερώτησης,
• στην ασφαλή αποθήκευση των αντικειμένων σε οργανωμένες τράπεζες ερωτήσεων,
• στη σύνταξη αναλυτικής τεχνικής έκθεσης που τεκμηριώνει όλες τις ψυχομετρικές ιδιότητες του εργαλείου.

Ψυχομετρικά Χαρακτηριστικά

Η ανάπτυξη ενός ερωτηματολογίου ολοκληρώνεται με την ψυχομετρική αξιολόγησή του. Η διαδικασία αυτή περιλαμβάνει:

• έλεγχο της εσωτερικής συνέπειας (Cronbach’s α),
• αξιοπιστία επαναληπτικών μετρήσεων (Test–Retest Reliability),
• εγκυρότητα περιεχομένου (Content Validity),
• εγκυρότητα κατασκευής (Construct Validity),
• συγκλίνουσα και διακριτή εγκυρότητα,
• Διερευνητική Παραγοντική Ανάλυση (Exploratory Factor Analysis – EFA),
• Επιβεβαιωτική Παραγοντική Ανάλυση (Confirmatory Factor Analysis – CFA),
• εφαρμογή θεωρίας κλασικών δοκιμασιών (Classical Test Theory – CTT) ή θεωρίας απόκρισης στοιχείου (Item Response Theory – IRT), όταν απαιτείται.

Παράλληλα, αξιολογούνται δείκτες δυσκολίας και διακριτικής ικανότητας των ερωτήσεων, καθώς και η συνολική απόδοση του εργαλείου σε διαφορετικούς πληθυσμούς, ώστε να διασφαλίζεται η επιστημονική του εγκυρότητα και η δυνατότητα ευρείας εφαρμογής.

Εφαρμογές

Οι αρχές ανάπτυξης αξιολογήσεων εφαρμόζονται σε πληθώρα επιστημονικών και επαγγελματικών πεδίων, όπως:

• ψυχομετρικά ερωτηματολόγια,
• εκπαιδευτικές δοκιμασίες,
• εξετάσεις πιστοποίησης,
• αξιολόγηση γνώσεων και δεξιοτήτων,
• κλινική και ψυχολογική αξιολόγηση,
• έρευνες κοινωνικών και ανθρωπιστικών επιστημών,
• αξιολόγηση προσωπικού και ανθρώπινου δυναμικού,
• ηλεκτρονικά συστήματα εξετάσεων (Computer-Based Testing).

Η τήρηση των διεθνών προτύπων ανάπτυξης εξασφαλίζει ότι οι αξιολογήσεις είναι επιστημονικά τεκμηριωμένες, δίκαιες και κατάλληλες για τη λήψη έγκυρων αποφάσεων.

Βιβλιογραφία

Downing, S. M. (2006). Twelve Steps for Effective Test Development. Handbook of Test Development.

Eignor, D. R. (2013). The Standards for Educational and Psychological Testing.

Haladyna, T. M., & Downing, S. M. (2004). Construct-Irrelevant Variance in High-Stakes Testing. Educational Measurement: Issues and Practice, 23(1), 17–27.

Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). American Council on Education.

Raymond, M. R. (2001). Job Analysis and the Specification of Content for Licensure and Certification Examinations. Applied Measurement in Education, 14(4), 369–415.