Meta-description

Η μέτρηση και η αξιολόγηση αποτελούν θεμελιώδεις διαδικασίες της επιστημονικής έρευνας. Παρουσιάζονται οι έννοιες της αξιοπιστίας, εγκυρότητας, επαναληπτικότητας, αναπαραγωγισιμότητας, σφάλματος μέτρησης και οι βασικές αρχές επιλογής κατάλληλων ερευνητικών εργαλείων.

Λέξεις-κλειδιά

μέτρηση, αξιολόγηση, αξιοπιστία, εγκυρότητα, repeatability, reproducibility, measurement error, inter-rater reliability, ψυχομετρικά εργαλεία, ερευνητική μεθοδολογία, ποιότητα δεδομένων

Εισαγωγή

Η μέτρηση αποτελεί κεντρικό στοιχείο της επιστημονικής έρευνας, καθώς επιτρέπει την οργανωμένη αποτύπωση χαρακτηριστικών, ιδιοτήτων, συμπεριφορών και φαινομένων. Η ποιότητα μιας έρευνας εξαρτάται σε σημαντικό βαθμό από το κατά πόσο τα εργαλεία και οι διαδικασίες μέτρησης αποτυπώνουν με συνέπεια και ακρίβεια αυτό που ο ερευνητής επιδιώκει να μελετήσει.

Η αξιολόγηση αποτελεί ευρύτερη διαδικασία. Δεν περιορίζεται στην παραγωγή αριθμητικών ή κατηγορικών δεδομένων, αλλά περιλαμβάνει την ερμηνεία τους σε σχέση με συγκεκριμένα κριτήρια, στόχους ή θεωρητικά πλαίσια.

Στη σύγχρονη ερευνητική μεθοδολογία ιδιαίτερη σημασία δίνεται όχι μόνο στο αποτέλεσμα μιας μέτρησης, αλλά και στην τεκμηρίωση της αξιοπιστίας, της εγκυρότητας και του πιθανού σφάλματος που τη συνοδεύει.

Τι είναι η Μέτρηση

Η μέτρηση (measurement) είναι η συστηματική απόδοση αριθμών, κατηγοριών ή τιμών σε ένα χαρακτηριστικό σύμφωνα με προκαθορισμένους κανόνες.

Μπορεί να αφορά άμεσα μετρήσιμα χαρακτηριστικά, όπως το ύψος, το βάρος ή η θερμοκρασία, αλλά και σύνθετες έννοιες που δεν παρατηρούνται άμεσα, όπως το άγχος, η ποιότητα ζωής, η επαγγελματική ικανοποίηση ή η αυτοεκτίμηση.

Στην τελευταία περίπτωση χρησιμοποιούνται συνήθως κλίμακες, ερωτηματολόγια ή άλλες ψυχομετρικές μέθοδοι που επιχειρούν να μετατρέψουν μια θεωρητική έννοια σε μετρήσιμο χαρακτηριστικό.

Τι είναι η Αξιολόγηση

Η αξιολόγηση (assessment/evaluation) αφορά την ερμηνεία των αποτελεσμάτων της μέτρησης.

Ένας αριθμός από μόνος του δεν αποκτά απαραίτητα επιστημονικό ή πρακτικό νόημα. Πρέπει να εξεταστεί σε σχέση με ένα πλαίσιο αναφοράς, προηγούμενες τιμές, κριτήρια ή συγκεκριμένους στόχους.

Για παράδειγμα, η βαθμολογία ενός ερωτηματολογίου αποτελεί αποτέλεσμα μέτρησης. Η απόφαση για το τι σημαίνει αυτή η βαθμολογία και πώς πρέπει να ερμηνευθεί αποτελεί διαδικασία αξιολόγησης.

Επομένως, η μέτρηση παράγει δεδομένα, ενώ η αξιολόγηση αποδίδει νόημα στα δεδομένα.

Αξιοπιστία

Η αξιοπιστία (reliability) αφορά τη συνέπεια και τη σταθερότητα μιας μέτρησης.

Ένα εργαλείο θεωρείται αξιόπιστο όταν παράγει αποτελέσματα με περιορισμένο τυχαίο σφάλμα υπό συγκρίσιμες συνθήκες.

Η αξιοπιστία δεν αποτελεί ένα ενιαίο χαρακτηριστικό αλλά μπορεί να εξετάζεται από διαφορετικές οπτικές.

Επαναληπτικότητα

Η repeatability περιγράφει τον βαθμό συμφωνίας μεταξύ επαναλαμβανόμενων μετρήσεων όταν οι συνθήκες παραμένουν όσο το δυνατόν ίδιες.

Για παράδειγμα, εάν ένα όργανο χρησιμοποιείται επανειλημμένα από τον ίδιο χειριστή, στον ίδιο χώρο και με την ίδια διαδικασία, οι τιμές πρέπει να παρουσιάζουν μικρές αποκλίσεις εφόσον το χαρακτηριστικό που μετράται δεν έχει πραγματικά μεταβληθεί.

Αναπαραγωγισιμότητα

Η reproducibility αφορά τη σταθερότητα των αποτελεσμάτων όταν αλλάζουν ορισμένες συνθήκες, όπως ο αξιολογητής, το εργαστήριο, ο εξοπλισμός ή ο χρόνος διεξαγωγής.

Η διάκριση μεταξύ repeatability και reproducibility είναι ιδιαίτερα σημαντική στις εργαστηριακές, κλινικές και τεχνικές μετρήσεις.

Test-Retest Reliability

Στις ψυχομετρικές έρευνες χρησιμοποιείται συχνά η test-retest reliability.

Το ίδιο εργαλείο χορηγείται στα ίδια άτομα σε δύο διαφορετικές χρονικές στιγμές και εξετάζεται ο βαθμός συμφωνίας των αποτελεσμάτων.

Η μέθοδος είναι κατάλληλη όταν το χαρακτηριστικό θεωρείται σχετικά σταθερό κατά το συγκεκριμένο χρονικό διάστημα.

Εσωτερική Συνέπεια

Η εσωτερική συνέπεια (internal consistency) αφορά τον βαθμό στον οποίο τα επιμέρους ερωτήματα μιας κλίμακας μετρούν ένα κοινό χαρακτηριστικό.

Ένας συχνά χρησιμοποιούμενος δείκτης είναι ο Cronbach’s alpha, αλλά δεν πρέπει να αποτελεί το μοναδικό κριτήριο αξιολόγησης μιας κλίμακας.

Η τιμή του επηρεάζεται από τον αριθμό των ερωτήσεων και από τη δομή του εργαλείου. Για τον λόγο αυτό, σε πολλές περιπτώσεις εξετάζονται παράλληλα δείκτες όπως το McDonald’s omega και η παραγοντική δομή της κλίμακας.

Συμφωνία Μεταξύ Αξιολογητών

Όταν μια μέτρηση εξαρτάται από την κρίση παρατηρητών, πρέπει να εξετάζεται η inter-rater reliability.

Η κατάλληλη στατιστική μέθοδος εξαρτάται από τον τύπο των δεδομένων.

Για κατηγορικά δεδομένα μπορεί να χρησιμοποιηθεί ο Cohen’s kappa, ενώ για συνεχείς μετρήσεις χρησιμοποιείται συχνά ο Intraclass Correlation Coefficient (ICC).

Η απλή συσχέτιση μεταξύ δύο αξιολογητών δεν ισοδυναμεί απαραίτητα με συμφωνία.

Εγκυρότητα

Η εγκυρότητα (validity) αφορά το κατά πόσο τα αποτελέσματα μιας μέτρησης μπορούν να υποστηρίξουν τις ερμηνείες και τις χρήσεις για τις οποίες προορίζονται.

Ένα εργαλείο μπορεί να είναι εξαιρετικά αξιόπιστο αλλά να μην είναι έγκυρο. Για παράδειγμα, μια ζυγαριά που εμφανίζει πάντοτε δύο κιλά περισσότερα μπορεί να δίνει σταθερές μετρήσεις, αλλά οι μετρήσεις της δεν είναι ακριβείς.

Στα ψυχομετρικά εργαλεία εξετάζονται διαφορετικές μορφές τεκμηρίωσης της εγκυρότητας, όπως η εγκυρότητα περιεχομένου, η σχέση με άλλες μεταβλητές και η εσωτερική δομή του εργαλείου.

Εγκυρότητα Περιεχομένου

Η content validity εξετάζει κατά πόσο τα στοιχεία ενός εργαλείου καλύπτουν επαρκώς το θεωρητικό πεδίο της έννοιας που επιχειρεί να μετρήσει.

Η αξιολόγηση μπορεί να βασίζεται σε βιβλιογραφία, θεωρητικά μοντέλα και γνώμες ειδικών.

Εγκυρότητα Κατασκευής

Η εγκυρότητα κατασκευής αφορά το κατά πόσο η δομή των αποτελεσμάτων συμφωνεί με τις θεωρητικές προσδοκίες για το υπό μελέτη χαρακτηριστικό.

Συχνά διερευνάται μέσω τεχνικών όπως η Exploratory Factor Analysis (EFA) και η Confirmatory Factor Analysis (CFA).

Συγκλίνουσα και Διακριτή Εγκυρότητα

Η συγκλίνουσα εγκυρότητα εξετάζει εάν ένα εργαλείο συσχετίζεται, όπως αναμένεται, με άλλα εργαλεία που μετρούν παρόμοιες έννοιες.

Η διακριτή εγκυρότητα εξετάζει κατά πόσο το εργαλείο διαφοροποιείται από μέτρα θεωρητικά διαφορετικών κατασκευών.

Σφάλμα Μέτρησης

Καμία μέτρηση δεν είναι απολύτως απαλλαγμένη από σφάλμα.

Το measurement error μπορεί να προέρχεται από το όργανο, τον ερευνητή, τον συμμετέχοντα, το περιβάλλον ή τη διαδικασία καταγραφής.

Διακρίνεται συνήθως σε τυχαίο σφάλμα, το οποίο αυξάνει τη μεταβλητότητα, και συστηματικό σφάλμα, το οποίο μετατοπίζει συστηματικά τις μετρήσεις προς συγκεκριμένη κατεύθυνση.

Η αναγνώριση και ο περιορισμός αυτών των σφαλμάτων αποτελούν βασικό μέρος του ερευνητικού σχεδιασμού.

Τυποποίηση και Βαθμονόμηση

Η τυποποίηση (standardization) της διαδικασίας μειώνει ανεπιθύμητες διαφορές μεταξύ των μετρήσεων.

Πρέπει να καθορίζονται με σαφήνεια οι οδηγίες προς τους συμμετέχοντες, οι συνθήκες μέτρησης, ο τρόπος χρήσης του εξοπλισμού και η διαδικασία καταχώρισης.

Στις εργαστηριακές και τεχνικές μετρήσεις απαιτείται επίσης κατάλληλη βαθμονόμηση (calibration) των οργάνων έναντι γνωστών προτύπων, όπου αυτό προβλέπεται.

Καταλληλότητα Ερευνητικού Εργαλείου

Ένα εργαλείο δεν πρέπει να επιλέγεται αποκλειστικά επειδή είναι ευρέως χρησιμοποιούμενο.

Ο ερευνητής πρέπει να εξετάζει εάν έχει τεκμηριωθεί για τον συγκεκριμένο πληθυσμό, τη γλώσσα, την ηλικιακή ομάδα και το πλαίσιο εφαρμογής.

Η μετάφραση ενός ερωτηματολογίου δεν αρκεί από μόνη της. Σε διαπολιτισμικές εφαρμογές μπορεί να απαιτείται οργανωμένη διαδικασία γλωσσικής και πολιτισμικής προσαρμογής και επανέλεγχος των ψυχομετρικών χαρακτηριστικών.

Μέτρηση και Αξιολόγηση στην Ποιοτική Έρευνα

Στην ποιοτική έρευνα δεν χρησιμοποιείται πάντοτε η έννοια της μέτρησης με την αριθμητική έννοια.

Το ενδιαφέρον επικεντρώνεται συχνά στην αξιοπιστία της ερευνητικής διαδικασίας, στη διαφάνεια της ανάλυσης και στην τεκμηρίωση των ερμηνειών.

Πρακτικές όπως η τριγωνοποίηση, η αναστοχαστικότητα, η αναζήτηση αποκλινουσών περιπτώσεων και η σαφής καταγραφή των αναλυτικών αποφάσεων μπορούν να ενισχύσουν την ποιότητα των ποιοτικών ευρημάτων.

Συμπέρασμα

Η μέτρηση και η αξιολόγηση αποτελούν διαφορετικές αλλά στενά συνδεδεμένες διαδικασίες. Η μέτρηση παράγει οργανωμένα δεδομένα, ενώ η αξιολόγηση επιτρέπει την ερμηνεία και τη χρήση τους.

Η ποιότητα μιας μέτρησης δεν μπορεί να αξιολογηθεί μόνο με έναν αριθμητικό δείκτη. Απαιτεί εξέταση της αξιοπιστίας, της εγκυρότητας, του σφάλματος μέτρησης, της τυποποίησης των διαδικασιών και της καταλληλότητας του εργαλείου για τον συγκεκριμένο πληθυσμό.

Η σύγχρονη ερευνητική πρακτική επομένως δεν περιορίζεται στο ερώτημα «ποια τιμή μετρήθηκε», αλλά εξετάζει επίσης πόσο σταθερή, πόσο ακριβής και πόσο επιστημονικά τεκμηριωμένη είναι η ερμηνεία αυτής της μέτρησης.

Ενδεικτική Βιβλιογραφία

DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications (5th ed.). SAGE Publications.

Furr, R. M. (2022). Psychometrics: An introduction (4th ed.). SAGE Publications.

Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.

McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods, 23(3), 412–433.