Το Kappa του Fleiss στο SPSS

Εισαγωγή

Το Kappa του Fleiss, που προτάθηκε αρχικά από τον Fleiss το 1971 και αναπτύχθηκε περαιτέρω από τους Fleiss και συνεργάτες το 2003, αποτελεί ένα μέτρο της συμφωνίας μεταξύ δύο ή περισσότερων βαθμολογητών όταν αξιολογούν δεδομένα που καταγράφονται σε κατηγορική κλίμακα. Σε αντίθεση με το Cohen’s kappa που περιορίζεται σε δύο εκτιμητές, το kappa του Fleiss επιτρέπει την ανάλυση περιπτώσεων όπου εμπλέκονται πολλοί παρατηρητές και όπου τόσο οι αξιολογούμενοι στόχοι όσο και οι ίδιοι οι εκτιμητές επιλέγονται τυχαία. Αυτό το χαρακτηριστικό το καθιστά ιδιαίτερα χρήσιμο σε ερευνητικά σχέδια όπου η δειγματοληψία είναι τυχαία και η αξιολόγηση γίνεται από διαφορετικούς μη μοναδικούς εκτιμητές που αντλούνται από έναν ευρύτερο πληθυσμό.

Παράδειγμα εφαρμογής

Για να κατανοηθεί η χρήση του kappa του Fleiss, μπορεί να εξεταστεί το παράδειγμα ενός μεγάλου ιατρείου, όπου ο διευθυντής θέλει να διαπιστώσει αν οι γιατροί συμφωνούν ως προς το πότε θα συνταγογραφήσουν αντιβιοτικά. Τέσσερις γιατροί επιλέγονται τυχαία από τον πληθυσμό όλων των διαθέσιμων γιατρών και καλούνται να εξετάσουν έναν ασθενή που παρουσιάζει συμπτώματα πιθανής λοίμωξης. Οι αποφάσεις τους κατηγοριοποιούνται σε τρεις ομάδες: «συνταγογράφηση», «παρακολούθηση» και «μη συνταγογράφηση». Η διαδικασία αυτή επαναλαμβάνεται για δέκα ασθενείς που έχουν επίσης επιλεγεί τυχαία από τον συνολικό πληθυσμό του ιατρείου. Κάθε φορά, διαφορετικοί γιατροί επιλέγονται για να αξιολογήσουν τους ασθενείς, γεγονός που υπογραμμίζει τον χαρακτήρα των μη μοναδικών εκτιμητών. Η ανάλυση με χρήση του kappa του Fleiss επιτρέπει τον υπολογισμό του επιπέδου συμφωνίας μεταξύ των γιατρών, ενώ επιπλέον μπορεί να αποκαλύψει σε ποιες κατηγορίες υπήρχε μεγαλύτερη ή μικρότερη συμφωνία. Έτσι, οι γιατροί μπορεί να συμφωνούν περισσότερο στις αποφάσεις «συνταγογράφηση» ή «μη συνταγογράφηση», αλλά να παρουσιάζουν μικρότερη συνοχή όταν η απόφαση αφορά την «παρακολούθηση».

Βασικές απαιτήσεις και υποθέσεις

Η χρήση του kappa του Fleiss προϋποθέτει την ικανοποίηση ορισμένων θεμελιωδών απαιτήσεων. Καταρχάς, η μεταβλητή απόκρισης που αξιολογείται πρέπει να είναι κατηγορική, είτε ονομαστική είτε τακτική. Παρόλα αυτά, το συγκεκριμένο μέτρο δεν λαμβάνει υπόψη τη διατεταγμένη φύση των τακτικών μεταβλητών, επομένως αντιμετωπίζει όλες τις κατηγορίες ως ισότιμες. Δεύτερη απαίτηση είναι ότι οι κατηγορίες πρέπει να είναι αμοιβαία αποκλειόμενες. Αυτό σημαίνει ότι κάθε παρατήρηση μπορεί να καταταχθεί μόνο σε μία κατηγορία και δεν μπορεί να ανήκει ταυτόχρονα σε περισσότερες. Επιπλέον, όλοι οι εκτιμητές πρέπει να χρησιμοποιούν τον ίδιο αριθμό κατηγοριών, ώστε να υπάρχει συμμετρία στον πίνακα συμφωνίας. Αν, για παράδειγμα, ένας εκτιμητής χρησιμοποιεί τρεις κατηγορίες και άλλος δύο, το τεστ δεν είναι κατάλληλο.

Μία ακόμη σημαντική υπόθεση είναι ότι οι εκτιμητές είναι μη μοναδικοί, δηλαδή δεν είναι οι ίδιοι για όλες τις παρατηρήσεις αλλά επιλέγονται κάθε φορά τυχαία από έναν μεγαλύτερο πληθυσμό. Αυτό διαφοροποιεί το kappa του Fleiss από το Cohen’s kappa, το οποίο απαιτεί σταθερό ζευγάρι εκτιμητών. Εξίσου ουσιώδες είναι οι εκτιμητές να είναι ανεξάρτητοι, έτσι ώστε η κρίση του ενός να μην επηρεάζει την κρίση του άλλου. Τέλος, οι αξιολογούμενοι στόχοι πρέπει να επιλέγονται τυχαία από τον πληθυσμό ενδιαφέροντος, ώστε τα αποτελέσματα να είναι γενικεύσιμα και να μην εισάγεται μεροληψία από μια επιλεκτική δειγματοληψία.

Εφαρμογή στο SPSS

Η ανάλυση του kappa του Fleiss μπορεί να πραγματοποιηθεί στο SPSS μέσω της διαδικασίας «Ανάλυση αξιοπιστίας» σε έξι βήματα. Το λογισμικό παρέχει το συνολικό δείκτη κ, συνοδευόμενο από στατιστικό έλεγχο σημαντικότητας και το διάστημα εμπιστοσύνης 95%. Αυτά τα στοιχεία επιτρέπουν την αξιολόγηση του επιπέδου συμφωνίας μεταξύ των μη μοναδικών εκτιμητών. Παράλληλα, το SPSS δίνει τη δυνατότητα να υπολογιστούν μεμονωμένα kappas για κάθε κατηγορία της μεταβλητής απόκρισης. Με αυτόν τον τρόπο, μπορούμε να εντοπίσουμε τις περιπτώσεις όπου η συμφωνία ήταν υψηλότερη και τις περιπτώσεις όπου η συμφωνία ήταν περιορισμένη.

Η ερμηνεία των αποτελεσμάτων βασίζεται σε καθιερωμένα κριτήρια, σύμφωνα με τα οποία τιμές κάτω του 0.20 θεωρούνται ενδεικτικές φτωχής συμφωνίας, τιμές μεταξύ 0.21 και 0.40 αντιπροσωπεύουν μέτρια συμφωνία, τιμές από 0.41 έως 0.60 δείχνουν ικανοποιητική συμφωνία, τιμές από 0.61 έως 0.80 υποδηλώνουν σημαντική συμφωνία και τιμές από 0.81 έως 1.00 αντιστοιχούν σε σχεδόν τέλεια συμφωνία.

Συμπεράσματα

Το Kappa του Fleiss αποτελεί ένα ισχυρό στατιστικό εργαλείο για την αξιολόγηση της συμφωνίας όταν εμπλέκονται περισσότεροι από δύο εκτιμητές και όταν η διαδικασία επιλογής τους είναι τυχαία και βασίζεται σε μη μοναδικούς παρατηρητές. Η ορθή εφαρμογή του προϋποθέτει την αυστηρή τήρηση βασικών απαιτήσεων, όπως η χρήση κατηγορικών μεταβλητών, η αμοιβαία αποκλειστικότητα των κατηγοριών, η ισοδυναμία στις κλίμακες αξιολόγησης, η ανεξαρτησία των εκτιμητών και η τυχαία επιλογή τόσο των αξιολογητών όσο και των αξιολογούμενων στόχων. Μέσα από το SPSS, ο υπολογισμός και η ερμηνεία του δείκτη καθίστανται εύκολα προσβάσιμα και παρέχουν στον ερευνητή τη δυνατότητα να εντοπίσει όχι μόνο το συνολικό επίπεδο συμφωνίας αλλά και τις διαφορές ανά κατηγορία. Έτσι, το Fleiss’ kappa αναδεικνύεται σε απαραίτητο μέτρο για ερευνητικά σχέδια που στοχεύουν στη μελέτη της αξιοπιστίας πολλαπλών παρατηρητών, συμβάλλοντας στην ενίσχυση της εγκυρότητας και της αξιοπιστίας των επιστημονικών συμπερασμάτων.