Meta-description

Η λογιστική παλινδρόμηση χρησιμοποιείται για την ανάλυση κατηγορικών εκβάσεων. Παρουσιάζονται η binary, ordinal και multinomial logistic regression, τα odds ratios, οι βασικές προϋποθέσεις, η αξιολόγηση του μοντέλου και οι σύγχρονες αρχές ερμηνείας.

Λέξεις-κλειδιά

λογιστική παλινδρόμηση, logistic regression, binary logistic regression, ordinal regression, multinomial regression, odds ratio, logit, proportional odds, IIA, adjusted odds ratio, κατηγορική μεταβλητή

Εισαγωγή

Η λογιστική παλινδρόμηση (logistic regression) αποτελεί οικογένεια στατιστικών μοντέλων που χρησιμοποιούνται όταν η εξαρτημένη μεταβλητή είναι κατηγορική.

Σε αντίθεση με την κλασική γραμμική παλινδρόμηση, δεν προβλέπει απευθείας μια συνεχή τιμή. Μοντελοποιεί την πιθανότητα ένα άτομο ή μια παρατήρηση να ανήκει σε συγκεκριμένη κατηγορία.

Ανάλογα με τη μορφή της εξαρτημένης μεταβλητής, διακρίνεται κυρίως σε:

Binary logistic regression, όταν υπάρχουν δύο κατηγορίες.

Ordinal logistic regression, όταν υπάρχουν τρεις ή περισσότερες διατεταγμένες κατηγορίες.

Multinomial logistic regression, όταν υπάρχουν τρεις ή περισσότερες κατηγορίες χωρίς φυσική διάταξη.

Πιθανότητα και Odds

Η πιθανότητα ενός γεγονότος συμβολίζεται συνήθως με p και λαμβάνει τιμές από 0 έως 1.

Εάν:

p = 0,20

τότε η πιθανότητα εμφάνισης του γεγονότος είναι 20%.

Στη logistic regression χρησιμοποιείται επίσης η έννοια των odds:

Odds = p / (1 − p)

Για p = 0,20:

Odds = 0,20 / 0,80 = 0,25

Πιθανότητα και odds είναι διαφορετικές έννοιες και δεν πρέπει να χρησιμοποιούνται ως συνώνυμα.

Το Logit

Η λογιστική παλινδρόμηση χρησιμοποιεί τον λογάριθμο των odds:

logit(p) = ln[p/(1−p)]

Στη δυαδική περίπτωση το μοντέλο γράφεται:

logit(p) = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ

Η μετατροπή αυτή επιτρέπει τον συνδυασμό πολλών ανεξάρτητων μεταβλητών, ενώ η τελική προβλεπόμενη πιθανότητα παραμένει μεταξύ 0 και 1.

Binary Logistic Regression

Η δυαδική λογιστική παλινδρόμηση εφαρμόζεται όταν η έκβαση έχει δύο κατηγορίες.

Παραδείγματα:

νόσος / απουσία νόσου,

επιτυχία / αποτυχία,

εργαζόμενος / άνεργος,

υποτροπή / μη υποτροπή.

Η κωδικοποίηση γίνεται συνήθως ως 0 και 1, χωρίς όμως οι αριθμοί αυτοί να αποτελούν πραγματικές ποσοτικές τιμές.

Οι predictors μπορούν να είναι συνεχείς, δυαδικοί ή κατηγορικοί.

Odds Ratio

Ο βασικός τρόπος ερμηνείας ενός συντελεστή είναι μέσω:

OR = e^β

Το Odds Ratio (OR) δείχνει πώς μεταβάλλονται τα odds της έκβασης όταν αυξάνεται ο predictor κατά μία μονάδα.

Εάν:

OR = 1, δεν υπάρχει διαφοροποίηση των odds.

OR > 1, τα odds αυξάνονται.

OR < 1, τα odds μειώνονται.

Για παράδειγμα:

OR = 1,40

σημαίνει 40% υψηλότερα odds για αύξηση της μεταβλητής κατά μία μονάδα, κρατώντας τις άλλες μεταβλητές σταθερές.

Adjusted Odds Ratio

Σε ένα πολλαπλό μοντέλο το αποτέλεσμα συνήθως παρουσιάζεται ως Adjusted Odds Ratio (aOR).

Για παράδειγμα:

aOR = 1,85, 95% CI: 1,20–2,86

Η τιμή αυτή περιγράφει τη συσχέτιση μετά την προσαρμογή για τις άλλες μεταβλητές του μοντέλου.

Η παρουσίαση του 95% confidence interval είναι ιδιαίτερα σημαντική, επειδή παρέχει πληροφορίες για την ακρίβεια της εκτίμησης.

Ordinal Logistic Regression

Η ordinal logistic regression εφαρμόζεται όταν η εξαρτημένη μεταβλητή έχει τρεις ή περισσότερες κατηγορίες με φυσική σειρά.

Παραδείγματα:

χαμηλή – μέτρια – υψηλή ικανοποίηση,

ήπια – μέτρια – σοβαρή νόσος,

διαφωνώ – ουδέτερος – συμφωνώ.

Το συχνότερο μοντέλο είναι το proportional odds model.

Το πλεονέκτημά του είναι ότι αξιοποιεί τη διάταξη των κατηγοριών χωρίς να υποθέτει ότι οι αποστάσεις μεταξύ τους είναι ίσες.

Proportional Odds Assumption

Κεντρική προϋπόθεση του κλασικού ordinal logistic model είναι η proportional odds assumption.

Η επίδραση ενός predictor θεωρείται σταθερή στα διαφορετικά όρια που διαχωρίζουν τις κατηγορίες της εξαρτημένης μεταβλητής.

Εάν η υπόθεση αυτή παραβιάζεται σημαντικά, μπορεί να χρειαστούν πιο ευέλικτα μοντέλα, όπως partial proportional odds ή generalized ordinal models.

Επομένως, η ordinal regression δεν πρέπει να εφαρμόζεται μηχανιστικά χωρίς έλεγχο των προϋποθέσεών της.

Multinomial Logistic Regression

Η multinomial logistic regression χρησιμοποιείται όταν η εξαρτημένη μεταβλητή έχει περισσότερες από δύο κατηγορίες χωρίς φυσική σειρά.

Για παράδειγμα:

τρόπος μετακίνησης: αυτοκίνητο / λεωφορείο / ποδήλατο,

επαγγελματικός κλάδος,

επιλογή προϊόντος.

Μία κατηγορία ορίζεται ως reference category.

Στη συνέχεια δημιουργείται ξεχωριστή σύγκριση κάθε άλλης κατηγορίας με την κατηγορία αναφοράς.

Κατηγορία Αναφοράς

Αν οι κατηγορίες είναι:

Α, Β και Γ

και η Α χρησιμοποιηθεί ως reference, το μοντέλο εκτιμά διαφορετικές εξισώσεις για:

Β έναντι Α

και

Γ έναντι Α.

Για κάθε predictor προκύπτει ξεχωριστό OR για κάθε σύγκριση.

Για τον λόγο αυτό η multinomial regression μπορεί να παράγει σημαντικά περισσότερες παραμέτρους από ένα απλό binary model.

Independence of Irrelevant Alternatives

Στα κλασικά multinomial logit models συζητείται η υπόθεση Independence of Irrelevant Alternatives (IIA).

Σε γενικές γραμμές σημαίνει ότι η σχετική επιλογή μεταξύ δύο κατηγοριών δεν πρέπει να επηρεάζεται ακατάλληλα από την παρουσία μιας τρίτης εναλλακτικής.

Η υπόθεση αυτή μπορεί να είναι προβληματική όταν οι κατηγορίες είναι πολύ παρόμοιες μεταξύ τους.

Σε τέτοιες περιπτώσεις μπορεί να χρειάζεται διαφορετική μοντελοποίηση.

Κατηγορικοί Predictors

Οι κατηγορικές ανεξάρτητες μεταβλητές ενσωματώνονται συνήθως με dummy ή indicator variables.

Για μια μεταβλητή με k κατηγορίες δημιουργούνται συνήθως k−1 δείκτες, ενώ μία κατηγορία λειτουργεί ως reference.

Η σωστή επιλογή και αναφορά της κατηγορίας αναφοράς είναι απαραίτητη για την ορθή ερμηνεία των OR.

Multicollinearity

Οι ανεξάρτητες μεταβλητές δεν πρέπει να παρουσιάζουν υπερβολικά μεγάλη γραμμική εξάρτηση μεταξύ τους.

Η multicollinearity μπορεί να οδηγήσει σε ασταθείς συντελεστές, μεγάλα standard errors και δυσκολία στην ερμηνεία.

Η διερεύνησή της μπορεί να περιλαμβάνει correlation matrices, VIF και θεωρητική εξέταση της επικάλυψης των predictors.

Confounding και Interactions

Σε πολυμεταβλητά μοντέλα πρέπει να εξετάζονται πιθανοί confounders, δηλαδή μεταβλητές που μπορούν να αλλοιώσουν τη σχέση ενός predictor με την έκβαση.

Παράλληλα, η επίδραση μιας μεταβλητής μπορεί να εξαρτάται από μια άλλη. Αυτό εξετάζεται με interaction terms.

Η επιλογή predictors δεν πρέπει να βασίζεται μόνο σε αυτόματες διαδικασίες ή p-values, αλλά και στη θεωρία και στο ερευνητικό ερώτημα.

Μέγεθος Δείγματος

Το αρχικό κείμενο αναφέρεται σε έναν «χρυσό κανόνα» αναλογίας εκβάσεων προς ανεξάρτητες μεταβλητές. Η σύγχρονη προσέγγιση είναι πιο προσεκτική.

Ο παλαιός κανόνας των 10 events per variable δεν πρέπει να εφαρμόζεται ως απόλυτος κανόνας.

Το απαιτούμενο sample size εξαρτάται από:

τη συχνότητα της έκβασης,

τον αριθμό των παραμέτρων,

το αναμενόμενο effect size,

τη συνολική πολυπλοκότητα του μοντέλου,

και τον σκοπό της ανάλυσης.

Στα ordinal και multinomial models απαιτείται ιδιαίτερη προσοχή στις ολιγοπληθείς κατηγορίες.

Αξιολόγηση του Μοντέλου

Η ποιότητα μιας logistic regression δεν πρέπει να αξιολογείται μόνο από το αν οι συντελεστές είναι στατιστικά σημαντικοί.

Στη binary regression μπορεί να εξετάζονται:

ROC curve και AUC για discrimination,

calibration plots για συμφωνία προβλεπόμενων και πραγματικών πιθανοτήτων,

και Brier score για συνολική προγνωστική ακρίβεια.

Η validation με bootstrapping, cross-validation ή ανεξάρτητο δείγμα είναι ιδιαίτερα σημαντική όταν το μοντέλο χρησιμοποιείται για πρόβλεψη.

Logistic Regression και Relative Risk

Το Odds Ratio δεν είναι ίδιο με το Relative Risk (RR).

Το RR συγκρίνει πιθανότητες ή κινδύνους, ενώ το OR συγκρίνει odds.

Όταν το αποτέλεσμα είναι σπάνιο, οι δύο δείκτες μπορεί να έχουν παρόμοια αριθμητική τιμή. Όταν όμως η έκβαση είναι συχνή, το OR μπορεί να δίνει εντονότερη αριθμητική εικόνα της σχέσης.

Για αυτό δεν πρέπει το OR να περιγράφεται αυτόματα ως «τόσες φορές μεγαλύτερος κίνδυνος».

Συμπέρασμα

Η λογιστική παλινδρόμηση αποτελεί οικογένεια μοντέλων για κατηγορικές εκβάσεις και η κατάλληλη μορφή της εξαρτάται από τη δομή της εξαρτημένης μεταβλητής.

Η binary logistic regression χρησιμοποιείται για δύο κατηγορίες, η ordinal regression για διατεταγμένες κατηγορίες και η multinomial regression για αδιαβάθμητες κατηγορίες.

Η σύγχρονη εφαρμογή απαιτεί σωστή ερμηνεία των odds ratios, παρουσίαση 95% confidence intervals, έλεγχο προϋποθέσεων όπως proportional odds και IIA, διερεύνηση multicollinearity και confounding και επαρκές μέγεθος δείγματος.

Επομένως, η λογιστική παλινδρόμηση δεν είναι απλώς μέθοδος «ταξινόμησης», αλλά ολοκληρωμένο πλαίσιο για εκτίμηση συσχετίσεων, προσαρμογή για συγχυτικούς παράγοντες και πρόβλεψη κατηγορικών εκβάσεων.

Ενδεικτική Βιβλιογραφία

Agresti, A. (2019). An introduction to categorical data analysis (3rd ed.). Wiley.

Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). Wiley.

Harrell, F. E. (2015). Regression modeling strategies (2nd ed.). Springer.

McCullagh, P., & Nelder, J. A. (1989). Generalized linear models (2nd ed.). Chapman & Hall.