Το λάσο εκτελεί συρρίκνωση έτσι ώστε να υπάρχουν "γωνίες" στον περιορισμό, που σε δύο διαστάσεις αντιστοιχεί σε ένα διαμάντι. Αν το άθροισμα των τετραγώνων "χτυπήσει" μία από αυτές τις γωνίες, τότε ο συντελεστής που αντιστοιχεί στον άξονα συρρικνώνεται στο μηδέν. … Ως εκ τούτου, το λάσο εκτελεί συρρίκνωση και (αποτελεσματικά) επιλογή υποσυνόλου.
Γιατί το λάσο δίνει μηδενικούς συντελεστές;
Το λάσο εκτελεί συρρίκνωση έτσι ώστε να υπάρχουν "γωνίες" στον περιορισμό, που σε δύο διαστάσεις αντιστοιχεί σε ένα διαμάντι. Αν το άθροισμα των τετραγώνων "χτυπήσει" μία από αυτές τις γωνίες, τότε ο συντελεστής που αντιστοιχεί στον άξονα συρρικνώνεται στο μηδέν.
Γιατί το λάσο συρρικνώνεται στο μηδέν αλλά όχι το Ridge;
Λέγεται ότι επειδή το σχήμα του περιορισμού στο LASSO είναι ένα διαμάντι, η λύση των ελαχίστων τετραγώνων που λαμβάνεται μπορεί να αγγίξει τη γωνία του διαμαντιού έτσι ώστε να οδηγήσει σε συρρίκνωση κάποιας μεταβλητής. Ωστόσο, στην παλινδρόμηση κορυφογραμμής, επειδή είναι κύκλος, συχνά δεν αγγίζει τον άξονα
Γιατί η παλινδρόμηση κορυφογραμμής συρρικνώνει τους συντελεστές;
Η παλινδρόμηση κορυφογραμμής μικραίνει όλους τους συντελεστές παλινδρόμησης προς το μηδέν; το λάσο τείνει να δώσει ένα σύνολο μηδενικών συντελεστών παλινδρόμησης και οδηγεί σε μια αραιή λύση. Σημειώστε ότι τόσο για την παλινδρόμηση κορυφογραμμής όσο και για το λάσο, οι συντελεστές παλινδρόμησης μπορούν να μετακινηθούν από θετικές σε αρνητικές τιμές καθώς συρρικνώνονται προς το μηδέν.
Είναι μεροληπτικοί οι συντελεστές λάσο;
…η συρρίκνωση λάσο κάνει τις εκτιμήσεις των μη μηδενικών συντελεστών να ωθούνται προς το μηδέν και γενικά δεν είναι συνεπείς [Προσθήκη Σημείωση: Αυτό σημαίνει ότι, καθώς η το μέγεθος του δείγματος αυξάνεται, οι εκτιμήσεις των συντελεστών δεν συγκλίνουν].
