Was ist eine Verwechslungsmatrix?
Eine Verwechslungsmatrix, auch bekannt als Confusion Matrix, ist ein Werkzeug, das dazu dient, die Leistung eines Klassifikationsmodells in der maschinellen Lernwelt zu bewerten. Im Grunde hilft sie Dir dabei festzustellen, wie gut Dein Modell wirklich arbeitet, indem sie die tatsächlich vorausgesagten Werte mit den tatsächlichen Werten vergleicht. Es ist besonders nützlich, um die Genauigkeit und anderweitige Leistungskennzahlen in einer leicht verständlichen Tabelle zusammenzufassen.
Wie funktioniert eine Verwechslungsmatrix?
Eine Verwechslungsmatrix hat typischerweise vier Hauptkomponenten, wenn Du ein binäres Klassifikationsproblem betrachtest:
- True Positive (TP): Dies sind die Fälle, bei denen das Modell korrekt das Vorhandensein eines Merkmals oder einer Klasse vorhergesagt hat.
- True Negative (TN): Dies sind die Fälle, bei denen das Modell korrekt das Fehlen eines Merkmals oder einer Klasse vorhergesagt hat.
- False Positive (FP): Diese Fälle werden auch als „Type I Error“ bezeichnet und umfassen die Situationen, in denen das Modell fälschlicherweise ein Merkmal oder eine Klasse vorhergesagt hat, das in Wirklichkeit nicht vorhanden ist.
- False Negative (FN): Diese Fälle werden auch als „Type II Error“ bezeichnet und umfassen die Situationen, in denen das Modell ein vorhandenes Merkmal oder eine Klasse nicht erkannt hat.
Bestandteile der Verwechslungsmatrix
Die Verwechslungsmatrix sieht also oft so aus:
Prognose positiv | Prognose negativ | |
---|---|---|
Tatsächlich positiv | True Positive (TP) | False Negative (FN) |
Tatsächlich negativ | False Positive (FP) | True Negative (TN) |
Dank dieser schlichten, aber effektiven Struktur kannst Du eine Vielzahl von Leistungsmetriken berechnen, wie Genauigkeit, Präzision, Rückruf und den F1-Score.
Beispiele für die Anwendung einer Verwechslungsmatrix
Um die Verwechslungsmatrix besser zu veranschaulichen, hier einige praxisnahe Beispiele:
- Im Gesundheitswesen: Ein Modell zur Erkennung von Krebszellen kann mit einer Verwechslungsmatrix bewertet werden. Ein „True Positive“ wäre, wenn das Modell korrekt Krebszellen erkennt, während ein „False Positive“ wäre, wenn das Modell gesunde Zellen fälschlicherweise als Krebszellen klassifiziert.
- In der Spam-Erkennung: Ein E-Mail-Filter, der Spam identifiziert. Hier wäre ein „True Negative“, wenn eine legitime E-Mail korrekt als nicht-Spam erkannt wird, und ein „False Negative“ wäre eine tatsächliche Spam-E-Mail, die fälschlicherweise als legitime E-Mail durchgeht.
- In der Qualitätskontrolle: Ein Fertigungsprozess zur Identifizierung defekter Produkte. Ein „True Positive“ wäre, wenn ein defektes Produkt korrekt identifiziert wird, während ein „False Positive“ ein gutes Produkt ist, das fälschlicherweise als defekt markiert wird.
Wesentliche Metriken aus der Verwechslungsmatrix
Durch die Verwechslungsmatrix bekommst Du Einblicke in verschiedene Leistungskennzahlen:
- Genauigkeit (Accuracy): Das Verhältnis der korrekt klassifizierten Instanzen zur Gesamtanzahl aller Instanzen. Formel: (TP+TN) / (TP+TN+FP+FN)
- Präzision (Precision): Der Anteil der positiven Vorhersagen, die tatsächlich positiv sind. Formel: TP / (TP + FP)
- Rückruf (Recall) oder Sensitivität: Der Anteil der tatsächlichen positiven Fälle, die korrekt vom Modell erkannt wurden. Formel: TP / (TP + FN)
- F1-Score: Der harmonische Mittelwert von Präzision und Rückruf. Formel: 2 * (Precision * Recall) / (Precision + Recall)