Modell validieren
Explainability-Ansicht
Die Explainability-Ansicht dient zur Analyse und Validierung eines trainierten KI-Modells.
Die dargestellten Ergebnisse basieren auf dem Testdatensplit des verwendeten Datensatzes. Standardmäßig werden 20 % des Datensatzes automatisch als Testdaten reserviert. Die verbleibenden 80 % werden für das Modelltraining verwendet.
Die Testdaten werden während des Trainings nicht verwendet und dienen ausschließlich zur Bewertung der Generalisierungsfähigkeit des Modells.
Modellstatistiken
Im oberen linken Bereich werden die wichtigsten Bewertungsmetriken des Modells dargestellt.
- Test Accuracy: Beschreibt den Anteil aller korrekt klassifizierten Testdaten. Die Accuracy gibt einen allgemeinen Überblick über die Gesamtleistung des Modells.
- Test Precision: Beschreibt die Genauigkeit der positiven Vorhersagen. Die Precision bewertet, wie viele als positiv klassifizierte Samples tatsächlich korrekt sind.
- Test Recall: Beschreibt die Fähigkeit des Modells, relevante Samples korrekt zu erkennen. Ein hoher Recall bedeutet, dass nur wenige relevante Samples übersehen werden.
- Test F1: Der F1-Score kombiniert Precision und Recall zu einer gemeinsamen Kennzahl. Die Metrik ist insbesondere bei unausgeglichenen Datensätzen hilfreich.
Confidence
Der Bereich Confidence zeigt statistische Kennwerte der Modellkonfidenzen:
- Mittelwert (Mean)
- Minimalwert (Min)
- Maximalwert (Max)
Die Konfidenz beschreibt die Sicherheit des Modells bei einer Vorhersage.
Die Confidence Distribution visualisiert die Verteilung aller Vorhersagekonfidenzen als Histogramm. Jeder Balken repräsentiert einen Konfidenzbereich (Bin) und zeigt die Anzahl der Vorhersagen innerhalb dieses Bereichs. Dadurch lässt sich beurteilen, ob das Modell überwiegend sichere oder unsichere Entscheidungen trifft.
Interaktive Filterung
Durch Anklicken eines Histogramm-Bereichs kann auf einen bestimmten Konfidenzbereich gefiltert werden. Die gefilterten Ergebnisse werden anschließend im Bereich Prediction Behavior angezeigt. Dort erscheinen nur noch Samples innerhalb der ausgewählten Confidence-Range. Der aktive Filter wird im oberen Bereich von Prediction Behavior angezeigt und kann auch dort gelöscht werden.
Confusion Matrix
Die Confusion Matrix zeigt die Verteilung von korrekten und fehlerhaften Vorhersagen pro Klasse.
- Zeilen entsprechen den tatsächlichen Klassen (True Labels, wie vom Menschen gelabelt).
- Spalten entsprechen den vorhergesagten Klassen (Predicted Labels).
Die Diagonale der Matrix enthält korrekt klassifizierte Samples. Werte außerhalb der Diagonale stellen Fehlklassifikationen dar.
Die Größe der Matrix hängt von der Anzahl der Klassen im Datensatz ab.
Interaktive Filterung
Durch Anklicken einzelner Matrixelemente kann auf bestimmte Vorhersagekombinationen gefiltert werden. Dadurch lassen sich gezielt Fehlklassifikationen oder korrekt klassifizierte Samples analysieren. Die gefilterten Ergebnisse werden im Bereich Prediction Behavior dargestellt.
Prediction Behavior
Der Bereich Prediction Behavior zeigt alle Samples aus dem Testdatensatz einschließlich Vorhersageergebnis, Modellkonfidenz und attention map.
Korrekte und fehlerhafte Vorhersagen können separat ein- oder ausgeblendet werden. Zusätzlich können die Ergebnisse nach der Konfidenz sortiert werden.
Attention Maps
Für jedes angezeigte Sample kann optional eine Attention Map dargestellt werden. Die Visualisierung hebt Bildbereiche hervor, die besonders stark zur Entscheidung des KI-Modells beigetragen haben. Dadurch wird nachvollziehbar, welche Merkmale für die Klassifikation relevant waren. Über den Schalter in jedem Bild, kann die Attention Map abgeschaltet werden.