Unser neues Feedback-Loop-Feature ermöglicht eine kontinuierliche Verbesserung der KI-basierten Anomalieerkennung durch gezielte Nutzerannotationen und intelligente Priorisierung unsicherer Fälle. So verbinden wir menschliche Expertise mit datengetriebener Optimierung und sichern stabile, reproduzierbare Inspektionsergebnisse im laufenden Betrieb. Im folgenden Artikel zeigen wir, wie dieses Feature die Qualitätskontrolle unserer Kunden nachhaltig verbessern und Fehlentscheidungen systematisch reduziert.

Bild 1: Benutzeroberfläche des Feedback Loop

+++ In nur 5 Minuten zum ersten KI-Modell – jetzt kostenlos bei preML Vision Lab starten! +++

Bei allen komplexen Systemen kennt man es: Sobald sie laufen, kostet es Zeit und Geld, sich regelmäßig mit ihnen auseinanderzusetzen. In der Qualitätskontrolle ist genau das entscheidend für Auditierbarkeit und kontinuierliche Prozessverbesserung. Deshalb ermutigen wir unsere Kunden, die Systeme aktiv zu nutzen, zu verstehen und gezielt damit zu arbeiten.

Unser neues Feature Feedback-Loop wurde entwickelt, um die Interaktion mit unseren Inspektionssystemen zu intensivieren. Es ermöglicht, Modellentscheidungen systematisch mithilfe menschlicher Expertise zu überwachen, Fehlentscheidungen frühzeitig zu erkennen und so die Qualität der Trainings- und Testdaten langfristig zu sichern.

Das Tool kann mit allen preML-Systemen verwendet werden, welche aktuell auf Anomalieerkennung basieren. Wer es ausprobieren will, kann sich einen kostenlosen Account für die Webbrowser-Version von Vision Lab anlegen.

Die Idee hinter dem Feature ist, auffällige Bilder des Inspektionssystems von einem Menschen überprüfen zu lassen, um durch dessen Eingriffe ein bestehendes Modell nachzutrainieren und damit zu verbessern. Wählt der menschliche Prüfer, zum Beispiel der Qualitätsverantwortliche, die Funktion „Feedback Loop“ aus, wird ihm jeweils ein Bild angezeigt, das er selbstständig bewerten soll. Nachdem er alle Bilder durchgegangen ist und mit „Normal“ oder „Anomalie“ bewertet hat, kann er das System aktiv zum Nachtraining des Modells auffordern. Die neuen Bewertungen werden dann in das Training übernommen, wodurch sich die Modellleistung langfristig verbessert.

Bild 2: Ablaufdiagramm

Es kann verschiedene Gründe geben, warum Bilder eines Inspektionssystems für den Feedback Loop von Vision Lab Anwendungen ausgewählt werden.

1. Unsicherheit

Bei Anomalie Detektionsmodellen ist die Unsicherheit eines Modells die Differenz zwischen dem Anomalie-Score und dem optimalen Threshold. Bilder mit geringer Differenz, also hoher Unsicherheit der KI, sind besonders relevant und werden deshalb aub priorisiert im Feedback-Loop angezeigt.

2. Widerspruch mit menschlicher Annotation

Bilder, bei denen die Modellvorhersage dem bestehenden Label widerspricht, werden garantiert in den Feedback-Loop aufgenommen. Dadurch wird sichergestellt, dass das Modell niemals im Widerspruch zur menschlichen Bewertung steht.

3. Zufällige Auswahl

Zusätzlich wird ein kleiner zufälliger Anteil an Bildern in den Review-Prozess mit aufgenommen, um eine breitere Abdeckung des Datensatzes zu gewährleisten.

Bei allen drei Kritieren ist abschließend zu bemerken, dass nur Bilder in den Feedback Loop einbezogen werden können, sofern aktuelle Bewertung durch das genutzte Modell vorliegt.

Mehr technische Details zur Vorauswahl gibt es natürlich auch in der Dokumentation von Vision Lab.

Video 1: Ablauf einer menschlichen Kontrolle des Inspektionssystems mit dem Vision Lab Feedback Loop

Mithilfe des Feedback-Loops entsteht ein halbautomatisierter Prozess, der stichprobenartig die Plausibilität von Daten überprüft. Dieses Verfahren, oft auch „Human in the Loop“ oder „Active Learning“ genannt, stellt für uns den pragmatischsten Lösungsansatz dar, eine kontinuierliche Verbesserung der Anomalieerkennung zu ermöglichen, während gleichzeitig Nachvollziehbarkeit und Qualitätskontrolle gewährleistet bleiben. Somit bildet der Feedback-Loop die zentrale Schnittstelle zwischen Live-Inspektion und menschlicher Expertise mit datengetriebener Optimierung.

Für uns war es ein wichtiger Schritt, eines der meist nachgefragten Features unserer Kunden umzusetzen. Stay tuned für weitere Entwicklungen und spannende Einblicke in die Welt der KI-getriebenen Machine-Vision-Systeme.

Cheers!

David (Fehrenbach) und Paul (Hartwich)

Einige Entwicklungen im Bereich Feedback Loop bei der preML GmbH wurden im Projekt SMILE4KMU im Rahmen der BMBF-Fördermaßnahme „KMU-innovativ“ gefördert.