Latency Thershold

Über den Parameter Latency Threshold kann die maximal zulässige Inferenzlatenz des KI-Modells definiert werden.

Dadurch kann das Modelltraining gezielt an die Anforderungen der späteren Maschinen- oder Prozesslaufzeit angepasst werden.

Der Benutzer definiert dabei die vorgesehene Zielhardware, die Zielsoftware sowie die maximal erlaubte Laufzeit für die Modellausführung. Der TwinCAT Machine Learning Creator berücksichtigt diese Randbedingungen während der Modellerstellung und optimiert das Modell entsprechend hinsichtlich Laufzeit und Modellkomplexität.

Dadurch können KI-Modelle erzeugt werden, die sowohl die gewünschte Modellgüte als auch die erforderlichen Zeitbedingungen erfüllen.

Beispiel:

In einer Qualitätskontrolle wird ein Produkt per Kamera erfasst und anschließend über eine Ausschleusstation aussortiert. Zwischen Bildaufnahme und Erreichen der Ausschleusposition stehen lediglich 10 ms zur Verfügung. In diesem Fall muss die Inferenz einschließlich Vorverarbeitung und Nachverarbeitung innerhalb dieses Zeitfensters abgeschlossen sein.

Der konfigurierte Latency Threshold ermöglicht die Anpassung des KI-Modells an diese Prozessanforderung.

Balance zwischen Modellgüte und Latenz

Der konfigurierte Latency Threshold beeinflusst die Auswahl und Optimierung der Modellarchitektur.

Wird kein Latenzschwellwert angegeben, erfolgt keine Einschränkung hinsichtlich der späteren Inferenzlaufzeit. Dadurch kann der Optimierungsprozess komplexere Modellarchitekturen auswählen, was in der Regel zu besseren Modellmetriken, wie Accuracy, Precision oder Recall führt.

Im Engineering-Prozess wird daher empfohlen, zunächst ohne Latency Threshold zu trainieren. Dadurch kann der Datensatz iterativ verbessert und bewertet werden, bis ein fachlich überzeugendes Modell erreicht wird.

Erst anschließend sollte der Latency Threshold schrittweise reduziert werden. Auf diese Weise kann überprüft werden, ob weiterhin eine ausreichende Modellgüte bei geringerer Modellkomplexität und reduzierter Inferenzlatenz erreicht wird.

Dieses Vorgehen ermöglicht eine gezielte Balance zwischen Modellperformance und Echtzeitfähigkeit der späteren Anwendung.