Warum gute Laborergebnisse noch keine Produktionsreife beweisen

In der Entwicklung ist die Welt kontrollierbar: Beleuchtung, Bauteillage, Kameraposition und Datenqualität sind weitgehend bekannt. In der Produktion wirken dagegen viele kleine Abweichungen gleichzeitig. Genau dort entscheidet sich, ob ein System nur demonstrierbar oder wirklich produktionsreif ist.

1. Der Datensatz bildet die Linie nicht vollständig ab

Ein guter Testdatensatz ist notwendig, aber selten vollständig. Neue Chargen, Oberflächen, Verschmutzungen, Reflexionen oder bislang unbekannte Fehlerbilder können die Verteilung verändern. Die zentrale Frage lautet deshalb nicht nur: Wie gut ist das Modell auf vorhandenen Daten? Sondern: Welche Abweichungen wurden bewusst getestet?

2. Durchschnittswerte verdecken kritische Fälle

Eine hohe Accuracy kann gleichzeitig mit einem inakzeptablen False-Accept-Risiko auftreten. Für industrielle Entscheidungen müssen Kennzahlen getrennt nach Klasse, Szenario und Fehlerfolge betrachtet werden. Ein übersehener Defekt hat eine andere wirtschaftliche Bedeutung als ein fälschlich ausgeschleustes Gutteil.

3. Störgrößen werden nicht isoliert bewertet

Wenn sich die Erkennung verschlechtert, beginnt häufig die Fehlersuche: War es das Licht, die Optik, die Lage, das Rauschen oder die Pipeline? Gezielte Sweeps machen sichtbar, welche Parameter besonders empfindlich sind und ab welchem Bereich die Leistung kippt.

Produktionsreife bedeutet nicht, jede Abweichung auszuschließen. Sie bedeutet, die relevanten Abweichungen zu kennen, zu messen und kontrollierbar zu machen.

4. Die Abnahme ist nicht mit der technischen Evidenz verknüpft

Anforderungen, Testfälle, Messdaten und Freigabeentscheidungen liegen oft in verschiedenen Dateien. Damit wird jede spätere Änderung teuer: Nach einem Produktwechsel ist unklar, welche Tests wiederholt werden müssen und ob die neue Version noch mit der freigegebenen Baseline vergleichbar ist.

5. Änderungen lösen keine strukturierte Re-Validierung aus

Neue Kamera, anderes Objektiv, geänderte Beleuchtung oder ein Pipeline-Update können die Systemleistung beeinflussen. Eine belastbare Freigabe braucht deshalb Versionierung, Baseline-Vergleich und definierte Release-Gates.

Ein pragmatischer Start

1. Die wirtschaftlich kritischen Fehlentscheidungen definieren.
2. Reale Störgrößen und erwartete Wertebereiche sammeln.
3. Messdaten nach Szenario und Produktvariante strukturieren.
4. KPI-Grenzen vor dem Test festlegen.
5. Ergebnisse, Worst Cases und Maßnahmen gemeinsam dokumentieren.