RobuTrace
Produktdemo besprechen
Start/Insights

Validierung

Null Fehler im Test: Wie viele Prüfteile braucht ein belastbarer Nachweis?

0 von 100 ist ein Messergebnis. Ob damit ein Fehlerratenziel belegt ist, hängt von Stichprobe, Bezugsgröße und Testplan ab.

Sara Hofmann·
Stichprobe → Konfidenzgrenze

Eine Kamera prüft 100 bekannte Fehlerteile und lässt keines passieren. Das Team sieht eine False-Accept-Rate von 0 % und möchte die Anlage freigeben. Für ein vereinbartes Ziel von höchstens 1 % reicht dieses Ergebnis unter einem einfachen Binomialmodell jedoch noch nicht: Die einseitige obere 95-%-Konfidenzgrenze liegt bei rund 2,95 %. Dieser Beitrag zeigt die Rechnung und übersetzt sie in einen praktischen Prüfplan. Alle Zahlen sind Rechenbeispiele, keine RobuTrace-Messwerte.

1. Zuerst festlegen, welcher Fehler gezählt wird

Für diesen Beitrag bedeutet False Accept: Ein tatsächlich fehlerhaftes Teil wird als gut akzeptiert. Der Nenner sind die geprüften Fehlerteile. False Reject bedeutet: Ein tatsächlich gutes Teil wird ausgeschleust; der Nenner sind die geprüften Gutteile. Andere Berichte können andere Bezugsgrößen verwenden. Deshalb gehören Zähler und Nenner neben jeden Prozentwert.

Beispiel: Ein Test enthält 9.900 Gutteile und 100 Fehlerteile. Null übersehene Defekte ergeben 0 von 100 False Accepts, nicht 0 von 10.000. Die große Gutteilmenge verbessert den Nachweis für die Erkennung der Fehlerklasse nicht. Eine Aussage über fehlerhafte Auslieferungen pro produziertem Teil benötigt zusätzlich die Defekthäufigkeit und den tatsächlichen Prozessablauf.

2. Die Rechnung für null beobachtete Fehler

Das Modell nimmt eine vorab festgelegte Zahl unabhängiger binärer Prüfentscheidungen mit derselben Fehlerwahrscheinlichkeit p an. Aus der Binomialverteilung folgt für null Fehler: P(X = 0) = (1 − p)n. Setzt man diese Wahrscheinlichkeit gleich α, erhält man die einseitige exakte obere Grenze. NIST beschreibt die zugrunde liegende exakte Binomialmethode.

Für X = 0 und n > 0

p_oben = 1 − α^(1/n)

n_min = aufrunden(ln(α) / ln(1 − p_Ziel))

Für eine einseitige 95-%-Grenze ist α = 0,05. p_Ziel wird als Anteil eingesetzt: 1 % entspricht 0,01. Die zweite Formel setzt 0 < p_Ziel < 1 voraus.

Eigene Berechnung aus diesen Gleichungen, jeweils bei null Fehlern:

  • 100 unabhängige Prüfentscheidungen: obere Grenze rund 2,951 %.
  • 300 unabhängige Prüfentscheidungen: obere Grenze rund 0,994 %.
  • Ziel 1 %: mindestens 299 Prüfentscheidungen.
  • Ziel 0,1 %: mindestens 2.995 Prüfentscheidungen.
  • Ziel 0,01 % beziehungsweise 100 ppm: mindestens 29.956 Prüfentscheidungen.

Die Mindestzahlen sind keine allgemeine Vorgabe für jede Anlage. Sie beantworten ausschließlich diese Frage: Wie groß muss ein vorher festgelegter Test sein, damit bei null Fehlern die einseitige 95-%-Obergrenze den gewählten Zielwert nicht überschreitet? Wenn Fehler auftreten, gilt die Null-Fehler-Formel nicht.

3. Was „95 %“ tatsächlich bedeutet

Die Konfidenz beschreibt die langfristige Abdeckung des statistischen Verfahrens bei wiederholter Stichprobenziehung unter den Modellannahmen. Sie ist weder ein Modell-Confidence-Score noch eine Garantie für die nächste Schicht. Auch bedeutet sie nicht, dass nach diesem Test mit 95 % Wahrscheinlichkeit jeder einzelne neue Prüfentscheid richtig ist.

Ein zweiseitiges 95-%-Intervall verteilt die Irrtumswahrscheinlichkeit auf beide Seiten und liefert hier eine andere Obergrenze. Für eine ausschließlich nach oben begrenzte Fehlerrate ist die einseitige Fragestellung vorab zu dokumentieren. Wählen Sie die Intervallart nicht nachträglich danach aus, welche Variante das Ziel gerade erfüllt.

4. 300 Bilder sind nicht automatisch 300 unabhängige Prüfteile

Dreißig Aufnahmen desselben Teils unter nahezu identischen Bedingungen liefern andere Evidenz als dreißig unabhängig ausgewählte Teile. Wiederholungen können die Wiederholbarkeit untersuchen, vermehren aber nicht automatisch die unabhängige Stichprobe. Gemeinsame Charge, Werkzeug, Oberfläche oder Aufnahmefolge können Fehlerentscheidungen korrelieren.

Legen Sie deshalb die Versuchseinheit fest: Teil, Baugruppe oder vollständiger Prüfzyklus. Mehrere Ansichten eines Teils gehören zusammen, wenn die spätere Entscheidung auf Teilebene fällt. Für Training und abschließenden Test sollten Bilder desselben Teils nicht zufällig auf beide Mengen verteilt werden. Die scikit-learn-Dokumentation zur gruppierten Evaluation erläutert, warum abhängige Gruppen getrennt behandelt werden müssen. Die Übertragung auf Teile und Chargen ist hier eine Engineering-Empfehlung.

5. Ein belastbarer Ablauf für das 1-%-Beispiel

  1. Geltungsbereich festlegen: Welche Fehlerarten, Varianten, Größen, Oberflächen und Betriebsbedingungen soll die Aussage abdecken? Bestätigen Sie die Referenzlabels unabhängig von der zu prüfenden Auswertung.
  2. Systemstand einfrieren: Kamera, Optik, Licht, Software, Modell, ROI und Schwellenwerte versionieren. Parametrierbilder vom abschließenden Test trennen.
  3. Plan vorab schreiben: Für dieses Beispiel 299 unabhängig ausgewählte Fehlerteile, keine False Accepts und eine einseitige 95-%-Obergrenze von höchstens 1 %. Gutteile erhalten einen eigenen False-Reject-Plan.
  4. Vollständig auswerten: Alle vorgesehenen Entscheidungen einschließlich Fehlaufnahmen und Ausschlüssen nachvollziehbar dokumentieren. Einen aufgetretenen Fehler nicht durch einen Neustart des Zählers verschwinden lassen.
  5. Ergebnis begrenzen: Zähler, Nenner, Grenze, Systemversion und abgedeckte Population berichten. Nicht abgedeckte Varianten ausdrücklich offenlassen.

Bei einem Fehler muss mit der tatsächlichen Fehlerzahl neu ausgewertet werden. Eine Implementierungsreferenz bietet SciPy binomtest mit proportion_ci; Richtung und Konfidenzniveau müssen zur Fragestellung passen. Wiederholt „weiterprüfen, bis es passt“ benötigt einen dafür ausgelegten sequenziellen Testplan, nicht die unveränderte Feststichprobenrechnung.

6. Abdeckung lässt sich nicht durch eine große Gesamtzahl ersetzen

Wer 299 deutlich sichtbare Kratzer prüft, hat damit keine Nachweisgrenze für kaum sichtbare Risse bestimmt. Ein Gesamtergebnis gilt für die untersuchte Verteilung. Wenn jede Defektart ein eigenes Ziel erfüllen soll, braucht jede eine passende Auswertung. Mehrere einzelne 95-%-Aussagen ergeben zudem nicht automatisch einen gemeinsamen 95-%-Nachweis für alle Gruppen.

Störgrößenversuche und Grenzmuster ergänzen den statistischen Plan. Sie sind gezielt ausgewählt und dürfen nicht ohne Begründung als Zufallsstichprobe der Produktion interpretiert werden. Der bestehende Beitrag zu systematischen Robustheitstests hilft bei dieser Abdeckung; die FA/FR-Grundlagen klären die unterschiedlichen Fehlerfolgen.

7. Einordnung in RobuTrace

Der geprüfte Entwicklungsstand berechnet beobachtete False-Accept- und False-Reject-Raten aus importierten, gekennzeichneten Messdatensätzen und trennt sie von simulativen Projektionen. Die hier hergeleitete exakte Konfidenzgrenze ist eine ergänzende Auswertungsmethode dieses Beitrags; daraus wird keine vorhandene automatische RobuTrace-Abnahmefunktion abgeleitet. Ein grüner lokaler Status ersetzt weder einen geeigneten Stichprobenplan noch eine industrielle Validierung.

Ein brauchbarer Ergebnistext lautet: „0 False Accepts bei 299 unabhängigen Fehlerteilen; einseitige exakte 95-%-Obergrenze rund 0,997 %; gültig für den dokumentierten Systemstand und die untersuchte Fehlerpopulation.“

Quellen und Rechenbasis

Quellen geprüft am 10. Oktober 2026. Zahlenbeispiele selbst aus den angegebenen Gleichungen berechnet.

Was muss Ihr Test tatsächlich nachweisen?

Besprechen Sie Prüfaufgabe, Fehlerfolgen und offene Evidenz mit uns.

Kontakt aufnehmen