Bewertung der Klassifikationsleistung von Oberflächeninspektionssystemen

Industrielle Bildverarbeitung: Bewertung der Klassifikationsleistung von Oberflächeninspektionssystemen

Für die Kontrolle der Bandoberflächen stehen in der Flachstahlproduktion Oberflächeninspektionssysteme (OIS) zur Verfügung. Zur Bewertung und Spezifikation dieser Systeme ist es wichtig, die Leistungsfähigkeit eines OIS mit angemessenem Aufwand reproduzierbar quantifizieren zu können. Mit dem im April 2023 veröffentlichten Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 ist dies nun möglich. Das Verfahren kann auf viele Klassifikationsaufgaben übertragen werden, bei denen die Bestimmung einer „Ground Truth“ nicht möglich ist. Mit Blick auf die Datennutzung im Kontext von Industrie 4.0 bietet die Richtlinie wertvolle Hilfestellungen, da eine zunehmende Bedeutung valider Daten zu erwarten ist.

„Bei der Oberflächeninspektion von Flachstahl geht es darum, Fehler von oft nur wenigen Quadratmillimetern Größe zu erkennen und einer korrekten Fehlerklasse zuzuordnen. Bei Weißblech reden wir beispielsweise von etwa 15 Kilometer langen und 1 Meter breiten Stahlbändern, die bei einer Bandgeschwindigkeit von bis zu 54 km/h inspiziert werden. Dabei können durchaus 200.000 Ereignisse auf einem Band sein ,“ sagt Dr.-Ing. Jens Brandenburger, Vorsitzender der VDI-Arbeitsgruppe „Oberflächeninspektionssysteme“. Er ergänzt: „Das ist etwa so, als würde man auf einer zügigen Fahrt von Düsseldorf nach Duisburg die Steinchen auf der Straße auf einer Fahrradwegbreite erkennen und klassifizieren wollen.“ Da ein solches Inspektionsergebnis nicht mit angemessenem Aufwand zu verifizieren ist, fehlt die sog. „Ground Truth“, die Grundwahrheit, wie viele und welche Fehler tatsächlich auf dem Band sind.

Es ist höchstens für Teilabschnitte einzelner Bänder möglich, die Ergebnisse des OIS mit denen des Inspektionspersonals zu vergleichen. Doch welche Schlussfolgerungen lassen sich aus solchen Stichproben ziehen? Ein Beispiel: Eine Person schaut sich 1.000 Einzelbilder an, die einem bestimmten Fehlertyp wie z. B. „Kratzer“ zugeordnet wurden. Wenn diese Person dann feststellt, dass drei Kratzer in Wirklichkeit ein Riss sind, was sagt das über die Leistungsfähigkeit des Klassifikators aus? In der nächsten Sammlung mit 1.000 Bildern könnten fünf falsch klassifizierte Bilder sein oder auch zwei.

Herausforderungen bei der OIS-Bewertung

Dieses Beispiel zeigt einige Herausforderungen bei der Bewertung der OIS-Klassifikationsleistung in der Flachstahlproduktion. Die folgenden Punkte fassen Rahmenbedingungen in der Flachstahlproduktion zusammen, die eine Bewertung des Klassifikationsergebnisses nach gängigen Methoden, wie sie in VDI/VDE/VDMA 2632 Blatt 3.1 vorgestellt werden, unmöglich machen:

• Es existiert eine sehr große Anzahl zu klassifizierender Ereignisse. Praktisch ist es daher unmöglich, jedem Ereignis eine „wahre“ Klasse zuzuordnen.
• Es fehlen trennende Merkmale für eine eindeutige Klassenzuweisung.
• Es gibt einen hohen Anteil von nicht qualitätsrelevanten Ereignissen.
• Die Bewertung des Produkts als „gut“ kann zulässig sein, auch wenn detektierte Einzelereignisse als Fehler klassifiziert wurden.
• Produkte und/oder Produktbereiche können abhängig von den Klassifikationsergebnissen in verschiedene Qualitätsklassen eingeteilt oder für unterschiedliche Einsatzzwecke freigegeben werden. Es gibt nicht nur binäre gut/schlecht-Entscheidungen.
• Eine Zurückstellung von Proben für spätere Vergleichsmessungen ist nicht möglich.