Deep Learning + Bildverarbeitung = Inspektion der nächsten Generation

Im letzten Jahrzehnt haben sich die Technologien unter anderem in den Bereichen Gerätemobilität, Big Data, Künstliche Intelligenz, Internet der Dinge, Robotertechnik, Blockchain, 3D-Drucke und Bildverarbeitung in vielerlei Hinsicht verändert und verbessert. In all diesen Sparten haben Forschungs- und Entwicklungslabore Neuheiten herausgebracht, um uns das tägliche Leben zu erleichtern.

Ingenieure passen diese Technologien vor allem für die Nutzung in rauen Umgebungen und eingeschränkten Bedingungen an. In der verarbeitenden Industrie erfordert die Anpassung und Nutzung einiger oder sogar aller dieser Technologien strategische Planung.

Wir konzentrieren uns hier auf die Künstliche Intelligenz (KI) und insbesondere auf Deep-Learning-basierte Bildanalysen sowie auf regelbasierte Bildverarbeitung. In Kombination mit der herkömmlichen regelbasierten Bildverarbeitung kann Deep Learning robotergesteuerte Montagelinien dabei unterstützen, richtige Teile zu erkennen und zu ermitteln, ob ein Teil vorhanden ist, fehlt oder falsch auf das Produkt montiert wurde. Außerdem kann schneller festgestellt werden, um welche Art von Problem es sich handelt. Das alles erfolgt mit höchster Präzision. 

Was ist Deep Learning eigentlich?

Sprechen wir zunächst einmal über GPU-Hardware, ohne dabei zu sehr ins Detail zu gehen. GPUs (engl. Graphics Processing Units) vereinen tausende relativ einfacher Prozessorkerne auf einem einzigen Chip. Ihre Architektur erinnert an neuronale Netzwerke. Mit ihrer Hilfe können von der Biologie inspirierte, mehrschichtige «tiefe» neuronale Netzwerke bereitgestellt werden, die das menschliche Gehirn nachahmen. 

Wenn eine solche Architektur verwendet wird, können mit Deep Learning spezifische Aufgaben gelöst werden, ohne dass sie vorher explizit programmiert wurden. Anders formuliert werden klassische Computeranwendungen von Menschen programmiert, damit sie bestimmte Aufgaben ausführen. Beim Deep Learning hingegen werden Daten (Bilder, Sprache, Texte, Zahlen usw.) benutzt und diese in neuronalen Netzwerken trainiert. Ausgehend von einer übergeordneten Logik, die beim anfänglichen Training entwickelt wird, optimieren tiefe neuronale Netzwerke ihre Leistung immer weiter, während sie neue Daten empfangen. 

Deep Learning basiert auf der Erkennung von Unterschieden, denn es sucht in einer Datenreihe permanent nach Änderungen und Unregelmäßigkeiten. Es reagiert auf unvorhersehbare Defekte. Während Menschen dies automatisch tun, können es Computersysteme, die auf strengen Programmierregeln basieren, nicht gut. Dagegen werden Computer im Gegensatz zu menschlichen Sichtprüfern an Produktionslinien nicht müde, wenn sie ständig denselben Arbeitsschritt wiederholen.

Zu den typischen alltäglichen Deep-Learning-Anwendungen gehören beispielsweise die Gesichtserkennung (um Computer zu entsperren oder Menschen auf Fotos zu erkennen), Empfehlungsmaschinen (beim Streaming von Video- oder Musikdiensten oder beim Einkaufen auf e-Commerce-Websites), die Spam-Filterung in E-Mails, Krankheitsdiagnostik und die Erkennung von Kreditkartenbetrugsfällen. 

Mit Deep-Learning-Technologien können durch die trainierten Daten sehr genaue Ergebnisse erzielt werden. Sie kommen bei der Vorhersage von Mustern, der Erkennung von Abweichungen und Anomalien sowie beim Fällen von wichtigen Geschäftsentscheidungen zum Einsatz. Diese Technologie verlagert sich nun weiter zu den modernen Herstellungspraktiken bei Qualitätsprüfungen und anderen Anwendungsfällen, die Urteilsvermögen erfordern.

Wenn Deep Learning in Verbindung mit der Bildverarbeitung bei den richtigen Fabrikanwendungen eingesetzt wird, lässt sich der Umsatz bei der Herstellung steigern – insbesondere im Vergleich mit anderen entstehenden Technologien, die erst nach Jahren Rendite abwerfen.

Wie kann die Bildverarbeitung durch Deep Learning ergänzt werden?

Ein Bildverarbeitungssystem wird mit einem digitalen Sensor betrieben, der sich in einer Industriekamera mit spezifischer Optik befindet. Das System empfängt Bilder, die in einen PC eingespeist werden. Ein spezielles Programm verarbeitet, analysiert und misst verschiedene Entscheidungsfindungskriterien. Bildverarbeitungssysteme funktionieren bei einheitlichen Teilen in guter Herstellungsqualität zuverlässig. Sie arbeiten mit sukzessiver Filterung und regelbasierten Algorithmen. 

In einer Produktionslinie kann ein regelbasiertes Bildverarbeitungssystem hunderte oder gar tausende von Teilen pro Minute mit hoher Genauigkeit prüfen. Es ist somit kostengünstiger als die menschliche Sichtprüfung. Die Ausgabe der visuellen Daten basiert auf einem programmatischen, regelbasierten Ansatz für die Lösung von Prüfanwendungen.

Auf Werksebene eignet sich ein herkömmliches regelbasiertes Bildverarbeitungssystem für folgendes:  Führen (Positionierung, Ausrichtung), Identifizieren (Strichcodes, Datamatrix-Codes, Kennzeichnungen, Zeichenerkennung), Messen (Vergleich von Abständen mit spezifizierten Werten), Prüfen (Mängel und andere Probleme wie ein fehlendes Sicherheitssiegel, zerbrochene Teile usw.).

Die regelbasierte Bildverarbeitung ist bei einer bekannten Reihe von Variablen sehr nützlich: Ist ein Teil vorhanden oder fehlt es? Wie weit ist das Objekt von dem anderen entfernt? Wo muss dieser Roboter das Teil aufheben? In einer Produktionslinie in kontrollierter Umgebung sind solche Aufgaben einfach einzurichten. Aber was passiert in weniger eindeutigen Situationen?

Hier kommt Deep Learning ins Spiel:   

• Lösen von schwer  programmierbaren Bildverarbeitungsanwendungen mit regelbasierten Algorithmen   
• Handhabung von unübersichtlichen Hintergründen und Abweichungen im Erscheinungsbild der Teile   
• Trainieren vorhandener Anwendungen in der Fertigungshalle mit neuen Bilddaten   
• Anpassung an neue Beispiele ohne die Umprogrammierung der Kernnetzwerke

Ein typisches Beispiel aus der Industrie ist die Suche nach Kratzern auf Bildschirmen von Elektrogeräten. Solche Defekte unterscheiden sich in ihrer Größe, ihrem Umfang, ihrer Position oder bei Bildschirmen mit unterschiedlichen Hintergründen voneinander. Mit Deep Learning werden solche Abweichungen berücksichtigt und zwischen korrekten und defekten Teilen unterschieden. Außerdem werden einfach neue Referenzbilder genommen, um ein Netzwerk auf ein neues Ziel hin – beispielsweise eine andere Bildschirmart – zu trainieren. 

Die Prüfung von visuell ähnlichen Teilen mit einer komplexen Oberflächenstruktur und Abweichungen beim Erscheinungsbild stellt herkömmliche Bildverarbeitungssysteme vor große Herausforderungen. «Funktionelle» Fehler werden fast immer abgewiesen, aber «kosmetische» Fehler je nach den Anforderungen und Präferenzen des Herstellers möglicherweise nicht. Dazu kommt, dass die Unterscheidung zwischen solchen Fehlern für ein herkömmliches Bildverarbeitungssystem sehr schwierig ist.

Aufgrund von verschiedenen Variablen, die nur schwer isoliert werden können (Beleuchtung, Farbbweichungen, Biegungen oder Sichtfeld) sind einige Fehlererkennungsfunktionen bekanntermaßen mit einem herkömmlichen Bildverarbeitungssystem schwer zu programmieren und zu lösen. Auch hier bietet Deep Learning einige nützliche Werkzeuge.

Kurzum: herkömmliche Bildverarbeitungssysteme funktionieren bei einheitlichen Teilen in guter Herstellungsqualität zuverlässig. Wenn Ausnahme- und Fehlerbibliotheken jedoch umfangreicher werden, sind die Anwendungen schwieriger zu programmieren. Bei komplexen Situationen, welche menschenähnliche Fähigkeiten mit der Geschwindigkeit und Zuverlässigkeit eines Computers erfordern, stellt Deep Learning sicherlich eine wegweisende Alternative dar.

Die Vorteile von Deep Learning in der industriellen Herstellung

Regelbasierte Bildverarbeitung und Bildanalysen, die auf Deep Learning basieren, schließen sich nicht gegenseitig aus, sondern ergänzen sich bei der Umstellung auf moderne Werkzeuge der automatisierten Fertigung. Bei manchen Anwendungen wie Messungen ist die regelbasierte Bildverarbeitung nach wie vor die bevorzugte und kostengünstigste Alternative. Bei komplexen Prüfungen mit großen Abweichungen und unvorhersehbaren Defekten in zu großer Anzahl, die mit einem herkömmlichen Bildverarbeitungssystem zu kompliziert zu programmieren sind, stellen Deep-Learning-basierte Tools jedoch eine ausgezeichnete Option dar.

Weitere Informationen über die Deep-Learning-Lösungen von Cognex finden Sie auf cognex.com/ViDi-deep-learning.