Integrierte KI-Technologien mit Anomalien-Detektion heben die Erkennungsraten von Fehlern auf eine höhere Leistungsstufe.

16:9

Integrierte KI mit Anomalien-Detektion

Künstliche Intelligenz für die Qualitätssicherung

Industrie 4.0

Industrie 4.0 für die Qualitätssicherung

Deep Learning

Datenanalyse

Qualitätssicherung

Machine Learning / Künstliche Intelligenz für die spanende Fertigung

Industrie 4.0 für die spanende Fertigung

Software für Qualitätssicherung

Software

Perfektionierte Wertschöpfungsketten

Die Probleme einer aufwändigen Installation, einer zu hohen Fehlerquote der Ergebnisse sowie unflexible Systeme adressiert nun eine modulare Plattform für Computer Vision.

Oberflächenerkennung mit der MoonVision-Plattform (© MoonVision)

20:7

Modulare Plattform für Computer Vision.

Bildverarbeitung

Fertigungsautomation

Oberflächeninspektion

Messtechnik

Form- / Oberflächenmesstechnik

KI-Plattform für die  Oberflächenprüfung

Kann man mithilfe von KI Lottozahlen vorhersagen, und wo wird Machine Learning bereits heute in der Qualitätssicherung angewendet? Die QZ sprach mit Prof. Reiner Kurzhals und Daniel Philippi

Mit Künstlicher Intelligenz (KI) und Machine Learning zur Predictive Quality

„Menschliche Intelligenz  ist unschlagbar!“

Künstliche Intelligenz (KI) bietet Chancen auf neue Geschäftsmodelle und effizientere Prozesse. Akzeptiert wird KI aber nur, wenn Anwendungen qualitativ hochwertig, sicher und zuverlässig sind.

Warum Künstliche Intelligenz standardisiert wird

In den letzten Jahren hat das maschinelle Lernen als Teildisziplin der künstlichen Intelligenz in vielen Bereichen, wie etwa der Produktion oder Medizin, verstärkt an Bedeutung gewonnen. Immer wichtiger wird dabei das sogenannte Deep Learning.

Erklärbarkeit maschineller Lernverfahren

Blick in die Black Box

KI-basierte Systeme versprechen auch für kleine und mittlere Unternehmen (KMU) enorme Potenziale. Die Einsatzfelder reichen von Assistenzsystemen für Routineaufgaben über intelligente Chatbots im Kundenmanagement und KIunterstützte Simulation in der Produktentwicklung bis hin zur automatisierten Lagerhaltung.

Potenziale und konkrete Umsetzungskonzepte

Künstliche Intelligenz

qz-online.de

Digitalisierung

Künstliche Intelligenz (KI) im Mittelstand

Erfolgreiche Praxisbeispiele, wie die KI-Einführung im Mittelstand gelingt, welche Potenziale KI für die unterschiedlichen Anwendungsbereiche bringt und wie sich Investitionen für neue Technologien refinanzieren lassen.

Künstliche Intelligenz (KI) im Mittelstand: Praxisbeispiele

Durch „lernfähige“ Maschinen und die Nutzung von Künstlicher Intelligenz (KI) sind produzierenden Unternehmen ganz neue Möglichkeiten gegeben. So treibt das Birkenfelder Unternehmen MCD Elektronik in einem Entwicklungsprojekt die KI-gestützte Messdaten-Analyse voran.

Bild 1. Künstliche Intelligenz: Schneller und exakter als ein menschlicher Awender © MCD Elektronik GmbH

Intelligente Analysen  durch Cluster und Algorithmen

Künstliche Intelligenz (KI) wird den Arbeitsalltag vieler Beschäftigten verändern – in der Fabrik genauso wie im Büro. Die neue Arbeitsteilung zwischen Mensch und Technik erfordert neue Kompetenzen. Zentrale Herausforderung für eine erfolgreiche Einführung von KI-Systemen in Unternehmen ist deshalb die Weiterbildung der Beschäftigten.

Welche Kompetenzen in der Arbeitswelt wichtig werden

Karriere

Fit für Künstliche Intelligenz (KI)

Die MVTec Software GmbH, internationaler Software-Anbieter für die industrielle Bildverarbeitung, bringt am 17. November 2021 die neue Version 21.11 der Machine-Vision-Standardsoftware HALCON auf den Markt.

Version 21.11 der Machine-Vision-Software HALCON

Bildverarbeitungs-Software

Messdatenerfassung, Software

Messe Vision

MVTec erweitert Deep-Learning-Spektrum

Das Fraunhofer IAIS hat in der veröffentlichten Studie Management System Support for Trustworthy Artificial Intelligence den Standard-Entwurf für KI-Managementsysteme der International Organization for Standardization (ISO) und die bisherigen Richtlinien miteinander verglichen.

KI-Managementsysteme fördern Vertrauen in KI

Die Carl-Zeiss-Stiftung fördert einen Forschungsverbund der Universität Freiburg im Rahmen ihres Programms „Wissenschaftliche Durchbrüche in Künstlicher Intelligenz“.

Durch Methoden des maschinellen Lernens sollen ReScaLe-Roboter Aufgaben von Menschen erlernen, indem sie ihnen vorgeführt werden.

Software / Betriebssysteme / KI

Elektronik

Kfz-Elektronik

Machine Learning

Ingenieurwissenschaften

Carl-Zeiss-Stiftung fördert Forschungsprojekt zu lernenden Assistenzrobotern

Im Forschungsprojekt GeMeKI entwickelt das Fraunhofer IPT gemeinsam mit elf Partnern KI-gestützte Assistenzsysteme für das Fügen, Trennen und Umformen.

Prozessoptimierung durch KI-gestützte Datenanalyse anhand eines Fräsverfahrens

Forschung + Entwicklung

Digitale Transformation

Wirtschaft

Innovationen und neue Technologie

Digitaltechnik

Wechselseitiges Feedback zwischen  Mensch und Maschine

Das einjährige Jubiläum der KI- und Bildverarbeitungs-Plattform visionpier hat die IDS Imaging Development Systems GmbH zum Anlass für ein erstes virtuelles Community-Treffen genommen.

KI- und Bildverarbeitungs-Plattform

Bildverarbeitung, Machine Vision

Online-Marktplatz visionpier

Prof. Marco Huber vom Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA erklärt die Gründe, warum Menschen und KI-Systeme Hand in Hand arbeiten können und sollten.

Univ.-Prof. Dr.-Ing. habil. Marco Huber, Leiter Zentrum Cyber Cognitive Intelligence CCI , Abteilungsleiter Bild- und Signalverarbeitung, Leiter KI-Fortschrittszentrum am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA in Stuttgart.

Bildverarbeitungssysteme

Messe Control

Künstliche Intelligenz (KI) als Werkzeug einsetzen

Oberflächenschäden automatisch detektieren

Automatisierte und KI-basierte Erkennung von Fahrzeugschäden

Eine automatisierte Inspektionslösung, die Karosserieschäden objektiv erfasst, analysiert und dokumentiert, liefert aktuelle Informationen über den Zustand eines Fahrzeuges.

Um den Wert eines Fahrzeugs zu beurteilen, spielen vor allem Fahrzeugschäden eine entscheidende Rolle. Für viele Geschäftsmodelle in der Mobilität sind daher aktuelle Informationen über den Zustand eines Fahrzeuges wichtig. Eine automatisierte Inspektionslösung, die Karosserieschäden objektiv erfasst, analysiert und dokumentiert, ist hilfreich.

Frederik Seiler und Ira Effenberger

Insbesondere Fahrzeugvermietungen und Leasingfirmen prüfen den Zustand der Rückläufer und gleichen die vorhandenen Schäden mit bereits bekannten Beschädigungen ab, um ein aktuelles Bild des Fahrzeuges zu erhalten und notwendige Reparaturen durchführen zu lassen.

Weiterhin sind Werkstätten, Gutachterorganisationen oder Versicherungen an der Erfassung und Dokumentation von Schäden interessiert. Die Bestimmung der am Fahrzeug auftretenden Schäden ist bisher jedoch ein weitestgehend manueller Prozess, bei dem die Schäden von einem Mitarbeiter durch visuelle Inspektion des Fahrzeuges ermittelt und notiert werden.

Diese Sichtprüfung der Fahrzeuge lässt sich durch eine KI-basierte Bildauswertung automatisieren. In hochaufgelösten Farbbildern vom zu untersuchenden Fahrzeug können mit Hilfe von KI-basierten Verfahren Oberflächenschäden an der Karosserie automatisch detektiert werden. Dadurch entfällt die manuelle und somit subjektive Prüfung der Fahrzeuge.

Die Fahrzeugschäden werden mit Hilfe von Farbkameras, intelligenter Beleuchtung und KI-basierter Schadensdetektion automatisch erfasst und am Fahrzeug visualisiert, wodurch sich die Inspektionszeit der Rückläufer verkürzen und die Schadensanalyse objektivieren lässt.

Datenerfassung erfolgt in einer Scanstation

Die Datenerfassung erfolgt in einer Scanstation, die sowohl im Indoor- als auch im Outdoor-Bereich einsetzbar ist. Während das Fahrzeug durch die Scanstation fährt, wird es aus unterschiedlichen Perspektiven von mehreren Kameras erfasst. Die Kameras, die auf beweglichen Säulen angeordnet sind, drehen sich mit dem Fahrzeug mit, sodass das Fahrzeug zunächst von vorne, anschließend von beiden Seiten und beim Verlassen der Scanstation von hinten aufgenommen wird (Bild 1).

Somit entsteht eine Sammlung von hochaufgelösten Farbbildern, in denen die Karosserie des Fahrzeuges erfasst ist. Die einzelnen Bilder können dabei einen Überlappungsbereich aufweisen, um eine zusätzliche Redundanz zu erzeugen. Die Datenerfassung ist durch die on-the-fly Bildaufnahme in wenigen Sekunden abgeschlossen. Auf den Bildern der zu prüfenden Fahrzeuge müssen unterschiedliche Typen von Fahrzeugschäden detektiert werden. Dazu gehören u.a. Felgenschäden, Kratzer, Dellen und Verformungen. Die automatische Erkennung der Fahrzeugschäden ist eine anspruchsvolle Aufgabe. Zu den Herausforderungen zählen die Aufnahmebedingungen, die große Anzahl an Fahrzeugen und die hohe Varianz der auftretenden Schäden. Auf diese drei Aspekte wird im Folgenden näher eingegangen:

Die Scanstation kann in unterschiedlichen Umgebungen aufgebaut werden. Dadurch verändert sich das Umfeld, in dem die Fahrzeuge aufgenommen werden. Die auftretenden Reflexionen sind von der Aufnahmeumgebung abhängig und unterschieden sich bei Indoor- und Outdooranlagen stark. Bei Scanstationen im Außenbereich werden die Kameraaufnahmen durch das Wetter und die Jahreszeit beeinflusst. Somit sind die Lichtverhältnisse bei der Bildaufnahme sehr unterschiedlich und wirken sich entsprechend auf die Bildqualität aus. Weiterhin können sich in der Umgebung des Fahrzeugscanners befindliche Gebäude, Schilder oder Bäume auf dem Fahrzeug spiegeln und dadurch die Schadenserkennung erschweren.

Eine weitere Herausforderung besteht in der großen Bandbreite an zu untersuchenden Fahrzeugen. Die Fahrzeuge variieren in Größe, Farbe und Modell. Für die Schadenserkennung steht kein a priori Wissen über die Fahrzeuge zur Verfügung und es werden keine Modelle der Fahrzeuge genutzt. Außerdem kann nicht vorausgesetzt werden, dass die Fahrzeuge in gewaschenem Zustand durch den Scanner fahren. Sie können verschmutzt oder nass vom Regen sein. Somit ergibt sich insgesamt ein sehr großes Spektrum an Fahrzeugen und Fahrzeugzuständen für die Schadensdetektion.

Die große Vielfalt an unterschiedlichen Schadensbildern stellt eine weitere Herausforderung dar. Die Fahrzeugschäden treten in unterschiedlicher Ausprägungsform und Größe auf. Daher ist es nicht möglich nach einem spezifischen Schadensmuster zu prüfen, sondern es müssen die schadensspezifischen Merkmale identifiziert werden. Aus diesem Grund bietet sich ein Ansatz an, der auf künstlicher Intelligenz (KI) basiert.

Verwendung tiefer Neuronaler Netze (Deep Learning Verfahren)

Um in den Kamerabildern von Fahrzeugen Schäden zu identifizieren, werden tiefe Neuronale Netze (Deep Learning Verfahren) verwendet. Während einer Trainingsphase wird zunächst gelernt, welche Merkmale für die Fahrzeugschäden charakteristisch sind und welche Merkmale bei einem Fahrzeug typischerweise vorkommen. Die Grundlage für den Lernprozess bildet ein Trainingsdatensatz. Dieser besteht aus repräsentativen Bildern von unterschiedlichen Fahrzeugen mit manuell annotierten Fahrzeugschäden. Hierbei ist zu beachten, dass der Annotationsprozess subjektiv ist. So können beispielsweise mehrere nebeneinander liegende Defekte einzeln oder als ein großer Defekt von der annotierenden Person gekennzeichnet werden. Es entstehen Mehrdeutigkeiten, die das Training negativ beeinflussen können. Ein weiterer Interpretationsspielraum entsteht bei der Unterscheidung der Fehlerklassen. Die einzelnen Schadensbilder lassen sich häufig nicht eindeutig einer Schadenskategorie zuordnen. Verformungen enthalten z.B. oft auch die Merkmale von Kratzern und lassen sich außerdem nicht immer klar von Dellen abgrenzen.

Der genutzte Datensatz besteht aus insgesamt 10000 Bildern, die jeweils mindestens einen Schaden enthalten. Die häufigste Schadensklasse sind Felgenschäden mit einem Anteil von 55 %, gefolgt von Kratzern (28 %) und Dellen (6 %). Die Auflösung der Bilder beträgt 4096 x 3000 Pixel.

Ende-zu-Ende-Lernprozess  defektspezifischer Merkmale

Für das Training wird die Schadenserkennung als ein Objektdetektionsproblem interpretiert und ein neuronales Netz zum Erlernen der defektspezifischen Merkmale genutzt und in einem Ende-zu-Ende-Lernprozess trainiert. Das Netz besteht aus einem Feature Extraction Network, einem Feature Pyramid Network, einem Region Proposal Network und Netzwerken für die Objektklasse, die Boxen und die pixelgenaue Segmentierung. Mit dem Feature Extraction Network werden aus dem originalen Bild Merkmale gewonnen, auf deren Basis die Schäden erkannt werden. Mit zunehmender Tiefe des Netzwerkes steigt der Abstraktionsgrad der erlernten Merkmale. Anschließend werden die resultierenden Merkmalskarten mit unterschiedlichen Abstraktionsgrad miteinander fusioniert. Für Detektion und Klassifikation der Schäden werden Merkmalskarten mit unterschiedlichem Abstraktionsgrad genutzt, um Fahrzeugschäden unterschiedlicher Größe möglichst robust detektieren zu können. Die Hyperparameter des Netzwerkes und die genaue Definition der Kostenfunktion, die während des Trainings minimiert wird, werden für die Aufgabenstellung der Schadenserkennung an Fahrzeugen optimiert.

Weiteres Netzwerk für die Erkennung der Fahrzeugteile

Zusätzlich zur Schadenserkennung wird ein weiteres Netzwerk für die Erkennung der Fahrzeugteile genutzt. Dabei werden u.a. Stoßfänger, Reifen, Felgen, Türen, Scheiben oder die Motorhaube des Fahrzeugs segmentiert (Bild 2).

Weiterhin wird das Fahrzeug vom Hintergrund segmentiert. Diese Segmentierung wird genutzt, um den Hintergrund vor der Schadenserkennung zu entfernen. Dadurch verringert sich die Rechenzeit und Fehldetektionen im Hintergrund können verhindert werden. In den vorverarbeiteten Bildern werden dann mit dem Schadenserkennungsnetzwerk die einzelnen Schäden erkannt und pixelgenau segmentiert. Die erkannten Fehlstellen lassen sich mit Hilfe der Fahrzeugteilesegmentierung am Fahrzeug lokalisieren und den entsprechenden Fahrzeugbereichen zuordnen.

Für die Optimierung der Detektionsergebnisse wurden unterschiedliche Einflussfaktoren getestet. Eine große Verbesserung kann dabei durch Modifikationen der Bilder während des Trainings erzielt werden. Hierfür werden während des Trainings zufällige Ausschnitte der Bilder des Trainingsdatensatzes genutzt. Dadurch werden die Schadensbilder in unterschiedlichen Größen gelernt und die Schadensdetektion wird robuster. Eine weitere signifikante Verbesserung ergibt sich durch Spiegelung der Bilder entlang der Horizontalen, Vertikalen und Diagonalen, da sich dadurch der Trainingsdatensatz vergrößert. Ein weiterer Einflussfaktor ist die Ausgangsgröße der Bilder. Bei einer Verringerung der Auflösung der Bilder steigt die Geschwindigkeit der Schadenserkennung, jedoch sinkt die Erkennungsrate bei kleinen Schäden. Eine Unterteilung des Bildes in kleinere Kacheln mit einer anschließenden Fusion der detektierten Schäden führt zu keiner Verbesserung, da durch die Reduktion des Bildausschnittes wichtige Kontextinformation verloren geht und vermehrt fehlerhafte Detektionen auftreten. Daher werden die Bilder vor der Schadenserkennung nicht in Kacheln unterteilt, sondern die originalen Bilder auf 2048 x 1500 Pixel skaliert.

Dellen können in den Kamerabildern schwer erkennbar oder unsichtbar sein. Durch eine strukturierte Beleuchtung lässt sich die Erkennung von Dellen deutlich verbessern. Dazu wird in der Scanstation eine Leuchte angebracht, die Streifen auf die Fahrzeuge projiziert (Bild 3). Dellen und Verformungen erzeugen eine charakteristische Verzerrung dieser Streifen. Im Laufe des Trainingsprozesses werden die durch Dellen entstehenden Muster erlernt. Somit findet durch das projizierte Streifenmuster eine indirekte Detektion der Dellen statt.

Bei der näheren Untersuchung der nicht gefundenen Schäden lässt sich erkennen, dass wichtiger als die Stärke der Schäden ihre Repräsentation im Datensatz ist. Je Häufiger eine Defektklasse im Trainingsdatensatz vorhanden ist, desto zuverlässiger ist die Detektion. Bei Schäden mit einem untypischen Erscheinungsbild kann die Repräsentation in den Trainingsdaten unzureichend sein und damit zu einer weniger robusten Detektion führen. Somit ist nicht die Schwere eines Schadens, sondern die Anzahl an vergleichbaren Schadensbildern im Datensatz ausschlaggebend für die korrekte Erkennung eines Schadens.

Testdatensatz aus 739 Bildern mit über 1000 annotierten Schäden

Für den Test der Erkennung der Fahrzeugschäden wurde ein repräsentativer Testdatensatz genutzt. Dieser Testdatensatz besteht aus 385 Bildern mit über 1000 annotierten Schäden, die nicht im Trainingsdatensatz vorhanden waren, sowie 354 Bildern von Fahrzeugen, die keine Schäden aufweisen. Durch das Hinzufügen der Bilder von Fahrzeugen ohne Defekte wird ein Fokus auf die Falschpositivrate gelegt. Durch fehlerhafte Detektionen werden manuelle Korrekturen notwendig und somit sinkt die Akzeptanz eines Systems zur automatischen Schadenserkennung. Die Erkennungsraten auf dem Testdatensatz liegen für die Klasse Delle bei 61%, die Klasse Felgenschäden bei 83% und die Klasse Kratzer bei 68 %. Die Genauigkeit der Detektionen beträgt bei der Schadenskategorie Delle 70 %, bei Felgenschäden 76 % und bei Kratzern 61 %. Bei den Fehldetektionen kann es sich um Falschpositive handeln, die beispielsweise durch Schmutz am Fahrzeug entstehen können. Hierbei ist es häufig auch für den Menschen im Kamerabild nicht mit Sicherheit feststellbar, ob es sich um einen Schaden oder um eine Verschmutzung handelt. Diese Mehrdeutigkeiten unterliegen einer Subjektivität in der Bewertung und sind eine häufige Ursache von Fehldetektionen. Ein weiterer Grund für fehlerhafte Detektionen kann in falsch zugeordneten Schadenskategorien liegen. Da die Schadensbilder häufig Merkmale von mehreren Schadenskategorien aufweisen, kann ein Defekt einer falschen Kategorie zugewiesen werden. Dadurch entsteht in der Statistik sowohl eine Falschdetektion, als auch ein nicht erkannter Schaden.

Somit lässt sich mit einer KI-basierten Schadenserkennung ein Großteil der Fahrzeugschäden automatisch identifizieren und pixelgenau segmentieren (Bild 4). Während des Trainingsvorgangs werden sowohl die charakteristischen Merkmale der Schäden gelernt, als auch welche Formen und Strukturen bei Fahrzeugen üblich sind und somit kein Fehlerbild darstellen. Die KI-Entwicklung wurde Im Rahmen des KI-Fortschrittszentrums, das vom Land Baden-Württemberg gefördert wird, in Kooperation mit den Firmen TwoTronic und Gal&Tas durchgeführt, die Bilddaten aus dem Fahrzeugscanner und die annotierten Fehlerbilder zur Verfügung gestellt haben.

Die entwickelte KI-basierte Schadenserkennung lässt sich neben der Bewertung des Zustands von Fahrzeugen im Gebrauch auch auf andere Anwendungen im Produktionsumfeld übertragen und kann beispielsweise zur Automatisierung der Oberflächenprüfung oder Rissprüfung in der Fertigung eingesetzt werden.

Fraunhofer-Institut für Produktionstechnik und Automatisierung (IPA) 

https://www.ipa.fhg.de

Bild 1. Die Fahrzeuge werden in einer Scanstation von mehreren Kameras erfasst. 

Bild 2. Vor der Schadenserkennung wird das Fahrzeug in die einzelnen Fahrzeugteile segmentiert.

Bild 3. Dellen erzeugen eine charakteristische Verzerrung der Streifenbeleuchtung und können somit indirekt detektiert werden.

Bild 4. Am Fahrzeug werden von der automatischen Schadenserkennung ein Felgenschaden (blau), eine Verformung (gelb) und Kratzer (grün) erkannt. Im Bereich der Stoßstange sind auch Verschmutzungen zu erkennen, die richtigerweise nicht als Fehlstellen erkannt werden.

Fraunhofer IPA - Hauptartikel

M. Sc. Frederik Seiler ist wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA und forscht an KI-Verfahren auf Basis optischer Sensordaten, die sowohl bei der Detektion von Fehlstellen als auch bei der Objekterkennung Anwendung finden. <a href="mailto:frederik.seiler@ipa.fraunhofer.de">frederik.seiler@ipa.fraunhofer.de</a>

Dr.-Ing. Ira Effenberger ist Gruppenleiterin am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA in Stuttgart und arbeitet mit Ihrer Gruppe an der intelligenten Auswertung von Bild- und Sensordaten für die Qualitätssicherung und die Automatisierung.

Das Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA – eines der größten Institute der Fraunhofer-Gesellschaft – wurde 1959 gegründet und beschäftigt annähernd 1200 Mitarbeiterinnen und Mitarbeiter. Organisatorische und technologische Aufgabenstellungen aus der Produktion machen die Forschungs- und Entwicklungsschwerpunkte aus. Die 19 Fachabteilungen des Fraunhofer IPA decken den gesamten Bereich der Produktionstechnik ab.