Projekt des Monats

Produktbilder klassifizieren mit künstlicher Intelligenz

Die Arbeitsgruppe und ihr Demonstrator am Tag der offenen Tür (v.l.n.r. Alexander Bouwens, Christoph Brosch, Prof. Dr. Rolf Krieger und Sebastian Bast)

Künstliche Intelligenz (KI) hat das Potenzial, die Arbeitswelt grundlegend zu verändern. Sie gilt als Innovationsbeschleuniger. Unternehmen aller Branchen untersuchen Anwendungsszenarien, um die Effizienz ihrer Geschäftsprozesse zu steigern. Dabei erfordert die vollständige Ausschöpfung des Potenzials oftmals eine Anpassung der Geschäftsmodelle. Insbesondere im Einzelhandel gibt es viele Innovationen, die auf dem Einsatz künstlicher Intelligenz basieren.

KI-basierte Verfahren ermöglichen beispielsweise genauere Prognosen der Verkaufszahlen, wodurch Logistikkosten eingespart und gerade im Lebensmittelbereich auch Verluste bzw. Abfälle durch Verderb verhindert werden können. Ein weiteres Anwendungsbeispiel, das mit dem KI-Einsatz verbunden ist, sind Check-out free Stores, in denen über komplexe Sensorik Informationen über die aus Regalen entnommenen Produkten gesammelt werden, wodurch ein Scannen beim Bezahlvorgang nicht mehr erforderlich ist. Darüber hinaus erleichtern KI-basierte Verfahren, dass sich Kunden über ihr Smartphone umfassend über einzelne Produkte informieren oder ähnliche Produkte miteinander vergleichen können. Die Beispiele machen deutlich, dass der KI-Einsatz den Unternehmen ermöglicht, Kosten einzusparen und hilft ihre Nachhaltigkeitsziele durch die Einsparung von Energie oder die Vermeidung von Abfällen zu erreichen. Am Umwelt-Campus Birkenfeld wird hierzu in einem Forschungsprojekt das Potenzial der Künstlichen Intelligenz, insbesondere von maschinellen Lernverfahren im Lebensmitteleinzelhandel, untersucht.

Bei uns in Deutschland können wir täglich aus über 170.000 verschiedenen Lebensmittelprodukten wählen. Durch die enorme Produktvielfalt und die zahlreichen Änderungen des Produktsortiments entstehen sehr große Datenmengen, die aus verschiedenen Quellen zusammengetragen und verwaltet werden müssen. In dem vom Bundesministerium für Bildung und Forschung geförderten Forschungsprojekt namens IMPRO, untersucht eine Arbeitsgruppe unter der Leitung von Prof. Dr. Rolf Krieger gemeinsam mit dem Unternehmen retailsolutions GmbH aus Saarbrücken und verschiedenen Handelsunternehmen, wie Informationen aus Produktbildern mit Hilfe von maschinellen Lernverfahren extrahiert werden können, um den Erstellungsprozess von Produktdatensätzen zu optimieren.

Eine von der Arbeitsgruppe betrachtete Problemstellung ist dabei die automatisierte Produktklassifikation. Darunter versteht man die Zuordnung von Produkten zu Gruppen anhand festgelegter Kriterien. Die Gruppierung ist von zentraler Bedeutung, um die gigantischen Datenmengen effizient verwalten zu können. Süßwaren, Gewürze, Backwaren etc. sind Beispiele für Produktgruppen. Je nach Klassifikationssystem werden im Lebensmittelbereich über 800 Produktgruppen unterschieden, wobei in vielen Fällen die Klassifikation noch per Hand durchgeführt wird. Dies führt aufgrund der enormen Anzahl an Produkten zu einem hohen Arbeitsaufwand und zu hohen Kosten für Einzelhandelsunternehmen. Um diese manuellen Tätigkeiten zu reduzieren, hat die Arbeitsgruppe von Prof. Krieger ein Verfahren entwickelt, das auf der Basis von Produktbildern mit Methoden der künstlichen Intelligenz ein Produkt der entsprechenden Produktgruppe zuordnen kann.

Beispielsweise kann das Verfahren erkennen, dass ein Produktbild, auf dem ein Erfrischungsgetränk zu sehen ist, zu der Familie der Getränke und der Klasse der alkoholfreien Getränke gehört. Hierfür werden die visuellen Merkmale eines Bildes extrahiert und mit den Merkmalen von bereits klassifizierten Bildern verglichen, um Gemeinsamkeiten in großen Bilddatenmengen zu finden. Dabei setzt die Arbeitsgruppe auf künstliche neuronale Netzwerke, da diese in vielen Bereichen dazu in der Lage sind, digitale Bilder mit geringeren Fehlerraten zu klassifizieren als Menschen.

Um die Genauigkeit des Verfahrens zu verbessern, wurde ein hybrider Ansatz entwickelt, der die bildbasierte Klassifikation mit einer textbasierten Klassifikation kombiniert. Hierbei nutzen die Forscher neben den bildbasierten Informationen auch den Text, der sich auf den Produktverpackungen befindet, um die Genauigkeit ihres Verfahrens weiter zu erhöhen. Die nachfolgende Grafik zeigt die aktuelle Genauigkeit, die das Verfahren mit den Produktbildern eines großen deutschen Handelsunternehmens erzielt hat.

Das Verfahren wurde bereits publiziert und im Juli 2022 auf der International Conference on Data Science, Technology and Applications in Lissabon einem internationalen Fachpublikum vorgestellt. Aktuell beschäftigt sich die Arbeitsgruppe unter anderem mit der Optimierung des Verfahrens. Eine Evaluation des Verfahrens in einem produktiven Umfeld ist geplant.

Das Forschungsprojekt IMPRO wird durch das Bildungsministerium für Bildung und Forschung im Rahmen der Fördermaßnahme KMU-innovativ: IKT unter dem Förderkennzeichen 01|S20085 gefördert.