KI-basierte Verfahren zur automatischen Informationsextraktion aus Produktbildern

Dies zu verwalten ist ein sehr aufwändiger, kostenintensiver und leider auch fehleranfälliger Prozess. Um diesen zu verbessern hat sich ein Team um Prof. Dr. Krieger mit den wissenschaftlichen Mitarbeitern Sebastian Bast und Christoph Brosch am Umwelt-Campus Birkenfeld, einem Standort der Hochschule Trier, aufgestellt. In Kooperation mit der Firma retailsolutions GmbH aus Saarbrücken arbeiten sie in einem vom BMBF geförderten Forschungsprojekt (KMU-innovativ: IKT) an dieser Problematik.

Mit dem IMPRO-Projekt - das steht für Image-supported Product Data Creation Processor - hat man es sich zum Ziel gemacht, eine automatisierte, bildgestützte Produktdatenanlage in Informationssystemen des Handels zu ermöglichen.

Das bedeutet folgendes: Die vielfältigen Informationen auf Produktbildern sollen mit möglichst wenig menschlichem Input erkannt, ausgelesen und schlussendlich in eine Datenbank eingepflegt werden. Hat ein Produkt Pfand? Wenn ja, wie hoch? Ist es recyclebar? Welche relevanten Gütesiegel hat es? Solche Informationen sind wichtig für den Verbraucher und die Informationssysteme, und sie lassen sich aus der Verpackung ablesen. Das Lösungskonzept illustriert die nachfolgende Abbildung.

Für die automatische Informationsextraktion wird an maschinellen Lernverfahren geforscht, die mit annotierten Bilddaten trainiert werden müssen. Hierzu werden die verschiedenen relevanten Bereiche auf einem Produktbild per Hand markiert und klassifiziert. Derzeit werden 28 verschiedene Informationsobjekte auf Produktbildern gekennzeichnet. Die Arbeitsgruppe um Professor Krieger hat einen Prozess ausgearbeitet, um die Annotationen möglichst effizient an Produktbilder anbringen zu können.

Mit den entwickelten maschinellen Lernverfahren soll der gesamte Prozess der Produktdatenerfassung nach Eingabe des Bildes später möglichst automatisch ablaufen. Trotz verschiedener Verpackungsformen und -größen sowie Layouts sollen die Informationen korrekt erfasst und mit den Bestandsdaten abgeglichen werden. Dazu sind noch einige Probleme zu lösen. Neben den unterschiedlichen Verpackungsformen der einzelnen Produkte wird auch das Design einer Verpackung stetig weiterentwickelt und kann sich saisonal oder aktionsbedingt innerhalb kurzer Zeit mehrfach ändern. Eine erfolgreiche Umsetzung würde in Unternehmen erhebliche Kosteneinsparungen ermöglichen.

In den gesamten Projektverlauf werden Studierende der Hochschule eingebunden, sowohl als feste Mitarbeiter als auch im Rahmen verschiedener Projekt- und Abschlussarbeiten.  So wurde zum Beispiel im Rahmen einer Bachelorarbeit ein Drehteller mit Steuerungssoftware entworfen. Der Drehteller ermöglicht ein Produkt von allen Seiten automatisiert zu fotografieren. Er wurde im campuseigenen INNODIG-Labor von Studierenden gefertigt. Die Steuerungssoftware soll jetzt so erweitert werden, dass das Anbringen von Annotationen in den Bilderstellungsprozess integriert wird.

Das Forschungsthema ist dem Wissenschaftsfeld Künstliche Intelligenz zugeordnet, mit dem sich derzeit viele Unternehmen beschäftigen und das für den Wirtschaftsstandort Deutschland enorm wichtig ist. Für Prof. Krieger, der auch Leiter der Studiengänge Umwelt- und Wirtschaftsinformatik  und Angewandte Informatik und Künstliche Intelligenz ist, bietet das Projekt die Chance, Studierende in einem hochaktuellen Bereich mit exzellenten beruflichen Perspektiven auszubilden.