IBROC – 3D Image-Based Rendering of Clothes from Photographs

Online-Anbieter versuchen auf verschiedene Arten, ihre Kundinnen und Kunden mit virtueller Anprobe zu unterstützen. Dies erfordert aber meist die Erzeugung von 3D-Modellen der Bekleidung oder umfangreiche Studiofotografie. Beides ist arbeitsintensiv und in der schnelllebigen Modebranche nicht gut umsetzbar. Private Modefotos, etwa aus Social Media-Anwendungen, können überhaupt nicht für die virtuelle Anprobe verwendet werden.

IBROC ist ein neuartiges, intelligentes System zur virtuellen Anprobe, welches mit existierenden Fotokatalogen und Webshops oder privaten Fotos arbeiten kann. Die Fotos können einen Menschen zeigen, der das Kleidungsstück trägt, oder die Kleidung kann hängend oder auf dem Boden liegend fotografiert werden. Diese Fotos können verschiedene Mängel aufweisen - wie Verdeckungen (z.B. wenn die Hand einen Teil des Kleidungsstücks verdeckt), unrealistische Verformungen (z.B. wenn die Kleidung auf dem Boden liegt) oder schwache Beleuchtung.

Im IBROC Projekt werden daher Visual Computing-Verfahren entwickelt, die mit dieser schwierigen Situation umgehen können. Um 3D-Daten aus einigen wenigen Bildern trotz vorhandener Mängel extrahieren zu können, wird eine Grundform (Shape Prior) benötigt. Zu diesem Zweck wird eine Referenz-Datenbank aus Modefotos mit Metadaten und 3D-Informationen erzeugt. Angeleitet durch die Referenz-Datenbank können die Form und sonstige Informationen wie Farbe und Beleuchtung aus den Bildern durch Lern- und Optimierungsverfahren berechnet werden. Verdeckte Bereiche werden automatisch durch Textursynthese und redundante Bildinformation ergänzt.

Durch die derart gewonnenen Bekleidungsmodelle kann simuliert werden, wie die KundInnen mit dem neuen Kleidungsstück aussehen werden. Da die Methode keine manuelle 3D-Modellierung oder Studio-Fotografie erfordert, ist sie besonders gut skalierbar und kann sofort in mobilen Apps oder Webanwendungen verwendet werden. Dabei entsteht eine umfangreiche Datensammlung von Mode-Vorlieben und Social Media-Profilen.

Eine neue Art von Modemarketing bringt den eigentlichen kommerziellen Nutzen: Kleider können beworben werden, indem die NutzerInnen selbst als Modelle in den Werbungen erscheinen. Die personalisierte Werbung konzentriert sich auf die Vorlieben der BenutzerInnen und stimmt Vorschläge auf die bereits vorhandene Garderobe ab.

Prof. Dieter Schmalstieg, TU Graz

Prof. Dieter Schmalstieg, TU Graz
E-Mail: schmalstieg@icg.tugraz.at
Web: http://icg.tugraz.at