Gezielte Werbung für Advertima

Advertima, ein Unternehmen für Computer Vision und maschinelles Lernen, interpretiert das menschliche Verhalten in der physischen Welt visuell und ermöglicht so die nahtlose und sinnvolle Interaktion zwischen intelligenten Räumen der Zukunft und Menschen. Ihr leicht zugänglicher Echtzeit-Datenstrom, genannt "Human Data Layer", treibt ihre intelligenten Einzelhandelslösungen an, darunter Autonomous Store und Smart Signage. Diese Lösungen der nächsten Generation ermöglichen es Unternehmen, das Kundenerlebnis von morgen zu schaffen: reibungslos, relevant und hochgradig zielgerichtet. Advertima ist vollständig konform mit der EU-Datenschutzgrundverordnung (GDPR).
 

Sarah Kurmulis, Olena Levchun und Matthieu Bornet hatten die Aufgabe, anonyme Metadaten aus mehreren Geschäften zu verarbeiten, zu bereinigen und Modelle mithilfe von maschinellem Lernen und Deep Learning zu erstellen, um die Laufwege der Verbraucher um die Bildschirme der Geschäfte zu verstehen. Zu wissen, wer sich gerade im Anzeigebereich des Bildschirms aufhält und Aufmerksamkeit schenkt, ist eine Voraussetzung für die Anzeige relevanter Werbung. Genauer gesagt, sagte das Team voraus, ob sich ein bestimmter Verbraucher in den nächsten Sekunden im Anzeigebereich aufhalten wird. Eine weitere Verbesserung ermöglichte es dem Team, die Position des Konsumenten mit einer Abweichung von weniger als einem Meter vorherzusagen. Durch die Analyse der Kopforientierung konnten sie auch vorhersagen, ob jemand auf den Bildschirm schaut, ein Indikator für Aufmerksamkeit.

Ziel des Projekts war es, die Verbesserungsmöglichkeiten der Smart-Targeting-Technologie von Advertima zu untersuchen. Gegenwärtig extrahiert Advertima mehrere Merkmale der Kunden, die vor ihren Bildschirmen laufen - darunter ihr Alter und Geschlecht. Diese werden durch eine fortschrittliche Echtzeit-Computer-Vision-Technologie abgeleitet. Die Bilder werden niemals gespeichert; nur die extrahierten Merkmale werden aufbewahrt und ordnungsgemäss anonymisiert. Die Kenntnis von Alter und Geschlecht ermöglicht eine Personalisierung (z. B. die Anzeige von Rasierprodukten für erwachsene Männer oder von Kosmetikprodukten für junge Frauen). Da das Auswählen, Laden und Anzeigen einer konkreten Werbung zwischen einigen Millisekunden und in manchen Fällen bis zu 3 Sekunden dauern kann, ist es wichtig, im Voraus zu wissen, wer vor dem Bildschirm sitzen wird.

Zu diesem Zweck analysierte das Team die Bewegungsmuster einer grossen Sammlung von Kunden. Die sekundengenauen Trajektorien von Personen, die sich im Sichtbereich von Monitoren aus verschiedenen Installationen bewegten, wurden von Advertima zur Verfügung gestellt. Die Daten enthielten auch andere bewegungsrelevante Informationen, wie zum Beispiel die Kopfposition in Bezug auf den Bildschirm. Aus den Positionsdaten erstellte das Team ein Machine Learning-Modell, um die Position eines Kunden anhand seiner vergangenen Trajektorie in der unmittelbaren Zukunft (1, 2 und 5 Sekunden) vorherzusagen. Das Modell schnitt sehr gut ab und sagte die Position eines Kunden mit einer durchschnittlichen Genauigkeit von weniger als 1 Meter voraus.

In einer nachfolgenden Iteration wurde das Modell verbessert, um auch die Kopfausrichtung vorherzusagen. So kann gezielte Werbung nicht nur Personen gezeigt werden, die sich in der Nähe des Bildschirms befinden, sondern auch denen, die in dessen Richtung schauen.

Im Rahmen des Projekts führten die Studenten umfangreiche Datenexplorationen und Feature-Engineering durch, wodurch sie auch einige aufschlussreiche Visualisierungen erstellen konnten. Insbesondere erstellten sie Karten von Hotspots, in denen Menschen dazu neigen, vorwiegend zu gehen. Diese sogenannten Aufmerksamkeitszonen können genutzt werden, um das Ladenlayout und die spezifische Position des Bildschirms zu optimieren.
 

Durch die Fertigstellung dieses Projekts wurde Advertima dabei unterstützt, genauere Analysen für ihre personalisierte Werbung zu erstellen. Mögliche nächste Schritte für das Team der drei Bootcamp-Absolventen wurden wie folgt definiert:
 

Ihre Modelle erreichten eine hohe Genauigkeit bei der Vorhersage der Anwesenheit (86 % mittlere Genauigkeit bei 5 Sekunden in der Zukunft) und der Position im Geschäft (8 cm mittlere Positionsgenauigkeit bei einer 1-Sekunden-Vorhersage, 112 cm bei einer 5-Sekunden-Vorhersage) sowie wertvolle Erkenntnisse über die Zonen der Aufmerksamkeit auf dem Bildschirm. Diese Ergebnisse werden es dem Unternehmen ermöglichen, sein System für gezielte Werbung weiter zu verbessern.