Artificiële intelligentie in de supermarkt
De ene appel is de andere niet: artificiële intelligentie in de supermarkt
Drie jaar geleden zag een nieuwe job het levenslicht binnen Colruyt Group: de functie van innovation officer. Vandaag dragen vier medewerkers die titel. Een van hen is Gino, een Leuvenaar met een diploma industrieel ingenieur en IT op zak: “Onze taak? Op zoek gaan naar nieuwe technologieën en nadenken hoe we die bij Colruyt Group kunnen inzetten.”
Een van Gino’s projecten draait rond productherkenning. “We hebben een camerasysteem getraind om producten – in dit geval groenten en fruit – automatisch te herkennen zonder barcode. Leg je ze in de weegschaal aan de kassa? Dan weet het systeem meteen of het om appels of paprika’s gaat”, legt Gino uit. “Het systeem baseert zich op beeldherkenning en artificiële intelligentie (AI), maar voor andere projecten buigen we ons ook over Internet of Things, blockchain en augmented reality. Ik werk met andere woorden in een technologische speeltuin. Maar natuurlijk moeten onze ideeën ook resultaten opleveren.”
Betere efficiëntie en klantbeleving
De vraag om in te zetten op artificiële intelligentie kwam van de directie van Colruyt Group. De CEO en het directiecomité bekijken dan ook voortdurend hoe het bedrijf zich kan klaarstomen voor de toekomst. “Daarom onderzochten we hoe AI de grootste impact zou kunnen hebben in de winkels. Als innovation officer ben je bij zo’n kwestie van in het begin heel nauw betrokken”, vertelt Gino.
Gino en de rest van het team kwamen al snel uit op een toepassing voor het kassasysteem. “Bij Colruyt Group hechten we veel waarde aan efficiëntie en klantbeleving. Dit project speelt in op beide domeinen: door efficiënter te werken aan de kassa, staan onze klanten minder lang in de wachtrij.”
Werken met specialisten in het vak
Het voortraject startte in het voorjaar van 2018. Samen met enkele collega’s zette Gino een proefproject op poten waarbij het systeem twintig producten kon herkennen. “In het begin deden we veel zelf”, zegt Gino. “We maakten prototypes in de kelder van ons hoofdkantoor en speelden elke week winkeltje. Om het project agile aan te pakken, werkten we in sprints van twee weken. Elke keer ontwikkelden we een nieuwe demo die we daarna uittestten.”
Het team haalde er ook een externe partner bij om het beeldherkenningssysteem te ontwikkelen: Robovision. “We werken met geavanceerde technologieën. Daarom gaan we soms op zoek naar specialisten in die specifieke niches. Voor dit project hadden we het geluk dat we Robovision tegenkwamen.”
Technologieën laten communiceren
In het systeem zitten elementen die constant met elkaar communiceren: de weegschaal, de camera, de tablet en enkele servers. Boven de weegschaal aan de kassa’s hangt een professionele camera. Wanneer je fruit of groenten in de weegschaal legt, zal de weegschaal het gewichtsverschil opmerken en maakt de camera automatisch een foto. De camera communiceert met de tablet die aan de kassa hangt. Daarop leest de klant de analyse af. Vervolgens kan de klant op de tablet bevestigen of het systeem het fruit of de groente juist herkende.
“Alle technologie met elkaar doen praten, was een uitdaging. De server, de tablet, de applicaties: die moeten allemaal met elkaar in verbinding staan”, vertelt Gino. “Het interne team van Colruyt Group koppelde alle elementen en ontwikkelde de tabletapplicatie met Kotlin op een Node.js-back-end-platform. We hebben alles van nul opgebouwd. Robovision leverde de industriële camera’s en het deep learning-systeem.”
Slim én accuraat
Beeldherkenning is gebaseerd op geavanceerde algoritmes: “Het systeem herkent groenten en fruit op afbeeldingen door die te interpreteren op basis van miljoenen parameters. Eenvoudig uitgelegd, door zaken zoals de vorm, kleur en grootte van een stuk fruit te analyseren, weet het systeem: dit is een jonagold. Voor het systeem een appel kan herkennen, moet je het natuurlijk leren wat een appel is. Dat doen we met complexe wiskunde en veel data. Hoe meer jonagolds het systeem opneemt, hoe beter het die juist zal detecteren. Met elke nieuwe foto die we aan het systeem geven, leert het op eigen houtje bij en optimaliseert het zijn parameters. Zo wordt het accurater en werkt het efficiënter.”
Dat het systeem slimmer wordt, merken Gino en zijn team heel goed. “We zijn gestart met 60 producten. Per product voerden we 600 foto’s in. Het aantal foto’s dat nodig is om een nieuw product te herkennen, is ondertussen teruggebracht tot 50 à 70.” Ideaal, want het assortiment van groenten en fruit verandert regelmatig. Het systeem blijft dus constant bijleren.
Hoe meer foto’s het systeem opneemt, hoe beter het een product herkent. “Tijdens onze testen komen we nu aan 97 procent nauwkeurigheid, wat al heel goed is”, zegt Gino. “Het doel is om zo hoog mogelijk te scoren. Maar in de praktijk is de accuraatheid vaak minder goed. Mensen werken in het echte leven nu eenmaal niet onder de perfecte omstandigheden die we creëren in een testomgeving.”
Snelle vooruitgang
In september 2018 ging het project officieel van start, begin 2019 begon het programmeerwerk. In een half jaar tijd ontwikkelde het team het hele systeem. “Dat is echt heel snel”, vertelt Gino. “Ook de mensen in de winkels waren verbaasd dat het zo vlot is gegaan. Het systeem draait nu op tien kassa’s.” Waar het systeem nog de meeste moeite mee heeft, is het herkennen van verschillende soorten appels. “Maar zelfs voor mensen is dat niet simpel: er worden nu veel appels voorverpakt omdat kassamedewerkers de soorten maar moeilijk uit elkaar houden. Stel je voor hoeveel afval je bespaart wanneer dat niet meer nodig is.”
In de zomer van 2019 startte de test met productherkenning in Colruyt Kortrijk. Die zal minimaal drie maanden duren. Zodra de klanten en medewerkers er vlot mee kunnen werken, beginnen de tijdsmetingen. Gino: “Daarna bekijken we de volgende stappen. Het is de bedoeling om de technologie nog veel verder te ontwikkelen.”
Winkelen in de toekomst
Gino ziet een grote toekomst in beeldherkenning: “Er zullen geen barcodes meer nodig zijn. Deze AI-toepassing is een echte primeur. Op basis van de testresultaten bekijken we hoe we het systeem doeltreffend kunnen schalen. Kunnen we het misschien uitrollen naar alle winkels van Colruyt Group? Dat zou fantastisch zijn.”
AI en deep learning staan binnen retail nog in hun kinderschoenen, maar volgens Gino is die ontwikkeling niet te onderschatten. “Ze heeft impact op elke schakel van onze processen. Van onlinemarketing op basis van AI tot toepassingen voor de klant zoals Amazon Go. Wij pluizen nu uit wat AI voor Colruyt Group kan betekenen. En hoe we die technologie kunnen verzoenen met de menselijke kant. Want voor Colruyt Group komen klantbeleving en klantvriendelijkheid altijd op de eerste plaats.”
Het voortraject startte in het voorjaar van 2018. Samen met enkele collega’s zette Gino een proefproject op poten waarbij het systeem twintig producten kon herkennen. “In het begin deden we veel zelf”, zegt Gino. “We maakten prototypes in de kelder van ons hoofdkantoor en speelden elke week winkeltje. Om het project agile aan te pakken, werkten we in sprints van twee weken. Elke keer ontwikkelden we een nieuwe demo die we daarna uittestten.”
Het team haalde er ook een externe partner bij om het beeldherkenningssysteem te ontwikkelen: Robovision. “We werken met geavanceerde technologieën. Daarom gaan we soms op zoek naar specialisten in die specifieke niches. Voor dit project hadden we het geluk dat we Robovision tegenkwamen.”
De vraag om in te zetten op artificiële intelligentie kwam van de directie van Colruyt Group. De CEO en het directiecomité bekijken dan ook voortdurend hoe het bedrijf zich kan klaarstomen voor de toekomst. “Daarom onderzochten we hoe AI de grootste impact zou kunnen hebben in de winkels. Als innovation officer ben je bij zo’n kwestie van in het begin heel nauw betrokken”, vertelt Gino.
Gino en de rest van het team kwamen al snel uit op een toepassing voor het kassasysteem. “Bij Colruyt Group hechten we veel waarde aan efficiëntie en klantbeleving. Dit project speelt in op beide domeinen: door efficiënter te werken aan de kassa, staan onze klanten minder lang in de wachtrij.”