Voor het eerst kunnen Belgische creatieven hun werk laten jureren door een Artificial Intelligence-jury. Een stunt van de Mixx Awards die daarmee de recent opgerichte Belgian Association of Marketing, of kortweg BAM, op de kaart wil zetten. De organisatie bedacht in samenwerking met DDB Brussels een compleet nieuwe vorm van award jureren. Voortaan zal er naast een menselijke jury ook een robot worden ingezet om hun inzendingen te analyseren. “Om onze tiende verjaardag te vieren, waren we op zoek naar een unieke beleving”, vertelt Patrick Steinfort, van BAM. “Een sterke toevoeging aan onze digitale award show, zeg maar. Daarop hebben we samen met DDB bekeken hoe we als organisatie konden meedenken over de toekomst van de reclame. Het leek ons een interessant om daarbij het aloude systeem van award jurering onder de loep te nemen. Want het laatste jaar kregen we als award sector toch wat kritiek te slikken. Er werd gezegd dat het er niet altijd efficiënt aan toe zou gaan tijdens zo’n jurering. Juryleden die te vermoeid zijn, beïnvloed worden door externe factoren of gewoon niet genoeg ervaring hebben. Zaken die moeilijk te controleren zijn. Tenzij je gebruikt maakt van een compleet neutraal, onvermoeibaar of ultraslim systeem. Zoals een robot bijvoorbeeld.”

Verschillende partners
Voor de unieke AI-award werkten BAM & DDB samen met het Antwerpse bedrijf Faction XYZ. Zij zijn gespecialiseerd in deep learning en machine learning: een computer leren patronen herkennen aan de hand van grote hoeveelheden data. “We bouwen vaak predictieve modellen voor uiteenlopende zaken, maar nog nooit om een award show te jureren”, glimlacht Jos Polfliet van Faction XYZ. “Om deze technologie te creëren hebben we dan ook met verschillende partners samen gewerkt.

Pearl gebruikt state-of-the-art technologie. Zo verleende Microsoft bijvoorbeeld via een vroegtijdige preview toegang tot hun Video Indexer-dienst, die inzichten uit video's haalt met behulp van Artificial Intelligence. In totaal zijn we drie maanden bezig geweest met de ontwikkeling van deze Artificial Intelligence, die we de naam PEARL gaven.

"Eerst hebben we de historische data van de voorbije 10 jaar Mixx awards verzameld en gestructureerd. Elke case kreeg daarbij een score aan de hand van de - al dan niet - gewonnen prijs. Vervolgens analyseerden we de inhoud op drie grote criteria: tekst, muziek en beeld. Daarvoor kwantificeerden we zaken als de sfeer, de muziekkeuze, de visuele elementen, de teksten, dialogen, maar ook de gerapporteerde resultaten en de originaliteit."

"Uiteindelijk selecteerde het AI-model daaruit 41 variabelen die de voorbije 10 jaar belangrijk waren. Het AI-systeem gebruikt die nu als criterium om de nieuwe campagnes te beoordelen. Uit onze testen blijkt een accuraatheid van 76%. Pearl leerde zichzelf dus om te denken als een jurylid, en kan met hoge nauwkeurigheid voorspellen hoe goed een case het gaat doen op een award show."

Case study Learnings
Uit de onderzochte data kwamen enkele opvallende resultaten naar boven. “Zaken die interessant kunnen zijn, mocht je nog een case willen indienen”, zegt Jos Polfliet. “Zo viel het ons op dat het tempo, de energie en de dansba­­arheid van een case het resultaat negatief beïnvloedt.

Opgewekte liedjes worden zodanig vaak gebruikt dat ze door Pearl aanzien worden als cliché en generiek. Het gebruik van een voice-over heeft dan weer een positief effect. Opvallend was ook dat het vermelden van ‘impressies’ quasi geen invloed had. Shares daarentegen had wel een positief effect. Al moet je volgens het model wel meer dan 100.000 shares halen alvorens kans te maken op dat positief effect. Buzzwords als clicks, earned media en social impressions scoorden ook laag.” Volgens de AI-robot heeft ook het vermelden van nieuwsmedia een invloed. “Reclameblogs als ‘Adweek’ en ‘Creativity-Online’ worden vaak aangehaald, maar hebben jammer genoeg geen invloed. Kwalitatieve pers als BBC en CNN heeft wel een bijzonder positief effect.” En ook buzzwords spelen een rol: we zien een sterk verband tussen de opkomst van een buzzword en de prijzen die het jaar erna gewonnen worden. In die context was AI vorig jaar trouwens een sterke stijger… ;)

Eerste AI-award
Reclamebureaus die willen kans maken op de eerste AI-award kunnen nog steeds inschrijven. De winnaar wordt op 19 oktober bekend gemaakt tijdens een gala. “Benieuwd of hij dezelfde winnaar kiest als onze menselijke jury.”