AI-sentimentanalyse

Ter ondersteuning van hun klantenservice zet PostNL al enkele jaren succesvol chatbot Daan in. Deze chatbot helpt klanten op een snelle manier een antwoord te vinden op hun vraag. PostNL, waarvoor we al de app bouwen, vroeg ons om hulp bij hun zoektocht naar een nog betere klantenservice: hoe kan de gebruikservaring verbeterd en uitgebreid worden? Eén van de ideeën die we samen bedachten, was het toepassen van sentimentanalyse. Sentimentanalyse is een bestaande machine learning-technologie die wordt toegepast om subjectieve informatie zoals klanttevredenheid in teksten te analyseren. Wij wilden onderzoeken of het technisch mogelijk is sentimentanalyse in te zetten in de PostNL-chatbot om eindgebruikers beter te helpen en de klanttevredenheid te verhogen.

Uitdaging
De uitdaging bij het toepassen van sentimentanalyse is dat dit typisch wordt toegepast om het sentiment in reviews (denk aan films of restaurants) en berichten op social media en forums te peilen (zoals op Twitter en Reddit). Bovendien wordt deze analyse vaak uitgevoerd op Engelse teksten. De uitdaging in dit project was dus tweeledig: het toepassen van sentimentanalyse in een nieuwe context, namelijk chatbots, en op berichten in de Nederlandse taal.
Dit type uitdaging is uitermate geschikt voor een jumpstart. In een jumpstart bouwen we in één of twee weken een technisch werkend prototype dat we vervolgens testen met echte gebruikers. Zo krijgen we in korte tijd antwoord op vragen als: wat is technisch haalbaar? En: wat vinden gebruikers ervan? Deze antwoorden vormen een goede validatie of het waard is om verder te investeren in een idee, zoals bijvoorbeeld bij de jumpstart met PON het geval was.

Prototype en gebruikstest
De technische haalbaarheid hebben we gevalideerd door een prototype te bouwen. Hierbij hebben we gekeken of we sentimentanalyse kunnen toepassen in de bestaande techstack van de chatbot, en welke kwaliteit we kunnen verwachten van de ML-modellen. Voor het testen van de kwaliteit van verschillende machine learning-modellen hebben we historische data geanonimiseerd en erna geanalyseerd. Op die manier hebben we uitgevonden welk model het meest geschikt is.
Dit prototype hebben we vervolgens ingezet bij de gebruikstest. Uit deze test kwam helder naar voren hoe gebruikers zich verhouden tot een chatbot. Hierdoor konden we vragen beantwoorden over de rol van sentiment in een gesprek, en welke vormen van personalisatie wel en niet werken. 

Resultaat
Deze jumpstart bestond uit drie delen: datastudie, gebruikstest en technisch prototype. Het resultaat was dan ook drieledig. Dankzij deze jumpstart van één week heeft PostNL met een kleine investering kunnen valideren of een innovatief concept als sentimentanalyse op dit moment van toegevoegde waarde is voor hun chatbot.