Verstaat een AI-telefoonassistent je klanten - met accent, op een slechte lijn en al?

Een AI-telefoonassistent zal een deel van je bellers verkeerd verstaan. In de Nederlandse studie hieronder lag de word error rate van een spraakherkenner bij telefoongesprekken bijna vier keer zo hoog als bij nieuwsuitzendingen, en drie studies zagen spraakherkenning slechter presteren bij sommige accenten en dialecten dan bij andere. Mensen verstaan telefoongesprekken ook verkeerd: in de benchmark van Microsoft hadden professionele transcribenten een word error rate van 5,9% op opgenomen telefoongesprekken tussen mensen die elkaar net kenden. Of de klus wordt ingepland, hangt volgens mij af van wat de assistent doet als hij het niet zeker weet.

Hoe vaak verstaat spraakherkenning een telefoongesprek verkeerd?

Een word error rate is een standaardmaat voor hoe ver een transcript afwijkt van een zorgvuldige menselijke versie, en op de veelgebruikte testset met opgenomen telefoongesprekken hieronder blijft die boven nul, voor machines en voor professionele transcribenten.

De onderzoekers van Microsoft maten de menselijke kant in een technisch rapport dat in februari 2017 werd herzien. Ze lieten professionele transcribenten de NIST 2000-testset uittypen: opgenomen telefoongesprekken uit de taak waartegen spraakonderzoekers sinds de jaren 90 testen. De transcribenten hadden een word error rate van 5,9% waar net kennisgemaakte tweetallen over een opgegeven onderwerp praatten, en 11,3% waar vrienden en familie vrijuit praatten. Het eigen systeem van Microsoft kwam uit op 5,8% en 11,0%. De kanttekening die het rapport bij dat verschil plaatst: dezelfde informele toon, meerdere sprekers per kanaal en opnameomstandigheden die de gesprekken tussen vrienden en familie lastig maken voor computers, maken ze volgens de onderzoekers ook lastig voor mensen.

Een telefoongesprek is een lastig geval. Een Nederlandse spraakherkenner die een onderzoeksteam van de TU Delft trainde voor een studie uit 2021 had een word error rate van 5,5% bij nieuwsuitzendingen en 20,8% bij telefoongesprekken: bijna vier keer zo hoog. Het rapport van Microsoft noemt telefoongesprekken bijzonder lastig, omdat de spraak spontaan is en vol zelfcorrecties en aarzelingen zit.

Maken accenten het erger?

Ja, meetbaar, in het Nederlands en in het Engels. Drie studies, vier soorten sprekers:

• Nederlands als tweede taal. Dezelfde Nederlandse studie vond dat de spraak van mensen met Nederlands als moedertaal veel beter werd herkend dan die van anderstaligen, ongeacht hun leeftijd. Bij de anderstalige volwassenen die ze testten, van het laagste niveau, A1, tot B1, hielp beter Nederlands niet: de onderzoekers vonden geen verband tussen taalniveau en hoe goed het systeem het deed. Ze geven twee mogelijke verklaringen. Op die niveaus ligt de nadruk meer op woordenschat en grammatica dan op uitspraak, zodat de uitspraak weinig verschilt tussen de niveaus, en een taalniveau is misschien gewoon een slechte maatstaf voor hoe sterk iemands accent is.
• Vlaams. Hetzelfde systeem, alleen getraind op spraak uit Nederland, deed het in elke leeftijdsgroep behalve de 65-plussers slechter op Vlaamse sprekers dan op welke Nederlandse regio ook. De auteurs wijten dat aan het grote verschil in accent tussen de twee.
• Engels van over de hele wereld. Het Edinburgh International Accents of English Corpus bestaat uit bijna 40 uur videogesprekken tussen vrienden, in Engels als eerste en als tweede taal. In het artikel uit 2023 bij het corpus had het beste model een word error rate van 19,7%, tegenover 2,7% bij helder voorgelezen Amerikaans Engels, en de auteurs zagen elk model terugvallen bij sprekers van Indiaas, Jamaicaans en Nigeriaans Engels.
• Een Amerikaans dialect. Een studie uit 2020 in PNAS liet interviews uitschrijven door vijf commerciële spraakherkenners, van Amazon, Apple, Google, IBM en Microsoft. Hun gemiddelde word error rate was 35% bij zwarte sprekers en 19% bij witte sprekers. Telt een transcript met een word error rate boven 50% als onbruikbaar, zoals de auteurs aannamen, dan gold dat voor 23% van de audiofragmenten van de zwarte sprekers en 1,6% van die van de witte. De auteurs wijten het verschil vooral aan de akoestische modellen van de systemen, en vermoeden dat die in de war raken door hoe African American Vernacular English klinkt.

In de tests van Edinburgh hielden de sterkere modellen beter stand: Whisper en het commerciële model dat het testte presteerden consistenter over accenten heen dan de modellen op academische schaal. Geen van deze studies mat een AI-telefoonassistent op echte zakelijke gesprekken, en de nieuwste is uit 2023, dus gebruik deze cijfers om te zien waar het probleem zit, en test de systemen van vandaag zelf.

Waarom een word error rate geen percentage mislukte afspraken is

Dit deel is mijn eigen redenering. Een afspraak hangt aan een handvol feiten: wie er belt, waar de klus is, wat er mis is en wanneer je kunt komen. Een weggevallen "de" of een verkeerd verstaan "echt" laat alle vier intact. "Er komt water onder de cv-ketel vandaan" met één woord minder is nog steeds een lekkage bij de ketel.

De feiten die er wel toe doen, zijn juist de lastige om te verstaan. Jansen en Janssen zijn allebei veelvoorkomende Nederlandse achternamen en worden hetzelfde uitgesproken, dus een naam die je perfect verstaat, kan nog steeds verkeerd in het dossier komen. Straatnamen en telefoonnummers gaan op dezelfde stille manier mis: een verkeerd verstane straat wijst nog steeds naar een echt huis van iemand anders, en een terugbelnummer met één verkeerd cijfer belt een vreemde, terwijl de beller van wie het goede nummer is nooit meer iets van je hoort.

De nuttige vraag over elke AI-telefoonassistent is dus of hij die feiten met de beller controleert voordat hij ze opschrijft. Een verkeerd verstaan woord dat tijdens het gesprek wordt rechtgezet, kost een paar seconden.

Een verkeerd verstaan woord dat de beller verbetert, kost een paar seconden. Een dat op de werkbon belandt, kan de bus naar de verkeerde deur sturen.

Wat doet de assistent van SwiftGuard als hij het niet zeker weet?

Hij leest de feiten die ertoe doen terug aan de beller en wacht op een ja. Zijn instructies, zoals de code ze vandaag bevat:

Wat er mis kan gaan	Wat de assistent doet
De naam van de beller	Spelt hem letter voor letter terug ("dat is J-A-N-S-S-E-N, klopt dat?") en wacht op een ja voordat hij in een dossier komt
Het adres	Vraagt om de postcode en het huisnummer in plaats van de straat, leest de straat en plaats terug die de kaart vindt, en plant niets in tot de beller ja zegt
Een terugbelnummer	Leest de cijfers in kleine groepjes terug en wacht op een ja; het nummer waarmee ze bellen, komt uit de nummerweergave
Iets dat hij niet verstond	Vraagt de beller het nog eens te zeggen
De taal van de beller	Wisselt alleen als daarom wordt gevraagd, of na een hele zin in een andere taal; begrijpt hij iemand twee beurten achter elkaar niet, dan vraagt hij in het Engels welke taal ze willen
Alles wat hij daarna nog niet kan oplossen	Neemt een bericht aan, zodat jij ze kunt terugbellen

Het opnieuw vragen heeft een grens. Als hij een bestaande klant opzoekt en de postcode en het huisnummer kloppen niet, vraagt hij er nog één keer om, omdat zijn instructies een slechte lijn als de gebruikelijke reden noemen. Na een tweede misser stopt hij met vragen en biedt hij in plaats daarvan aan een code te sms'en naar het nummer waarmee ze bellen. Zijn instructies verbieden hem een antwoord voor de beller in te vullen.

Wat taal betreft: hij spreekt Engels, Nederlands, Duits, Frans, Italiaans en Spaans. Hij opent in de taal die voor je bedrijf is ingesteld. Die instelling, die jij kiest, bepaalt de begroeting. Een beller die iets anders spreekt, hoort in het Engels in welke talen hij kan helpen. Hij luistert met het Nova-3-model van Deepgram, op de EU-servers van Deepgram, en elk gesprek geeft dat model je bedrijfsnaam mee en, voor Engels en Nederlands, een lijst vak- en afspraakwoorden zoals "hoofdkraan" of "cv-ketel".

Wat hij niet kan, is de beller live naar jou doorverbinden. Als hij niet kan helpen, is de weg naar een mens het bericht dat hij aanneemt, en jouw terugbelactie.

Waar heeft hij het nog steeds moeilijk mee?

Met de gesprekken waarin de lijn zelf het probleem is. Een beller op de vluchtstrook of met één streepje bereik krijgt de vraag het te herhalen. Komen twee beurten achter elkaar verminkt binnen, dan lezen de instructies van de assistent dat als een teken dat de beller misschien een taal spreekt waar de assistent niet naar luistert, dus vraagt hij in het Engels welke taal ze willen, en die vraag kan iemand krijgen die al die tijd de goede taal sprak. Lukt verder niets, dan zeggen zijn instructies dat hij een bericht voor je aanneemt. Je krijgt de lead nog steeds, en een terugbelactie voordat de klus in je agenda staat.

Het andere zwakke punt is de beller die geen van de zes talen spreekt. De assistent vertelt in het Engels in welke talen hij kan helpen, en vraagt welke daarvan de beller wil gebruiken.

Hoe de rest van het gesprek werkt, van de begroeting tot de afspraak in je agenda, is een eigen artikel. En als je zorg minder "verstaat hij ze wel" is dan "hangen ze niet op", dan staan in wat bellers echt doen als AI opneemt de enquêtecijfers.

Hoe kom je erachter of hij jouw bellers verstaat?

Controleer eerst op je eigen gesprekken hoe hij het doet, voordat je hem ze allemaal toevertrouwt.

1. Begin met alleen de gesprekken die je mist. Schakel de oproepen door die je telefoon niet beantwoordt en neem de rest zelf op; de doorschakelcodes staan hier.
2. Lees de transcripten. SwiftGuard bewaart de opname van elk gesprek maximaal 90 dagen, en het uitgeschreven gesprek tot het gesprek 90 dagen oud is, zodat je kunt nagaan wat hij hoorde tegenover wat de beller zei.
3. Bel hem vanaf een lastige plek. Vraag degene met het zwaarste accent die je kent om te bellen vanuit de bus met de motor aan, en controleer dan de naam en het adres die op de afspraak terechtkwamen.

Komt hij daardoor, schakel dan meer door. Kies je nog tussen leveranciers, doe dan dezelfde drie tests bij elk; de rest van de checklist voor een demo staat hier. Wil je SwiftGuard op je eigen bellers uitproberen, dan staan de abonnementen hier.