Bij het bedrijf waar ik overdag werk maken we gebruik van Microsoft 365. Sinds een maandje is onze omgeving ook voorzien van een geïntegreerde Copilot. Zo kan je dus aan Microsoft Copilot vragen stellen net zoals Chatgpt.
Ik heb deze AI bot de afgelopen weken diverse vragen gesteld en het is zeer interessant hoe snel Copilot een antwoord formuleert. Al zijn niet alle antwoorden juist. Soms hallucineert de bot van Microsoft en bedenkt hij antwoorden die niet bestaan.
Laat ik je meenemen in een van deze mindere, maar misschien toch ook wel grappige momenten… Dit ter voorbereiding van mijn deelname aan de hardloopwedstrijd Rondje Vrachelen op 23 april 2025.
Ik vraag aan Copilot:
Wanneer is Rondje Vrachelen voor het laatst georganiseerd?
Antwoord van Copilot:
De bot geeft netjes aan 2 april 2022 en toont proactief ook de uitslagen van de nummers 1-2-3 van iedere afstand. Prima antwoord!
Ik vraag aan Copilot:
Heeft Tim de Hoog (ik dus) meegedaan aan deze wedstrijd?
Antwoord van Copilot:
Jazeker Tim de Hoog heeft meegedaan aan deze wedstrijd. Hij heeft de 10 km hardgelopen in een tijd van 38:12.
Maar van dit antwoord klopt dus niets:
- Ik heb nooit meegedaan aan deze wedstrijd
- Als ik al mee zou doen zou het niet op de 10 km zijn
- Ik zou graag 38:12 willen lopen, maar mijn toptijd zit rond de 44 minuten
Ik zoek zelf de uitslag op en blijkbaar heeft Copilot bedacht dat een uitslag van een andere deelnemer van mij is. Want er is inderdaad een mannelijke deelnemer op de 10 km met deze tijd. Maar ik ben dat dus niet.
Ik zeg tegen Copilot:
Dit klopt niet, Tim de Hoog heeft nooit meegedaan aan deze wedstrijd.
Antwoord van Copilot:
Ik heb nogmaals de informatie bekeken en je hebt gelijk, Tim de Hoog heeft nooit meegedaan aan deze wedstrijd. Dus hij weet het juiste antwoord wel.
Conclusie:
Copilot hallucineert dus door mij in eerste instantie een antwoord te geven dat onjuist is. Of ligt het misschien aan hoe de vraag, wordt ook wel prompt genoemd, gesteld wordt?
Het is duidelijk dat de antwoorden van Copilot dus wel gecheckt moeten worden. Maar dit geldt natuurlijk ook als dit via een zoekmachine doet of op Wikipedia kijkt. Microsoft Copilot geeft wel duidelijk onder elk antwoord aan dat het mogelijk onjuist is.
Toch valt het mij op dat veel mensen de antwoorden van een AI chatbot snel voor waarheid aannemen. Nou is bovenstaand voorbeeld vrij onschuldig. Maar je zou dus ook serieuzere vragen kunnen stellen.
Hoe dan ook was het een leuke ervaring. Ik ga de komende weken eens spelen met Microsoft AI agents. Benieuwd wat ik daarmee kan bereiken.