Chatbots weten niet alles

De Griekse filosoof Socrates zei ooit: "Ik weet dat ik niets weet." Zijn manier van denken was om steeds vragen te stellen. Zo kom je stap voor stap dichter bij de waarheid. Het zou mooi zijn als ChatGPT een beetje meer zoals Socrates was. De AI-chatbot geeft namelijk nooit toe dat hij iets niet weet. En het gaat hem ook niet altijd om de waarheid. Soms kloppen de antwoorden niet helemaal, of zelfs helemaal niet.

ChatGPT heeft nergens verstand van. Een chatbot levert vooral taal, geen echte kennis. Het systeem is getraind met enorme hoeveelheden tekst. Zo leert het patronen herkennen en woorden voorspellen. Eigenlijk is een chatbot gewoon een heel slimme woordengokker. Zitten er fouten in de teksten waarmee het systeem is getraind? Dan komen die fouten ook terug in de antwoorden.

Chatbots zijn pleasers. Ze zeggen nooit: "Ik weet het niet", maar verzinnen een antwoord. Zo verwijzen ze rustig naar zelfverzonnen wetgeving of zuigen een bron uit de duim. Deze kant van chatbots wordt 'hallucineren' genoemd. 

Soms zijn de antwoorden van een chatbot foutloos maar niet volledig. Dat komt omdat de chatbot niet weet in welke situatie de vraagsteller zich bevindt. Het systeem maakt simpelweg de tekst die het meest logisch klinkt bij de vraag. Stel dat je iets vraagt over wetgeving. Dan kan het antwoord gaan over Amerikaanse regels, terwijl jij de Nederlandse bedoelt. Of je vraagt om een vervanging voor keukenzout, en de chatbot noemt iets wat giftig is. Dat gebeurt omdat je er niet bij hebt gezegd dat het alternatief eetbaar moest zijn.

Neem het volgende voorbeeld uit de serie 'Geldflater' op AD.nl. Daarin laat een stel een granieten badkamervloer plaatsen. Kosten: tweeduizend euro. Na een tijdje ziet de man zwarte stipjes op de voegen. Volgens ChatGPT is dat schimmel, die je makkelijk kunt verwijderen met schoonmaakazijn. En dat klopt: de vlekjes verdwijnen. Maar wat ChatGPT er niet bij zegt, is dat azijn slecht is voor graniet. De vloer krijgt doffe, witte vlekken. En zo gaat een vloer van tweeduizend euro verloren.

Natuurlijk zijn ChatGPT, Copilot, Gemini en ander chatbots een waardevolle vraagbaak. Mits je een aantal spelregels aanhoudt.

1. Goede prompt
   Het begint met vraag die je stelt. Formuleer die duidelijk en ondubbelzinnig.
2. Context
   Voeg zoveel mogelijk informatie toe aan je vragen. Onthoud dat een chatbot niets snapt. Dus benoem alles wat relevant is.
3. Kleine stapjes
   Heb je een ingewikkelde vraag of opdracht, splits die op in kleinere vragen.
4. Broncontrole
   Vraag om bronvermelding. Lees de bronnen en ga na of het gegeven antwoord daarin te vinden is.
5. Nieuwe vragen
   Krijg je niet de antwoorden die je zou willen, stel de vraag dan opnieuw. In andere bewoordingen. Of voeg nieuwe informatie toe.

 Vind je innerlijke Socrates en blijf chatbots de baas.