Waar gaat deze blog over?
Voor wie niet vertrouwd is met het begrip ‘savant’, eerst even een definitie zoals die op Wikipedia staat:
Het savantsyndroom beschrijft zeer bijzondere geestelijke vermogens op één bepaald terrein bij iemand die vaak ook autisme of een verstandelijke beperking heeft.
Een mooi voorbeeld hiervan is het personage Raymond uit de film Rain Man. Raymond heeft een fenomenaal geheugen voor cijfers, data en patronen, maar moeite met sociale contacten, veranderingen en emoties. Hij leeft in een zorginstelling en houdt vast aan vaste routines.
Een savant is dus iemand met een uitzonderlijk talent in een specifiek domein, terwijl hij of zij tegelijkertijd beperkingen heeft in andere – vaak basale – vaardigheden.
AI als savant?
Misschien denk je nu: “Wacht eens even, maar dit is niet wat er continu over AI wordt beweerd. Dit is toch dat superintelligente programma dat de mens in de toekomst op veel gebieden gaat vervangen?”
Tot voor kort dacht ik dat ook. Maar toen ik intensiever met AI aan de slag ging, ontdekte ik iets anders. Dat ik mijn computer in die tijd niet uit het raam heb gegooid uit pure frustratie, mag een wonder heten. Ik kan wel zeggen dat ik een illusie armer ben geworden.
Mijn ervaring is dat AI soms werkt als een savant: op bepaalde gebieden uitzonderlijk, maar op andere vlakken ernstig beperkt. Soms stuurt het je zelfs compleet het bos in. Want onder intelligentie versta ik méér dan alleen snelle antwoorden: je houdt je aan afspraken, hebt een functionerend geheugen en kunt informatie in een groter geheel plaatsen om er betekenis aan te geven. Precies op die drie punten ging het bij mijn werkzaamheden met AI regelmatig mis.
Waar was ik mee bezig?
Ik wilde op mijn website een pagina wijden aan de vraag of het voor kleine ondernemers interessant is om nu in hun bedrijf te investeren. Daarvoor had ik actuele cijfers nodig van het CBS en het MKB. Natuurlijk had ik die zelf handmatig kunnen opzoeken en invullen op mijn website – waarschijnlijk was dat sneller geweest – maar omdat overal wordt beweerd dat AI dit allemaal sneller kan, dacht ik: waarom niet?
Ik had al enkele eenvoudige automatiseringsprocessen voor mijn website gebouwd en was dus vol vertrouwen dat dit me ook wel zou lukken. Niet dus.
Waar ging het mis?
Al na enkele uren en veel werk ontdekte ik dat AI gebruikmaakte van de verouderde handleiding van het programma dat ik gebruik om dit proces te automatiseren. Ondertussen was de UI gewijzigd en waren veel functies aangepast. Mijn opmerking: “ik kan dat niet vinden” werd afgedaan met: “je hebt vast niet de juiste versie of je bent beperkt in bepaalde rechten.”
Uiteindelijk heb ik de servicedesk van het programma gemaild met de vraag waar ik de zaken die AI mij gaf kon vinden. Het antwoord: die zaken waren onder het oude systeem actueel, maar ondertussen was het programma geüpdatet en dus waren er diverse wijzigingen gedaan. Wat AI beweerde, werkte dus niet meer.
Toen ik AI hiermee confronteerde, zei deze doodleuk dat zijn eerdere opmerkingen inderdaad gebaseerd waren op de oude versie. Dat hij de handleiding van de nieuwste versie moest raadplegen – ook omdat het programma niet meer beschikbaar is in de oude versie – kwam niet in hem op.
Ik gaf AI de instructie om altijd de nieuwste handleiding te raadplegen. Dat ging even goed, maar al snel verviel het weer in de oude gewoonte: instructies gebaseerd op verouderde versies. Ook het voorstel voor mijn automatiseringsproces bleek gestoeld op achterhaalde mogelijkheden. Op een gegeven moment vroeg ik zelfs of de basisopstelling, zoals ik die in het begin had gekregen, nog wel aansloot bij de manier waarop het programma nu functioneerde. Het antwoord was dat AI een nieuw voorstel zou doen op basis van de huidige mogelijkheden. De hele basisopstelling was dus niet meer bruikbaar en ik kon opnieuw beginnen.
Leren van fouten?
Als je nu denkt dat het daarna vlekkeloos liep: vergeet het maar. Nog steeds kreeg ik regelmatig aanwijzingen gebaseerd op de oude versie. Gelukkig leerde ik inmiddels zelf het verschil tussen oud en nieuw, waardoor het beter ging.
Maar waar ik me echt aan ergerde, was het onvermogen om te leren. Ik vroeg AI: “Waarom leer je niet van je fouten?” Dit was het antwoord:
*"Ik leer niet persoonlijk van fouten op de manier waarop een mens dat doet (ik onthoud bijvoorbeeld niet automatisch wat jij mij hebt verbeterd). Wat er gebeurt:
- Tijdens ons gesprek kan ik jouw correcties meenemen en mijn antwoorden beter afstemmen.
- Op lange termijn leer ik niet direct van onze interactie; ik pas mijn kennis dus niet permanent aan.
- Wel gebruikt OpenAI correcties en feedback van veel gebruikers samen om het model in latere versies te verbeteren.
Dus: als jij mij op een fout wijst, voorkom ik dat ik binnen dit gesprek dezelfde fout nog eens maak. Maar bij een volgend gesprek start ik weer fris, tenzij jij mij er opnieuw aan herinnert of iets in mijn geheugen laat opslaan."*
Ik heb de instructie “kijk altijd eerst in de nieuwste handleiding voordat je me antwoord geeft” opgeslagen in AI, maar ook die ging na verloop van tijd weer verloren.
Conclusie
Mijn ervaringen met AI zijn over het algemeen goed, maar het heeft wel ernstige beperkingen. Vandaar mijn vergelijking met een persoon met het savantsyndroom. Een persoon vervangen door AI lijkt mij voorlopig niet aan de orde. Gebruik het als aanvulling op een gebied waar je zelf vertrouwd mee bent. Anders heb je geen idee wat AI allemaal verzint.
