Een overtuigende demonstratie vertelt nog weinig over de momenten waarop jouw klanten vastlopen. Wat moet een toepassing dan doen en wanneer wil je dat er iemand meekijkt?

Bepaal vóór de proef welke taak moet lukken en welke fouten je niet accepteert. Kijk daarna naar echte praktijksituaties, de hulp die gebruikers nodig hebben en het werk dat bij jou terugkomt.

Het beeld bovenaan toont het klikbare boekidee-scanprototype voor Auteurscollege. Daarmee bespreken we de vragen, uitkomst en vervolgstap.

Wat moet een prototype aantonen?

Een prototype is een eerste versie waarmee je een belangrijke aanname onderzoekt. Dat kan een klikbare route zijn, een werkende inhoudelijke reactie of een beperkte combinatie daarvan. Vraag vooraf wat echt werkt en wat alleen is uitgebeeld.

Je wilt weten…	Dan moet je kunnen bekijken…	Wat daarmee nog niet is aangetoond
Of iemand de stappen begrijpt	Iemand doorloopt de route en vertelt wat die verwacht.	Dat de verwerking achter de schermen werkt.
Of de inhoud klopt	Reacties op voorbeelden met vooraf beschreven beoordelingscriteria.	Dat gebruikers er zelfstandig mee verderkomen.
Of de uitkomst helpt	Iemand gebruikt de uitkomst voor de bedoelde vervolgstap.	Dat het op langere termijn waarde blijft bieden.
Of het in je bedrijf past	Gebruik inclusief controle, overdracht en herstel.	Dat het bij veel meer gebruikers even goed blijft gaan.

Als de inhoudelijke reactie nog niet klopt, heeft een grotere gebruiksproef weinig zin. Kies de proef die de eerstvolgende beslissing kan onderbouwen.

Wat betekent ‘goed’ bij jouw taak?

Neem als fictief voorbeeld een hulpmiddel dat een klantgesprek voorbereidt. Het moet de laatste afspraken samenvatten, open punten aangeven en enkele vragen voorstellen.

Dan kun je vooraf afspreken dat iedere genoemde afspraak terug te vinden moet zijn in de aangeleverde bronnen. Ontbreekt informatie, dan moet de voorbereiding dat aangeven. Een voorstel voor een vervolgvraag mag niet als een al genomen besluit worden gepresenteerd.

Zo maak je kwaliteit bespreekbaar. ‘Het moet mijn stijl hebben’ is moeilijker te toetsen dan: ‘Het vraagt eerst wat de klant al heeft geprobeerd voordat het een volgende stap voorstelt.’ Voor het vastleggen van zulke afwegingen kun je verder lezen over je eigen aanpak herkenbaar maken in AI.

Welke voorbeelden moet je gebruiken?

Begin met een kleine, gevarieerde verzameling situaties die je goed kent. Neem een gewoon geval, een uitzondering en een geval met ontbrekende of tegenstrijdige informatie. Voeg ook een vraag toe waarop de toepassing geen zelfstandig antwoord hoort te geven.

Bewaar een paar voorbeelden die niet zijn gebruikt bij het bouwen of aanpassen. Daarmee onderzoek je of de toepassing ook buiten de bekende voorbeelden doet wat je bedoelt. Laat belangrijke situaties meer dan eens uitvoeren, zodat je eventuele verschillen ziet.

Dat sluit aan bij de evaluatierichtlijnen van OpenAI: toets op de eigen taak, gebruik representatieve voorbeelden en blijf na veranderingen evalueren. Een kleine eerste proef geeft richting; ze bewijst geen algemene betrouwbaarheid.

Hoe groot maak je de eerste proef?

Een praktisch begin voor een interne taak die je zelf controleert: verzamel vijf situaties, bijvoorbeeld twee gewone gevallen, een uitzondering, een geval met ontbrekende informatie en een vraag buiten de taak. Laat ze elk twee keer uitvoeren en bespreek de verschillen. Met deze eerste verkenning ontdek je waar verder onderzoek nodig is.

Het voorbereiden en uitvoeren van zo’n proef kun je samen doen. Ik help de vraag te vertalen naar een concrete proef en maak zichtbaar wat de uitkomsten betekenen voor het ontwerp. Jij brengt je vakkennis in: herken je jouw afwegingen en helpt dit je klant op de manier die je voor ogen hebt? Bij antwoorden die rechtstreeks naar klanten gaan of besluiten met grotere gevolgen is een uitgebreidere beoordeling nodig.

Kijk ook naar de manier waarop iemand geholpen wordt

Bij de ontwikkeling met Marieke Pijler gaf de chat tijdens een proef zoveel uitleg dat de cliënt nauwelijks ruimte overhield om te reageren. De reactie kon inhoud bevatten en toch niet passen bij de beoogde begeleiding.

Daarom zijn de instructies aangepast. In de volgende proef kijken we of de chat bij de vraag blijft en ruimte laat voor de cliënt. De gewenste manier van begeleiden bepaalt hier wat we aan de toepassing veranderen.

Bekijk daarom naast juistheid ook wat de reactie van de gebruiker vraagt. Begrijpt iemand de vraag? Is de hoeveelheid uitleg passend? Weet diegene wat daarna te doen? Een toepassing kan op één van die punten vastlopen terwijl de tekst verzorgd oogt.

Houd bij hoeveel jij nog moet helpen

Tijdens een demonstratie geef je gemakkelijk extra uitleg of kies je precies het voorbeeld dat goed werkt. Noteer die hulp zodra je zelfstandig gebruik wilt onderzoeken.

Onderstaand fictief proefverslag laat zien hoe je bevindingen vastlegt. De kolom met het gevolg bepaalt wat je daarna doet:

Situatie	Wat moest er gebeuren?	Wat gebeurde er werkelijk?	Gevolg voor het vervolg
Informatie ontbreekt	De toepassing vraagt om verduidelijking.	Ze vult een afspraak zelf in.	Eerst aanpassen; nog niet voor deze taak gebruiken.
Gewone voorbereiding	De actuele afspraak staat met de juiste bron klaar.	De inhoud klopt, maar de gebruiker vindt de bron niet.	Bronweergave verduidelijken en opnieuw proberen.
Vraag buiten de taak	De toepassing benoemt haar grens.	Ze verwijst naar de afgesproken menselijke hulp.	Deze situatie is in de proef passend afgehandeld.

Een kleine tekstfout vraagt een andere reactie dan een verzonnen afspraak.

Wanneer kun je het in gebruik nemen?

Spreek vooraf af welke fouten een volgende stap blokkeren, welke menselijke controle nodig blijft en wie ingrijpt als iets misgaat. Laat iemand die op de echte gebruiker lijkt de taak doorlopen. Noteer ook hoeveel tijd controle en herstel kosten.

Voor een concepttekst die je zelf nakijkt, kun je andere grenzen hanteren dan voor een antwoord dat direct bij een klant terechtkomt. Neem bij twijfel een kleinere stap: intern gebruiken, de taak beperken of de uitkomst eerst laten beoordelen.

Als je tijdens de proef steeds veel moet herstellen, is dat onderdeel van de uitkomst. Misschien moet de uitleg anders, ontbreekt er kennis of is de taak nog te breed. Meer bouwen is dan één mogelijke reactie; vereenvoudigen of stoppen kan ook passend zijn.

Wanneer moet je opnieuw testen?

Bewaar de voorbeelden, de gebruikte versie en je bevindingen. Na een wijziging in instructies, kennis, model of koppelingen wil je de belangrijkste situaties opnieuw bekijken. Let daarbij ook op wat eerder goed ging.

Tijdens echt gebruik komen nieuwe situaties naar boven. Voeg relevante gevallen toe en spreek af waar gebruikers fouten of onduidelijkheden kunnen melden. Daarmee blijft beoordelen onderdeel van het werk.

Wil je weten wat een eerste versie moet laten zien? Met Business Reshape bepalen we wat we onderzoeken en maken we een prototype. Jij beoordeelt de inhoud; ik vertaal wat we zien naar keuzes voor het vervolg.

Hoe weet je of een AI-toepassing goed genoeg werkt?