Generatieve AI kan een eenvoudige klacht of vraag in korte tijd laten uitgroeien tot een omvangrijk juridisch stuk vol met AI-slop. En zo’n stuk hoeft helemaal niet afkomstig te zijn van iemand die bewust zoveel mogelijk werk wil veroorzaken. De indiener kan ook simpelweg denken dat meer argumenten zijn zaak sterker maken.
Dan ligt een praktische reactie voor de hand: als AI de hoeveelheid werk veroorzaakt, moeten we het AI-gebruik aan de voorkant beperken. Een verbod op ChatGPT-gebruik bij klachten. Een vinkje waarmee iemand moet verklaren of AI is gebruikt. Een maximum van vijf pagina’s. Of misschien een AI-detector, zodat medewerkers in ieder geval weten wat ze voor zich hebben.
Sommige van die maatregelen kunnen de hoeveelheid werk daadwerkelijk verminderen. Maar ze hebben een belangrijk probleem: ze selecteren op de verkeerde eigenschap.
Een AI-detector vertelt niet wat je moet behandelen
Stel dat een detector met grote zekerheid meldt dat een bezwaarschrift met ChatGPT is geschreven. Wat weet de behandelaar dan? Eigenlijk nog niets wat voor de inhoudelijke behandeling beslissend is.
De feiten kunnen kloppen. De aangehaalde uitspraak kan relevant zijn. De argumentatie kan zelfs beter zijn dan wat de indiener zonder AI had kunnen formuleren. Andersom kan een volledig zelfgeschreven brief tien pagina’s herhaling, irrelevante juridische stellingen en feitelijke fouten bevatten.
De interessante vraag is daarom niet wie de woorden heeft geproduceerd, maar welk werk die woorden van de organisatie vragen.
Daar komt bij dat betrouwbare herkenning van AI-tekst lastig is. Mensen kunnen gegenereerde tekst aanpassen, taalmodellen produceren steeds natuurlijker tekst en detectors kunnen ook menselijke tekst als AI aanmerken. Dat maakt detectie al snel een zwakke basis voor beslissingen over hoe serieus een stuk moet worden genomen.
Bovendien: in veel situaties is er helemaal geen wettelijke basis om een klacht of verzoek af te wijzen enkel op basis van het argument “dit is met AI geproduceerd”. Onbegrijpelijke, excessief lange klachten: zeker. Maar op begrijpelijkheid of lengte letten detectors niet, dat moet nog steeds inhoudelijk worden vastgesteld én onderbouwd.
Dan maar verplicht melden?
Een mildere variant is de indiener vragen om zelf aan te geven dat AI is gebruikt. Dat kan in sommige situaties nuttige context opleveren. Maar ook hier blijft dezelfde vraag liggen: wat doe je vervolgens anders?
Als een burger verklaart ChatGPT te hebben gebruikt om zijn eigen verhaal beter op papier te krijgen, is dat op zichzelf geen reden voor een andere inhoudelijke beoordeling. En als iemand het vakje niet aankruist, is een lang en ingewikkeld stuk nog steeds lang en ingewikkeld.
Een meldplicht kan dus informatie opleveren over hoe een tekst tot stand kwam. Het probleem van AI-slop zit juist in wat die tekst vervolgens aan behandelwerk veroorzaakt.
Een woordlimiet werkt wél, maar waarop?
Een maximumaantal woorden of pagina’s is vrij logisch als maatregel tegen ellenlange teksten. Wie maximaal 2.000 woorden mag indienen, kan nu eenmaal geen 12.000 woorden insturen. Dat kan dus heel concreet capaciteit besparen.
De keerzijde is dat zo’n grens geen onderscheid maakt tussen nuttige en nutteloze tekst. Een ingewikkelde zaak kan daadwerkelijk veel toelichting vereisen. Iemand die moeite heeft om zijn verhaal te structureren, kan juist extra ruimte nodig hebben. En wie ChatGPT vertelt dat het binnen 2.000 woorden moet, krijg keurig 1.999 woorden met twintig juridische stellingen en argumenten.
Hetzelfde geldt voor verplichte formulieren. Een goed ontworpen formulier kan enorm helpen: wat is er gebeurd, tegen welk besluit richt u zich, wat wilt u dat er verandert? Daarmee help je iemand zijn probleem te structureren en voorkom je dat een behandelaar dat later zelf moet reconstrueren. Maar een formulier wordt problematisch zodra de organisatie daarmee vooral bepaalt welke klachten zij graag wil ontvangen. Structuur mag helpen ordenen; zij moet niet ongemerkt relevante inhoud buiten de procedure houden.
Instroommaatregelen kunnen de totale behandellast dus best verminderen. Hun zwakte is niet dat ze per definitie ineffectief zijn. Hun zwakte is dat ze vaak slecht selecteren tussen nuttige toegankelijkheid en vermijdbaar behandelwerk.
En wanneer wordt het misbruik?
Bij zeer omvangrijke of herhaalde correspondentie valt ook steeds vaker het woord misbruik. Zeker wanneer op ieder antwoord binnen enkele minuten weer een nieuw document van tien pagina’s volgt, is de frustratie begrijpelijk.
Maar ook hier is het riskant om rechtstreeks van de tekst naar de intentie te springen.
Dat iemand twintig argumenten instuurt, bewijst nog niet dat hij twintig argumenten heeft bedacht om de organisatie dwars te zitten. Zoals we in het vorige blog zagen, kan iemand ook oprecht denken dat hij zijn zaak juist zorgvuldig en overtuigend presenteert.
Dat betekent niet dat misbruik niet bestaat of dat organisaties nooit grenzen mogen stellen. Gedrag, frequentie, dossierverloop en concrete omstandigheden kunnen daar alle reden toe geven.
Maar “dit lijkt door ChatGPT gemaakt” is geen diagnose van misbruik. En “deze persoon weet vermoedelijk niet precies wat al deze argumenten betekenen” evenmin.
Kijk naar het probleem dat je wilt oplossen
De oplossing zit niet in maatregelen aan de voorkant. Het gaat om de vraag welk werk je probeert te voorkomen.
-
Moeten medewerkers steeds dezelfde grief in zes formuleringen behandelen? Dan is herhaling het probleem.
-
Kost het veel tijd om aangehaalde uitspraken te controleren? Dan is verificatie het probleem.
-
Raakt niemand meer wijs uit wat de indiener eigenlijk wil? Dan is afbakening het probleem.
Pas daarna kun je beoordelen of een maatregel daarbij helpt.
Een telefonisch contactmoment kan bijvoorbeeld uitstekend zijn wanneer onduidelijk is wat iemand precies wil. Maar “we bellen iedereen bij wie de AI-detector aanslaat” koppelt een mogelijk goede behandelhandeling aan een slechte aanleiding.
Hetzelfde geldt voor een formulier, een paginalimiet of een waarschuwing aan veelklagers. De eerste vraag moet steeds zijn: welke handeling van onze medewerkers hoeft hierdoor minder vaak of minder lang plaats te vinden, en raken we daarmee ook daadwerkelijk het probleem dat voor die extra arbeid zorgt?
Niet AI-gebruik, maar behandelproblemen herkennen
Daarmee verschuift de aandacht van de productiewijze naar de inhoud van het werk.
Dat is belangrijk omdat organisaties anders gemakkelijk nieuwe drempels optrekken voor precies de mensen die dankzij generatieve AI voor het eerst in staat zijn hun probleem behoorlijk onder woorden te brengen.
De uitdaging is dus niet om iedere vorm van frictie weg te houden. Soms is structurering nodig en soms mogen grenzen worden gesteld. Maar die moeten zo veel mogelijk aansluiten bij het concrete behandelprobleem, niet bij de verdenking dat ergens ChatGPT is gebruikt.
In het volgende blog kijken we daarom naar die behandelproblemen zelf. Een lang AI-ondersteund stuk kan namelijk op vier heel verschillende manieren extra werk veroorzaken: door Volume, Verjuridisering, Verificatie en Vervreemding. En juist dat onderscheid bepaalt welke aanpak vervolgens werkt.
AI-slop webinar en trainingen
Op 27 oktober en 3 november verzorgt Arnoud Engelfriet en interactief webinar over AI-slop in je dossier. Je maakt kennis met het Vier V's-model: Volume, Verjuridisering, Verificatie en Vervreemding. Voor elk probleemtype krijg je een concrete aanpak.
De inhouse middagtraining AI-slop in de organisatie helpt je werkbaar beleid te formuleren en handvatten te ontwikkelen om AI-slop te beheersen.
Advocaten en bedrijfsjuristen leren bij de Studiedag AI in de procespraktijk hoe om te gaan met AI-slop en gehallucineerde bronnen, maar ook deepfakes, gemanipuleerd bewijs en bias in AI-besluitvorming.
Lees hier het volgende blog uit de reeks.
