De realiteit van AI kan weerbarstig zijn, zoals het geval-Fable leert

Anthropic rolde onlangs een variant van Mythos uit onder de naam Fable. Maar de pret was van korte duur; gebruik ervan door buitenlanders werd verboden door de Amerikaanse overheid. In dit blog zullen we hier verder op ingaan.

In het vorige blog hadden we het onder andere over beveiligingsmaatregelen die de belangrijkste leveranciers van AI-modellen hebben genomen. Hier ging het met name over beveiliging van vertrouwelijke gegevens, ingevoerd door de gebruiker zelf. Met de aankondiging van Mythos, het nieuwste model van Anthropic, groeide ook een andere zorg. Mythos was in staat om in bestaande software zwakheden te ontdekken die niet eerder door mensen zijn gevonden. Te riskant om openbaar te maken, aldus Anthropic. Vandaar dat zij zijn gestart met project Glasswing.

Blijdschap

Voor de gewone sterveling was er op 9 juni goed nieuws: Anthropic rolt een variant van Mythos uit onder de naam Fable. In no time stond het internet vol met de meest bizarre use cases, van indrukwekkende interactieve kaarten, naar een kopie van Minecraft met een prompt van vier woorden tot een volledig werkend technisch ontwerp van een V8 motor. Overigens is Fable niet per se beter in het opstellen van contracten of het ophalen van informatie uit juridische documenten.

Toch niet

De pret was echter niet van lange duur, want al snel waren medewerkers van Amazon in staat om met behulp van Fable in vier verschillende applicaties beveiligingslekken te vinden. Amazon zou de overheid hebben gevraagd het model offline te halen; vijf andere bedrijven belden ook met ambtenaren. Daarnaast heeft de Amerikaanse overheid aanwijzingen dat een Chinese groep toegang tot Mythos had gekregen.

Het gevolg: de Amerikaanse overheid heeft, met een beroep op nationale veiligheid, een exportrestrictie opgelegd die alle toegang tot Claude Fable 5 én Mythos 5 verbiedt voor buitenlanders (zowel binnen als buiten de VS) inclusief Anthropics eigen niet-Amerikaanse werknemers. Omdat uitsluiten op nationaliteit nooit honderd procent waterdicht is, heeft Anthropic besloten beide modellen wereldwijd helemaal offline te halen. Alle andere Claude-modellen blijven vooralsnog gewoon werken.

Anthropic heeft direct gehoor gegeven aan het verzoek, maar is het er openlijk mee oneens. Zij stellen dat het gaat om een narrow, non-universal jailbreak. Hiermee wordt bedoeld dat het model is gevraagd een codebase te lezen en softwarefouten te fixen. Er is volgens Anthropic dan ook geen universele jailbreak gevonden, ook niet na duizenden uren red-teaming met de Amerikaanse overheid. Ze voegen hieraan toe dat als dit de norm wordt, alle nieuwe frontier-modellen tegengehouden zullen worden. Ze noemen het een misverstand en willen toegang zo snel mogelijk herstellen.

Impact in Europa

Eerder deze maand heeft de Amerikaanse overheid een besluit uitgevaardigd waarin ontwikkelaars van AI-modellen worden opgeroepen om de overheid vrijwillig toegang te geven tot het model voordat dit op de markt wordt gebracht. Dit besluit is met name gericht op modellen met impact op het gebied van informatiebeveiliging. Daarnaast is Anthropic verwikkeld in een rechtszaak omdat de Amerikaanse overheid de organisatie heeft aangemerkt als ‘toeleveringsrisico voor de Amerikaanse veiligheid’. Anthropic heeft duidelijk gemaakt dat de door hen ontwikkelde modellen geenszins betrokken mogen worden bij militaire besluitvorming (zoals de ontwikkeling van autonome wapens en massasurveillance). Of deze ontwikkelingen daadwerkelijk een rol hebben gespeeld in het besluit van de Amerikaanse overheid is niet duidelijk.

Wel is met deze ontwikkeling duidelijk geworden hoe weerbarstig de realiteit kan zijn. Het ene moment heb je het nieuwste model tot je beschikking en het andere moment kun je het niet meer gebruiken. Dit roept de vraag op in hoeverre je bij het selecteren van een geschikte AI-oplossing rekening moet houden met dergelijke ontwikkelingen. Hiermee worden zaken als portabiliteit van data en workflows steeds belangrijker indien je werkt in een tool die aangestuurd wordt door één model. Systemen die model-agnostisch zijn, hebben een aanzienlijk voordeel nu zij eenvoudiger kunnen wisselen van model. Dat is de flexibiliteit die je als gebruiker misschien wel nodig hebt.

Met het terugdraaien van de uitrol van Fable 5 is Mistral ook weer iets meer in de spotlight komen te staan. Over het algemeen scoren de modellen van Mistral minder goed dan de Amerikaanse modellen, maar het voorkomt wel dat je te maken krijgt met de grillen van de Amerikaanse overheid.

Dit soort ontwikkelingen laten zien hoe belangrijk het is om bewuste keuzes te maken over welke AI-tools je inzet en daar helpen wij bij. Bij ons is AI niet alleen een juridisch specialisme, maar zetten we het ook in om juridische afdelingen slimmer te laten werken. We weten uit eigen ervaring hoe technologie juridisch werk efficiënter en effectiever maakt. Benieuwd hoe jij strategische én verantwoorde AI-keuzes maakt voor jouw organisatie? Plan een vrijblijvend gesprek in.