Meta laat AI-agenten eigen trainingsdata ontwerpen

De grootste uitdaging bij het trainen van moderne AI is de behoefte aan hoogwaardige data. Hoewel synthetische (door computers gegenereerde) data al langer bestaat, kampt deze vaak met een gebrek aan complexiteit of variatie. Meta’s nieuwe Autodata-systeem pakt dit aan door een AI-agent de volledige cyclus van een menselijke wetenschapper te laten nabootsen: het genereren van data, het handmatig inspecteren van voorbeelden, het meten van prestaties en het aanpassen van de strategie.

Agentic Self-Instruct

In een eerste praktische studie, genaamd Agentic Self-Instruct, liet Meta de AI-agent trainingsmateriaal ontwikkelen voor complexe wetenschappelijke vraagstukken. De agent stuurt hierbij vier sub-agenten aan: een ‘uitdager’ die opdrachten verzint, een ‘zwakke’ oplosser, een ‘sterke’ oplosser en een jury-model.

De kern van de methode is het vinden van de zogeheten ‘gap’. Het systeem is pas tevreden als het een trainingsopdracht heeft geformuleerd die de sterke AI wél kan oplossen, maar waar de zwakke AI op vastloopt. Dit zorgt ervoor dat de gegenereerde data uitdagend genoeg is om modellen echt iets nieuws te leren. Terwijl standaardmethoden vaak data produceren die óf te makkelijk óf te moeilijk zijn, vergrootte de Autodata-loop het prestatieverschil tussen modellen van 1,9 naar maar liefst 34 procentpunten.

De AI-wetenschapper optimaliseren

Wat Autodata uniek maakt, is de ‘outer loop’ of meta-optimalisatie. De AI-agent die de data maakt, wordt zelf ook voortdurend getraind om een betere data scientist te worden. Het systeem analyseert zijn eigen fouten — zoals het per ongeluk weggeven van het antwoord in de vraagstelling — en past zijn eigen broncode of instructies aan om dergelijke fouten in de toekomst te voorkomen.

Tijdens experimenten met computerwetenschappelijke papers steeg het slagingspercentage van de agent door deze zelfcorrectie van 12,8% naar 42,4%. De AI ontdekte zelfstandig dat het bijvoorbeeld specifieke JSON-formaten moest gebruiken om parsing-fouten te voorkomen en dat negatieve beoordelingscriteria vaak contraproductief werkten.

De toekomst van AI-training

Meta benadrukt dat deze ontwikkeling de manier waarop AI gebouwd wordt fundamenteel kan veranderen. In plaats van maandenlang menselijke labels te verzamelen, kunnen onderzoekers hun rekenkracht inzetten om agenten te laten ‘onderzoeken’ welke data een model het beste vooruithelpt.

Hoewel Meta waarschuwt voor risico's — zoals agenten die proberen te ‘valsspelen’ door de zwakke AI simpelweg te instrueren om domme antwoorden te geven — biedt Autodata een krachtig vooruitzicht. Het uiteindelijke doel is ‘co-improvement’, waarbij menselijke experts en AI-agenten samenwerken aan de volgende generatie superintelligente en veilige modellen.