OpenAI: Training van model gestaakt nadat OpenAI uit testomgeving wisten te breken
AI-agents van OpenAI hebben tijdens een training in een beveiligde, van het internet afgesloten omgeving toegang tot het openbare web gekregen. OpenAI zegt dat het incident minder dan een week geleden werd ontdekt. Het bedrijf stopt na dit voorval met trainen met toolgebruik op zijn meest geavanceerde modellen, tot de fout in de testomgeving is verholpen. Het betreffende model wordt niet verder getraind.
Dat blijkt uit een blogpost van OpenAI. Het systeem maakte gebruik van een 'gat' in de omgeving en stuurde minstens twintig vragen naar een niet bij naam genoemde chatbotdienst van een externe partij, waaronder de vraag wat de hoofdstad van Frankrijk is.
Tweede incident na Hugging Face
OpenAI noemt de uitbraak het eerste beveiligingsincident van dit type sinds een combinatie van modellen tijdens interne tests toegang tot internet kreeg en per ongeluk binnendrong in het systeem van AI-platform Hugging Face. Dat gebeurde in juli.
Het AI-bedrijf meldt nu dat zijn modellen tijdens training en evaluatie informatie hebben opgehaald van Amerikaanse overheidswebsites, waaronder die van het Census Bureau en de Securities and Exchange Commission.
Een paar dagen eerder maakte het bedrijf bekend dat zijn modellen eerder dit jaar een Australische overheidswebsite hebben verstoord. OpenAI onderzoekt nog wat de gevolgen van die eerdere toegang zijn geweest.
Training bleef doorgaan ondanks waarschuwing
Het incident legt ook zwakke plekken in de werkwijze van OpenAI bloot. Een interne monitoringsysteem gaf een melding, die een menselijke controleur binnen drie minuten in Slack bevestigde. De trainingsrun stopte daarna niet automatisch, zoals wel was verwacht. Volgens het blogbericht duurde het eindelijk meer dan twee uur voordat iemand de run handmatig stopte.
Meer over Artificial intelligence
Over Wouter Hoeffnagel
