Hugging Face moest een derde van infrastructuur herbouwen na AI-hack
AI-platform Hugging Face heeft een derde van zijn infrastructuur opnieuw op moeten bouwen als gevolg van het beveiligingsincident met AI-modellen van OpenAI eerder deze maand. Dat blijkt uit een postmortem van het incident.
Twee modellen van OpenAI wisten eerder deze maand tijdens een interne benchmark uit hun omgeving te breken, waarna ze de productie-infrastructuur van Hugging Face wisten binnen te dringen. Daar hoopten de modellen antwoorden te vinden op de test die zij uitvoerden.
Het incident blijkt nu flinke gevolgen te hebben gehad voor de infrastructuur van Hugging Face, zo blijkt uit de postmortem. Het team had moeite met onderscheiden wat rootkit-code was en wat capture-the-flag (CTF) benchmark-code was, schrijft The Register naar aanleiding van het rapport. In twijfelgevallen werd het systeem herbouwd. De CTF benchmark-code was de code die door de agents van OpenAI werd aangebracht tijdens de aanval. En die code werd in de gehele infrastructuur aangebracht. In veel gevallen was de veiligste optie om gehele clusters af te breken, om zo de aanval in te perken.
Uit het rapport blijkt verder dat een agent bij de aanval drie gedeeltelijke datasets met CyberGym-oplossingen wist te komen, via een private Hugging Face-repository. CyberGym is een framework waarmee de mogelijkheden van AI agents bij echte kwetsbaarhedenanalyses worden beoordeeld. De AI-modellen van OpenAI wilden data uit CyberGym gebruiken om te bepalen hoe ze hun benchmark zo goed mogelijk konden uitvoeren.
Aanval gedetecteerd voor contact met OpenAI
Volgens het rapport spendeerden de AI-modellen twee dagen aan verkenning. Vervolgens was het een dag stil, gevolgd door 'intense activiteit' op de vierde en laatste dag van de aanval. OpenAI zocht uiteindelijk contact met Hugging Face over de aanval. Het team had de aanval voor die tijd echter al ontdekt, ingeperkt en onderzocht, aldus het rapport.
Hugging Face zegt verder dat het heel duidelijk was dat de aanval door een autonome agent werd uitgevoerd. Zo waren er diverse momenten waarop onlogisch gedrag samenging met zeer geavanceerd werk. Agents herhaalden bijvoorbeeld processen die eerder al resultaat hadden geleverd. Dat wijst volgens het team op een niet-menselijke aanvaller.
Dit is de toekomst
Het rapport waarschuwt dat verdedigers meer van dit soort problemen moeten verwachten in de toekomst. Hoewel de aanval op Hugging Face een extreem voorbeeld is van AI agents die hun gang gaan, is het zeker geen uitzondering. "Agents doen wat ze moeten om een doel te behalen. We zien steeds weer dat ze dat op creatieve en onverwachte manieren doen", aldus het rapport.
Het rapport geeft verdedigers diverse tips om je hierop voor te bereiden. Het volledige rapport is hier te lezen.
Meer over Security
Over Eveline Meijer
