Künstliche Intelligenz: Anthropic lässt erste Prüfer ins Unternehmen

Wie Anthropic in einem Blogbeitrag mitteilt, hat das »Onboarding« von sechs Mitarbeitern des auf KI-Modelle spezialisierten Beratungsunternehmen METR bereits begonnen. Es heißt, dass die Prüfer nicht nur Büros von Anthropic bekommen, sondern auch Firmen-Hardware und Zugang zu den internen Netzwerken. Damit haben sie ähnliche Einblicke in die aktuelle Entwicklung bei Anthropic wie die eigenen Angestellten des Unternehmens.

Anthropic zieht damit die Konsequenz aus einer Reihe von Sicherheitsvorfällen, die in den vergangenen Monaten bekannt wurden. Ende Juli musste der KI-Vorreiter etwa eingestehen, dass bei Tests neuer Modelle drei andere Firmen attackiert worden waren, was den Anthropic-Angestellten erst bei einer nachträglichen Prüfung aufgefallen war. Diese und andere Sicherheitspannen hatten weltweit eine Regulierungsdebatte zu den Gefahren von KI befeuert.

Streit über Transparenz und Geschäftsgeheimnisse

Das gemeinnützige Unternehmen METR hatte unter anderem den Einbruch von KI-Agenten des Anthropic-Konkurrenten OpenAI bei der KI-Plattform Hugging Face untersucht. Seine Prüfer gelten als technisch kompetent, allerdings wird METR eine große Nähe zu Anthropic vorgeworfen.

Wie Anthropic ankündigt, arbeitet das Unternehmen auch mit Prüfern der Firmen SecureBio und der Faculty zusammen. Außerdem soll es Gespräche mit weiteren Firmen geben, darunter Hugging Face.

Anthropic-Chef Dario Amodei hat schon länger Pläne für mehr Kontrolle bei der KI-Entwicklung. Streitpunkt war aber, wie transparent die Prüfer sein können, ohne Geschäftsgeheimnisse offenzulegen. Ein Insider sagte der Nachrichtenagentur Reuters jedoch, dass die Gespräche zuletzt gut vorangegangen seien und das Unternehmen offener geworden sei.

Laut der nun vorgestellten Regelung sind Kundendaten, rechtlich geschützte Informationen und die Modellarchitektur für die Prüfer tabu. Anthropic kann die Ergebnisse von METR etwa zu Risiken und Vorfällen nicht per Veto blockieren, aber eng definierte Schwärzungen verlangen. METR kann diese Schwärzungsanträge öffentlich hinterfragen, ohne die zurückgehaltenen Informationen preiszugeben.

Sein dreistufiges Zugangssystem skizziert Anthropic so: Prüfer der ersten Stufe führen eng begrenzte Untersuchungen durch und benötigen eine Genehmigung zur Veröffentlichung. In der mittleren Stufe erhalten die Aufseher mehr Informationen und können ihre Erkenntnisse eigenständig veröffentlichen, allerdings mit den erwähnten Schwärzungen. Die dritte und höchste Stufe, die bisher nur für METR vorgesehen ist, bietet einen mitarbeiternahen Zugang mit ähnlichen Veröffentlichungsrechten wie die zweite Stufe.