AGENTS.md auf dem Prüfstand: ETH-Studie untersucht Nutzen von KI-Agenten-Briefings
Forschende der ETH Zürich haben erstmals systematisch evaluiert, ob Kontextdateien in Repositories Coding-Agenten tatsächlich helfen
L'essentiel
- Eine ETH-Zürich-Studie hat erstmals systematisch untersucht, ob AGENTS.md-Dateien Coding-Agenten tatsächlich helfen.
- Die Forschenden nutzten zwei Benchmarks: SWE-bench Lite mit 300 Aufgaben aus elf Python-Repositorys und AgentBench mit 138 Aufgaben aus zwölf weniger bekannten Repos.
- Das Ergebnis zeigt, ob die von Anbietern wie OpenAI und Anthropic beworbene Methode tatsächlich einen messbaren Nutzen hat.
Résumé généré par IA
Pourquoi c'est important
AGENTS.md-Dateien sind Readmes für KI-Agenten, die Build-Schritte, Testkommandos, Tooling, Architekturrichtlinien und Coding-Guidelines enthalten. Anbieter wie OpenAI, Anthropic, GitHub und Qwen bewerben dieses Muster offensiv. Frameworks bringen oft CLI-Befehle wie /init mit, die automatisch solche Dateien generieren.
Die Datei AGENTS.md ist ein Readme für KI-Agenten: ein fester Ort im Repository, an dem Build‑Schritte, Testkommandos, Tooling, Architekturrichtlinien und Coding-Guidelines speziell für autonome Coding-Agenten beschrieben sind. Die Idee ist, dass Agenten diese Datei früh lesen und dadurch schneller verstehen, wie sie Tests ausführen, den Code strukturieren und welche Konventionen sie beachten müssen.
Anbieter wie OpenAI, Anthropic, GitHub und Qwen bewerben dieses Muster offensiv. Zudem bringen viele Frameworks Kommandozeilenbefehle wie /init mit, die aus einem bestehenden Repository automatisch eine AGENTS.md oder eine ähnliche Datei wie CLAUDE.md generieren. Dadurch hat sich der Standard rasant verbreitet: Im Jahr 2025 waren bereits Zehntausende öffentliche GitHub-Repositorys mit Kontextdateien ausgestattet, und die Tendenz ist steigend. Das AGENTS.md-Repository auf GitHub listet die Vorteile auf und zeigt Beispiele für den Aufbau solch einer Datei.
Dr. Fabian Deitelhoff ist IT-Leiter Head of Software Development und Head of Product bei der Education Partners GmbH. Zudem ist er als Autor, Dozent und Softwareentwickler tätig. Mehr zum Thema Künstliche Intelligenz (KI)
Ein Team an der ETH Zürich hat den Aufbau und die Nützlichkeit der Datei AGENTS.md unter die Lupe genommen. Die Studie „Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?“ untersucht erstmals systematisch, welchen Effekt solche Dateien auf reale Agentenworkflows haben.
Die Forschenden kombinierten dafür zwei Benchmarks: das etablierte SWE‑bench Lite mit 300 Aufgaben aus elf populären Python-Repositorys und das Benchmarktool AgentBench mit 138 Aufgaben aus zwölf weniger bekannten Repos, die alle echte, von Entwicklern geschriebene Kontextdateien enthalten.
Das war die Leseprobe unseres heise-Plus-Artikels "AGENTS.md auf dem Prüfstand: Agentenbriefing oder Tokenfresser". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
Questions ouvertes
- Welche konkreten Ergebnisse erzielte die ETH-Studie?
- Verbesserten die AGENTS.md-Dateien die Agenten-Performance messbar?
- Gibt es Unterschiede zwischen populären und weniger bekannten Repositories?
