OpenAI startet Benchmark für Labor-KI

OpenAI hat BioBasicsBench vorgestellt, einen Benchmark mit 100 Aufgaben, der messen soll, wie gut KI-Agenten die Praxis im Nasslabor bewältigen. Anders als Tests zu Lehrbuchwissen oder kurzen Antworten verlangt diese Evaluation, dass Agenten mit rohen Experimentdaten arbeiten: Messgeräte-Ausgaben interpretieren, Anomalien bemerken, Laborprotokolle durchdenken und entscheiden, welcher Schritt als Nächstes sinnvoll ist. Dieser Fokus ist wichtig, weil echte Forschung selten ordentlich ist. Wissenschaftler verbringen viel Zeit damit, Plots und Maschinenausgaben zu lesen, zu prüfen, ob ein Ergebnis plausibel ist, fehlgeschlagene Läufe zu identifizieren und Verfahren anzupassen. Ein Agent, der dabei unterstützt, ist womöglich nützlicher als einer, der nur Konzepte abrufen kann. Der Benchmark steht auch für einen breiteren Wandel in der KI-Evaluation: weg von statischen Wissenstests, hin zu agentischen Workflows, die Planung, Tool-Nutzung und Urteilsvermögen über mehrere Schritte verlangen. BioBasicsBench soll zeigen, wo aktuelle Systeme in realistischen wissenschaftlichen Settings schon funktionieren und wo sie noch scheitern. Das kann Forschern helfen, Modelle auf gemeinsamen Aufgaben zu vergleichen und Lücken bei der Zuverlässigkeit sichtbar zu machen – besonders dann, wenn Daten unvollständig oder mehrdeutig sind. Auch die Zusammenarbeit zwischen KI-Entwicklern und Labormitarbeitern könnte davon profitieren, weil diese Aufgaben definieren können, die tatsächliche Bench-Arbeit abbilden. Zugleich ist ein Benchmark kein Garant für sichere oder verlässliche Laborautomatisierung. Ergebnisse aus 100 Aufgaben können Fortschritt anzeigen, aber nicht jedes Protokoll, jedes Gerät und jede Sicherheitsanforderung erfassen. Das größere Signal: KI-Firmen wollen belegen, dass ihre Systeme mehr zur Wissenschaft beitragen können als Textgenerierung. Je leistungsfähiger Agenten werden, desto stärker werden Benchmarks wie BioBasicsBench Erwartungen setzen und Grenzen aufzeigen, bevor solche Werkzeuge in riskanten Experimenten Vertrauen bekommen.