Neuer „Genie-Koeffizient“ soll KI-Intelligenz messen

Ein Forscherteam hat eine neue Kennzahl namens „Genie-Koeffizient“ vorgeschlagen. Sie soll messen, wie gut KI-Systeme die Absicht des Nutzers verstehen. Im Gegensatz zu den gängigen Benchmarks, die sich auf die reine Leistung konzentrieren – wie die Genauigkeit bei Matheaufgaben oder die Sprachgewandtheit –, zielt der Genie-Koeffizient darauf ab, die Lücke zwischen dem, was der Nutzer explizit sagt, und den unausgesprochenen Annahmen darüber, wie er es erledigt haben möchte, zu erfassen. Der Name ist eine spielerische Anspielung auf den klassischen Märchen-Motiv des Flaschengeists, der Wünsche oft auf unerwartete und problematische Weise erfüllt. Genauso interpretieren KI-Modelle Benutzeranfragen häufig falsch, weil ihnen der Kontext, die Nuancen oder der gesunde Menschenverstand fehlen, den Menschen für selbstverständlich halten. Wenn man eine KI bittet, „einen Flug nach Paris zu buchen“, könnte das Ergebnis ein Ticket nach Paris, Texas, sein – und nicht nach Paris, Frankreich –, es sei denn, der Nutzer präzisiert seine Anfrage. Der Genie-Koeffizient funktioniert, indem er KI-Modelle mit Aufgaben konfrontiert, die bewusste Unklarheiten oder implizite Einschränkungen enthalten. Die Kennzahl bewertet dann, ob das Modell diese Unklarheiten korrekt erkennt und auflöst – entweder durch Nachfragen oder durch logische Schlussfolgerungen aus dem Kontext. Ein hoher Genie-Koeffizient bedeutet, dass die KI gut darin ist, zwischen den Zeilen zu lesen; ein niedriger Wert deutet darauf hin, dass sie Anweisungen zu wörtlich nimmt. Aktuelle Benchmarks wie MMLU, HumanEval und GSM8K sind hervorragend darin, Wissen und logisches Denken zu messen, aber sie erfassen diese entscheidende Dimension der KI-Interaktion nicht. Da KI-Systeme immer stärker in den Alltag integriert werden – als Chatbots im Kundenservice, persönliche Assistenten oder autonome Agenten – wird die Fähigkeit, die Absicht zu verstehen, genauso wichtig wie die reine Intelligenz. Die Forscher hoffen, dass der Genie-Koeffizient die Branche dazu anregt, intuitivere und benutzerfreundlichere KI-Systeme zu entwickeln. Wenn er sich durchsetzt, könnte er zu einem Standardbestandteil der Modellbewertung werden, ähnlich wie einst der Turing-Test als Maßstab für maschinelle Intelligenz galt. Derzeit befindet sich die Kennzahl noch in der Experimentierphase, aber erste Ergebnisse deuten darauf hin, dass sie selbst bei den fortschrittlichsten Modellen überraschende Schwächen aufdecken könnte.