Nach Angaben von Heise Online wurden 70.000 Fragen eingereicht, von denen es 3000 Fragen in den endgültigen Datensatz mit Fragen aus allen wissenschaftlichen Disziplinen geschafft haben.
Neben einem Preisgeld von 500 Dollar werden die Autoren der 550 am besten bewerteten Fragen als Mitautoren in die Veröffentlichung aufgenommen. Bis heute ist kein LLM-Modell auf dem neuesten Stand der Technik in der Lage, auch nur 10 % der Fragen im Datensatz zu lösen, schreibt die New York Times When A.I. Passes This Test, Look Out.
Die einzigen Beiträge von der RUB sind von Prof. Christian Stump und Prof. Alexander Ivanov, herzlichen Glückwunsch!
