Wir haben erst gestern von Grok berichtet, dem Chatbot von xAi, der jetzt bald für alle X-Premium-Kunden (vormals Twitter) verfügbar gemacht wird. Nun gibt es schon die nächste Ankündigung. Dabei geht es um die kommende Version von Grok, die wohl sogar schon bald über X verfügbar sein wird.
Ankündigung eines neuen Grok-Modells
Die neue Firma von Elon Musk, xAI, hat ein neues Modell von Grok angekündigt. Der Chatbot in der Version Grok-1.5 soll damit zur „Spitzenklasse aufschließen“, wie es heißt. Derzeit läuft Grok-1 und das ist wohl vergleichbar mit ChatGPT 3.5. Mit der Spitzenklasse ist dann vermutlich GPT 4 gemeint, welches Premium-Nutzern von OpenAI zur Verfügung steht. Auch Gemini 1.5 Pro von Google oder Anthropics Claude 3 Opus zählen zur „Spitzenklasse“. Den Tests zufolge schafft Grok-1.5 es aber noch nicht ganz an die Stärken dieser Spitzenklassen heran, obwohl xAI selbst es wohl anders sieht.
Diese Verbesserungen erhält Grok
Die Verbesserungen von Grok gegenüber der 1er-Version sollen sich vor allem auf Schlussfolgerungen beziehen, aber auch auf mathematische Rechnungen. xAI präsentiert während der Ankündigung zu Grok-1.5 auch Tests, die das belegen sollen.
Im Vergleich zu Grok-1 ist das eine enorme Verbesserung, aber bezogen auf die Stärken von anderen Modellen liegt Grok-1.5 weiterhin zurück. Hier ein Vergleich.
Grok-1:
- MMLU-Test: 73 %
- MATH-Test: 23,9 %
- GSM8K-Test: 62,9 %
- HumanEval-Test: 63,2 %
Grok-1.5:
- MMLU-Test: 81,3 % (8,3 % besser als Grok-1)
- MATH-Test: 50,6 % (26,7 % besser als Grok-1)
- GSM8K-Test: 90 % (27,1 % besser als Grok-1)
- HumanEval-Test: 74,1 % (10,9 % besser als Grok-1)
GPT-4:
- MMLU-Test: 86,4 % (5,1 % besser als das neue Grok-1.5)
- MATH-Test: 52,9 % (2,3 % besser als das neue Grok-1.5)
- GSM8K-Test: 92 % (2 % besser als das neue Grok-1.5)
- HumanEval-Test: 67 % (7,1 % schlechter als das neue Grok-1.5)
Gegenüber ChatGPT 4 ist Grok-1.5 also in drei Kategorien noch etwas schlechter und in einer Kategorie (bei der es um die Erfassung von Coding-Fähigkeiten geht) besser.
Die besten Werte aller Modelle erreicht Claude 3 Opus von Anthropic. Man muss allerdings beachten, dass es auch bei ChatGPT 4 Unterschiede gibt zwischen der klassischen 4er-Version und der Turbo-Version. Für den Vergleich wurde die normale Premium-Version ChatGPT 4 und nicht die noch etwas bessere Turbo-Version genutzt. Experten zweifeln daher die Benchmark-Ergebnisse teilweise an. Fakt ist, dass beide Modelle auf einem sehr hohen Niveau liegen und der Abtand zu Grok daher noch nicht ganz gefüllt ist.
Claude 3 Opus:
- MMLU-Test: 86,8 % (5,5 % besser als das neue Grok-1.5)
- MATH-Test: 61 % (10,4 % besser als das neue Grok-1.5)
- GSM8K-Test: 95 % (5 % besser als das neue Grok-1.5)
- HumanEval-Test: 84,9 % (10,8 % besser als das neue Grok-1.5)
Welche Tokenlängen sind bei Grok-1.5 möglich?
Die Kontextlänge spielt bei Sprachmodellen eine große Rolle, da sie darüber entscheiden, was das Modell maximal verarbeiten kann. Bei Grok-1.5 liegt der Wert genau wie bei Gemini 1.5 Pro und bei GPT-4 Turbo bei 128.000 Token. Google möchte für Gemini den Tokenwert aber auf eine Million steigern. Claude 3 schafft es auf 200.000 Token.
Grok-1.5 bald für X-Nutzer verfügbar
Für Premium-Nutzer von X (vormals Twitter) wird die neue Grok-Version wohl bald verfügbar sein, heißt es. Man wolle dann das Feedback nutzen, um das Sprachmodell noch besser zu machen. Künftig soll der Chatbot dann einem größeren Publikum zur Verfügung gestellt werden. Für Grok-2 laufen die Trainings übrigens auch schon, lässt Elon Musk verlauten.
Quelle: X/Twitter, Elon Musk, xAI
