2 months ago
Meine Vermutung ist, dass sie den Tokenizer auf die eine oder andere Weise geändert haben. Aber ich würde gerne eine Perspektive von anderen KI-Enthusiasten hören.
Um ein wenig Kontext zu geben: Opus hatte 2 Billionen Parameter, also war Mythos etwa 5x größer. Aber wir wissen nicht genau, wie diese Parameter verwendet werden. Es gibt eine Art internes Mixture-of-Experts-Verfahren, sodass es möglicherweise Optimierungen gibt, bei denen nicht alle Parameter ständig genutzt werden.
Mythos/Fable sind etwa 10x größer als Opus, es sind größere Modelle. Mythos ist wahrscheinlich ~10T, Opus ~1T, Sonnet ~100B, als sehr grobe Schätzung.
Kurzfassung: 1) viele kleine und geheime technische Verbesserungen bei Daten, Training, Modellarchitektur und RL. Kein einziger Durchbruch. 2) es ist einfach ein sehr GROSSES Modell
Langfassung: Amodei sagte in einem Interview, dass die meisten Fähigkeitssteigerungen aus der Kombination vieler kleiner Verbesserungen an jedem Puzzleteil resultieren. Besseres KV-Cache-Lookup, ein besserer Aufmerksamkeitsmechanismus, höherwertige Daten, bessere RLHF-Methoden – und das summiert sich. Es gibt normalerweise keinen einzigen großen Durchbruch.
Die große Größe ist wahrscheinlich der Hauptgrund für den Mythos-„Wow“-Faktor. Karpathy sagte auf Twitter, dass er das Gefühl eines „großen Modells“ bekommt, wenn er mit Fable spricht. Dies ist ein bekanntes (wenn auch nicht wissenschaftliches) Phänomen: Obwohl kleinere Modelle in Benchmarks näher an größeren Modellen liegen, haben große Modelle etwas Besonderes an sich, wenn es darum geht, Dinge „einfach zu verstehen“, die Fähigkeit, aus zunehmend vagen und schlechten Eingabeaufforderungen gute Arbeit zu leisten – das ist sehr schwer zu messen. Fable ist auch sehr teuer und generiert Tokens langsam, was ebenfalls auf „es ist ein großes Modell“ hindeutet.
10 Billionen Parameter an sich schaden nicht. Es wurde auch darauf trainiert, unermüdlich bei der Aufgabenausführung zu sein, und hat eine großartige Balance aus der Persönlichkeit und den Schreibfähigkeiten von Opus 4.6 mit der Vision, Benutzeroberfläche und dem agentischen Ingenieursverständnis von Opus 4.8.
Es ist eine großartige, allseitige Intelligenz, die fast alle Code- und Designaufgaben mühelos bewältigen kann.