AMD Radeon 7900 XTX 890% mehr Geschwindigkeit bei KI

NVIDIA dominiert die KI-Diskussion zu Recht – ihre Grafikprozessoren sind sofort einsatzbereit und die erste Wahl für Profis und Unternehmen, die sich mit KI beschäftigen wollen. Aber gerade diese Woche haben sowohl Intel als auch AMD ihre Software-Stacks optimiert, um massive Geschwindigkeitssteigerungen bei generativer KI zu erzielen, was dazu geführt hat, dass AMDs RTX 7900 XTX eine höhere Leistung pro Dollar erzielt als eine NVIDIA RTX 4080 bei generativer KI (insbesondere Stable Diffusion mit A111/Xformers).

In Anbetracht der Tatsache, dass Stable Diffusion derzeit die große Mehrheit der nicht-SaaS, lokalisierten generativen KI ausmacht, ist dies ein wichtiger Meilenstein und bietet NVIDIA endlich etwas Konkurrenz. AMDs 7900 XTX erreicht in Stable Diffusion (Automatic111 mit DirectML) mehr Iterationen pro Sekunde pro Dollar als NVIDIA RTX 4080 (xformers)

Hinweis: Das Tuning für GenAI wird, ähnlich wie das Tuning für die Krypto-Mining-Leistung, je nach verwendetem Modell/Konfiguration sehr unterschiedlich ausfallen. In diesem Artikel geht es um die gängigste A111 Xformers-Konfiguration, aber es gibt hypergetunte Boutique-Optimierungen, bei denen der NVIDIA RTX 4080 noch schneller ist.

Die Verwendung von Microsoft Olive und DirectML anstelle des PyTorch-Pfads führt dazu, dass die AMD 7900 XTX von mickrigen 1,87 Iterationen pro Sekunde auf 18,59 Iterationen pro Sekunde steigt! Sie können die detaillierte Anleitung von AMD hier lesen. Dieses Leistungsniveau in Automatic111 kommt dem SHARK-basierten Ansatz von Stable Diffusion ziemlich nahe und setzt das Unternehmen definitiv auf die Landkarte in Bezug auf generative KI. Wie sich herausstellt, bietet die 7900 XTX damit auch eine etwas höhere GenAI-Leistung pro Dollar (in Stable Diffusion /A111) als die vergleichbare RTX 4080 – zumindest zu den aktuellen Preisen.

Die günstigste NVIDIA RTX 4080, die ich bei Newegg (am 19.8.2023) finden konnte, war die MSI Ventus GeForce RTX 4080 16GB (WBM archivierter Link hier) und die günstigste AMD Radeon 7900 XTX, die ich bei Newegg finden konnte, war die MSI Gaming Radeon RX 7900 XTX 24GB (WBM archivierter Link hier). Bevor wir die Zahlen durchgehen, möchte ich erwähnen, dass der AMD-Weg im Gegensatz zu NVIDIA etwas mehr technisches Verständnis erfordert (der AMD-Weg verwendet Microsoft Olive anstelle von PyTorch, und die meisten automatischen Installationsprogramme werden die dafür erforderlichen Abhängigkeiten wahrscheinlich nicht automatisch installieren) – wenn also Bequemlichkeit für dich ein Faktor ist, ist NVIDIA immer noch die richtige Wahl. Professionelle Anwender und kleine Unternehmen können jedoch in der Regel die Schwierigkeiten bei der Ersteinrichtung umgehen, wenn die Kostenbasis gut genug ist, und das scheint hier der Fall zu sein.

Wie wir sehen können, fängt das AMD-Silizium endlich an, in GenAI zu glänzen, bis zu dem Punkt, an dem es einen höheren Wert im Vergleich zum 4080 in Stable Diffusion A111 bietet. Der AMD 7900 XTX bietet 18,59 Iterationen pro Sekunde, so dass Nutzer 52,1 $ pro it/s zahlen müssen, während der NVIDIA RTX 4080 19,41 Iterationen pro Sekunde erreicht und Nutzer 56,6 $ pro it/s zahlen müssen. Wenn man sich für die weniger verbreitete SHARK-Implementierung entscheidet, kann man das Preis-Leistungs-Verhältnis der Radeon 7900 XTX auf nur 46,6 Dollar pro it/s steigern. Es ist also offiziell – AMD ist offiziell ein Konkurrent für Verbraucher, die an generativer KI interessiert sind.