Amazon hat am Dienstag zwei seiner neuen Prozessoren vorgestellt, die ausschließlich von seiner Abteilung Amazon Web Service (AWS) verwendet werden. Bei den beiden neuen System-in-Packages handelt es sich um den Graviton 4-Prozessor für allgemeine Arbeitslasten und den Trainium 2-Prozessor für das Training künstlicher Intelligenz. Die neuen Geräte werden AWS-Instanzen antreiben, die den Amazon-Kunden eine Leistung der Supercomputer-Klasse bieten.
Graviton4
Amazons Graviton4 – der Allzweckprozessor der 4. Generation des Unternehmens, der mit AMD EPYC- und Intel Xeon-CPUs konkurriert – verwendet weiterhin die 64-Bit-Architektur von Arm und verfügt über 96 Kerne. Der Prozessor soll eine bis zu 30 % höhere Rechenleistung und eine um 75 % höhere Speicherbandbreite im Vergleich zu seinem Vorgänger Graviton3 bieten. AWS hat nicht bekannt gegeben, ob der Graviton4 auf den Neoverse-V2-Kernen von Arm basiert, aber dies ist ein wahrscheinliches Szenario.
Wie der AWS Graviton3 basiert auch der AWS Graviton4 auf einem Multi-Chiplet-Design, das aus sieben Kacheln besteht. Angesichts der Tatsache, dass AWS beim Packaging mit Intel Foundry Services zusammengearbeitet hat, ist dies zu erwarten. Es ist nicht ganz klar, welche Foundry das Silizium für den Graviton4 herstellt.
Graviton4 wird in speicheroptimierten EC2 R8g-Instanzen enthalten sein, die auf anspruchsvolle Datenbanken, In-Memory-Caches und groß angelegte Datenanalysen ausgerichtet sind. Diese neuen R8g-Instances bieten bis zu dreimal mehr virtuelle CPUs (vCPUs) und den dreifachen Speicher im Vergleich zu den bestehenden R7g-Instances. Dadurch können AWS-Kunden mehr Daten verarbeiten, ihre Projekte effizienter ausbauen und die Verarbeitungsgeschwindigkeiten erhöhen. Derzeit stehen mit Graviton4 ausgestattete R8g-Instanzen für Tests zur Verfügung, und es wird erwartet, dass sie in den nächsten Monaten kommerziell verfügbar sein werden.
„Im Rahmen des Migrationsprozesses von SAP HANA Cloud auf AWS Graviton-basierte Amazon EC2-Instanzen haben wir bereits eine bis zu 35 % bessere Preisleistung für analytische Arbeitslasten festgestellt“, sagte Jürgen Müller, CTO und Mitglied des Vorstands der SAP SE. „Wir freuen uns darauf, Graviton4 in den kommenden Monaten zu validieren und zu sehen, welche Vorteile es unseren gemeinsamen Kunden bringen kann.“
Trainium2
Neben dem AWS Graviton4-Prozessor für allgemeine Arbeitslasten hat Amazon auch sein neues Trainium2 System-in-Package für KI-Training vorgestellt, das mit den KI-GPUs H100, H200 und B100 von Nvidia konkurrieren wird. Trainium2 ist darauf ausgelegt, Trainingsgeschwindigkeiten zu bieten, die bis zu viermal schneller und mit der dreifachen Speicherkapazität im Vergleich zu den ursprünglichen Trainium-Chips sind, was eine bedeutende Leistung darstellt. Darüber hinaus verfügt Trainium2 über eine verbesserte Energieeffizienz und erreicht eine bis zu doppelt so hohe Leistung pro Watt. Maschinen, die auf Trainium2 basieren, werden über den AWS Elastic Fabric Adapter (EFA) verbunden, der Leistung im Petabit-Bereich bietet.
Besonders beeindruckend an Trainium2 ist die Tatsache, dass es in EC2 Trn2-Instanzen verfügbar sein wird, die auf bis zu 100.000 Trainium2-Chips skaliert werden können, die eine Rechenleistung von bis zu 65 AI ExaFLOPS bereitstellen sollen. Solche Skalierungsmöglichkeiten bedeuten, dass das Training eines großen Sprachmodells mit 300 Milliarden Parametern, das früher Monate dauerte, jetzt in nur wenigen Wochen durchgeführt werden kann.
Der AWS Trainium2 SiP verwendet außerdem ein Multi-Tile-Design mit zwei Rechenchiplets, vier HBM-Speicherstapeln und zwei unbekannten Chiplets (die wahrscheinlich Hochgeschwindigkeitsverbindungen ermöglichen).
„Wir arbeiten eng mit AWS zusammen, um unsere zukünftigen Basismodelle mit Trainium-Chips zu entwickeln“, sagt Tom Brown, Mitbegründer von Anthropic. „Trainium2 wird uns dabei helfen, Modelle in sehr großem Maßstab zu erstellen und zu trainieren, und wir erwarten, dass es für einige unserer wichtigsten Arbeitslasten mindestens viermal schneller sein wird als Trainium-Chips der ersten Generation. Unsere Zusammenarbeit mit AWS wird Unternehmen jeder Größe dabei helfen, neue Möglichkeiten zu erschließen, indem sie die hochmodernen KI-Systeme von Anthropic zusammen mit der sicheren und zuverlässigen Cloud-Technologie von AWS nutzen.“
