AMD stellte bereits im Dezember 2023 mit Instinct MI300X und Instinct MI300A die ersten beiden Ableger der Serie Instinct MI300 vor. Auf dem VLSI-Symposium 2024, das am 20. Juni zu Ende ging, gab AMD weitere Details bekannt.
Schon im Dezember 2023 waren die ersten Details zu den Beschleunigern der Serie Instinct MI300 von AMD bekannt. Das betrifft auch das 3.5D-Package. Die ersten beiden Beschleuniger der Serie, Instinct MI300X und Instinct MI300A, wurden damals schon präsentiert. Am 20. Juni 2024 ging das VLSI-Symposium zu Ende, auf dem AMD weitere Details bekanntgab. Auf den ersten Blick erscheint der Aufbau wie ein einfaches modulares Design. In der Realität hat er jedoch seine Tücken.
Aufbau von Instinct MI300
Das Substrat der Beschleuniger der Serie Instinct MI300 ist ein organisches Package und bildet die unterste Ebene des Chips. Der passive Silicon Interposer ist darauf als Chip on Waver on Substrate (CoWoS) gelagert und stammt vom taiwanesischen Chipauftragsfertiger TSMC. Die IODs befinden sich auf dem Silicon Interposer. CCDs und XCDs werden auf den IODs positioniert, zusammen mit HBM3-Speicherchips. Die Lücken werden mit Dummy-Chips gefüllt, die neben den XCDs und CCDs platziert werden. Um die Chips auf die gleiche Höhe mit den HBM3-Speicherchips zu bringen, wird ein Carrier Silicon aufgebracht. Ein Heatspreader bildet die Abdeckung.
Das Chiplet-Design, soll den mehrfachen Einsatz möglichst vieler Chips ermöglichen, um Kosten zu sparen. Das gesamte Package soll wie ein großer Chip funktionieren. Entscheidend ist die Kommunikation zwischen den Chiplets, die bereits bei den IODs beginnt. Die IODs sind rechteckig und haben einen horizontalen oder vertikalen Cut, abhängig von der physikalischen Lage der Kontaktfläche. Die Anbindung untereinander erfolgt mit 3 TB/s und 2,4 TB/s.
Probleme in der Architektur
Die XCDs und CCDs werden von AMD mit GPU- und CPU-Chiplets in einer Ausführung gefertigt und auf den IODs platziert. Es gibt neben der unbespiegelten IOD A die bespiegelte IOD B. An den USR-PHYs reicht eine einfache Spiegelung als Schnittstelle zwischen den IODs nicht aus. Transceiver und Receiver würden sich sonst gegenüberstehen. Daher muss AMD die Receiver- und Tranceiver-Bereiche auf beiden Seiten für die USR-PHYs tauschen.
Für den Tausch muss das Design geändert werden. Daher wandelte AMD die beiden IODs in zwei Tape-Outs um. Nun werden IOD A und IOD B als leicht modifizierte, gespiegelte Variante um IOD C und IOD D ergänzt. Dafür müssen IOD A und IOD B jeweils um 180 Grad gedreht werden. Die so entstandenen vier IODs werden zueinander ausgerichtet und können miteinander kommunizieren.
Design mit redundanten TSV-Bereichen
Über die IODs werden die Datenleitungen zu den XDCs und CCDs sowie die Strom- und Spannungsversorgung realisiert. Im Design von IOD A und IOD B muss das bereits berücksichtigt werden. Noch komplexer wird die Architektur, da auch noch XDCs CCDs in normaler Ausführung und um 180 Grad gedreht auf den IODs platziert werden müssen.
In der Mitte von jedem IOD befinden sich zwei schmale Streifen mit 3D Bond Pads. Sie sind für XDCs und CCDs in normaler und gedrehter Ausführung vorgesehen. Da die Pads universell erreichbar sein müssen, ist zu unterscheiden, ob auf einem IOD zwei XDCs oder drei CCDs platziert werden. AMD hat daher redundante TSV-Bereiche in das Design eingebracht. Sie werden nicht immer genutzt.
Auslegung der Power Grids
Damit durch die darunterliegenden Metallschichten eine gleichmäßige Spannungsversorgung gewährleistet ist, kommt es auf eine entsprechende Auslegung der Power Grids an. Zahlreiche TSVs befinden sich im IOD zwischen dem Cache-Array. Vom Interposer führen sie elektrische Leistung und Ground in den IOD. Vom Interposer müssen 0,5 A/mm² in die IODs und von dort 1,5 A/mm² in die XDCs gelangen.
Quellen: AMD, hardwareLUXX