Das U.S. National Energy Research Scientific Computing Center bietet an, Nvidia A100-basierte GPU-Knoten des Perlmutter-Supercomputers bis Ende September mit einem Rabatt von 50% zu mieten, wie Glenn K. Lockwood, ein HPC-Spezialist von Microsoft, bemerkt hat. Das Angebot kommt, da die Nachfrage nach Rechenleistung für KI-Training branchenweit knapp ist. In der Zwischenzeit ist das Angebot nur für NERSC-Nutzer verfügbar.
„Wenn du deine Zeit jetzt nutzt, kommt das der gesamten NERSC-Gemeinschaft zugute und verteilt die Nachfrage gleichmäßiger über das Jahr. Um die Nutzung jetzt zu fördern, gewähren wir ab morgen und bis Ende September einen Rabatt von 50 % auf alle Jobs, die auf den Perlmutter-GPU-Knoten laufen“, schrieb Rebecca Hartman-Baker, User Engagement Group Leader bei NERSC, in einer E-Mail an die NERSC-Nutzer. „Jeder Job (oder Teil eines Jobs), der zwischen heute Nacht um Mitternacht und dem Beginn des 1. Oktobers um Mitternacht (pazifische Zeit) läuft, wird nur mit der Hälfte der üblichen Gebühren belastet, z.B. würde ein 3-stündiger Job auf 7 Knoten, der normalerweise eine Gebühr von 21 GPU-Knotenstunden verursachen würde, mit 10,5 GPU-Knotenstunden belastet.“
Inmitten der Begeisterung für generative KI gibt es Dutzende von Unternehmen, die bereit sind, GPU-basierte Rechenknoten von Nvidia zu mieten, um ihre großen Sprachmodelle zu trainieren. Dennoch sind die kommerziellen Rechenzentren an ihrer Kapazitätsgrenze angelangt, und die Compute-GPUs von Nvidia sind Medienberichten zufolge für die nächsten Quartale ausverkauft. Das Angebot von NERSC ist zweifellos großzügig, und das wissenschaftliche Zentrum könnte leicht Geld verdienen, wenn es seine Kapazitäten kommerziell anbieten würde.
TinyLlama 🦙: Ambitious #LLM project to pre-train a 1.1B Llama model on 3 Trillion tokens
– within „just“ 90 days using 16 A100-40G GPUs 🚀📷 with mindblowing optimization techniques:1. -> multi-gpu and multi-node distributed training with FSDP
2. -> flash attention 2— Dronn Purri (@dronpuri007) September 5, 2023
Das Problem ist jedoch, dass es nur bestehenden NERSC-Benutzern angeboten wird, die den Perlmutter-Supercomputer für wissenschaftliche Forschungen nutzen. Da diese Nutzer in der Sommerpause waren, haben sie wahrscheinlich ihre Arbeitslasten nicht auf dem Supercomputer ausgeführt und werden dies auch bis zum Ende des Jahres nicht tun; zumindest einige der GPU-Knoten waren für einige Zeit im Leerlauf, was die Frage aufwirft, warum die Organisation ihre ungenutzte Kapazität nicht mit kommerziellen Arbeitslasten auffüllt.
Die Nutzung von Supercomputern, die von der US-Regierung gebaut wurden, für kommerzielle KI- und HPC-Workloads hätte zwar viel Geld eingebracht, das für die Weiterentwicklung der amerikanischen Supercomputerfähigkeiten ausgegeben werden könnte, aber das ist nichts, was Institutionen wie NERSC tun.
Die Supercomputer des US-Energieministeriums sind in erster Linie für Dinge gedacht, die die nationale Sicherheit betreffen, oder für vorselektierte Nutzer, einschließlich solcher, die diese Maschinen für Forschungen nutzen, die auch für kommerzielle Anwendungen genutzt werden könnten. Daher sind diese Rechner nicht für jedermann zugänglich.
