Sie erinnern sich vielleicht noch an den Anfang des Sommers, als wir über Vito Platamura berichteten, den Mastermind, der es geschafft hat, Stable Diffusion 1.5 auf einem Raspberry Pi Zero 2 W auszuführen. Heute freuen wir uns, ein Update zum Projekt zu veröffentlichen. Plantamura hat das Projekt erweitert, um Stable Diffusion XL 1.0 zu unterstützen, und es erfolgreich auf einem Raspberry Pi Zero 2 W mit 298 MB RAM ausgeführt.
Die Leistung von Stable Diffusion XL 1.0 will neue Maßstäbe in der textbasierten Bildgenerierung setzen. Die SDXL wurde weiter optimiert und verfeinert, um lebendigere und genauere Farben, verbesserte Kontraste, Beleuchtung und Schatten zu erzeugen.
Stable Diffusion hat gerade einen größeren Anteil am Pi erhalten
Wenn Sie mit Stable Diffusion nicht vertraut sind: Dabei handelt es sich um eine Anwendung, mit der mithilfe von KI Bilder basierend auf vom Benutzer eingegebenen Wortaufforderungen erstellt werden können. Plantamura konnte zuvor die ursprüngliche Stable Diffusion 1.5 auf einem Raspberry Pi Zero 2 W mit weniger als 260 MB RAM zum Laufen bringen. Die von ihm entwickelte Anwendung, die all dies ermöglicht, trägt den Namen OnnxStream.
Laut Plantamura war es schwieriger, Stable Diffusion XL 1.0 auszuführen, da es über ein Transformatormodell mit fast 1 Milliarde Parametern verfügt. Der Raspberry Pi Zero 2 W verfügt über 512 MB RAM, für die Ausführung von Stable Diffusion wird jedoch mindestens 8 GB empfohlen. Unnötig zu erwähnen, dass Plantamura viel Arbeit vor sich hatte.
Der Anpassungsprozess ähnelte dem für Stable Diffusion 1.5 entwickelten, es gibt jedoch einige wesentliche Unterschiede, die ihn von anderen unterscheiden. Stable Diffusion XL 1.0 verwendet beispielsweise die sogenannte Kacheldekodierung. Dieser Prozess ist Teil dessen, was es ermöglicht, den übermäßigen RAM-Verbrauch von 4,4 GB auf nur 298 MB zu reduzieren.
OnnxStream – Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2 (or in 298MB of RAM) 👀 by @vplantahttps://t.co/ILRzAjTMsn#onnx #MachineLearning
— nietras (@nietras1) October 4, 2023
Bilder werden in Blöcken verarbeitet, die letztendlich einen Kacheleffekt mit sichtbaren Grenzen zwischen den einzelnen Abschnitten erzeugen. Dies wird durch die Aktivierung eines Unschärfeeffekts gemildert. Wie das aussieht, können Sie in den Bildern oben anhand der Vorher- und Nachher-Beispiele sehen. Wie bereits erwähnt, ist dieses Projekt keineswegs praktikabel, da die Verwendung der Anwendung viel länger dauert. Es ist jedoch ein hervorragender Proof of Concept und wir freuen uns, einen Einblick in die harte Arbeit zu geben, die darin steckt.
Wenn Sie sich dieses Raspberry Pi-Projekt genauer ansehen möchten, schauen Sie sich das Quellmaterial auf GitHub an. Folgen Sie Plantamura unbedingt für weitere Projekte sowie zukünftige Updates zu diesem Projekt.
