Ein neues Bilddatentool namens Nightshade wurde von Informatikforschern entwickelt, um Daten zu „vergiften“, die für Text-Bild-Modelle bestimmt sind. Nightshade fügt unmerkliche Änderungen an den Bildern der Urheber hinzu, die online hochgeladen werden. Wenn ein Data Scraper anschließend eines dieser veränderten Bilder zu seinem Datensatz hinzufügt, wird es „unerwartete Verhaltensweisen“ in das Modell einführen und es vergiften.
Eine Vorschau auf ein Papier mit dem Titel Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models wurde kürzlich auf arXiv veröffentlicht, in dem der Umfang und die Funktionsweise von Nightshade beschrieben werden. MIT Technology Review hat in Gesprächen mit dem Team hinter dem Projekt weitere Erkenntnisse gewonnen.
Das Problem der KI-Modelle, die ohne ausdrückliche Erlaubnis des Urhebers auf Daten trainiert werden und dann auf der Grundlage des Gelernten neue Daten generieren“, wurde in den letzten Monaten in den Nachrichten ausführlich behandelt. Die Tatsache, dass es sich offenbar um ein freies Schürfen von Daten handelt, gefolgt von maschinellem Wiederkäuen, mit wenig oder gar keiner Namensnennung, hat dazu geführt, dass Schöpfer aus vielen Disziplinen die Stirn über aktuelle generative KI-Projekte runzeln.
Nightshade soll bildenden Künstlern helfen oder zumindest KI-Datenschöpfer davon abhalten, sich unkontrolliert Daten zu beschaffen. Das Tool ist in der Lage, Bilddaten ohne Schaden für den menschlichen Betrachter zu vergiften, wird aber die von generativen Tools wie DALL-E, Midjourney und Stable Diffusion verwendeten KI-Modelle stören.
Einige Beispiele für die Auswirkungen der Datenvergiftung durch Nightshade sind: Hunde werden zu Katzen, Autos zu Kühen, Kubismus zu Anime, Hüte zu Toastern und anderes Chaos. Im Folgenden finden Sie Beispiele für die ätzenden Auswirkungen von Nightshade in Aktion.
Früher dachte man, dass die Vergiftung einer generativen KI Millionen von vergifteten Proben erfordern würde, die in die Trainingspipeline eingespeist werden. Nightshade soll jedoch ein „promptspezifischer Vergiftungsangriff“ sein, „der auf Potenz optimiert ist“. Erstaunlich ist, dass Nightshade seine zerstörerischen Aufgaben in weniger als 100 Giftproben erledigen kann. Darüber hinaus sagen die Forscher, dass die Giftwirkung von Nightshade auf verwandte Konzepte übergreift und dass mehrere Angriffe in einer einzigen Eingabeaufforderung zusammengefasst werden können. Das Endergebnis ist die Deaktivierung der Erzeugung aussagekräftiger Bilder auf der Grundlage von Benutzertexteingaben.
Die Forscher wollen nicht, dass Werkzeuge wie Nightshade unbedacht eingesetzt werden. Vielmehr ist es „als letzter Schutz für Inhaltsersteller vor Web-Scrapern gedacht, die Opt-out/Do-not-crawl-Richtlinien ignorieren“. Tools wie dieses könnten eine abschreckende Wirkung auf die KI-Daten-Scraper der Wildwest-Ära haben. Schon jetzt lassen führende KI-Firmen wie Stability AI und OpenAI laut dem Bericht der MIT Technology Review Kunstwerke nur dann aus, wenn die Nutzer die Opt-out-Klausel umgehen. Einige sind der Meinung, dass stattdessen die KI-Firmen verpflichtet sein sollten, die Nutzer zur Zustimmung zu bewegen.
Ben Zhao, Professor an der University of Chicago und Leiter des Nightshade-Forschungsteams, steht auch hinter Glaze, einem Tool, mit dem Kunstschaffende ihren persönlichen Kunststil maskieren können, um zu verhindern, dass er von KI-Unternehmen abgegrast und nachgeahmt wird. Nightshade, das als Open-Source-Projekt vorbereitet wird, könnte zu einem späteren Zeitpunkt in Glaze integriert werden, um KI-Datenvergiftung möglich zu machen.
