Microsoft stellte jüngst sein Phi-3 Sprachmodell vor, das nicht nur einer von Unternehmen entwickelten Produktfamilie entspringt, sondern gleichwohl eine offene KI verwendet. Mit seinen Eigenschaften soll es bereits vorhandene KI-Sprachmodelle übertreffen und somit mehr Möglichkeiten für den Nutzer und seine Verwendung von generativen KI-Anwendungen bieten.
Was macht Phi-3 mini aus?
Bei Phi-3 handelt es sich um ein Sprachmodell, welches auf der Basis von 3.8B erstellt wurde und aktuell für die Systeme Hugging Face, Ollama und Microsoft Azure AI Studio verfügbar ist.
In Bezug auf die Kontextlängen gibt es zwei Varianten, die entweder mit 4K oder 128K Tokens arbeitet. Die Besonderheit: Das 128K Modell ist erstmals dazu in der Lage, frei zu arbeiten, ohne dass der Nutzer mit Qualitätseinbußen zurechtkommen muss. Daneben weist das Sprachmodell die folgenden Eigenschaften auf:
- Es ist dazu in der Lage, unterschiedlichen Anweisungen zu folgen und somit sehr menschenähnlich. Microsoft möchte hiermit gewährleisten, dass man es umgehend und vor allem unkompliziert einsetzen kann.
- Mit der Verwendung auf Azure AI möchte man sicherstellen, dass die sogenannte „deploy-eval-finetune“-Toolchain verwendet wird. Entwickler können das Modell außerdem auf Ollama nutzen, was speziell für Laptops sinnvoll ist.
- Microsoft optimierte das System für ONNX Runtime und unterstützt gleichzeitig Windows DirectML. Was Grafikprozessoren angeht, werden plattformübergreifende Modelle unterstützt. Mit dazu gehören neben der typischen GPU auch CPUs und mobile Ausführungen.
- Das System ist auch als Microservice für NVIDIA NIM erhältlich und besitzt hierbei eine API-Schnittstelle, sodass es praktisch überall einsetzbar ist. Die Optimierung richtet sich hierbei nach den verfügbaren NVIDIA-GPUs.
Microsoft plant, sich in den kommenden Wochen mit weiteren Ausführungen der Phi-3 Modelle zu beschäftigen und somit eine noch flexiblere Anwendungsmöglichkeit zu schaffen. Bereits bekannt sind hierbei die Modelle Phi-3-small (7B) und Phi-3-medium (14B). Sie werden zunächst für Azure AI erhältlich sein, eine Ausweitung für andere Modellgruppen ist bereits in Planung.
Erhebliche Vorteile bei der Leistung
Microsoft gab bereits eine Benchmark-Liste heraus, anhand der sich die Leistung der Phi-3 Modelle ausmachen lässt. Sieht man sich die Werte etwas genauer an, wird dabei schnell klar, dass sie gegenüber der Konkurrenz sehr gut abschneiden. Das Bemerkenswerte: Die Phi-3 Modelle sind dabei sehr viel kleiner, bringen es jedoch auf sehr viel höhere Werte als größere Modelle.
Ein Vergleich:
Grok-1:
- MMLU-Test: 73%
- GSM8K-Test: 62,9%
- HumanEval-Test: 63,2
GPT-4:
- MMLU-Test: 86,4%
- GSM8K-Test: 92%
- HumanEval-Test: 67%
Phi-3-Mini-128K-In:
- MMLU-Test: 68,1%
- GSM8K-Test: 83,6%
- HumanEval-Test: 57,9%
Phi-3-Mini-4K-In:
- MMLU-Test: 68,8%
- GSM8K-Test: 82,5%
- HumanEval-Test: 59,1%
Um einen optimalen Vergleich zu erhalten, wurden hierbei sämtliche Pipelines aufeinander abgestimmt. Weitere Daten lassen sich bei Microsoft, anhand der bereitgestellten Tabelle einsehen.
Sicherheit bei der Modellgestaltung
Microsoft legte bei der Entwicklung der Phi-3-Modelle sehr viel Wert auf eine sicherheitsorientierte Gestaltung, um somit vielen unterschiedlichen Unternehmen eine Plattform bieten zu können. Dabei wurden vor allem Eigenschaften wie Transparenz, Fairness, Sicherheit, Datenschutz, Verantwortlichkeit und Zuverlässigkeit in den Vordergrund gestellt. Daneben wurde außerdem auf die Inklusion geachtet.
Entwickelt wurde das Ganze mit dem sogenannten Red-Teaming. Dabei handelt es sich um eine separate Überprüfung des Systems, um sicherzustellen, dass Sicherheitsrichtlinien eingehalten werden und somit auch ein verantwortungsbewusster Umgang gewährleistet ist.
Das Modell wird von Microsoft ausschließlich mit hochwertigen Daten trainiert und im Verlauf der Entwicklung weiterhin verbessert. Hierzu erhalten die Phi-3-Modelle menschlichen Input und durchlaufen immer wieder automatische Tests. Somit wird auch das Thema Reinforcement Learning abgedeckt.
Wer sich für die weitere Daten, wie zum Beispiel die von Microsoft beabsichtigten Verwendungszwecke und Einschränkungen näher ansehen möchte, dem stellt das Unternehmen ein technisches Dokument, sowie eine Modellkartensammlung zur Verfügung.
Für diese Aufgaben ist Phi-3 besonders geeignet
Der Bedarf an Azure AI Modellen ist bereits sehr hoch. Daher entwickelte Microsoft mit Phi-3 ein System, welches vor allem in den folgenden Situationen einen optimalen Einsatz ermöglicht:
- Eingeschränkte Ressourcen, die Offline-Interferenz, sowie On-Deviceszenarien einschließen.
- Jene, die mit Latenz arbeiten und somit eine schnelle Antwortzeit gewährleistet bleiben muss.
- Anwendungsfälle, die mit beschränkten Kosten hantieren müssen und eher leichtere Aufgaben beinhalten.
Die Verwendung der Phi-3 Systeme erweist sich in den soeben geschilderten Situationen nicht nur als kostengünstiger, sondern häufig auch als einfacher zu handhaben. Daneben bringt Phi-3 es jedoch auf eine ähnliche Leistung wie größere Modelle oder schneidet sogar besser ab. Auf diesem Weg ist eine optimale Nutzung bei unterschiedlichsten Aufgaben möglich.
Microsoft empfiehlt den Interessenten am Phi-3-Modell, sich zunächst mit dem Azure AI Playground zu beschäftigen. Alternativ ist die Möglichkeit gegeben, das System auf dem Hugging Chat Playground auszuprobieren. Anpassungen sind dann mit dem Azure AI Studio möglich.
Quellen: arxiv.org, huggingface.com, Microsoft
