Nvidia zeigt eine „Chat with RTX“-Technologiedemo. Damit können Nutzer mit einer RTX-GPU noch in diesem Monat einen KI-Chatbot lokal erstellen. Sie können zum Beispiel ihre eigenen Dokumente in die Software eingeben, woraufhin der Chatbot Fragen zu diesen Daten beantworten kann.
Der Chat mit RTX wird auf einem großen Sprachmodell von Nvidia basieren, das die Nutzer lokal ausführen können. Sie können das Sprachmodell mit ihren eigenen Daten „verbinden“, etwa mit lokal gespeicherten Textdokumenten, PDFs und XML-Dateien. Die Nutzer können auch die URLs von YouTube-Videos und Wiedergabelisten eingeben, woraufhin die Software Transkripte dieser Videos herunterlädt, um sie im Chatbot zu verwenden. Der Bot kann diese Daten analysieren und anschließend Fragen dazu beantworten.
Die Demo verwendet die Retrieval-Augmented Generation-Technik für generative KI und die Open-Source-Software Tensor-LLM. Chat with RTX verwendet Tensor-Kerne von RTX-GPUs. Die Software kann daher lokal auf „Windows-PCs mit RTX“ laufen. Ob die Demo für alle RTX-GPUs oder nur für die RTX-40-Serie verfügbar sein wird, ist nicht bekannt. Tweakers hat diesbezüglich bei Nvidia nachgefragt.
Nvidia sagt, dass die Chat with RTX-Demo später in diesem Monat verfügbar sein wird. Wann genau, ist nicht klar. Benutzer können sich auf Nvidias Website anmelden, um eine Benachrichtigung zu erhalten, wenn die Demo verfügbar ist.
