Zwei US-Wissenschaftler haben einen Algorithmus für maschinelles Lernen trainiert, der nach ihren Angaben wissenschaftliche Texte, die von ChatGPT generiert wurden, mit einer Genauigkeit von über 99 % erkennen kann.
Um dies zu erreichen, verglich das Team 64 „echte“ wissenschaftliche Artikel mit 128 KI-generierten Artikeln zu denselben Forschungsthemen. Dabei musste der Algorithmus auf verschiedene inhaltliche und stilistische Unterschiede zwischen der Art und Weise, wie Menschen normalerweise schreiben, und der Schreibweise von ChatGPT achten.
So zeigte sich zum Beispiel, dass ChatGPT viel weniger Sätze und Wörter pro Absatz verwendet als Menschen. Die Menschen wechselten auch häufiger in der Länge ihrer Sätze, während die durchschnittliche Anzahl der Wörter pro Satz in den KI-Texten gleichmäßiger verteilt war. Es wurde auch festgestellt, dass in menschlichen wissenschaftlichen Texten Satzzeichen wie Fragezeichen, Semikolon und Klammern häufiger verwendet werden. Sie sind auch spezifischer; während die KI häufig Dinge wie „andere Wissenschaftler“ schrieb, zogen es die Menschen vor, die Wissenschaftler, die sie meinten, beim Namen zu nennen.
Obwohl die Wissenschaftler zugeben, dass weitere Untersuchungen erforderlich sind, um die Verallgemeinerbarkeit dieser gefundenen Merkmale für alle menschlichen wissenschaftlichen Artikel zu ermitteln, hat sich dieses relativ klein angelegte Experiment als ausreichend erwiesen, um einen sehr genauen „KI-Inhaltsdetektor“ zu erstellen, heißt es in der Studie. 192 wissenschaftliche Artikel (sowohl echte als auch gefälschte) wurden durch das Tool laufen gelassen, das in 99,5 % der Fälle eine korrekte Klassifizierung auf der Grundlage von nur 20 Merkmalen vorgenommen hätte. Wenn jedoch nur einzelne Absätze in den Algorithmus eingespeist werden, sinkt die Genauigkeit auf 92 Prozent.
Inzwischen gibt es viele Tools, die vorgeben, KI-Inhalte zu erkennen, doch den meisten von ihnen kann man nicht trauen. Viele Experten raten daher davon ab, solche Programme zur Überprüfung fremder Texte einzusetzen. Dennoch wird ein zuverlässiger KI-Inhaltsdetektor dringend benötigt, sagt einer der Wissenschaftler. „Ein großes Problem ist, dass die KI ihren Text aus verschiedenen Quellen zusammenstellt, diesen Text dann aber nicht auf seine Richtigkeit hin überprüft.“ Gerade bei wissenschaftlichen Texten würden KI-Erkennungswerkzeuge noch zu kurz greifen. Ob dieses Werkzeug auch bei nicht-wissenschaftlichen Texten Abhilfe schaffen kann, ist nicht untersucht worden.
Quellen: EurekAlert, Cell
