Die Erkennung von KI-generierten Texten: Ein umfassender Leitfaden
KI-Chatbots wie ChatGPT sind weit mehr als nur Antwortmaschinen. Sie sind in der Lage, menschenähnliche E-Mails, Bewerbungsschreiben, Aufsätze, Gedichte, Blogartikel und vieles mehr zu verfassen.
Das von KI erzeugte Schriftgut ist äußerst anpassungsfähig – es fügt sich so nahtlos in unterschiedlichste Textgattungen ein, dass es schwerfällt, die Unterschiede zum von Menschenhand Geschriebenen zu erkennen.
Leider erschwert dies die Unterscheidung zwischen Texten, die von einer KI und solchen, die von einer Person verfasst wurden. Zwar könnten wir dem Rat von Sherlock Holmes folgen und „das Unmögliche ausschließen“, doch wer hat schon die Zeit dafür?
Was wäre, wenn ich Ihnen mitteilen würde, dass der vorherige Absatz von einer KI geschrieben wurde? Ja, ich habe YouWrite beauftragt, eine kurze Einleitung für diesen Artikel zu erstellen, und das ist das Resultat. Ziemlich überzeugend, nicht wahr? Das ist das Problem: Es ist zu überzeugend, sodass jemand es als seine eigene Arbeit ausgeben könnte, um daraus einen Vorteil zu ziehen.
KI-Systeme formulieren Inhalte nicht einfach um; sie erfassen das Thema und präsentieren es in natürlicher Sprache unter Verwendung von RLHF (Reinforcement Learning from Human Feedback). Dadurch wirken die generierten Texte nicht roboterhaft und können auch nicht einfach mit online verfügbaren Daten auf Plagiate überprüft werden.
Die Identifizierung von KI-generierten Inhalten ist eine Herausforderung, und ich möchte Ihnen keine falschen Hoffnungen machen, dass dies mit 100-prozentiger Sicherheit möglich ist. Mit detektivischem Spürsinn und der Unterstützung von KI-Erkennungstools können Sie jedoch die meisten KI-Texte aufspüren.
Im Folgenden stelle ich Ihnen sowohl manuelle Methoden zur Erkennung von KI-Plagiaten als auch einige automatisierte Hilfsmittel vor.
Manuelle Erkennung von KI-Plagiaten 🕵️
ChatGPT ist nicht das einzige Problem, wenn es um KI-Plagiate geht. Es gibt zahlreiche alternative Tools, die auf der gleichen GPT-3-Technologie aufbauen und zum Schreiben entwickelt wurden. Diese sind sehr fortschrittlich und speziell darauf ausgelegt, menschenähnliche Inhalte zu erzeugen, die schwer zu erkennen sind.
Automatische Erkennungstools liefern je nach Art, Länge und Komplexität des Inhalts unterschiedliche Ergebnisse. Daher ist es derzeit am besten, die Details manuell zu analysieren, um zu entscheiden, ob ein Artikel von einer KI generiert wurde oder nicht.
Hier sind einige allgemeine Hinweise, auf die Sie bei der Überprüfung von Texten achten sollten, um KI-generierte Inhalte aufzudecken:
#1. Veraltete Informationen
ChatGPT und andere GPT-3-basierte KIs verfügen über einen Wissensstand, der Ende 2021 eingefroren wurde. Einige KI-Bots haben zwar eine integrierte Suchmaschine, um nach aktuellen Informationen zu suchen, für die Erstellung längerer Texte, wie z.B. Aufsätze oder Blogartikel, greifen sie aber dennoch auf ältere Daten zurück.
Wenn Sie feststellen, dass ein Artikel immer wieder auf veraltete Informationen zurückgreift, insbesondere auf Daten vor 2021, könnte dies ein Indiz für KI-generierte Inhalte sein.
Im folgenden Screenshot habe ich YouWrite gebeten, mir etwas über die jüngste FIFA-Weltmeisterschaft zu erzählen, und das ist dabei herausgekommen.
Es wird über die Weltmeisterschaft 2018 anstatt der aktuellen von 2022 gesprochen. Obwohl das Tool aktualisiert wurde und auch über aktuelle Ereignisse wie die Weltmeisterschaft 2022 berichten kann, verwendet es bei der Erstellung längerer Texte immer noch die älteren Daten, auf denen es basiert.
#2. Verwendung ähnlicher Satzstrukturen für Beschreibungen
Wenn eine KI mehrere Produkte oder Apps beschreibt, verwendet sie oft die gleiche Satzstruktur, die sie dann leicht an das jeweilige Produkt anpasst. Die Beschreibungen beginnen in der Regel mit dem gleichen Wort, z.B. „Das“, „Es“, „Ein“ oder dem Produktnamen. Sie haben auch einen sehr spezifischen Fokus, der wiederholt wird.
So habe ich beispielsweise ChatGPT gebeten, mir etwas über „Websites für Datenerfassungsjobs“ zu erzählen. Sie werden feststellen, dass alle Beschreibungen mit „Eine“ beginnen und einen sehr einheitlichen Fokus haben.
Auch YouChat lieferte mir auf die gleiche Frage hin ein ähnliches Ergebnis: Es wiederholte zu Beginn den Namen jeder Website, und die Beschreibungen ähnelten sich inhaltlich stark.
Wenn der Text, den Sie analysieren, ähnliche Beschreibungsmuster aufweist, ist dies ein deutliches Indiz für KI-generierte Inhalte.
#3. Verwendung kurzer Sätze
In vielen Fällen verwendet die KI kurze Sätze mit maximal einem Komma. Möglicherweise soll dadurch die Fehlerwahrscheinlichkeit minimiert werden, aber sie vermeidet längere Sätze mit Doppelpunkten, Semikolons oder Gedankenstrichen.
Ich weiß, dass dies nicht das eindeutigste Zeichen für KI-Texte ist, aber es ist ein weiteres Indiz, um Ihren Verdacht zu erhärten.
#4. Möglicherweise falsche Angaben
Bei komplexen Fragen, die in der Regel eine Art von Anweisung beinhalten, kann die KI die eigentliche Absicht nicht erfassen und gibt falsche Informationen weiter. Ich spreche hier nicht von veralteten Informationen; es werden Ihnen einfach falsche Informationen selbstbewusst präsentiert, wenn die KI das Thema nicht versteht.
So habe ich YouWrite beispielsweise gefragt, „wie man ein Android-Telefon ohne PC rooten kann“. Es wurden mir immer noch Methoden vorgeschlagen, die den Einsatz eines PCs zu einem bestimmten Zeitpunkt beinhalten.
#5. Keine persönliche Meinung
Wenn eine KI über etwas schreibt, werden nur Fakten wiedergegeben. Im Gegensatz zu Menschen äußert sie keine persönlichen Erfahrungen. Obwohl KIs angewiesen werden können, einen Erfahrungsbericht zu erstellen, vermeiden sie dies standardmäßig.
Wenn Sie feststellen, dass ein Artikel nur Fakten wiedergibt, ist es sehr wahrscheinlich, dass er von einer KI verfasst wurde. So werden beispielsweise bei der Beschreibung einer App nur die Funktionen aufgezählt, anstatt zu beschreiben, wie flüssig die Navigation ist oder wie sich die Nutzung der App anfühlt.
#6. Kurze Erläuterungen
Da KI-Systeme durch das aktuell verfügbare Wissen beschränkt sind, neigen sie zu kurzen Erklärungen und Beschreibungen. Wenn sie über ein bestimmtes Thema schreiben – z. B. Android-Rooting –, werden in der Regel nicht mehr als zwei bis drei Absätze verwendet. Bei der Beschreibung von Apps oder Produkten überschreitet die Beschreibung normalerweise nicht einen Absatz.
Menschen schreiben oft ausführlicher über etwas, einschließlich der Funktionen, Einschränkungen, persönlichen Erfahrungen, Preise usw. KI-Systeme konzentrieren sich hingegen meist auf die wichtigsten Funktionen oder Highlights, wodurch die Beschreibungen ebenfalls kurz ausfallen. Wenn der Autor nach weiteren Details gefragt wird, steigt die Wahrscheinlichkeit falscher Informationen deutlich an.
#7. Überprüfen Sie den bisherigen Werdegang des Autors
Wenn Sie als Lehrer oder Webmaster Zugriff auf frühere Arbeiten des Autors haben, ist es eine gute Idee, diese mit dem verdächtigen Artikel zu vergleichen. Es ist höchst unwahrscheinlich, dass ein Autor einen ähnlichen Schreibstil wie eine KI hat. Obwohl KI den Schreibstil verändern kann, sind die gewählten Stile eher generisch und passen sich nicht an Ihre individuelle Ausdrucksweise an.
Nehmen wir das Beispiel des KI-generierten Absatzes in der Einleitung dieses Artikels. Jeder, der meine früheren Artikel gelesen hat, wird schnell feststellen, dass sich mein Schreibstil deutlich davon unterscheidet.
Lesen Sie einfach zwei oder drei frühere Texte des Autors und überprüfen Sie, ob diese mit dem Schreibstil des verdächtigen Artikels übereinstimmen.
Tools zur Erkennung von KI-Plagiaten
Es gibt eine Reihe von Tools, die in der Lage sind, von KI generierte Texte zu erkennen. Ihre Genauigkeit variiert jedoch und kann je nach Art und Länge des Inhalts abnehmen.
Ich habe diese Tools mit verschiedenen Arten von Texten getestet, die von ChatGPT, GPT-3 Playground, WriteSonic, Rytr und YouWrite erstellt wurden. Sie haben alle Arten von Texten, die von ChatGPT und GPT-3 Playground generiert wurden, korrekt erkannt.
Obwohl die Ergebnisse bei speziellen Schreibwerkzeugen gemischt waren, konnte interessanterweise YouWrite von keinem der Tools erkannt werden. Ich vermute, das liegt daran, dass YouWrite menschenähnliche Fehler einbaut, um der Entdeckung zu entgehen.
Ich empfehle, diese Tools ergänzend zur manuellen Überprüfung der Texte einzusetzen. Analysieren Sie zunächst den Inhalt mit einem dieser Tools und suchen Sie dann manuell nach Anhaltspunkten, um den Verdacht weiter zu erhärten.
Im Folgenden liste ich die Tools auf, die die besten Ergebnisse geliefert haben und am einfachsten zu bedienen sind:
Hinweis: Zur Demonstration werde ich einen von WriteSonic generierten Text zum Thema „Vorteile von Mangos“ verwenden.
#1. Content at Scale
Der KI-Inhaltsdetektor von Content At Scale hat bei meinen Tests am besten abgeschnitten. Sie können bis zu 2.500 Zeichen pro Scan überprüfen und eine prozentuale Vorhersage treffen, die die Wahrscheinlichkeit von KI-generierten Inhalten angibt.
Wenn ein Text zu über 60 % als KI-generiert eingestuft wird, kann man davon ausgehen, dass er tatsächlich von einer KI stammt, oder zumindest der Großteil davon. Im folgenden Screenshot können Sie sehen, dass 96 % des von mir vollständig mit KI generierten Textes als gefälscht eingestuft werden.
#2. GPTZero
Wenn Sie genau sehen möchten, welche Teile eines Textes von einer KI stammen könnten, ist GPTZero eine gute Option. GPTZero bewertet Texte nicht, sondern hebt die Textstellen hervor, die mit hoher Wahrscheinlichkeit von einer KI generiert wurden.
Zwar werden auch Perplexitäts- und Burstiness-Werte angegeben, um eine Vorstellung von der Zufälligkeit im Text zu bekommen, aber vor allem können 5.000 Zeichen pro Scan geprüft werden und es können sogar Dateien hochgeladen werden. Das Überprüfen größerer Textmengen trägt erheblich zur Verbesserung der Genauigkeit bei.
#3. GPT-2 Output Detector
Die Entwickler von ChatGPT bieten auch einen Bot zur Erkennung ihrer eigenen KI-Texte an. Da sich GPT-2 und GPT-3 nur in den für das Training verwendeten Datensätzen unterscheiden, funktioniert dieser GPT-2-Detektor auch gut für GPT-3-basierte KIs.
Es gibt keine Beschränkung hinsichtlich der Textmenge, die analysiert werden kann, daher ist es ideal für die Erkennung sehr langer KI-Texte. Ich fand die Genauigkeit ebenfalls gut, insbesondere bei von ChatGPT erstellten Texten. Die Vorhersagen sind jedoch etwas ungenau, daher sollten Sie die Ergebnisse nur dann berücksichtigen, wenn mehr als 50 % des Inhalts als KI-generiert eingestuft werden.
#4. Writer AI Content Detector
Die Ergebnisse des Writer AI Content Detector sind fragwürdig, wenn es um die Erkennung von Texten geht, die von KI-Schreibwerkzeugen erstellt wurden, aber es funktioniert sehr gut bei von ChatGPT generierten Inhalten. Es können 1.500 Zeichen pro Scan überprüft werden, und es ist sogar möglich, die URL des Inhalts anzugeben, falls er bereits veröffentlicht wurde.
Bei meinem KI-Testtext wurde angegeben, dass 94 % des Textes von Menschen generiert wurden, was im Vergleich zu anderen Tools eine deutliche Abweichung darstellt. Dennoch ist es ein nützliches Tool zur Erkennung von ChatGPT-Inhalten, insbesondere wenn diese bereits veröffentlicht wurden.
#5. Draft & Goal
Ein einfaches, aber leistungsstarkes Tool zur Erkennung von KI-Texten. Meiner Erfahrung nach lieferte Draft & Goal ähnliche Ergebnisse wie Content At Scale, es gibt jedoch keine Begrenzung der Wortzahl, sodass auch sehr lange Texte analysiert werden können. Die Scanzeit verlängert sich jedoch je nach Umfang des zu scannenden Textes.
Bei meinem Testtext wurde angegeben, dass 94 % des Textes von KI generiert wurde.
Meine Gedanken 💭
Ich persönlich sehe die Unterstützung durch KI als eine hervorragende Möglichkeit, Schreibblockaden zu überwinden, Informationen zu sammeln und Inspiration zu finden. Sie sollte jedoch niemals das menschliche Schreiben ersetzen, da KI auf das bereits bekannte Wissen beschränkt ist.
Sie können auch einige der besten Tools zur Plagiatsprüfung nutzen, um das Kopieren von Inhalten zu verhindern.