Mit der VR China verbundener Missbrauch: Überwachung und Einflussnahme

Diese Fallstudie wurde ursprünglich in OpenAIs Bericht vom Oktober 2025⁠(wird in einem neuen Fenster geöffnet) veröffentlicht.

Personen mit mutmaßlichen Verbindungen zu staatlichen Stellen der Volksrepublik China nutzten ChatGPT zur Unterstützung bei Entwicklungs-, Profiling- und Verwaltungsaufgaben.

Wie wir im März in unserer Stellungnahme zum US-Aktionsplan für KI des Office of Science and Technology Policy dargelegt haben, kann KI aus unserer Sicht nur möglichst vielen Menschen zugutekommen, wenn vernünftige Regeln vor tatsächlichen Schäden schützen und zugleich den Einsatz von KI sowie die Entwicklung demokratischer KI ermöglichen. Unter demokratischer KI verstehen wir KI, die von den demokratischen Grundsätzen geprägt ist, für die Amerika seit jeher steht. Dazu gehört, zu verhindern, dass autoritäre Regime KI-Werkzeuge einsetzen, um ihre Macht auszubauen und ihre Bevölkerung zu kontrollieren.

Unsere Investitionen in die Erkennung und Unterbindung von Versuchen autoritärer Regime, die Funktionen von ChatGPT zu missbrauchen, schützen nicht nur heute Menschen. Sie liefern auch wichtige Erkenntnisse darüber, wie solche Regime künftige Funktionen missbrauchen könnten. Dieser Abschnitt behandelt einige dieser Erkenntnisse zu Personen, die möglicherweise mit solchen Regimen in Verbindung stehen. Der Schwerpunkt liegt auf der Volksrepublik China.

Wie wir im Juni schrieben, macht die Volksrepublik China deutliche Fortschritte bei der Weiterentwicklung ihrer autokratischen Variante von KI. Unsere Sperrung von ChatGPT‑Konten, die von Personen mit mutmaßlichen Verbindungen zu staatlichen Stellen Chinas genutzt wurden, gibt einen gewissen Einblick in den aktuellen Einsatz von KI in diesem autoritären Umfeld. Einige Aspekte dieser Nutzung schienen auf die großflächige Überwachung des Online- oder Offline-Verkehrs abzuzielen. Das unterstreicht, wie wichtig es ist, mögliche autoritäre Missbrauchsfälle in diesem Bereich weiterhin aufmerksam zu verfolgen. Andere Aspekte dieser Nutzung schienen auf eine eingehendere Erstellung von Personenprofilen abzuzielen. Wir haben die mit diesen Aktivitäten verbundenen Konten gesperrt und teilen unsere Erkenntnisse in diesem Bericht.

Diese Untersuchung beruht auf einer Auswahl regelwidriger Aktivitäten, die wir erkannt und durch Sperrungen unterbunden haben. Die Aktivitäten entsprachen der Nutzung von ChatGPT durch einzelne Personen und nicht einer großflächigen institutionellen Einführung unserer Modelle. Daher bietet die Untersuchung nur eine begrenzte Momentaufnahme davon, wie verschiedene KI-Modelle in diesem Zusammenhang genutzt werden.

Einige der von uns gesperrten Konten versuchten offenbar, mit ChatGPT Werkzeuge zur großflächigen Überwachung zu entwickeln. Dazu sollten Datensätze analysiert werden, die häufig von westlichen oder chinesischen sozialen Netzwerken stammten. Im Februar berichteten wir über einen solchen Fall. Dabei ging es um die Konzeption eines KI-gestützten Werkzeugs zur Beobachtung sozialer Medien, das nach Angaben der Verantwortlichen für chinesische Sicherheitskräfte bestimmt war. Diese Personen baten ChatGPT üblicherweise darum, solche Werkzeuge zu konzipieren oder Werbematerial dafür zu erstellen, nicht aber darum, die Überwachung durchzuführen.

So sperrten wir kürzlich eine Person, die möglicherweise per VPN aus China auf unsere Dienste zugriff. Sie bat ChatGPT um Hilfe bei der Erstellung von Werbematerial und Projektplänen für ein Werkzeug zur Beobachtung sozialer Medien, das angeblich für eine staatliche Stelle bestimmt war. Das Werkzeug wurde als „Sonde“ (探针) für soziale Medien beschrieben. Es sollte angeblich Twitter/X, Facebook, Instagram, Reddit, TikTok und YouTube nach Äußerungen durchsuchen, die die Person als extremistisch bezeichnete, sowie nach ethnischen, religiösen und politischen Inhalten. Die Person nutzte unser Modell nicht, um die sozialen Medien tatsächlich zu überwachen. Wir können nicht unabhängig bestätigen, ob dieses Werkzeug von einer staatlichen Stelle Chinas eingesetzt wurde.

Ebenso sperrten wir eine zweite Person, die wahrscheinlich mit einer staatlichen Stelle in Verbindung stand. Sie bat ChatGPT um Hilfe beim Verfassen eines Konzepts für ein von ihr so bezeichnetes „Warnmodell für den Zuzug von Hochrisikopersonen mit Uigurenbezug“ (高危涉维吾尔关注人员流入预警模型). Das Konzept beschrieb ein Werkzeug, das Reisebuchungen analysieren und mit Polizeidaten abgleichen sollte. So sollte es frühzeitig vor Reisen von Personen warnen, die als „mit Uigurenbezug“ und als Hochrisikofälle eingestuft wurden, wobei diese Kategorie ansonsten nicht definiert war. Die Person bat unser Modell nicht um Hilfe bei der Entwicklung eines solchen Werkzeugs, sondern lediglich bei einem allgemeinen Konzept. Daher können wir nicht unabhängig bestätigen, welche Technologie sie einsetzen wollte oder ob eine staatliche Stelle Chinas ein solches Werkzeug genutzt hat.

Wir sperrten außerdem Personen, die offenbar mit staatlichen Stellen Chinas in Verbindung standen und anscheinend versuchten, ChatGPT für gezielte, individuell zugeschnittene Profilerstellung und Online-Recherchen zu nutzen.

Eine Person bat ChatGPT beispielsweise darum, die Finanzierungsquellen eines X-Kontos zu ermitteln, das die chinesische Regierung kritisierte. Eine zweite Person bat ChatGPT darum, die Verantwortlichen einer Petition in der Mongolei zu ermitteln. In beiden Fällen gaben unsere Modelle nur öffentlich zugängliche Informationen aus. Diese enthielten keine sensiblen Angaben wie Finanzierungsquellen oder die Identität der Verantwortlichen der Petition.

Bei einigen dieser Aktivitäten dienten unsere Modelle als Werkzeug zur Recherche in offenen Quellen, ähnlich wie frühere Personen dafür Suchmaschinen oder die Suche in sozialen Medien genutzt haben könnten. Eine dritte Person bat ChatGPT beispielsweise darum, täglich aktuelle Meldungen mit Relevanz für China zu ermitteln und zusammenzufassen. Dazu gehörten sensible Themen wie der Jahrestag des Massakers auf dem Tiananmen-Platz von 1989 und der Geburtstag des Dalai Lama.