Datenvergiftung: Wie Angriffe KI-Modelle manipulieren und wie man sich in jeder Phase schützen kann

Moderne KI-Modelle lernen aus riesigen Mengen externer, oft nicht verifizierter Daten. Diese Abhängigkeit ist zugleich ihre Schwäche. Wenn die Daten, mit denen ein Modell trainiert wird, manipuliert werden können, wird die Trainingspipeline selbst zur Angriffsfläche, und dem Modell kann beigebracht werden, auf eine Weise zu versagen, die schwer zu erkennen und noch schwerer rückgängig zu machen ist.

Datenvergiftung ist ein Integritätsangriff auf diese Pipeline. Durch die Manipulation der Daten, aus denen ein Modell lernt, kann ein Angreifer dessen Genauigkeit unbemerkt beeinträchtigen, versteckte Hintertüren einbauen oder dessen Verhalten in Richtung eines gewünschten Ergebnisses verzerren. Dieser Artikel erläutert, was Datenvergiftung ist, wie die Angriffe kategorisiert werden, an welcher Stelle im KI-Lebenszyklus Datenvergiftung auftritt, warum sie funktioniert und wie sich jede Phase mit mehrschichtigen Kontrollmechanismen schützen lässt, die auf überprüfbarer Integrität und Herkunftsnachweis basieren.

Was ist Datenvergiftung?

Unter „Data Poisoning“ versteht man die Manipulation von Daten für das Vortraining, das Fine-Tuning oder das Embedding, um Schwachstellen, Hintertüren oder Verzerrungen einzuschleusen, die die Sicherheit, die Leistung oder das ethische Verhalten eines Modells beeinträchtigen. Laut den OWASP Top 10 für LLM-Anwendungen (LLM04:2025 „Data and Model Poisoning“) kann diese Manipulation zu einer verminderten Modellleistung, voreingenommenen oder schädlichen Inhalten sowie zur Ausnutzung nachgelagerter Systeme führen, die auf die Ausgabe des Modells angewiesen sind.

Dies wird als Integritätsangriff eingestuft, da die Manipulation von Trainingsdaten die Fähigkeit des Modells, genaue Vorhersagen zu treffen, direkt beeinträchtigt. Das Risiko ist am höchsten, wenn Modelle auf externe Datenquellen zurückgreifen, die möglicherweise ungeprüfte oder absichtlich böswillige Inhalte enthalten. Kurz gesagt: Wenn man den eingehenden Daten nicht vertrauen kann, kann man auch dem daraus resultierenden Verhalten nicht vertrauen.

Datenvergiftung vs. Modellvergiftung

Datenvergiftung und Modellvergiftung sind miteinander verwandt, aber nicht identisch. Die Datenvergiftung zielt auf die Daten ab, die zum Trainieren, Feinabstimmen oder Einbetten eines Modells verwendet werden. Die Modellvergiftung ist der übergeordnete Begriff, der auch die Manipulation des Modellartefakts selbst umfasst.

Modelle, die über gemeinsam genutzte Repositorys oder „ open-source “-Plattformen verbreitet werden, können Risiken mit sich bringen, die über beschädigte Daten hinausgehen. Ein gängiges Beispiel ist das sogenannte „Malicious Pickling“, bei dem Malware in eine serialisierte Modelldatei eingebettet wird, sodass schädlicher Code ausgeführt wird, sobald das Modell geladen wird. Datenvergiftung ist daher ein Weg zu einem manipulierten Modell, und um sich umfassend gegen dieses Problem zu schützen, müssen sowohl die Daten als auch das Artefakt geschützt werden.

	Datenverfälschung	Modellvergiftung
Was wurde manipuliert?	Vorverarbeitung, Feinabstimmung oder Einbettung von Daten	Das Artefakt des verteilten Modells; Gewichte und die serialisierte Datei, in der diese enthalten sind
Wo es eintritt	Die Trainingspipeline, insbesondere externe Datenquellen, die möglicherweise unüberprüfte oder schädliche Inhalte enthalten	Gemeinsam genutzte Repositorien oder Plattformen vom Typ „ open-source “, auf denen die Modelle gehostet werden
Mechanismus	Das Gelernte des Modells verfälschen	Versand eines beschädigten Modells, Einbettung von Malware
Wo der Schaden entsteht	Während des Trainings muss es bis zum Endgewicht durchhalten, um wirksam zu sein	Zum Zeitpunkt der Erfassung oder des Ladens, bevor eine Inferenz durchgeführt wird
Sicherheitseigenschaft nicht gegeben	Integrität: Eine Manipulation der Trainingsdaten beeinträchtigt die Fähigkeit des Modells, genaue Vorhersagen zu treffen.	Integrität und Codeausführung in der Infrastruktur des Benutzers
Typisches Ergebnis	Leistungsbeeinträchtigung, voreingenommene oder schädliche Inhalte, nachgelagerte Ausbeutung	Gleiches Verhaltensergebnis, zusätzlich Beeinträchtigung des Wirts
Anforderungen an den Angreifer	Ein gewisses Maß an Kontrolle über einen Teil des Korpus	Kontrolle über ein Verlagskonto oder den Vertriebskanal
Primäre Schadensminderung	Rückverfolgung der Herkunft über eine Stückliste, Lieferantenprüfung, Versionsverwaltung von Datensätzen mit DVC	Überprüfung von Artefaktvektoren und sichere Deserialisierungsformate sowie Sandboxing zur Begrenzung des Risikos

Arten von Vergiftungsangriffen: Ziele und Möglichkeiten

Vergiftungsangriffe lassen sich auf zwei sinnvolle Arten gruppieren: danach, was der Angreifer erreichen will, und danach, über welche Zugriffsrechte der Angreifer verfügt.

Je nach Ziel lassen sich Angriffe in der Regel in drei Kategorien einteilen:

• Voreingenommenheit oder Fehlinformationen:Verfälschung der Modellausgaben zur Verbreitung falscher oder verzerrter Informationen.
• Gezielte Hintertüren:Einbau eines versteckten Verhaltens, das nur unter bestimmten Bedingungen aktiviert wird.
• Verfügbarkeits- oder Leistungsbeeinträchtigung:Verringerung der Gesamtgenauigkeit und Zuverlässigkeit des Modells.

Je nach ihren Möglichkeiten reichen die Angreifer von solchen, die lediglich die öffentlichen Daten beeinflussen können, die das Modell möglicherweise aufnimmt, bis hin zu solchen, die direkten Zugriff auf den Trainingsprozess selbst haben. „Split-View“-Datenvergiftung (die darin besteht, zuvor kuratierte Daten vor dem Abruf zu manipulieren) und „Frontrunning“-Vergiftung nutzen die Dynamik aus, mit der Modelle Webdaten erfassen und darauf trainieren, während Backdoor-Trigger ein „Schläferagent“-Verhalten erzeugen können, bei dem sich ein Modell normal verhält, bis ein ausgewählter Auslöser es umschaltet.

In denNIST-Leitlinien zum adversarischen maschinellen Lernen wird eine umfassend verbindliche Taxonomie der Ziele und Fähigkeiten von Angreifern geführt. Das Dokument unterteilt das Poisoning in vier Kategorien: Verfügbarkeits-Poisoning (wahllose Beeinträchtigung), gezieltes Poisoning (einige ausgewählte Beispiele), Backdoor-Poisoning (auslöserbedingte Fehlklassifizierung) und Modell-Poisoning (wie oben erläutert).

Die AI-Pipeline-Karte: Wo das Poisoning ins Spiel kommt

Eine Kompromittierung stellt keinen einzelnen Schwachpunkt dar. Sie kann in verschiedenen Phasen des Modelllebenszyklus auftreten. Sicherheitsteams können anhand der folgenden Übersicht ihre eigenen Schwachstellen identifizieren.

• Vortraining:Modelle lernen anhand großer, allgemeiner, oft im Web-Maßstab angelegter Datensätze. Aufgrund des schieren Umfangs ist es schwierig, jeden Datensatz zu überprüfen, und unüberprüfte Daten erhöhen das Risiko voreingenommener oder fehlerhafter Ergebnisse.
• Feinabstimmung:Ein Modell wird anhand eines kleineren Datensatzes an eine bestimmte Aufgabe angepasst. Angreifer, die diesen Datensatz beeinflussen können, lassen sich das Verhalten des Modells mit relativ geringem Aufwand lenken.
• Einbettung:Text wird in numerische Vektoren umgewandelt, einschließlich der Vektorspeicher, die für die „Retrieval-Augmented Generation“ (RAG) verwendet werden. Hier eingebettete manipulierte Inhalte können unbemerkt beeinflussen, welche Informationen das Modell abruft und wie es darauf reagiert.
• Modellverteilung:Modelle, die über Repositorys und „ open-source “-Plattformen bereitgestellt werden, können eingebettete Malware enthalten, beispielsweise durch bösartiges „Pickling“, das beim Laden ausgeführt wird.
• Benutzerinteraktion:Benutzer können während der normalen Nutzung unwissentlich sensible, geschützte oder schädliche Inhalte einfügen, die dann in späteren Ausgaben auftauchen können.

Vorfälle aus der Praxis zeigen, wie vielfältig diese Angriffspunkte sind. Beispiele wie PoisonGPT haben verdeutlicht, wie ein manipuliertes Modell auf einer öffentlichen Modellplattform versteckt werden kann, um Falschinformationen zu verbreiten. Ein weiteres Beispiel ist der Chatbot „Tay“, der durch manipulierte Interaktionen dazu gebracht wurde, toxische Inhalte zu produzieren. Weitere Untersuchungen zur Manipulation von Trainingsdatensätzen im Web-Maßstab haben gezeigt, dass bereits ein kleiner Anteil korrupter öffentlicher Daten Einfluss darauf haben kann, was große Modelle lernen.

Warum Datenvergiftung funktioniert

Eine Vergiftung ist aus strukturellen und nicht aus zufälligen Gründen wirksam.

• Erstens sind Modelle auf externe Daten angewiesen, die sie nicht vollständig überprüfen können. Im Web-Maßstab ist es nicht praktikabel, jede Quelle manuell zu erfassen und zu prüfen, sodass regelmäßig ungeprüfte Inhalte in die Pipeline gelangen.
• Zweitens handelt es sich bei der Vergiftung um einen Integritätsangriff, der im Verborgenen abläuft. Anstatt ein System zum Absturz zu bringen, lenkt er Vorhersagen auf eine Weise in die falsche Richtung, die wie eine gewöhnliche Unvollkommenheit des Modells aussehen kann.
• Drittens können Hintertüren im Verborgenen bleiben. Ein manipuliertes Modell verhält sich möglicherweise zunächst normal, bis ein bestimmter Auslöser eine Verhaltensänderung bewirkt, wodurch es praktisch zu einem „Schläferagenten“ wird. Da das böswillige Verhalten bei gewöhnlichen Tests nicht auftritt, wird es bei einer Standardbewertung oft völlig übersehen.
• Viertens fehlt es den meisten Pipelines an einer zuverlässigen Herkunftsnachverfolgung. Wenn Systeme über keine umfassende und kryptografisch sichere Herkunftsnachverfolgung verfügen, gibt es keinen verlässlichen Prüfpfad, um nachzuweisen, woher Daten oder ein Modell stammen oder ob sie verändert wurden. Manipulationen, die keine nachweisbaren Spuren hinterlassen, bleiben unentdeckt.

Schutzmaßnahmen in jeder Phase des Lebenszyklus

Da eine Kompromittierung in jeder Phase auftreten kann, ist eine mehrschichtige Verteidigung die wirksamste Maßnahme: An jedem Punkt des Lebenszyklus werden Kontrollmechanismen eingerichtet, damit keine einzelne Lücke zu einem Single Point of Failure wird. Die folgenden Präventions- und Abhilfemaßnahmen etablieren sich zunehmend als Standardverfahren zur Stärkung der Modellsicherheit.

Herkunft und Beschaffung

Verfolgen Sie die Herkunft und die Transformationen von Daten mithilfe von Tools wie einer „Bill of Materials“ für maschinelles Lernen. Prüfen Sie Datenanbieter gründlich und verifizieren Sie die Legitimität der Daten in jeder Phase der Modellentwicklung. Das Ziel ist es, stets beantworten zu können, woher ein Trainingsdatensatz stammt und ob er verändert wurde.

Datenkuratierung und -validierung

Filtern und validieren Sie eingehende Daten, bevor sie das Modell erreichen. Setzen Sie Infrastrukturkontrollen durch, die den Zugriff des Modells auf bestimmte Quellen einschränken, damit es keine unsicheren oder unbeabsichtigten Daten aufnehmen kann. Validieren Sie die Modellausgaben anhand vertrauenswürdiger Referenzen, um frühe Anzeichen einer Datenvergiftung zu erkennen.

Während des Trainings

Verwenden Sie beim Fine-Tuning sorgfältig zusammengestellte, aufgabenspezifische Datensätze, damit das Modell aus Material lernt, das auf seinen Zweck abgestimmt ist. Setzen Sie eine Datenversionskontrolle (DVC) ein, um Änderungen an den Datensätzen nachzuverfolgen und Manipulationen zu erkennen. Überwachen Sie den Trainingsverlust und das Modellverhalten und legen Sie Schwellenwerte fest, die anomale Ausgaben kennzeichnen. Testen Sie die Robustheit mit „Red-Team“-Kampagnen und adversarialen Techniken wie föderiertem Lernen, um die Auswirkungen von Datenverfälschungen zu begrenzen.

Nach dem Training

Überprüfen und vergleichen Sie das trainierte Modell vor der Bereitstellung mit vertrauenswürdigen Referenzen. Scannen Sie verteilte Modellartefakte auf eingebettete Malware, beispielsweise unsichere Pickle-Dateien. Richten Sie Signatur- und Integritätsprüfungen für Modelldateien ein, damit Manipulationen nach dem Training erkannt werden können.

Laufzeit

Wenden Sie strenge Sandboxing-Maßnahmen an, um die Exposition des Modells gegenüber ungeprüften Daten zu begrenzen. Nutzen Sie Anomalieerkennung, um adversarische Eingaben herauszufiltern. Speichern Sie vom Nutzer bereitgestellte Informationen in einer Vektordatenbank, damit diese angepasst werden können, ohne das gesamte Modell neu trainieren zu müssen. Integrieren Sie bei der Inferenz „Retrieval-Augmented Generation“ (RAG) und Grounding-Techniken, um das Risiko von Halluzinationen und Fehlinformationen zu verringern.

Die Integritäts- und Herkunftsebene

Herkunft und Integrität sind nicht nur eine der zehn oben genannten Maßnahmen. Sie bilden eine übergreifende Vertrauensebene, die alle anderen Kontrollmaßnahmen glaubwürdig macht.

Die Logik dahinter ist einfach. Ohne eine kryptografisch sichere Herkunftsnachweis gibt es keine zuverlässige Möglichkeit, nachzuweisen, woher ein Datensatz oder ein Modellartefakt stammt oder ob es im Laufe des Prozesses verändert wurde. Dies ist keine Option, sondern eine Grundvoraussetzung: Die Analyse von nicht signierten Inhalten liefert stets nur Schlussfolgerungen über Material unbekannter Herkunft, während man der Analyse signierter Inhalte vertrauen kann, da Urheberschaft und Integrität bereits festgestellt sind.

In der Praxis vereint diese Ebene zwei Arten von Kontrollmechanismen. Stücklisten und die Datenversionskontrolle dokumentieren, welche Elemente in ein Modell eingeflossen sind und wie es sich verändert hat. Kryptografische Signaturen und Integritätsprüfungen verknüpfen diese Aufzeichnungen dann mit einem Nachweis, der nicht unbemerkt gefälscht werden kann. Zusammen ermöglichen sie es einem Team, zu überprüfen – und nicht nur anzunehmen –, dass die Daten und Modelle in ihrer Pipeline tatsächlich das sind, was sie vorgeben zu sein. Diese überprüfbare Grundlage bildet die natürliche Brücke zur Infrastruktur für Identitäten, Signaturen und Zertifikate, die die Lücke in der Herkunftsnachverfolgung schließt.

Standards und Governance

Es gibt verschiedene Rahmenwerke, die Unternehmen dabei helfen, das Vergiftungsrisiko zu bewältigen, und diese funktionieren am besten, wenn die Unternehmensführung an erster Stelle steht.

• NIST-Rahmenwerk für das KI-Risikomanagement:Ein freiwilliges Rahmenwerk, das Strategien zur Gewährleistung der KI-Integrität sowie zur Erkennung, Messung und Steuerung von KI-Risiken über den gesamten Lebenszyklus hinweg bietet.
• MITRE ATLAS:Eine Wissensdatenbank mit realen Taktiken und Techniken für adversariales maschinelles Lernen, wie beispielsweise vergiftete Trainingsdaten, ML-Modelle mit Hintertüren, veröffentlichte vergiftete Datensätze usw.
• OWASP-Leitlinien und „ software “-Standards für Stücklisten:OWASP LLM04:2025 definiert das Vergiftungsrisiko, und OWASP CycloneDX sowie ML-BOM bieten standardisierte Verfahren zur Dokumentation der Herkunft entlang der gesamten KI-Lieferkette.
• Aktuelle IETF-Standardisierungsarbeiten:In frühen Entwürfen im Standardisierungsprozess wird behandelt, wie KI-Agenten identifiziert, authentifiziert und autorisiert werden, wobei die Konzepte der Herkunft und des Vertrauens auf die Interaktionsweisen von KI-Systemen ausgeweitet werden.

Der entscheidende Punkt ist die Governance. Technische Kontrollmaßnahmen funktionieren nur, wenn jemand die Verantwortung dafür übernimmt: Richtlinien, klare Zuständigkeiten und Rechenschaftspflicht müssen den technischen Instrumenten vorausgehen. Bemerkenswert ist, dass nur 50 Prozent der Organisationen eine umfassende Governance für KI-Systeme umgesetzt haben, was eine große Lücke zwischen den bestehenden Kontrollmaßnahmen und den tatsächlich durchgesetzten Maßnahmen hinterlässt.

Wie Keyfactor helfen Keyfactor

Daten- und Modellvergiftung ist im Kern ein Vertrauensproblem: Man kann die Herkunft oder Integrität der Daten und Modelle, auf die man sich verlässt, nicht überprüfen. Genau diese Lücke sollen die Identitäts-, PKI- und Signaturfunktionen v Keyfactorschließen.

Keyfactor bietet die kryptografische Infrastruktur, um eine nachprüfbare Herkunftsnachweise über die gesamte Lieferkette im Bereich KI und maschinelles Lernen hinweg zu gewährleisten. EJBCA Stellt eine Zertifizierungsstellen-Infrastruktur für Unternehmen bereit, um digitale Zertifikate auszustellen und zu verwalten, die Identitäten mit Datensätzen, Modellartefakten und den Systemen, die diese erzeugen, verknüpfen. Keyfactor SignServer ermöglicht die API-gesteuerte Signierung von Code und Artefakten, sodass Modelldateien und Pipeline-Ergebnisse zentral signiert werden können, ohne dass private Schlüssel verteilt werden müssen, und spätere Manipulationen durch Integritätsprüfungen aufgedeckt werden. Keyfactor Command automatisiert das Zertifikatslebenszyklusmanagement und übernimmt die Ausstellung, Erneuerung und Sperrung, sodass Vertrauensbeziehungen auch bei der Skalierung von Pipelines stets auf dem neuesten Stand bleiben.

Die gleichen PKI- und Codesignatur-Prinzipien, die die Lieferketten, Geräteidentitäten und die Authentifizierung von Workloads im Rahmen von „ software “ schützen, lassen sich direkt auf den Schutz von KI anwenden. Der HSM-gestützte Schlüsselschutz bewahrt Signaturschlüssel in manipulationssicheren „ hardware “, um die Anforderungen regulierter Branchen zu erfüllen. Das Ergebnis ist ein Wechsel von der heuristischen Erkennung hin zur kryptografischen Absicherung: Anstatt darauf zu hoffen, dass ein manipulierter Datensatz oder ein manipuliertes Modell entdeckt wird, können Teams nachweisen, was vertrauenswürdig ist, und das Unzuverlässige zurückweisen. Dies ist die praktische Umsetzung der oben beschriebenen Integritäts- und Herkunftsebene, die auf die gesamte Lieferkette von KI und maschinellem Lernen ausgeweitet wird.