
Was ist „Prompt Injection“? Die größte Bedrohung für KI-Systeme verstehen
Definition
Bei einer Prompt-Injection handelt es sich um einen Angriff, bei dem bösartige Inhalte in die von einem KI-System verarbeiteten Daten eingebettet werden, wodurch das System seine ursprünglichen Anweisungen außer Kraft setzt und unbeabsichtigte Aktionen ausführt. Mit anderen Worten: Ein Angreifer versteckt Anweisungen in einer ansonsten harmlosen Eingabe, und die KI behandelt diese versteckten Anweisungen als legitime Befehle.
Was „Prompt Injection“ von einem einfachen Fehler oder einer versehentlichen Fehlbedienung unterscheidet, sind die Absicht und der Mechanismus. Die KI missversteht keine korrekt formulierte Anfrage. Sie folgt Anweisungen, die niemals autorisiert wurden und von jemandem eingefügt wurden, der ihr Verhalten verändern will. Diese Eingaben können ein Modell beeinflussen, selbst wenn sie für einen menschlichen Leser nicht wahrnehmbar sind, da „Prompt Injection“ nicht davon abhängt, ob der Inhalt für eine Person sichtbar oder lesbar ist. Es hängt lediglich davon ab, ob der Inhalt vom Modell analysiert wird.
Aus diesem Grund gilt die Prompt-Injection als die größte Bedrohung für KI-basierte Systeme und steht als LLM01:2025 an der Spitze der OWASP Top 10 für Anwendungen mit großen Sprachmodellen. Sie nutzt eine grundlegende Eigenschaft der Funktionsweise von Sprachmodellen aus: Diese interpretieren Anweisungen in natürlicher Sprache, unabhängig davon, wo diese Anweisungen vorkommen – sei es in einer Systemaufforderung, einer Benutzernachricht, einem abgerufenen Dokument oder einer Datei. Eine ausführlichere technische Erläuterung finden Sie unter „So funktionieren Prompt-Injection-Angriffe “.
Warum eine rechtzeitige Intervention wichtiger denn je ist
Während des größten Teils des Zeitalters der generativen KI war eine Eingabeaufforderung eine Anfrage, und die Antwort erfolgte in Textform. Man stellte einem Chatbot eine Frage, und dieser antwortete. War die Antwort falsch, so beschränkten sich die Folgen in den meisten Fällen auf eine gewisse Unannehmlichkeit. Mit dem Aufkommen der agentenbasierten KI hat sich diese Gleichung geändert.
Agentische KI-Systeme reagieren nicht einfach nur. Sie ergreifen in realen Systemen Maßnahmen, um ein Ziel zu erreichen. Anstatt dass die Anwendung die KI als Hintergrundfunktion aufruft, wird die KI selbst zum Client, der direkt auf Anwendungen zugreift, Datenbanken abfragt, Transaktionen initiiert, Konfigurationen ändert und mit externen Parteien kommuniziert. Die entscheidende Technologie hinter diesem Wandel ist das Model Context Protocol (MCP), das seit 2025 allgemein verfügbar ist und KI-Systemen eine standardisierte Möglichkeit bietet, sich mit externer software zu verbinden. Mit einer Reihe vernetzter MCP-Server kann ein Assistent den Schritt vom Beantworten von Fragen zum Handeln vollziehen.
Diese Veränderung definiert den Begriff „Prompt“ neu. Ein Prompt ist nicht mehr nur eine Dialogzeile, sondern eine Anweisung, ein command – im Grunde ein nicht-deterministisches Programm, das in natürlicher Sprache geschrieben ist. Und Unternehmen bewegen sich zügig in diese Richtung. Die überwiegende Mehrheit der Unternehmen plant, verstärkt in agentische KI zu investieren, angelockt von Produktivitätssteigerungen, die Führungskräfte mit der Einstellung neuer Mitarbeiter vergleichen.
Wenn aus einer Eingabeaufforderung ein Programm wird, geht es bei der Prompt-Injection nicht mehr um eine falsche Antwort, sondern um unbefugte Handlungen mit erheblichen Konsequenzen. Es geht nicht mehr darum, ob die Ausgabe gut lesbar ist, sondern darum, ob ein autonomes System gerade etwas getan hat, was es niemals hätte tun dürfen.
Prompt-Injection im Vergleich zu herkömmlichen software
Die Sicherheitsgemeinschaft war bereits früher mit einer Variante dieses Problems konfrontiert. Bei herkömmlicher software lassen Unternehmen nicht zu, dass beliebiger Code in ihrer Umgebung ausgeführt wird. Sie stellen sicher, dass nur autorisierte, signierte ausführbare Dateien ausgeführt werden, und nutzen dabei Mechanismen wie die Windows-Benutzerkontensteuerung, die vor der Ausführung eines Programms überprüfen, ob dieses sowohl genehmigt als auch unverändert ist. Durch das Signieren der software und das Überprüfen der Signatur gewinnt man die Gewissheit, dass genau das ausgeführt wird, was beabsichtigt war.
Die Prompt-Injektion ist das Äquivalent in natürlicher Sprache zum Einschleusen bösartiger Anweisungen in eine autorisierte Anwendung. Wenn es sich bei dem „Programm“ um eine in Prosa verfasste Anweisung und nicht um kompilierten Code handelt, gilt derselbe Kernaspekt: Es sollten nur autorisierte Anweisungen ausgeführt werden, und diese Anweisungen dürfen auf ihrem Weg nicht manipuliert worden sein. Wenn überhaupt, wird dieses Problem noch größer, da natürliche Sprache fließender und schwerer einzugrenzen ist als kompilierte Binärdateien.
Diese Parallele deutet auf eine bekannte Lösungsansatzklasse hin. So wie die Codesignierung sicherstellt, dass eine ausführbare Datei aus einer vertrauenswürdigen Quelle stammt und nicht verändert wurde, können kryptografische Ansätze dazu beitragen, die Authentizität und Unverfälschtheit einer KI-Anweisung zu gewährleisten. Diese analoge Lösung wird auf unserer Seite zum Thema „Prompt-Signierung“ ausführlich behandelt. Der entscheidende Gedanke dabei ist ganz einfach, dass die Sicherstellung, dass nur autorisierte Anweisungen ausgeführt werden, eine Herausforderung ist, die beiden Paradigmen gemeinsam ist.
Arten der Prompt-Injektion
Die Prompt-Injektion ist keine einzelne Technik. Branchen-Frameworks wie OWASP LLM01:2025 beschreiben zwei Hauptkategorien, die sich danach richten, an welcher Stelle die bösartige Anweisung in das System gelangt.
Direkte Einspeisung der Eingabeaufforderung
Eine direkte Prompt-Injektion liegt vor, wenn die Eingabe eines Nutzers das Verhalten des Modells auf unbeabsichtigte oder unerwartete Weise direkt verändert. Dies kann beabsichtigt sein, wenn ein böswilliger Akteur gezielt einen Prompt erstellt, um das Modell auszunutzen, oder unbeabsichtigt, wenn ein Nutzer versehentlich eine Eingabe liefert, die ein unerwartetes Verhalten auslöst. Ein klassisches Beispiel ist ein Angreifer, der einen Kundensupport-Chatbot anweist, seine bisherigen Richtlinien zu ignorieren und private Daten preiszugeben.
Indirekte Prompt-Einspeisung
Eine indirekte Prompt-Injektion liegt vor, wenn ein Modell Eingaben aus externen Quellen wie Websites oder Dateien akzeptiert und diese externen Inhalte Anweisungen enthalten, die bei ihrer Interpretation das Verhalten des Modells verändern. Beispielsweise könnte ein Dokument, das zur Beantwortung einer Frage abgerufen wird, versteckten Text enthalten, der das Modell umleitet. Da die Anweisung in den Daten enthalten ist, die das Modell verarbeiten soll, wird sie vom Nutzer möglicherweise nie bemerkt. Der Aufstieg der multimodalen KI, die mehrere Datentypen gleichzeitig verarbeitet, erweitert diese Angriffsfläche noch weiter: Ein Angreifer kann Anweisungen in einem Bild verstecken, das einen harmlosen Text begleitet, und so modalübergreifende Angriffe erzeugen, die mit aktuellen Techniken nur schwer zu erkennen sind.
In beiden Szenarien hängen die Auswirkungen eines erfolgreichen Angriffs vom geschäftlichen Kontext und dem Grad der Handlungsfreiheit ab, die dem System eingeräumt wird. Zu den typischen Folgen zählen die Offenlegung sensibler Informationen, die Preisgabe von Systemaufforderungen oder Infrastrukturdetails, die Manipulation von Ausgaben, der unbefugte Zugriff auf Funktionen, die dem Modell zur Verfügung stehen, die Ausführung beliebiger Befehle in verbundenen Systemen sowie die Beeinträchtigung kritischer Entscheidungsprozesse.
Was macht die „Prompt Injection“ bei agentenbasierter KI und der Multi-Agenten-Herausforderung so gefährlich?
In einem Chatbot kann eine erfolgreiche Prompt-Injektion zu einem irreführenden Absatz führen. In einem agentenbasierten System kann derselbe Angriff jedoch Folgen nach sich ziehen, die bis in die reale Welt reichen. Da Agenten unbefugte Datenbankabfragen ausführen, Finanztransaktionen initiieren oder Infrastrukturkonfigurationen ändern können, kann eine einzige Injektion zu Dienstausfällen, Datenverlusten, fehlgeschlagenen Compliance-Prüfungen und einem dauerhaften Verlust des Kundenvertrauens führen. In cyber-physischen Umgebungen, in denen software Geräte software , reichen die potenziellen Folgen bis hin zu physischen Sicherheitsrisiken.
Ein charakteristisches Merkmal dieser Gefahr ist, dass sie mit dem Grad der Autonomie zunimmt. Je mehr Entscheidungsfreiheit eine Organisation einem Agenten einräumt und je größer die Bandbreite der Systeme ist, auf die dieser zugreifen kann, desto größer ist die Auswirkung einer Anweisung, die durchrutscht. Ein Agent, der lediglich Texte verfassen kann, stellt ein geringes Risiko dar. Ein Agent, der Geld transferieren oder Produktionssysteme neu konfigurieren kann, hingegen nicht.
In Multi-Agenten-Architekturen verstärkt sich dieses Risiko noch. In solchen Systemen leitet ein Agent häufig Daten oder Anweisungen an einen anderen weiter, der sie wiederum an einen dritten weiterleitet und so weiter. Dabei kann der Kontext verloren gehen, aus dem hervorgeht, welche Teile der Daten vom Benutzer übermittelt wurden und daher nicht vertrauenswürdig sind, und welche vom System generiert wurden und vertrauenswürdig sind. Dies ähnelt dem Spiel „Stille Post“: Bis eine Anweisung einen Agenten erreicht, der mehrere Glieder weiter in der Kette liegt, sind die Informationen, die erforderlich sind, um eine legitime Anweisung von einer eingeschleusten zu unterscheiden, möglicherweise bereits verloren gegangen. Ein einziger Einschleusungspunkt kann daher unbefugte Anweisungen über eine gesamte Kette verbreiten, wobei jeder nachfolgende Agent weniger Möglichkeiten hat als der vorherige, das Problem zu erkennen.
Konkrete Beispiele dafür, wie solche Angriffe ablaufen, sind unter anderem, dass ein Angreifer versteckte Anweisungen in eine Webseite einbaut, sodass eine KI, die diese zusammenfasst, eine private Unterhaltung nach außen weiterleitet, oder dass er ein Dokument in einem Wissensrepositorium so verändert, dass eine auf Abruf basierende Anwendung manipulierte Ergebnisse liefert. Diese von OWASP dokumentierten Szenarien zeigen, wie gewöhnliche Inhalte zu einem Angriffsvektor werden, sobald ein Akteur in die Lage versetzt wird, darauf einzuwirken.
Wie sich „Prompt Injection“ in das Gesamtbild der KI-Bedrohungen einfügt
Die Prompt-Injection stellt die größte Bedrohung für agentische KI dar, ist jedoch nicht die einzige. Ein Verständnis dafür, wo diese Bedrohung ansetzt, hilft zu verdeutlichen, warum keine einzelne Kontrollmaßnahme ausreicht. Agentische Systeme sind mit einer Reihe verwandter Bedrohungen konfrontiert, die sich jeweils in ihrem Ursprung von der Prompt-Injection unterscheiden, auch wenn der Schaden ähnlich erscheint:
- Man-in-the-Middle-Angriffe auf Direktiven:Abfangen und Verändern von Anweisungen während ihrer Übertragung über Netzwerke zwischen den Ursprungssystemen und der Agenten-Laufzeitumgebung.
- Replay-Angriffe:Erneute Übermittlung einer zuvor autorisierten Anweisung, um eine unbefugte Wiederholung einer Aktion auszulösen.
- Interne Bedrohungen:Autorisierte Benutzer, die Anweisungen außerhalb ihres genehmigten Zuständigkeitsbereichs erteilen.
- Kompromittierte vorgelagerte Systeme:legitime Integrationspunkte, die übernommen wurden und nun bösartige Anweisungen ausgeben.
- Social Engineering:Manipulation der menschlichen Mitarbeiter, die Anweisungen genehmigen oder erteilen.
Die Prompt-Injection unterscheidet sich von jeder dieser Methoden nicht nur in ihrer Funktionsweise, sondern auch in ihrer Natur. Technisch gesehen verbirgt ein Prompt-Injection-Angriff unbefugte Befehle in den Daten, die der Agent verarbeitet, anstatt eine Anweisung während der Übertragung abzufangen, eine alte Anweisung erneut abzuspielen oder eine Person zu manipulieren. Von der Art her ist der „Prompt Injection“-Angriff der grundlegendste, da er als Teil oder in Kombination mit jedem dieser Angriffe auftreten kann. Darüber hinaus überschneiden sich die Kategorien in ihrer Wirkung, weshalb sich Verteidiger nicht auf einen einzigen Mechanismus verlassen können. Um dieses gesamte Spektrum abzudecken, ist ein mehrschichtiger Ansatz fürdie Sicherheit von Eingabeaufforderungen erforderlich, bei dem sich ergänzende Kontrollmaßnahmen jeweils die Bedrohungen abdecken, die von den anderen übersehen werden.
Ein Beispiel aus der Praxis
OpenClaw ist ein open-source . Es wurde vom Entwickler Peter Steinberger (mittlerweile bei OpenAI) entwickelt, Ende 2025 unter dem Namen Clawdbot veröffentlicht und wuchs nach einigen Umbenennungen innerhalb von drei Tagen von rund 9.000 GitHub-Stars auf 60.000 an, wodurch es schließlich zu einem der Projekte mit den meisten Stars auf der Plattform wurde. Sein Reiz liegt darin, dass er handelt, anstatt nur Ratschläge zu geben: Ein Nutzer verbindet ihn mit seinem Posteingang, seinen Dateien und einem Browser, beschreibt eine Aufgabe in einfacher Sprache, und der Agent führt sie in seinem Namen aus. Genau diese Fähigkeit machte ihn zu einem nützlichen Testobjekt. Forscher bei Varonis machten sich daran, eine einfache Frage zu beantworten: Funktionieren die Phishing-Techniken, die seit Jahrzehnten bei Menschen erfolgreich sind, auch bei den Agenten, die nun für sie handeln?
Sie entwickelten einen Agenten, richteten ihm ein E-Mail-Konto ein, gewährten ihm Zugriff auf die internen Daten eines fiktiven Unternehmens und schickten ihm eine Reihe von Phishing-Nachrichten. Der Agent ging gut mit den technischen Ködern um. Ein verdächtiger Link, eine gefälschte Anmeldeseite und eine bösartige OAuth-Anwendung, die als Zeiterfassungstool getarnt war, wurden jeweils geprüft und abgelehnt. Ganz anders verhielt er sich jedoch, als der Angreifer auf die technische Komponente verzichtete und einfach eine überzeugende E-Mail verfasste. Eine Nachricht von jemandem, der sich als Teamleiter ausgab, ein Produktionsproblem anführte und Zugriff auf die Staging-Umgebung anforderte, veranlasste den Agenten, Zugangsdaten ausfindig zu machen und an eine externe Adresse zu senden. Eine zweite Nachricht von jemandem, der behauptete, im Homeoffice zu arbeiten und die Kundenliste für eine Präsentation zu benötigen, führte dazu, dass die Kundenliste bereitgestellt wurde. Es kam weder Malware noch ein Exploit zum Einsatz, sondern lediglich ein plausibler Vorwand und ein Gefühl der Dringlichkeit. Die wichtigste Erkenntnis für alle, die solche Systeme einsetzen, ist, dass eine „strenge“ Konfiguration – mit ausdrücklichen Anweisungen, die Identität des Absenders vor der Ausführung sensibler Aktionen zu überprüfen – auf dieselbe Weise versagte. Die E-Mail selbst war der Angriff. Der Agent behandelte die eingehende Nachricht so, als stamme sie von seinem Betreiber, da er keine zuverlässige Möglichkeit hat, eine Anweisung seines Besitzers von Text zu unterscheiden, der lediglich einer solchen ähnelt; und sobald eine Anfrage dringend erschien, wurde der Überprüfungsschritt, zu dessen Durchführung er angewiesen worden war, übersprungen.
Strategien zur Prävention und Schadensminderung
Da Prompt-Injection auf der grundlegenden, probabilistischen Art und Weise beruht, wie generative Modelle Sprache interpretieren – und genau so funktionieren heutige generative Modelle –, lässt sie sich mit den derzeitigen Architekturen nicht vollständig beseitigen. OWASP weist darauf hin, dass es keine bekannte, absolut sichere Präventionsmethode gibt. Was Unternehmen tun können, ist, die Angriffsfläche sinnvoll zu verringern und den Schaden einer eventuell erfolgreichen Injection zu begrenzen. OWASP LLM01:2025 empfiehlt mehrere Maßnahmen:
- Das Verhalten des Modells einschränken.
Geben Sie dem Modell in der System-Prompt klare Anweisungen zu seiner Rolle, seinen Fähigkeiten und seinen Grenzen. Achten Sie auf strikte Einhaltung des Kontexts, beschränken Sie die Antworten auf die definierten Aufgaben und weisen Sie das Modell an, Versuche, seine Kernanweisungen zu ändern, zu ignorieren. - Definieren und validieren Sie die erwarteten Ausgabeformate.
Legen Sie Ausgabeformate fest, fragen Sie nach Begründungen und Quellenangaben und verwenden Sie deterministischen Code, um zu überprüfen, ob die Antworten den Vorgaben entsprechen. - Implementieren Sie Eingabe- und Ausgabefilter.
Definieren Sie sensible Kategorien, erstellen Sie Regeln zu deren Erkennung und Behandlung, wenden Sie semantische Filter an und suchen Sie nach unzulässigen Inhalten. Die Bewertung der Antworten hinsichtlich Kontextrelevanz, Fundiertheit und Antwortrelevanz hilft dabei, potenziell böswillige Ausgaben zu erkennen. - Setzen Sie die Berechtigungssteuerung und das Prinzip der geringsten Berechtigungen durch.
Weisen Sie der Anwendung eigene API-Token für erweiterte Funktionen zu, wickeln Sie diese Funktionen im Code ab, anstatt sie dem Modell offenzulegen, und beschränken Sie die Berechtigungen des Modells auf das erforderliche Minimum. - Für risikoreiche Aktionen ist eine menschliche Genehmigung erforderlich.
Führen Sie „Human-in-the-Loop“-Kontrollen vor privilegierten Vorgängen ein, damit sensible Aktionen nicht unkontrolliert ausgeführt werden können. - Externe Inhalte abgrenzen und kennzeichnen.
Nicht vertrauenswürdige Inhalte sollten klar abgetrennt und gekennzeichnet werden, damit sie das Verhalten des Modells weniger beeinflussen. - Führen Sie adversarische Tests und Angriffssimulationen durch.
Führen Sie regelmäßig Penetrationstests und Sicherheitslückensimulationen durch, wobei Sie das Modell als nicht vertrauenswürdigen Benutzer behandeln, um Vertrauensgrenzen und Zugriffskontrollen zu testen.
Insgesamt bilden diese Maßnahmen eher eine defensive Strategie als eine einzelne Lösung. Das Problem der richtlinienmäßigen Genehmigung
Prompt-Injection lässt sich am besten als ein Symptom einer umfassenderen architektonischen Frage verstehen: Woher weiß ein System, dass die Anweisungen, die ein KI-Agent erhält, vertrauenswürdig sind? Wenn einem Agenten eine Anweisung erteilt wird, sollten vor dem Handeln mehrere Fragen geklärt werden:
- Authentizität:Stammt diese Anweisung aus einer legitimen, autorisierten Quelle?
- Integrität:Wurde die Richtlinie seit ihrem Erlass geändert?
- Befugnis:Ist diese Stelle befugt, eine solche Anweisung zu erteilen?
- Aktualität:Ist diese Anweisung aktuell oder handelt es sich um eine Wiederholung einer bereits genehmigten Anweisung?
- Semantische Sicherheit:Steht die Umsetzung dieser Richtlinie im Einklang mit den Unternehmensrichtlinien?
Die zentrale Schwierigkeit besteht darin, dass kein einzelner Mechanismus alle fünf Anforderungen erfüllt. Die sofortige Aufnahme in die Whitelist und die Verwendung von Vorlagen sind deterministisch und nachvollziehbar, werden jedoch mit zunehmender Anzahl von Anwendungsfällen unüberschaubar und blockieren standardmäßig neue legitime Anfragen. Einmalige Autorisierungscodes bieten Schutz vor Wiederholungsangriffen und einen klaren Prüfpfad, führen jedoch zu einer Laufzeitabhängigkeit und verlagern das Problem der menschlichen Genehmigung lediglich an eine andere Stelle. KI-basierte semantische Gatekeeper verstehen die Absicht und passen sich neuen Situationen an, sind jedoch nicht deterministisch, verursachen zusätzliche Kosten und schaffen selbst eine neue Angriffsfläche für Injektionen.
Aus diesem Grund setzen robuste Designs auf mehrere sich ergänzende Kontrollmechanismen, von denen jeder einen Teil des Problems angeht. Wenn man die Prompt-Injection auf diese Weise als Frage der direktiven Autorisierung betrachtet, schafft dies die Grundlage für das Verständnis, warum grundlegende Vertrauensmechanismen notwendig sind. Einen praktischen Überblick über Lösungen finden Sie unter„Verhinderung von Prompt-Injection-Angriffen in agentenbasierter KI“.
Wie Keyfactor helfen Keyfactor
Keyfactor kryptografisches Vertrauen für die sofortige Einbindung. Das gleiche Verfahren, das signierte software schützt, software auch auf KI-Anweisungen anwenden: Die Anweisung wird an ihrer autorisierten Quelle signiert, und diese Signatur wird überprüft, bevor ein Agent die Anweisung ausführt. Die Signaturinfrastruktur für Unternehmen Keyfactor, SignServer, in Verbindung mit der PKI-Plattform EJBCA, ermöglicht es Unternehmen, KI-Agenten-Anweisungen zu signieren, deren Authentizität und Integrität vor der Ausführung zu bestätigen und eine auf Zeitstempeln basierende Aktualität durchzusetzen, sodass alte, gespeicherte Anweisungen später nicht erneut ausgeführt werden können.
Ein zentraler Signaturdienst entlastet zudem erheblich den Betrieb. Systeme, die eine Anweisung signieren müssen, rufen eine Signatur-API auf und gehen niemals direkt mit privaten Schlüsseln um, während Schlüsselgenerierung, sichere Speicherung, Rotation und Sperrung zentral gemäß den Richtlinien verwaltet werden. Im mehrschichtigen Sicherheitsmodell dient die kryptografische Signatur als grundlegende Vertrauensschicht. Sie ist es, die die oberen Schichten, wie die semantische Analyse und die menschliche Überprüfung, vertrauenswürdig macht, denn die Analyse einer Anweisung unbekannter Herkunft führt zu Schlussfolgerungen, auf deren Grundlage man nicht sicher handeln kann, während die Analyse einer verifizierten Anweisung es ermöglicht, mit Zuversicht zu handeln.
Um zu erfahren, wie diese Komponenten in der Produktion zusammenwirken, informieren Sie sich über den AnsatzKeyfactorzur Absicherung von KI-Agenten.
Die wichtigsten Erkenntnisse
- Bei einer Prompt-Injection handelt es sich um bösartigen Inhalt, der in den von einer KI verarbeiteten Daten versteckt ist und darauf abzielt, deren Anweisungen zu überschreiben und sie dazu zu bringen, unbeabsichtigte Aktionen auszuführen. Sie gilt als das größte Risiko in den OWASP Top 10 für LLM-Anwendungen.
- Mit der agentenbasierten KI stieg der Einsatz erheblich.Wenn eine Eingabeaufforderung zu einer Anweisung wird, nach der ein Agent handelt, führt eine Manipulation nicht mehr nur zur Erzeugung einer falschen Antwort, sondern löst auch unbefugte Handlungen in der realen Welt aus.
- Es gibt verschiedene Arten, darunter direkte, indirekte und ausgelöste Injektionen, und die Gefahr steigt mit dem Grad an Autonomie, der einem Agenten gewährt wird.
- Dieses Risiko verstärkt sich in Multi-Agenten-Systemen, in denen der Kontext hinsichtlich vertrauenswürdiger und nicht vertrauenswürdiger Daten verloren gehen kann, wenn Anweisungen von Agent zu Agent weitergeleitet werden.
- Keine einzelne Sicherheitsmaßnahme reicht aus.Ein wirksamer Schutz umfasst mehrere Ebenen: Eingabekontrollen, das Prinzip der geringsten Berechtigungen, menschliche Überwachung, semantische Analyse sowie eine grundlegende Ebene kryptografischen Vertrauens, die die Echtheit und Integrität von Anweisungen überprüft.
Keyfactor Sicherheitsteams Transparenz
und Kontrolle über die Identitäten
sowie die Kryptografie, die jede digitale Interaktion
absichern, damit Ihr Unternehmen
reibungslos weiterlaufen kann – ohne Unterbrechungen.
Haben Sie Fragen zur sofortigen Injektion? Wir haben die Antworten.
Bei einer Prompt-Injection schleicht ein Angreifer versteckte Anweisungen in Daten ein, die ein KI-System verarbeitet, und bringt die KI so dazu, etwas zu tun, was sie eigentlich nicht tun sollte. Dies entspricht in der KI dem Einschleusen unbefugter Befehle in ein vertrauenswürdiges software .
Bei der Prompt-Injection werden über die von der KI verarbeiteten Daten bösartige Befehle eingeschleust, oft ohne Wissen des Nutzers, während Jailbreaking ein gezielter Versuch ist, die in die KI integrierten Sicherheitsvorkehrungen zu umgehen. Jailbreaking wird im Allgemeinen als eine Form der Prompt-Injection angesehen, doch die beiden Verfahren zielen auf unterschiedliche Aspekte des Systems ab.
Sie wird in den OWASP Top 10 für Anwendungen mit großen Sprachmodellen als die größte Sicherheitslücke eingestuft, da sie eine grundlegende Eigenschaft der Modellarchitektur ausnutzt, die der Interpretation natürlicher Sprache zugrunde liegt. Im Gegensatz zu herkömmlichen software , die durch Patches behoben werden können, zielt sie auf den Kernmechanismus ab, über den KI Anweisungen entgegennimmt.
Ja. Bei einem Chatbot kann eine erfolgreiche Injektion zu irreführenden Textinhalten führen. In einem agentenbasierten System könnte derselbe Angriff unbefugte Transaktionen auslösen, Infrastrukturkonfigurationen ändern oder den Zugriff auf sensible Systeme ermöglichen, da der Agent Maßnahmen in der realen Welt ergreifen kann.
Wenn ein Agent Daten oder Anweisungen an einen anderen weiterleitet, können eingeschleuste Inhalte entlang der Kette weitergeleitet werden. Jeder nachfolgende Agent verliert möglicherweise den Überblick darüber, welche Teile der Daten nicht vertrauenswürdig waren, wodurch die Wahrscheinlichkeit steigt, dass eingeschleuste Anweisungen als legitime Anweisungen behandelt werden.
Keine einzelne Technik kann dieses Problem vollständig beseitigen. Eine wirksame Abwehr erfordert einen mehrschichtigen Ansatz, der die kryptografische Signierung von Anweisungen, semantische Analyse, Autorisierungskontrollen und menschliche Überwachung kombiniert, um die Angriffsfläche zu verringern und Injektionen frühzeitig zu erkennen.
Jede Branche, die agentische KI mit Zugriff auf sensible Systeme einsetzt, ist gefährdet. Finanzdienstleistungen, das Gesundheitswesen, kritische Infrastrukturen und Behörden sind besonders gefährdet, da eine Manipulation in diesen Bereichen zu unbefugten Transaktionen, Datenlecks, Sicherheitsvorfällen oder Verstößen gegen Compliance-Vorschriften führen kann.
Mithilfe der kryptografischen Signatur können Unternehmen überprüfen, ob die Anweisungen eines Agenten von einer autorisierten Quelle stammen und nicht verändert wurden. Sie liefert einen mathematisch nachweisbaren Beweis für die Echtheit und Integrität der Anweisungen und dient als grundlegende Vertrauensschicht in einer Strategie der mehrschichtigen Verteidigung.