Intent Breaking & Goal Manipulation

Angreifer nutzen die fehlende Trennung von Daten und Anweisungen aus, um die Planung, das Reasoning oder die Selbstbewertung eines Agenten zu verändern und dessen vorgesehenes Ziel zu überschreiben — eine Erweiterung… Im Multi-Agenten-System: Ein Angreifer schleust über mehrere Gesprächsrunden hinweg schrittweise subtil veränderte Teilziele in den Kontext eines Planungs-Agenten ein und lässt dessen Ziel vom ursprünglichen Task abdriften, während jeder einzelne Schritt für sich plausibel wirkt.