Loading content
Trainings-, Fine-Tuning- oder Embedding-Daten werden korrumpiert — absichtlich oder über eine kompromittierte Quelle —, sodass die Ausgaben des Modells oder ein Retrieval-Index auf eine vom Angreifer kontrollierte… Im Multi-Agenten-System: Ein Angreifer platziert in einer von mehreren Agenten geteilten Wissensdatenbank ein subtil verfälschtes Richtliniendoku…
Nutze diesen Steckbrief, um den Baustein kurz zu verstehen, ihn im Modell einzuordnen und bei Bedarf in die 360°-Bewertung zu wechseln.
Theoretisches Gebilde: erklärt einen Begriff, ein Prinzip oder ein Denkmodell.
Was Zusammenhänge ordnet, verbindet oder entscheidbar macht.
Data and Model Poisoning beschreibt die Vergiftung von Trainings-, Fine-Tuning- oder Embedding-Daten, damit Modelle oder Retrieval-Indizes systematisch falsche oder angreifergesteuerte Ergebnisse liefern.
Der Begriff bündelt Erfahrungen aus LLM-Sicherheit, Datenqualität und Angriffen auf Trainings- und Retrieval-Pipelines. Mit Instruction Tuning, Fine-Tuning und eingebetteten Wissensspeichern entstand ein praktisches Problem: Schon wenige manipulierte Beispiele oder ein kompromittierter Eintrag können Verhalten, Klassifikation oder Antworten langfristig verzerren. OWASP führt das Risiko als LLM04:2025; aktuelle Forschung zeigt auch persistente Hintertüren.
Stell dir eine Datenlieferkette mit mehreren Schleusen vor: Herkunft prüfen, Inhalte aufnehmen, in Gewichte oder einen Index übersetzen, dann Antworten erzeugen. Poisoning setzt an einer dieser Schleusen an. Ein manipuliertes Beispiel kann eine Regel, einen Bias oder einen Trigger einschleusen; ein vergifteter Eintrag in einem geteilten Speicher wirkt bei jeder Abfrage mit. Je früher die Prüfung, desto kleiner der Schaden — aber nie ohne Restunsicherheit.
Nachvollziehbare Quellen und Transformationen machen Manipulationen überhaupt prüfbar.
Bösartige oder verzerrte Beispiele verschieben, was das Modell während des Lernens verinnerlicht.
Ein gefälschter Eintrag beeinflusst spätere Abfragen, ohne die Modellgewichte direkt zu ändern.
Ein spezielles Muster schaltet verborgenes Verhalten frei, das normale Tests oft nicht sehen.
Geteilte Langzeitspeicher vergrößern den Blast Radius eines einzelnen vergifteten Eintrags.
Relevant ist das Thema bei offenen Datensätzen, Nutzerbeiträgen, externen Wissensquellen, Fine-Tuning, RAG und Multi-Agenten-Architekturen. Dann entscheidet man über Herkunftsnachweise, Freigaben, Partitionierung und Monitoring. Strengere Filter senken das Risiko, können aber nützliche Daten, Aktualität und Recall reduzieren; hintertürartige Angriffe bleiben oft erst spät sichtbar.
Wo dieser Baustein im Themenmodell verortet ist.
Keine Strukturpfade verfügbar.
Erkunde, wie dieser Wissensbaustein mit Konzepten, Methoden, Technologien und Tools verbunden ist.
Diese Quellen belegen den Begriff und seine fachliche Bedeutung.
Alle direkten Verbindungen des aktuellen Wissensbausteins in einer kompakten, textuellen Darstellung.
Diese Einordnung zeigt, in welchem Kontext der Baustein typischerweise relevant wird, wie anspruchsvoll er ist und welche Wirkung er im Modell hat.
Die Ebene innerhalb der Organisation (Unternehmen, Domäne, Team), auf der der AssetBlock angewendet wird.