Loading content
Ein Modell bewertet Ausgaben anhand von Kriterien, Rubriken oder vergleichenden Beispielen — entweder eine Ausgabe nach der anderen (pointwise) oder die bessere von zweien (pairwise, robuster gegen Skalendrift). Geeignet, wenn menschliche Evaluation skaliert werden muss; Qualitätskriterien sprachlich formuliert werden können. Der zentrale Trade-off: Skalierb…
Nutze diesen Steckbrief, um den Baustein kurz zu verstehen, ihn im Modell einzuordnen und bei Bedarf in die 360°-Bewertung zu wechseln.
Theoretisches Gebilde: erklärt einen Begriff, ein Prinzip oder ein Denkmodell.
Was Zusammenhänge ordnet, verbindet oder entscheidbar macht.
LLM-as-Judge bezeichnet den Einsatz eines Sprachmodells als Bewerter, der Antworten anhand vorgegebener Kriterien prüft und bewertet.
Der Ansatz entstand aus der Forschung zu automatischer Textbewertung und wurde mit der Verbreitung leistungsfähiger Sprachmodelle auf deren Antworten übertragen. Zheng und Kollegen untersuchten ihn 2023 mit MT-Bench und Chatbot Arena und zeigten zugleich, dass Modellurteile mit menschlichen Präferenzen zusammenhängen, aber Verzerrungen haben können.
Stell dir eine Jury vor, die für jede Antwort dieselben Bewertungsfragen erhält: Ist sie korrekt, relevant und verständlich? Das Modell vergibt daraufhin ein Urteil, ersetzt aber keine unabhängige Stichprobe menschlicher Bewertungen.
Kriterien und Skalen legen fest, woran eine Antwort gemessen wird.
Ein Sprachmodell erzeugt die Bewertung eines anderen Modells oder einer Antwort.
Modellurteile können etwa Länge, Stil oder die eigene Modellfamilie bevorzugen.
LLM-as-Judge beschleunigt Qualitätsvergleiche und Regressionstests, verlangt jedoch kalibrierte Rubriken und Gegenprüfungen durch Menschen oder Referenzdaten.
Wo dieser Baustein im Themenmodell verortet ist.
Keine Strukturpfade verfügbar.
Erkunde, wie dieser Wissensbaustein mit Konzepten, Methoden, Technologien und Tools verbunden ist.
Diese Quellen belegen den Begriff und seine fachliche Bedeutung.
Alle direkten Verbindungen des aktuellen Wissensbausteins in einer kompakten, textuellen Darstellung.
Diese Einordnung zeigt, in welchem Kontext der Baustein typischerweise relevant wird, wie anspruchsvoll er ist und welche Wirkung er im Modell hat.
Die Ebene innerhalb der Organisation (Unternehmen, Domäne, Team), auf der der AssetBlock angewendet wird.