Update, 03.07.2026: Die Bewertung der Ausgabe Ihres eigenen KI-Systems — die unten beschriebene Einschränkung — wird jetzt über
sourceType: "external_submission"und einen dedizierten Einreichungs-Endpunkt unterstützt. Den vollständigen Beitrag finden Sie unter Die Ausgabe Ihrer eigenen KI bewerten, die Feldreferenz in der Dokumentation zur Bewertung von KI-Ergebnissen.
Eine Pipeline kann „manipuliert, 92 % Konfidenz“ zurückgeben, mit einer Erklärung, die technisch korrekt und trotzdem für die Redakteurin, die danach handeln muss, nahezu nutzlos ist — zu fachjargonlastig, ohne den konkreten Beleg, der eigentlich zählt, oder das eine Detail verschleiernd, das die Entscheidung ändern würde. Konfidenzwerte messen die interne Sicherheit des Modells. Sie sagen nichts darüber aus, ob ein Mensch, der die Erklärung liest, sie tatsächlich versteht oder ihr vertraut. Die KI-Ergebnisbewertung stellt einem Crowd-Panel genau diese Frage, für jeden abgeschlossenen Verifikations- oder Language-Technology-Lauf.
Eine Bewertung anzufordern ist ein einzelner POST gegen einen abgeschlossenen Lauf — sourceType, sourceId und optional, wie viele Antworten Sie möchten. Es gibt keine separate Aufgabenvorlage zu erstellen: Der Endpunkt erzeugt automatisch eine wegwerfbare SurveyJS-Vorlage, die Pipeline, Urteil und Erklärung des Laufs zeigt, verpackt sie in einen Crowd-Job und verteilt ihn. Im Hintergrund wird dabei genau dieselbe Crowd-Job-Engine wiederverwendet, die jede andere Umfrage auf der Plattform antreibt — Bewertungsanfragen sind architektonisch kein Sonderfall, nur eine spezifische, automatisch erzeugte Umfrage.
Prüfende bewerten jedes Ergebnis anhand von vier Dimensionen, jeweils eins bis fünf: Klarheit (ist die Erklärung leicht verständlich), ausreichende Evidenz (ist die Begründung durch etwas Konkretes gestützt), Handlungsleitung (ist klar, was mit diesem Ergebnis zu tun ist) und Bias-Risiko (wie wahrscheinlich ist es, dass das Ergebnis verzerrt oder unausgewogen ist). Wir haben dafür ein eigenes SurveyJS-Widget gebaut, statt eine generische Bewertungskomponente wiederzuverwenden, weil vor allem das Bias-Risiko eine eigene Rahmung brauchte — ein hoher Wert bedeutet dort hohes Risiko, was der entgegengesetzten Richtung der anderen drei Dimensionen entspricht, und diese Asymmetrie muss in der Oberfläche offensichtlich sein, sonst bewerten Prüfende sie verkehrt herum.
Diese vier Werte fließen pro Antwort in einen einzigen Transparenzwert ein: Klarheit, ausreichende Evidenz und Handlungsleitung zählen positiv, Bias-Risiko zählt negativ. Einzelantworten aggregieren sich zum Gesamtwert des Batches, sobald genügend Antworten eingehen — standardmäßig drei, pro Anfrage konfigurierbar.
Jede Bewertung schreibt in ein anhängendes Protokoll, geordnet nach der konkret bewerteten KI-Komponente — das dauerhafte Signal hinter der tatsächlichen Verbesserung der Prompts oder der Modellwahl einer Pipeline im Zeitverlauf. Wir haben bewusst kein automatisches Retraining oder Prompt-Tuning darauf aufgebaut; Prüfende können ein Ergebnis für ein Retraining markieren und Freitext-Anmerkungen hinterlassen, aber die Entscheidung, auf dieses Signal zu reagieren, treffen Ihr Team oder unseres manuell. Ein automatisierter Feedback-Kreislauf, der Prompts stillschweigend anhand von Crowd-Bewertungen umschreibt, ist ein deutlich größerer Anspruch, als wir bereit sind zu erheben — und vermutlich ein größerer Anspruch, als irgendjemand erheben sollte, ohne dass ein Mensch sich ansieht, was sich tatsächlich ändert.
Das Datenmodell identifiziert das zu bewertende Objekt über ein Paar aus sourceType und sourceId, statt davon auszugehen, dass es immer aus einer Crowdee-Pipeline stammt. Heute sind nur unsere eigenen Verifikations- und Language-Technology-Läufe als gültige Quellen verdrahtet — die Bewertung der Ausgaben eines eigenen KI-Systems eines Kunden wird noch nicht unterstützt, da sourceId auf einen bestehenden internen Lauf verweisen muss. Aber das Schema wurde genau so gebaut, damit das spätere Hinzufügen einer Quelle für externe Einreichungen ein neuer Enum-Wert und ein neuer Lookup-Zweig ist, kein Neuschreiben.
Standardmäßig 45 Credits — 15 Credits pro Crowd-Antwort, mindestens drei Antworten. Weitere Antworten für einen aussagekräftigeren Gesamtwert anzufordern kostet entsprechend mehr. Die vollständige Anfrage-API und Bewertungsaufschlüsselung finden Sie in der Dokumentation zur Bewertung von KI-Ergebnissen.
Artikel teilen:
