Als wir vor ein paar Wochen die KI-Ergebnisbewertung ausgeliefert haben, war das Datenmodell bewusst quellenunabhängig gestaltet — jeder Batch wird über einen sourceType- und einen sourceId-Verweis identifiziert statt über einen festen Fremdschlüssel auf eine bestimmte Tabelle. Aber es existierten tatsächlich nur zwei Quelltypen: verification_pipeline_run und lt_pipeline_run. Beide erforderten, dass sourceId auf eine Zeile verweist, die Crowdee selbst erzeugt hatte. Wenn Ihr Betrugserkennungsmodell eine Transaktion markiert hat und Sie ein Crowd-Panel prüfen lassen wollten, ob die Erklärung dafür tatsächlich trägt, gab es dafür keinen Anknüpfungspunkt. Das haben wir damals auch so gesagt — unverblümt, in der Dokumentation und in jenem Ankündigungs-Beitrag —, weil die ehrliche Antwort „noch nicht“ war.
Das ist sie jetzt nicht mehr.
sourceType: "external_submission" ist jetzt eine dritte Option, und sie funktioniert bewusst anders als die anderen beiden: Es gibt keinen bestehenden Lauf nachzuschlagen, weil die KI, die das Ergebnis erzeugt hat, nie Teil von Crowdee war. Statt also eine ID aufzulösen, gibt es einen dedizierten Endpunkt, der die tatsächliche Ausgabe direkt entgegennimmt:
curl -X POST https://api.crowdee.ai/v2/projects/{projectId}/ai-output-evaluations/external \
-H "X-API-Key: crw_YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"modelName": "Acme Fraud Detector v3",
"verdict": "vermutlich betrügerisch",
"explanation": "Das Transaktionsmuster entspricht bekanntem Card-Testing-Verhalten: 14 Mikro-Belastungen innerhalb von 6 Minuten an nicht verbundene Händler.",
"confidence": 87,
"evidenceUrls": ["https://internal.acme.example/case/8841"]
}'
Modellname, Urteil, Erklärung, optional ein Konfidenzwert, optional Belege-Links. Das war's — keine Vorlage zu entwerfen, keine Projektdateien vorher hochzuladen. Die Crowd-Aufgabe wird genauso erzeugt wie immer, zeigt Ihr eingereichtes Urteil und die Erklärung, und stellt dieselben vier Fragen: Ist das klar, ist es durch Evidenz gestützt, ist es handlungsleitend, und wie hoch ist das Bias-Risiko?
Der naheliegende Weg, eine externe Einreichung zu speichern, wäre eine neue Tabelle gewesen — etwas wie externalAiSubmissions mit einer Spalte pro Feld. Das haben wir nicht gemacht. Crowdee hat bereits ein generisches Modell für genau diese Art von Daten: inputDataSets und inputDataLists, ursprünglich gebaut, damit Crowd-Jobs strukturierte Eingaben pro Variante an Worker-Aufgaben anhängen können. Eine einzelne externe Einreichung ist einfach ein Input-Data-Set mit einer Variante: eine Liste namens verdict, eine namens explanation, eine namens confidence, falls Sie eine gesendet haben, und so weiter. sourceId im resultierenden Bewertungs-Batch ist die ID dieses Datasets — genau dieselbe ID, die Sie zurückerhalten hätten, wenn Sie es selbst über die reguläre Input-Data-API erstellt hätten.
Das war keine schwierige Entscheidung. Die Alternative — eine eigene Tabelle, die nur dazu existiert, Urteil-/Erklärung-/Konfidenz-Strings zu halten — hätte Infrastruktur dupliziert, die wir bereits hatten, ohne echten Mehrwert. Wenn ein bestehendes generisches Modell bereits passt, ist ein engeres Modell daneben nur eine zweite Sache, die man synchron halten muss.
Das war uns besonders wichtig: Keiner der bereits funktionierenden Endpunkte musste sich ändern. GET /v2/ai-output-evaluations, der Ergebnis-Endpunkt, das Feedback-Protokoll, die Credit-Blockierungslogik, das Transparenzbewertungs-Widget, das die Crowd tatsächlich sieht — all das war von Anfang an gegen sourceType/sourceId geschrieben, genau damit ein dritter Quelltyp additiv sein kann. Der einzige neue Code ist der Teil, der tatsächlich neu ist: ein Endpunkt, der Ausgaben entgegennimmt, die nicht von uns stammen, und die Input-Data-Zeilen, die er in Ihrem Namen schreibt.
Dieselbe Formel wie bei jeder anderen Bewertung: 15 Credits pro Crowd-Antwort, standardmäßig 3 Antworten, also 45 Credits pro Einreichung, sofern Sie nicht mehr Antworten anfordern. Es gibt keine separate Gebühr für externe Einreichungen — aus Kosten- und Infrastruktursicht ist die Bewertung der Ausgabe Ihrer eigenen KI genauso aufwendig wie die Bewertung einer unserer eigenen. Die vollständige Feldreferenz finden Sie in der Dokumentation zur KI-Ergebnisbewertung, oder lassen Sie es das Tool create_external_ai_output_evaluation des MCP-Servers für Sie erledigen.
Artikel teilen: