Gemanagte Annotation, ausgerichtet auf die Fehler, die sich Ihr Modell nicht leisten kann.
Bringen Sie ein Annotationsvorhaben mit. Sie erhalten abgenommene, versionierte Ground Truth zurück, geprüft gegen Kriterien, die Sie vereinbart haben, bevor Volumen anlief.
Ein Label ist nicht richtig, weil jemand es eingereicht hat.
- grenze Eine Bounding Box erfasst das richtige Objekt und schließt den Teil aus, den das Modell braucht.
- klasse Zwei Annotator:innen vergeben dieselbe Klasse für unterschiedliche Ereignisse.
- sprecher Die richtigen Worte landen beim falschen Sprecher.
- spanne Eine Spannengrenze verschiebt sich über eine Schicht hinweg.
- rubrik Eine Bewertende wählt die bessere von zwei Antworten, und die Rubrik hinter der Wahl verschwindet.
Fünf Fehler, fünf unterschiedliche Folgen. Ein einziger Genauigkeitswert verdeckt sie alle.
Sie kaufen einen gemanagten Annotationsbetrieb für ein benanntes Vorhaben.
Der Auftrag beginnt mit einer abgenommenen Einheit und einem Annotationsvertrag und endet mit versionierten Labels und Liefernachweisen. Dazwischen definiert YPAI die Annotationseinheit, die Fehlerklassen, die Prüfmethode und die Abnahmenachweise, bevor das Produktionsvolumen wächst.
Eine Entscheidung hält den Rest zusammen. YPAI legt eine Abnahmeeinheit für Preis, Produktion, Qualität und Abnahme fest, bevor die erste Produktionscharge beginnt.
Preis pro Clip
1
abrechenbare Einheit
Abnahme pro verfolgtem Objekt pro Frame
24
Abnahmeeinheiten
Liegt diese Entscheidung falsch, ist das Projekt nicht mehr messbar. Wird ein Videoauftrag pro Clip bepreist, während Fehler pro verfolgtem Objekt pro Frame gezählt werden, lesen Sie und die Lieferverantwortlichen denselben Datensatz als zwei verschiedene Ergebnisse.
Dieselbe Entscheidung legt Redundanz, Fachbesetzung, Modellunterstützung, Schwellenwert, Takt und die Zuständigkeit für Nachbesserung fest. All das ist im Vertrag geregelt.
Die Arbeit läuft auf YPAIs eigener Plattform.
Prüfung, Rubrik-Ausführung, Zuordnung, Schlichtung und QA laufen alle in YPAIs eigener Konsole für menschliche Prüfung.
YPAI betreibt außerdem eigene Plattformen für die Video- und Audioerfassung: auf der Videoseite mit automatisierter Aufnahme, Konvertierung, QC und strukturierter Lieferung, auf der Audioseite mit einem kontrollierten Ablauf für Teilnehmende. Die Annotationsserver werden selbst in Europa betrieben.
Selbst betriebenes CVAT und Label Studio werden als Adapter angebunden, wo ein Projekt sie braucht.
- original Enge Box. Anhänger ausgeschlossen.
- befund Der bedeutungstragende Teil fehlt.
- korrektur Box umfasst die angehängte Last.
- begründung Richtlinie: verbundene Geometrie einschließen.
Nichts wird skaliert, bevor die Richtlinie echtem Material standhält.
Diese Arbeitsweise braucht eine Abgrenzung, ein Ziel für das Modell, das die Labels nutzen wird, und eine Qualitätsschwelle, die sich vertraglich festhalten lässt.
Ist das gegeben, kommt die Kalibrierung vor dem Volumen. Annotator:innen und Prüfer:innen labeln dasselbe kontrollierte Material unabhängig voneinander.
- Deckt die Ontologie die Quelldaten ab?
- Führt die Richtlinie zu konsistenten Entscheidungen?
- Kann das vorgesehene Team die Aufgabe ausführen?
- Ist die Qualitätsschwelle mit diesem Material erreichbar?
Ein nicht bestandenes Kalibrierungs-Gate blockiert die Skalierung der Produktion.
kalibrierungs-gate, multi-object tracking
Bei der Detektion zählen Recall und Grenztoleranz. Transkription wird als Wortfehlerrate bewertet, oder als Zeichenfehlerrate, wo die Schrift es verlangt. Bewertungsarbeit wird nach Rubrik-Konformität und Präferenzkonsistenz beurteilt. Die Metrik folgt dem Fehler, der kontrolliert wird. Fernfeld-Material hat einen eigenen Schwellenwert, der bei der Abgrenzung festgelegt wird.
YPAI stellt und beaufsichtigt die Annotator:innen, Bewertenden, Prüfer:innen, Schlichter:innen und Fachleute für das Vorhaben. Eine Person kommt erst in ein Projekt, nachdem sie sich an der kalibrierten Aufgabe qualifiziert hat. Dahinter steht ein Netzwerk von über 210.000 Mitwirkenden in über 50 Ländern, sodass ein Projekt für die Sprache, das Gebietsschema und die Domäne besetzt werden kann, die das Material verlangt.
Modellgenerierte Vorlabels gehen als Kandidaten in die Produktion. Der Abnahme- und Stichprobenplan entscheidet, welche davon eine Person bestätigt, korrigiert oder von Grund auf annotiert. Ein Konfidenzschwellenwert allein macht ein Vorlabel nicht zu abgenommener Ground Truth.
Die Abnahme ist Ihre Entscheidung.
Sie messen jede Charge an Kriterien, die der Annotationsvertrag vor Produktionsbeginn festlegt. YPAI berichtet gegen diese Kriterien, und eine Charge außerhalb der vereinbarten Schwellenwerte wird nachgebessert oder zurückgehalten, statt als abgenommen freigegeben zu werden.
Zuerst das strukturelle Gate
Der Vertrag legt fest, welche Schema-, Kennungs-, Beziehungs- und Manifestbedingungen ein Datensatz erfüllen muss, bevor er in die menschliche Qualitätsprüfung geht. Diese Prüfungen laufen über die gesamte Charge, nicht über eine Stichprobe.
Dann die verbleibenden Streitfälle
Die Prüfung findet Mängel. Die Schlichtung entscheidet die Fälle, in denen zwei vertretbare Lesarten bleiben. Das Protokoll hält das Original, den Befund, die Korrektur und die Begründung fest.
Eine Änderung der Ontologie ist ein Produktionsereignis. YPAI versioniert sie, statt ein laufendes Projekt unter bereits abgeschlossener Arbeit zu ändern.
Was eine abgenommene Lieferung enthält.
Versionierte Labels, die Ontologie, die Richtlinien, die Kalibrierungsnachweise, die Prüf- und Schlichtungsprotokolle, die aufgabenspezifischen Qualitätsergebnisse und ein Liefermanifest.
So können Sie fragen, welche Spezifikation ein Label erzeugt hat, ob es modellgestützt war, ob es geprüft wurde, ob es strittig war und was sich zwischen den Versionen geändert hat. Jedes Label lässt sich auf die Spezifikation, die Prüfung und die Version zurückführen, aus der es stammt.
Der Annotationsvertrag hält fest, wo die Arbeit ausgeführt wird und welche Rollen auf das Material zugreifen dürfen. Die Rechte zur Annotation und zur nachgelagerten Nutzung des Ergebnisses, Herkunftsnachweis, Quellenherkunft, Aufbewahrung und Löschung sind im Auftragsdokument definiert.
YPAI ist ein Anbieter mit Sitz im EWR, der unter der DSGVO arbeitet, sich an Artikel 10 des EU AI Act (KI-Verordnung) zur Daten-Governance für Hochrisikosysteme ausrichtet und die Dokumentation erstellt, die Ihre eigene Konformitätsbewertung unterstützt.
Bringen Sie das Vorhaben mit.
Nennen Sie uns das Vorhaben, wie das Quellmaterial aussieht, welche Labels Sie brauchen und welche Fehler Sie nicht ausliefern können. Senden Sie die Ontologie, falls vorhanden, und wie Qualität gemessen und geliefert werden soll.
Eine Projektleitung prüft das Vorhaben und antwortet mit dem Annotationsvertrag, den es bräuchte.
FAQ
Häufig gestellte Fragen
Was umfasst ein gemanagter Annotationsbetrieb?
Für ein benanntes Annotationsvorhaben definiert YPAI Ontologie, Kalibrierung, Prüfbetrieb, Qualitätskontrollen, Schlichtung, Abnahmekriterien und versionierte Lieferung, bevor das Produktionsvolumen wächst. Diese Seite erklärt dieses Betriebsmodell. Zu modalitätsspezifischen Leistungen siehe KI-Datenannotation.
Welchen Zielwert für die Übereinstimmung zwischen Annotator:innen setzt YPAI durch?
IAA-Zielwerte werden pro Aufgabe und pro Klasse anhand des Briefings festgelegt, nicht als feste Unternehmenszahl behauptet. Cohens Kappa wird für Klassifikation berichtet, IoU und mAP für Bounding Boxes, Dice für Segmentierung, OKS für Keypoints, HOTA und MOTA für Tracking. Klassen, die den Zielwert verfehlen, lösen eine Neukalibrierung aus, bevor die Hauptarbeit weitergeht. Der IAA-Bericht ist Teil jeder Lieferung.
Wie dokumentiert YPAI den Herkunftsnachweis der Daten?
Jeder Datensatz wird mit einem Herkunftsnachweis geliefert: Erfassungs- oder Bezugsquelle, Datum, gegebenenfalls Gebietsschema, Prüferpool, Einwilligungskennung, wo personenbezogene Daten betroffen sind, und jede angewandte Nachbearbeitung. Das Paket ist für die Datensatzdokumentation nach Artikel 10 des EU AI Act strukturiert und passt so in die Technische Dokumentation des Kunden. Der Herkunftsnachweis ist bei jedem Auftrag Teil der Lieferung.
Lässt sich die Annotationsarbeit von YPAI in unsere Active-Learning-Schleife einbinden?
Ja. Wo der Kunde ein funktionierendes Basismodell hat, führt YPAI menschliche Prüfung über die Vorhersagen des Modells durch und priorisiert die Ausschnitte mit der geringsten Konfidenz und der größten Wirkung. Die Schleife fließt in Nachtrainings-Chargen zurück. Integrationsmuster (synchrone API, asynchrone Batch-Warteschlange, vom Kunden betriebenes Modell) werden bei der Abgrenzung vereinbart.
Wie werden Änderungen der Taxonomie während eines Auftrags behandelt?
Änderungen der Taxonomie werden als Änderungsaufträge abgegrenzt. Passt der Kunde Klassendefinitionen an, führt YPAI eine Kalibrierungscharge gegen die neue Spezifikation durch, berechnet die IAA für die geänderten Klassen und labelt den betroffenen Rückstand entweder neu oder markiert ihn je nach Umfang der Auswirkung zur erneuten Prüfung. Kosten- und Zeitauswirkungen werden vor dem Neu-Labeling beziffert. Wie eine Klasse formuliert wird und wer entscheidet, wenn sich zwei Klassen überschneiden, behandelt KI-Daten-Labeling.
Wie wird die Fachkompetenz der Annotationsprüfer:innen dokumentiert?
Die Qualifikationen der Prüfer:innen werden pro Auftrag dokumentiert: klinische Qualifikationsnachweise für medizinische Arbeit, juristische Zulassung für Vertragsextraktion, Muttersprachlerprüfung für Sprachenarbeit, Automotive-Facherfahrung für Fahrzeuginnenraum- und AV-Wahrnehmung. Der Qualifikationsnachweis wird mit der Lieferung übergeben, sodass der Prüfpfad des Kunden die Kompetenz der Prüfer:innen abdeckt, nicht nur das Annotationsergebnis.