AI Data & Evaluation · Datenlabeling
Ein Label ist eine Entscheidung, mit einem Namen daran.
Datenlabeling für Text, Bild, Audio und Video. Label-Rauschen entsteht dort, wo eine Definition zwei Personen erlaubt, ein Element auf zwei Arten zu lesen. Wir schreiben die Definitionen mit Ihnen, setzen zwei Personen auf jedes Element, klären Abweichungen schriftlich und liefern den Nachweis mit den Labels.
Schriftliche Definitionen · Immer zwei Annotierende · Vorrangregel bei Überlappung · Umsetzung im EWR unter AVV
Erster Durchgang, ein Modell
0.80 truck
Das Modell ist sicher. Die Liste bietet Pkw und Lkw an, und das hier ist ein Transporter.
Beispielbild, für diese Seite generiert. Der Detektor läuft in diesem Tab; die drei Antworten sind die, die Menschen geben.
Labeling und Annotation wo · was
Annotation markiert, wo es ist. Labeling entscheidet, was es ist.
Beide Begriffe werden für beide Aufgaben verwendet, und wir liefern beides. Eine Markierung scheitert an der Position: an der Kante, der Verdeckung, dem dunklen Bild. Eine Klasse scheitert am Urteil: an zwei Definitionen, die sich überschneiden, oder an einem Element ohne passende Klasse auf der Liste.
Ziehen Sie den Schieberegler. Links davon ist Annotation, wo das Fahrzeug ist. Rechts davon ist Labeling, was das Fahrzeug ist.
Der Detektor verteilt seinen Score auf zwei Klassen, die er kennt. Das hier ist ein Lastenrad, und die Liste hat kein Lastenrad. Das ist eine Lücke in der Taxonomie. Sie wird schriftlich geschlossen, mit einer neuen Klasse oder einer Regel, wohin Lastenräder gehören, bevor der Batch läuft. Mehr zur KI-Datenannotation →
Die Definition entscheidet drei teilsätze · v1 · v2 · eine regel
Zwei Personen, ein Element, zwei Antworten. Die Definition hat eine Lücke.
Eine Kundennachricht enthält drei Anliegen, und jedes Anliegen passt zu einer anderen Klasse. Version 1 der Definitionen lässt die Reihenfolge offen, also hängt das Label davon ab, wer das Element öffnet. Version 2 ergänzt einen Satz, der das entscheidet.
Beispielnachricht I was charged again billing dispute 0.49 after I cancelled last month cancel subscription 0.31 last month 0.67 · precomputed and I want that money back. refund request 0.54
Klassen, die zu dieser Nachricht passen
from 3 3 Klassen
drei Anliegen, drei vertretbare Labels · Abstand, erste Klasse zur zweiten 0.08
Definitionen · Kundenanfragen v1, wie geschrieben
- Refund request. The writer wants money back for something already paid. Use it whenever returning money is the ask.
- Cancel subscription. The writer wants to end a subscription or stop being billed. If the message asks for both, it is a refund request.
- Billing dispute. The writer says a charge is wrong. If the charge is accepted and the money is wanted back, it is a refund request.
- Mehr als ein Anliegen: bleibt der Person überlassen, die es öffnet. Mehr als ein Anliegen: labeln, worauf wir zuerst reagieren müssen.
Die vollständige Taxonomie in diesem Beispiel hat sieben Klassen.
Eine Vorrangregel ist ein Satz. Er wird einmal geschrieben und entscheidet jedes Element danach.
Nach v2 wendet eine Person die Regel an, und die Nachricht erhält das Label refund request. Das Embedding-Modell setzt billing dispute weiterhin an die erste Stelle, und diese Abweichung wird mit dem Label protokolliert.
Beispieltaxonomie und Beispielnachrichten, für diese Seite geschrieben.
Bevor jemand labelt sieben definitionen · drei nächste paare · kosinus
Wir finden die Klassen, die kollidieren werden, bevor das erste Element gelabelt wird.
Ein Embedding-Modell liest die sieben Definitionen und misst, wie nah jedes Paar beieinanderliegt. Die nächsten Paare sind Kandidaten für eine schärfere Definition und werden zuerst neu geschrieben. Ob Menschen sich an ihnen tatsächlich uneinig sind, wird danach gemessen, im Kalibrierungs-Batch.
Das nächste Paar
0.63 Kosinus
refund request · return or exchange · all-MiniLM-L6-v2 · precomputed
- Refund request · Return or exchange 0.63
- Refund request · Cancel subscription 0.57
- Return or exchange · Damage claim 0.53
21 pairs · lowest 0.10 · median 0.38 · highest 0.63
Das Modell findet die schwachen Definitionen. Zwei Personen labeln jedes Element. Eine dritte klärt die Abweichungen.
Nach v2 liegen die Paare näher beieinander, weil jede Definition jetzt ihre Nachbarklasse nennt. Nähe im Wortlaut ist ein Hinweis. Übereinstimmung zwischen Menschen wird im Kalibrierungs-Batch gemessen.
Der Batch, vor dem Labeling sechzig nachrichten · sieben klassen · die seltene klasse
Sechzig Nachrichten auf dem Band. Die seltene Klasse wird zuerst herausgezogen.
Die ersten sechzig Anfragen eines Beispiel-Batches, in diesem Tab eine nach der anderen eingebettet. Bevor das Labeling beginnt, werden die Elemente, die jeder dünn besetzten Klasse am nächsten liegen, nach vorn gezogen, damit die wichtigste Klasse genug gelabelte Beispiele hat, um Übereinstimmung daran zu messen.
Am nächsten an der Schadensdefinition
8 von sechzig
Eine Klasse mit wenigen Prozent lässt in einer Zufallsstichprobe eine Handvoll Elemente übrig, zu wenige für eine Bewertung. Die nächsten Kandidaten zuerst zu ziehen, gibt ihr genug.
- inq_043 The seal was broken and the contents had spilled.
- inq_003 The box arrived crushed and the lid is cracked right through.
- inq_011 The screen was shattered when I opened the package.
- inq_031 The frame arrived bent and the glass is loose inside.
- inq_038 Water got in and the box was soaked when it reached me.
- inq_049 Screen cracked in transit. Photos attached.
- inq_057 Please refund the order that never shipped.
- inq_022 How do I return an item that does not fit?
Das kleine Modell steht stellvertretend für Ihres. In einem Programm läuft dieselbe Auswahl auf den Embeddings Ihres Modells.
Label-Typen bildklasse · zustandsgrad · intent · policy · präferenz
Fünf Arten von Labels, jede mit der Übereinstimmungsstatistik, die zu ihr passt.
Prozentuale Übereinstimmung sieht bei jeder Aufgabe hoch aus, weil zufällige Übereinstimmung darin enthalten ist. Jeder Label-Typ wird mit einer zufallskorrigierten Statistik und dem veröffentlichten Bereich berichtet, an dem sie zu lesen ist.
Jeder erste Durchgang läuft in Ihrem Browser, aus unserem eigenen Speicher.
- 01
Objektklasse auf einem Bild
Ein Fahrzeug, eine Box, zwei Klassen darauf.
0.73 car · Detektor-Score
Reader yolov10n · int8
Level Cohens Kappa · 0,61 bis 0,80 substanziell · Landis und Koch
Bereiche nach Landis und Koch für Kappa · Schwellenwerte nach Krippendorff für Alpha
- 02
Zustandsgrad auf einem Bild
Eine Box, bewertet von 0 bis 3.
4 Grade, 0 bis 3 · drei Belegpunkte
Reader nur Menschen
Level gewichtetes Kappa · 2 gegen 3 zählt als knapper Fehler, 0 gegen 3 als voller Fehler
- 03
Intent einer Nachricht
Parcel says delivered but nothing is at the door.
0.44 delivery status · danach damage claim 0,34
Reader all-MiniLM-L6-v2 · q8
Level Cohens Kappa, pro Klasse · pro Klasse berichtet, die seltene Klasse zuerst
- 04
Policy-Labels auf einer Bewertung
The driver was rude and the box was soaking wet.
0.46 courier conduct · und item damaged 0,45
Reader all-MiniLM-L6-v2 · q8
Level Krippendorffs Alpha, mengenwertig · 0,80 verlässlich · 0,67 vorläufig · Krippendorff
- 05
Präferenz zwischen zwei Antworten
Zwei Antworten auf inq_002. Welche geht raus?
3 Kriterien im Bewertungsraster · eines davon entscheidet
Reader nur Menschen
Level Übereinstimmung und Kappa auf Paaren · veröffentlichte Übereinstimmung zwischen Labelnden bei Präferenzdaten liegt bei etwa drei von vier
Das Programm Taxonomie · Definitionen v1 · Kalibrierungs-Batch · Doppeltes Labeling · Schlichtung · Goldstandard · Lieferung
Das Volumen beginnt, wenn drei Personen die Definitionen gleich gelesen haben.
Sieben Stufen und ein Gate. Im Kalibrierungs-Batch labeln drei Personen dieselben Elemente unabhängig voneinander, ihre Übereinstimmung wird pro Klasse gemessen, und das Produktionsvolumen wird zugesagt, sobald die seltene Klasse die Schwelle erreicht.
- Taxonomie Die Klassen, die Sie haben, oder die, über die noch gestritten wird.
- Definitionen v1 Ein Satz pro Klasse, geschrieben bevor das Labeling beginnt.
- Kalibrierungs-Batch Drei Personen labeln dieselben Elemente unabhängig voneinander.
- Definitionen gehalten · Menschen einig Doppeltes Labeling Zwei Personen an jedem Produktionselement.
- Schlichtung Jede Abweichung geht an eine Prüfer:in, mit der angewandten Regel und der ID der Prüfer:in.
- Goldstandard Elemente mit bekannter Antwort, im Batch verteilt und pro Annotator:in bewertet.
- Lieferung Die Labels und ihr Nachweis, versioniert.
Das Gate · Übereinstimmung bei der seltenen Klasse, pro Version, vor der Produktion
Was Sie erhalten Label-Set · Definitionsänderungen · Übereinstimmung · Schlichtungsprotokoll · Datenresidenz
Der Nachweis ist das Produkt.
Artikel 10 des EU AI Act (KI-Verordnung) verlangt Repräsentativität, die Untersuchung von Fehlern, die Untersuchung von Verzerrungen und einen Herkunftsnachweis. Die geltenden Definitionen, die Übereinstimmung pro Klasse und das Abweichungsprotokoll kommen als Dateien, sodass Ihre Prüfstelle die Historie mit den Labels liest.
- Label-Nachweis
- Example message
- Definitionen
- v2 · eine Regel ergänzt
- Regel
- Zeile 4 · worauf wir zuerst reagieren müssen
- Entscheidung
- refund request · eine Person
- Lesarten
- drei Teilsätze · drei Klassen
- Datenresidenz
- EWR · AVV für den Auftrag
- Label-Set Jede Klasse mit der geltenden Definition Die Definitionsdatei, versioniert, mit der Vorrangregel.
- Definitionsänderungen Was sich geändert hat, wann, und was es behoben hat Der Diff zwischen den Versionen und die Runde, die ihn ausgelöst hat.
- Übereinstimmung Pro Klasse, mit im Batch verteiltem Goldstandard Paarweises und gepooltes Kappa, Alpha, die seltene Klasse zuerst.
- Schlichtungsprotokoll Jede Abweichung, schriftlich entschieden Die Entscheidung, die Regel, die ID der Prüfer:in und jede Stimme, aufbewahrt.
- Datenresidenz EWR unter einem unterzeichneten AVV Das Verzeichnis der Verarbeitungstätigkeiten und die Liste der Unterauftragsverarbeiter.
Ihr Labeling-Programm abgrenzen klassen-set · volumen · sprachen · abnahme
Bringen Sie die Taxonomie mit, die Sie haben, oder die, über die Sie noch streiten.
Wir grenzen das Klassen-Set, das Volumen, die Sprachen und den Abnahmeplan ab. Sind die Definitionen noch offen, ist ihr Schreiben das erste Arbeitspaket, und der Kalibrierungs-Batch testet sie vor dem Volumen.
Was das Briefing braucht: welche Klassen, welches Volumen, welche Sprachen und wie die Abnahme aussieht.
Briefing sendenEine Ingenieurin, ein Ingenieur oder eine Delivery-Leitung antwortet innerhalb eines EU-Werktags mit einer Einschätzung der Machbarkeit.
FAQ
Häufig gestellte Fragen
Was ist der Unterschied zwischen Datenlabeling und Datenannotation?
Beide Begriffe werden im Markt für beide Aufgaben verwendet, und wir liefern beides. Der Unterschied liegt darin, wie sie scheitern. Eine Markierung scheitert an der Position: an der Kante, der Verdeckung, dem dunklen Bild. Eine Klasse scheitert am Urteil: an einer mehrdeutigen Definition, an zwei Kategorien, die sich überschneiden, an einer Taxonomie, die zwischen Personen auseinanderdriftet, an einer seltenen Klasse, die niemand sieht. Labeling-Programme werden auf dieser Seite abgegrenzt, räumliche Markierung unter KI-Datenannotation.
Wie entscheidet YPAI einen Fall, der zwischen zwei Klassen liegt?
Die Richtlinie enthält eine Vorrangregel, die festlegt, welche Klasse gewinnt, wenn mehr als eine passt. Passen nach der Regel noch zwei Klassen, geht das Element an eine namentlich benannte Prüfer:in, und die Entscheidung, die angewandte Regel und die ID der Prüfer:in werden in das Schlichtungsprotokoll geschrieben, das mit dem Batch geliefert wird.
Wie viele Personen labeln jedes Element?
Zwei, immer, und eine dritte, die Abweichungen klärt. Die Übereinstimmung zwischen den beiden wird pro Klasse gemessen und berichtet. Im Kalibrierungs-Batch labeln drei Personen dieselben Elemente, sodass jede Abweichung eine Mehrheit und eine Minderheit hat, die sich lesen lassen.
Welche Sprachen deckt YPAI ab?
YPAI unterstützt Arbeiten in über 150 Sprachen und Dialekten, mit muttersprachlichen Prüfer:innen mit Schwerpunkt auf europäischen, nordischen und großen asiatischen Märkten. Sprachen mit geringeren Ressourcen werden pro Projekt angeboten, weil dort die Rekrutierung der Prüfer:innen das Tempo bestimmt.
Nutzen Sie Modelle für ein Pre-Labeling?
Wo es hilft, als modellgestützte Annotation mit menschlicher Verifizierung. Die Ausgabe eines Modells ist ein erster Durchgang, und eine Person übernimmt oder korrigiert jedes Element vor der Lieferung. Die Modelle auf dieser Seite haben eine andere Aufgabe: Sie lesen Definitionen und Nachrichten, um zu zeigen, wo eine Entscheidung schwach ist.
Wo werden die Daten verarbeitet?
Auf Infrastruktur in der EU/im EWR unter einem unterzeichneten Auftragsverarbeitungsvertrag, mit Rechtsgrundlage, Zweckbindung und Datenminimierung, die bei der Abgrenzung festgelegt werden. Anfragen zu Betroffenenrechten laufen über das Formular für Datenanfragen.
Wie schnell antwortet YPAI auf eine Anfrage?
Wir antworten innerhalb eines EU-Werktags nach einer Einsendung über das Kontaktformular, mit einer Einschätzung der Machbarkeit, dem nächsten konkreten Schritt und einem geschätzten Zeitfenster für den Umfang. Die erste Antwort kommt von einer Ingenieurin, einem Ingenieur oder einer Delivery-Leitung, die das Briefing gelesen hat.
Ein Label ist eine Entscheidung. Eine Entscheidung braucht eine Definition, eine Vorrangregel und einen Nachweis, wer sie getroffen hat.