AI Data & Evaluation · Datamerking
En etikett er en beslutning, med et navn på.
Datamerking for tekst, bilde, lyd og video. Støy i etikettene oppstår der en definisjon lar to personer lese ett element på to måter. Vi skriver definisjonene sammen med deg, setter to personer på hvert element, avgjør uenighetene skriftlig og leverer dokumentasjonen sammen med etikettene.
Skriftlige definisjoner · To annotatører, alltid · Avgjøringsregel ved overlapp · Leveranse i EØS under databehandleravtale
Første gjennomgang, en modell
0.80 truck
Modellen er sikker. Listen tilbyr bil og lastebil, og dette er en varebil.
Eksempelbilde, generert for denne siden. Detektoren kjører i denne fanen; de tre svarene er de personer gir.
Merking og annotering hvor · hva
Annotering markerer hvor det er. Merking avgjør hva det er.
Begge ordene brukes om begge oppgavene, og vi leverer begge. En markering feiler på posisjon: kanten, tildekkingen, det mørke bildet. En klasse feiler på skjønn: to definisjoner som overlapper, eller et element uten noen klasse på listen.
Dra glidebryteren. Til venstre for den er annotering, hvor kjøretøyet er. Til høyre er merking, hva kjøretøyet er.
Detektoren fordeler scoren sin mellom to klasser den kjenner. Dette er en lastesykkel, og listen har ingen lastesykkel. Det er et hull i taksonomien. Det lukkes skriftlig, med en ny klasse eller en regel for hvor lastesykler hører hjemme, før partiet kjøres. Les om annotering av KI-data →
Definisjonen avgjør tre ledd · v1 · v2 · én regel
To personer, ett element, to svar. Definisjonen har et hull.
Én kundemelding inneholder tre ønsker, og hvert ønske passer i en annen klasse. Versjon 1 av definisjonene lar rekkefølgen stå åpen, så etiketten avhenger av hvem som åpner elementet. Versjon 2 legger til én setning som avgjør det.
Eksempelmelding I was charged again billing dispute 0.49 after I cancelled last month cancel subscription 0.31 last month 0.67 · precomputed and I want that money back. refund request 0.54
Klasser som passer denne meldingen
from 3 3 klasser
tre ønsker, tre forsvarlige etiketter · margin, første klasse til andre 0.08
Definisjoner · kundehenvendelser v1, slik de er skrevet
- Refund request. The writer wants money back for something already paid. Use it whenever returning money is the ask.
- Cancel subscription. The writer wants to end a subscription or stop being billed. If the message asks for both, it is a refund request.
- Billing dispute. The writer says a charge is wrong. If the charge is accepted and the money is wanted back, it is a refund request.
- Mer enn ett ønske: overlatt til den som åpner det. Mer enn ett ønske: merk det vi må handle på først.
Hele taksonomien i dette eksempelet har sju klasser.
En avgjøringsregel er en setning. Den skrives én gang og avgjør hvert element etter den.
Under v2 bruker en person regelen, og meldingen er refund request. Embeddingmodellen rangerer fortsatt billing dispute først, og den uenigheten føres i loggen sammen med etiketten.
Eksempeltaksonomi og eksempelmeldinger, skrevet for denne siden.
Før noen merker sju definisjoner · tre nærmeste par · cosinus
Vi finner klassene som vil kollidere før det første elementet merkes.
En embeddingmodell leser de sju definisjonene og måler hvor nær hvert par ligger. De nærmeste parene er kandidater til en skarpere definisjon, og de skrives om først. Om personer faktisk blir uenige om dem, måles deretter, i kalibreringspartiet.
Det nærmeste paret
0.63 cosinus
refund request · return or exchange · all-MiniLM-L6-v2 · precomputed
- Refund request · Return or exchange 0.63
- Refund request · Cancel subscription 0.57
- Return or exchange · Damage claim 0.53
21 pairs · lowest 0.10 · median 0.38 · highest 0.63
Modellen finner de svake definisjonene. To personer merker hvert element. En tredje avgjør uenighetene.
Under v2 ligger parene nærmere, fordi hver definisjon nå nevner naboen sin. Nærhet i teksten er et hint. Enighet mellom personer måles i kalibreringspartiet.
Partiet, før merking seksti meldinger · sju klasser · den sjeldne klassen
Seksti meldinger på båndet. Den sjeldne klassen trekkes ut først.
De første seksti henvendelsene i et eksempelparti, innbygd i denne fanen én etter én. Før merkingen starter, trekkes elementene nærmest hver tynne klasse frem, slik at klassen som betyr mest, har nok merkede eksempler til å måle enighet på.
Nærmest skadedefinisjonen
8 av seksti
En klasse på noen få prosent gir et tilfeldig utvalg med en håndfull elementer, for få til å måle. Å trekke de nærmeste kandidatene først gir den nok.
- inq_043 The seal was broken and the contents had spilled.
- inq_003 The box arrived crushed and the lid is cracked right through.
- inq_011 The screen was shattered when I opened the package.
- inq_031 The frame arrived bent and the glass is loose inside.
- inq_038 Water got in and the box was soaked when it reached me.
- inq_049 Screen cracked in transit. Photos attached.
- inq_057 Please refund the order that never shipped.
- inq_022 How do I return an item that does not fit?
Den lille modellen står i stedet for din. I et program kjøres det samme uttrekket på embeddingene fra din modell.
Etikettyper bildeklasse · tilstandsgrad · intensjon · policy · preferanse
Fem typer etiketter, hver med enighetsmålet som passer den.
Prosentvis enighet ser høy ut på enhver oppgave, fordi tilfeldig enighet ligger inni den. Hver etikettype rapporteres med et mål korrigert for tilfeldighet og det publiserte intervallet det skal leses mot.
Hver første gjennomgang kjører i nettleseren din fra vår egen lagring.
- 01
Objektklasse på et bilde
Ett kjøretøy, én boks, to klasser på den.
0.73 car · detektorscore
Reader yolov10n · int8
Level Cohens kappa · 0,61 til 0,80 betydelig · Landis og Koch
Landis og Koch-intervaller for kappa · Krippendorffs terskler for alpha
- 02
Tilstandsgrad på et bilde
Én boks, gradert fra 0 til 3.
4 grader, 0 til 3 · tre bevispunkter
Reader bare personer
Level vektet kappa · 2 mot 3 teller som nesten treff, 0 mot 3 som full bom
- 03
Intensjon i en melding
Parcel says delivered but nothing is at the door.
0.44 delivery status · deretter damage claim 0,34
Reader all-MiniLM-L6-v2 · q8
Level Cohens kappa, per klasse · rapportert per klasse, den sjeldne klassen først
- 04
Policyetiketter på en anmeldelse
The driver was rude and the box was soaking wet.
0.46 courier conduct · og item damaged 0,45
Reader all-MiniLM-L6-v2 · q8
Level Krippendorffs alpha, mengdeverdier · 0,80 pålitelig · 0,67 foreløpig · Krippendorff
- 05
Preferanse mellom to svar
To svar på inq_002. Hvilket sendes ut?
3 kriterier i vurderingsskjemaet · ett av dem avgjør
Reader bare personer
Level enighet og kappa på par · publisert enighet mellom merkere på preferansedata ligger nær tre av fire
Programmet Taksonomi · Definisjoner v1 · Kalibreringsparti · Dobbel merking · Avgjøring · Fasit · Leveranse
Volumet starter når tre personer har lest definisjonene likt.
Sju trinn og én port. I kalibreringspartiet merker tre personer de samme elementene uavhengig av hverandre, enigheten deres måles per klasse, og produksjonsvolumet forpliktes når den sjeldne klassen klarer kravet.
- Taksonomi Klassene du har, eller de som det fortsatt diskuteres om.
- Definisjoner v1 Én setning per klasse, skrevet før merkingen starter.
- Kalibreringsparti Tre personer merker de samme elementene uavhengig av hverandre.
- definisjonene holdt · personene enige Dobbel merking To personer på hvert produksjonselement.
- Avgjøring Hver uenighet går til en kontrollør, med regelen som ble brukt og kontrollørens id.
- Fasit Elementer med kjent svar, spredt gjennom partiet og målt per annotatør.
- Leveranse Etikettene og dokumentasjonen deres, versjonert.
Porten · enighet om den sjeldne klassen, per versjon, før produksjon
Hva du mottar Etikettsett · Definisjonsendringer · Enighet · Avgjøringslogg · Lagringssted
Protokollen er produktet.
EU AI Act (KI-forordningen) artikkel 10 krever representativitet, undersøkelse av feil, undersøkelse av skjevheter og opprinnelse. Definisjonene som gjelder, enigheten per klasse og loggen over uenigheter kommer som filer, så den som vurderer dere, leser historikken sammen med etikettene.
- Etikettprotokoll
- Example message
- Definisjoner
- v2 · én regel lagt til
- Regel
- linje 4 · det vi må handle på først
- Beslutning
- refund request · en person
- Lesninger
- tre ledd · tre klasser
- Lagringssted
- EØS · databehandleravtale for oppdraget
- Etikettsett Hver klasse med definisjonen som gjelder Definisjonsfilen, versjonert, med avgjøringsregelen.
- Definisjonsendringer Hva som endret seg, når, og hva det rettet Differansen mellom versjonene og runden som utløste den.
- Enighet Per klasse, med fasit spredt gjennom partiet Parvis og samlet kappa, alpha, den sjeldne klassen først.
- Avgjøringslogg Hver uenighet, avgjort skriftlig Beslutningen, regelen, kontrollørens id og hver stemme tatt vare på.
- Lagringssted EØS under signert databehandleravtale Behandlingsprotokollen og listen over underdatabehandlere.
Avgrens merkeprogrammet ditt klassesett · volum · språk · aksept
Ta med taksonomien du har, eller den dere fortsatt diskuterer.
Vi avgrenser klassesettet, volumet, språkene og akseptplanen. Når definisjonene fortsatt er åpne, er det å skrive dem den første arbeidspakken, og kalibreringspartiet tester dem før volum.
Hva briefen trenger: klassesett, volum, språk og hvordan aksept ser ut.
Send briefenEn ingeniør eller leveranseansvarlig svarer innen én virkedag i EU med en vurdering av gjennomførbarhet.
FAQ
Ofte stilte spørsmål
Hva er forskjellen på datamerking og dataannotering?
Begge ordene brukes om begge oppgavene i markedet, og vi leverer begge. Forskjellen er hvordan de feiler. En markering feiler på posisjon: kanten, tildekkingen, det mørke bildet. En klasse feiler på skjønn: en tvetydig definisjon, to kategorier som overlapper, en taksonomi som glir mellom personer, en sjelden klasse ingen ser. Merkeprogrammer avgrenses på denne siden, og romlig markering på annotering av KI-data.
Hvordan avgjør YPAI et tilfelle som ligger mellom to klasser?
Retningslinjen har en avgjøringsregel som sier hvilken klasse som vinner når mer enn én passer. Når to klasser fortsatt passer etter regelen, går elementet til en navngitt kontrollør, og beslutningen, regelen som ble brukt og kontrollørens id skrives inn i avgjøringsloggen som følger med partiet.
Hvor mange personer merker hvert element?
To, alltid, med en tredje som avgjør uenighet. Enigheten mellom de to måles og rapporteres per klasse. I kalibreringspartiet merker tre personer de samme elementene, så hver uenighet har et flertall og et mindretall å lese.
Hvilke språk dekker YPAI?
YPAI støtter arbeid på 150+ språk og dialekter, med kontrollører som har språket som morsmål, konsentrert i europeiske, nordiske og store asiatiske markeder. Språk med færre ressurser prises per prosjekt, fordi rekruttering av kontrollører styrer tempoet der.
Bruker dere modeller til forhåndsmerking?
Der det hjelper, som modellassistert annotering med menneskelig verifisering. En modells resultat er en første gjennomgang, og en person godkjenner eller retter hvert element før leveranse. Modellene på denne siden gjør en annen jobb: de leser definisjoner og meldinger for å vise hvor en beslutning er svak.
Hvor behandles dataene?
I infrastruktur i EU/EØS under en signert databehandleravtale, med behandlingsgrunnlag, formålsbegrensning og dataminimering fastsatt under avgrensningen. Forespørsler om registrertes rettigheter går gjennom skjemaet for dataforespørsler.
Hvor raskt svarer YPAI etter en henvendelse?
Vi svarer innen én virkedag i EU etter en innsending gjennom kontaktskjemaet, med en vurdering av gjennomførbarhet, det neste konkrete steget og et anslått tidsvindu for omfanget. Det første svaret kommer fra en ingeniør eller leveranseansvarlig som har lest briefen.
En etikett er en beslutning. En beslutning trenger en definisjon, en avgjøringsregel og dokumentasjon av hvem som tok den.