Styrt annotering bygget rundt feilene modellen din ikke har råd til.
Ta med én annoteringsoppgave. Du får tilbake godkjent, versjonert fasit, vurdert mot kriterier du avtalte før noe volum startet.
En etikett er ikke riktig fordi noen leverte den.
- grense En avgrensningsboks finner riktig objekt og utelater delen modellen trenger.
- klasse To annotatører bruker samme klasse på ulike hendelser.
- taler Riktige ord havner hos feil taler.
- spenn En spenngrense forskyver seg fra ett skift til det neste.
- vurderingsnøkkel En vurderer velger det beste av to svar, og vurderingsnøkkelen bak valget forsvinner.
Fem feil, fem ulike konsekvenser. Én nøyaktighetsprosent skjuler dem alle.
Du kjøper en styrt annoteringsdrift for én navngitt arbeidsmengde.
Oppdraget starter fra en godkjent enhet og en annoteringskontrakt, og ender i versjonerte etiketter og dokumentasjon av leveransen. Mellom disse to punktene definerer YPAI annoteringsenheten, feilklassene, kontrollmetoden og dokumentasjonen for aksept før produksjonsvolumet vokser.
Én beslutning holder resten sammen. YPAI låser én godkjent enhet på tvers av pris, produksjon, kvalitet og aksept før den første produksjonsbatchen åpnes.
priset per klipp
1
fakturerbar enhet
godkjent per sporet objekt per bilde
24
akseptenheter
Tar du feil her, slutter prosjektet å være målbart. Prises en videojobb per klipp mens feil telles per sporet objekt per bilde, leser du og leveranseansvarlig det samme datasettet som to ulike resultater.
Den samme beslutningen låser redundans, spesialistbemanning, modellassistanse, terskelen, kadensen og hvem som utbedrer. Alt dette avgjøres i kontrakten.
Arbeidet kjører på YPAIs egen plattform.
Kontroll, bruk av vurderingsnøkler, attribusjon, avgjøring og QA kjører i YPAIs egen konsoll for menneskelig kontroll.
YPAI driver også egne plattformer for innsamling av video og lyd, med automatisert inntak, konvertering, QC og strukturert leveranse på videosiden, og en kontrollert deltakerflyt på lydsiden. Annoteringsserverne er egendriftet i Europa.
Egendriftet CVAT og Label Studio kobles til som adaptere der et prosjekt trenger dem.
- original Tett boks. Tilhenger utelatt.
- funn Utstrekningen som bærer meningen, mangler.
- korrigering Boksen omfatter den tilkoblede lasten.
- begrunnelse Retningslinje: ta med tilkoblet geometri.
Ingenting skaleres før retningslinjen holder mot ekte materiale.
Denne måten å drive arbeidet på krever en avgrensning, et mål for modellen som skal bruke etikettene, og et kvalitetskrav du kan skrive inn i en kontrakt.
Når dette er på plass, kommer kalibrering før volum. Annotatører og kontrollører merker det samme kontrollerte materialet uavhengig av hverandre.
- Dekker ontologien kildedataene?
- Gir retningslinjen konsistente beslutninger?
- Kan det tiltenkte teamet utføre oppgaven?
- Er kvalitetskravet oppnåelig på dette materialet?
En kalibreringsport som ikke består, stopper oppskalering av produksjonen.
kalibreringsport, sporing av flere objekter
Deteksjon avgjøres av recall og toleranse for grenser. Transkripsjon måles som ordfeilrate, eller tegnfeilrate der skriftsystemet krever det. Vurderingsarbeid måles på etterlevelse av vurderingsnøkkelen og konsistens i preferanser. Metrikken følger feilen som skal kontrolleres. Fjernfeltmateriale har sin egen terskel, satt under avgrensningen.
YPAI bemanner og følger opp annotatørene, vurdererne, kontrollørene, avgjørerne og spesialistene for arbeidsmengden. En person kommer inn i et prosjekt først etter å ha kvalifisert seg mot den kalibrerte oppgaven. Bak dette står et bidragsyternettverk på 210 000+ personer i 50+ land, slik at et prosjekt kan bemannes for språket, lokaliteten og domenet materialet krever.
Modellgenererte forhåndsetiketter går inn i produksjonen som kandidater. Aksept- og utvalgsplanen avgjør hvilke av dem en person bekrefter, korrigerer eller annoterer fra bunnen. En konfidensterskel alene gjør ikke en forhåndsetikett til godkjent fasit.
Aksept er din beslutning.
Du måler hver batch mot kriterier som annoteringskontrakten låser før produksjonen starter. YPAI rapporterer mot disse kriteriene, og en batch utenfor de avtalte terskelverdiene utbedres eller holdes tilbake i stedet for å frigis som godkjent.
Først den strukturelle porten
Kontrakten fastsetter hvilke krav til skjema, identifikator, relasjoner og manifest en post må oppfylle før den går til menneskelig kvalitetskontroll. Disse kontrollene kjøres på hele batchen, ikke på et utvalg.
Deretter spørsmålene som gjenstår
Kontroll finner feil. Avgjøring løser tilfellene der to forsvarlige tolkninger står igjen. Protokollen tar vare på originalen, funnet, korrigeringen og begrunnelsen.
En endring i ontologien er en produksjonshendelse. YPAI versjonerer den i stedet for å redigere et aktivt prosjekt under arbeid som allerede er fullført.
Hva en godkjent leveranse inneholder.
Versjonerte etiketter, ontologien, retningslinjene, kalibreringsdokumentasjonen, kontroll- og avgjøringsprotokollene, de oppgavespesifikke kvalitetsresultatene og et leveransemanifest.
Slik kan du spørre hvilken spesifikasjon som ga en etikett, om den var modellassistert, om den ble kontrollert, om den ble bestridt, og hva som endret seg mellom versjoner. Enhver etikett kan spores tilbake til spesifikasjonen, kontrollen og versjonen den kom fra.
Annoteringskontrakten registrerer hvor arbeidet utføres og hvilke roller som har tilgang til materialet. Rettigheter til å annotere og til å bruke resultatet videre, opprinnelse, kildesporing, oppbevaring og sletting defineres i oppdragsdokumentet.
YPAI er en leverandør basert i EØS som opererer under GDPR (personvernforordningen), er innrettet etter artikkel 10 i EU AI Act (KI-forordningen) om datastyring for høyrisikosystemer, og utarbeider dokumentasjonen som støtter din egen samsvarsvurdering.
Ta med arbeidsmengden.
Fortell oss om arbeidsmengden, hvordan kildematerialet ser ut, etikettene du trenger og feilene du ikke kan levere. Send ontologien hvis du har en, og hvordan du vil ha kvaliteten målt og levert.
En prosjektleder går gjennom arbeidsmengden og svarer med annoteringskontrakten den vil trenge.
FAQ
Ofte stilte spørsmål
Hva omfatter en styrt annoteringsdrift?
For én navngitt annoteringsoppgave definerer YPAI ontologi, kalibrering, kontrollørdrift, kvalitetskontroller, avgjøring, akseptkriterier og versjonert leveranse før produksjonsvolumet vokser. Denne siden forklarer den driftsmodellen. For tjenester per modalitet, se annotering av KI-data.
Hvilket mål for samsvar mellom annotatører håndhever YPAI?
IAA-mål settes per oppgave og per klasse ut fra briefen, ikke som et fast tall for hele selskapet. Cohens kappa rapporteres for klassifisering; IoU og mAP for avgrensningsbokser; Dice for segmentering; OKS for nøkkelpunkter; HOTA og MOTA for sporing. Klasser som ligger under målet, utløser ny kalibrering før hovedarbeidet fortsetter. IAA-rapporten følger med hver leveranse.
Hvordan dokumenterer YPAI dataenes opprinnelse?
Hver post leveres med et opprinnelsesspor: innsamlings- eller leveransekilde, dato, lokalitet der det er relevant, kontrollørgruppe, samtykkeidentifikator der personopplysninger inngår, og eventuell etterbehandling. Pakken er strukturert for datasettdokumentasjon etter artikkel 10 i EU AI Act, slik at den passer inn i kundens tekniske dokumentasjon (Technical File). Opprinnelse er en del av leveransen i hvert oppdrag.
Kan annoteringsarbeid fra YPAI kobles inn i vår active learning-sløyfe?
Ja. Der kunden har en fungerende grunnmodell, kjører YPAI menneskelig kontroll av modellens forhåndsprediksjoner og prioriterer delene med lavest konfidens og størst betydning. Sløyfen mates tilbake i batcher for ny trening. Integrasjonsmønstre (synkront API, asynkron batchkø, modell driftet hos kunden) avtales under avgrensningen.
Hvordan håndteres endringer i taksonomien underveis i oppdraget?
Endringer i taksonomien avgrenses som endringsordrer. Når kunden justerer klassedefinisjoner, kjører YPAI en ny kalibreringsbatch mot den nye spesifikasjonen, beregner IAA for de endrede klassene, og merker enten det berørte etterslepet på nytt eller markerer det for ny kontroll, avhengig av omfanget av påvirkningen. Konsekvenser for kostnad og tid prises før ny merking starter. Hvordan en klasse skrives, og hvem som avgjør når to klasser overlapper, dekkes på merking av KI-data.
Hvordan dokumenteres kontrollørenes kompetanse i annoteringen?
Kontrollørenes kvalifikasjoner dokumenteres per oppdrag: klinisk autorisasjon for medisinsk arbeid, juridisk kompetanse for uttrekk fra kontrakter, verifisering av morsmålsbrukere for språkarbeid, spesialisterfaring fra bilbransjen for arbeid i kupeen og AV-persepsjon. Kvalifikasjonsprotokollen følger med leveransen, slik at kundens revisjonsspor dekker kontrollørenes kompetanse, ikke bare annoteringsresultatet.