Enkle bilder er raske å merke. De vanskelige avgjør modellen.
YPAI fastsetter taksonomien, reglene for grensetilfeller og kontrollmetoden før produksjon, slik at okklusjon, tynne kanter, små deler og tette instanser merkes likt i hvert bilde.
- Okklusjon hvor mye av objektet som må være synlig for å telle
- Tynn kant hvor kanten går når kontrasten ikke viser det
- Lite objekt minstestørrelsen for at en instans skal telle med
- Tette instanser når objekter som berører hverandre, er ett merke eller flere
Å tegne formen er den enkle delen. Å avgjøre hva som teller, er arbeidet.
To annotatører kan tegne det samme objektet og likevel være uenige. Det som skiller dem, er ikke ferdigheter, men om retningslinjen allerede har besvart spørsmålet:
En tegnet form
- geometri
- et klassenavn
Et avgjort merke
- hva som i det hele tatt regnes som objektet
- hvor kanten går når kontrasten svikter
- hvor mye okklusjon som fortsatt gir et merke
- om en avkuttet instans beholdes eller forkastes
- når objekter som berører hverandre, er én instans eller flere
- minstestørrelsen for at en instans skal telle med
- om et avvik er en defekt eller innenfor toleransen
- hvilke attributter som følger instansen
- hva en annotatør gjør når bildet er tvetydig
- hvem som avgjør, og hva loggen viser
YPAI avgjør disse spørsmålene i retningslinjen før produksjon, ikke i kontrollen etterpå.
Det samme gjelder industrielt maskinsyn: et overflatemerke blir nyttige treningsdata først når retningslinjen angir produktet, stasjonen, prosesstrinnet, toleransen, synsvinkelen og inspeksjonsmetoden som avgjør om det i det hele tatt er en defekt.
Taksonomien bygges rundt beslutningen systemet må ta.
Den beslutningen kan være:
- hvilket objekt som skal manipuleres
- hvilken instans handlingen gjelder
- om en montering er riktig
- om en overflate har en defekt
- om systemet skal fortsette, stoppe, prøve på nytt eller eskalere
Av den beslutningen følger ontologien, innsamlingsprotokollen, annoteringen og akseptplanen.
Start med flaskehalsen i dataene.
YPAI kan gjennomføre ett avgrenset trinn eller hele dataarbeidet.
-
Startpunkt: Skriv retningslinjen
Start her når: To annotatører ville besvart det samme bildet ulikt.
Typisk resultat En skriftlig retningslinje med gjennomgåtte eksempler, en låst klasseliste og reglene som løser uenighet.
-
Startpunkt: Merk et avgrenset sett
Start her når: Du har bilder og et avtalt akseptkriterium.
Typisk resultat Merkede bilder med attributter per instans, kontrollørlogger, samsvarsresultater og akseptstatus.
-
Startpunkt: Merk eksisterende data på nytt
Start her når: Du har merker du ikke kan stole på, eller ikke kan bruke på tvers av trening og evaluering.
Typisk resultat Et sett merket på nytt etter gjeldende taksonomi, med uenighetene som ble funnet og hvordan hver av dem ble løst.
-
Startpunkt: Driv annoteringsarbeidet
Start her når: Arbeidet må holdes i gang mens taksonomien endrer seg.
Typisk resultat En kontrollert arbeidsflyt for merking, kontroll og aksept, koblet til miljøet der du utvikler modellen.
Grensetilfeller
Grensetilfellene er en del av oppgaven.
En modell trent på rene bilder møter den andre typen i produksjon. Disse fire styrer retningslinjen, og retningslinjen avgjør om to annotatører er enige.
Hvert tilfelle avgjøres skriftlig før produksjon, med et gjennomgått eksempel, slik at svaret er det samme i bilde én og i bilde førti tusen.
Hver klasse bør si hva den utelukker.
Den konkrete taksonomien skrives for kundens produkt, stasjon, modelloppgave og akseptkriterier.
En annoteringstaksonomi kan ha følgende lag.
Representativ taksonomi
- Klassedefinisjon
-
- hva klassen er
- hva den utelukker
- nærliggende klasser
- gjennomgåtte eksempler
- kjente forvekslinger
- Geometri
-
- merketype per klasse
- boks, polygon, maske eller nøkkelpunkter
- minste instansstørrelse
- maks antall hjørnepunkter
- presisjonstoleranse
- Kantregler
-
- hvor kanten går
- håndtering når kontrasten svikter
- skygge og refleksjon
- speilende og gjennomsiktige overflater
- bevegelsesuskarphet
- Okklusjon og avkutting
-
- synlighetsterskel
- regel for bildekant
- håndtering av delvise instanser
- det skjulende objektet registreres
- amodal eller synlig utstrekning
- Skille mellom instanser
-
- objekter som berører hverandre
- stablede objekter
- gruppe eller instans
- instansidentitet på tvers av bilder
- regler for deling og sammenslåing
- Attributter
-
- attributter per instans
- tillatte verdier
- når et attributt er påkrevd
- null og ukjent
- motstridende attributter
- Defektkriterier
-
- produkt og stasjon
- prosesstrinn
- toleransebånd
- alvorlighetsnivåer
- avvik innenfor toleransen
- Tvetydighet og eskalering
-
- hva annotatøren gjør ved tvil
- årsak til flagging
- eskaleringsvei
- hvem som avgjør
- hvordan avgjørelsen videreføres
- Kontroll og aksept
-
- utvalgsmetode
- samsvarsmål
- kontrollørlogg
- utløser for omarbeiding
- akseptstatus
Taksonomien låses før produksjon i full skala.
En klasseliste er ikke en taksonomi. Reglene som løser uenighet, er det.
Taksonomien må
tåle møtet med
et ekte bilde.
Hvert lag ovenfor registreres per instans. En retningslinje som er godt skrevet, men ikke kan brukes på dette bildet, er ikke ferdig.
Utdataformatet er
en modellbeslutning.
Hver merketype bevarer noe ulikt og har sin egen kostnad. Modelloppgaven avgjør hvilken som er riktig, ikke hva annotatøren foretrekker.
- Klassifisering
- Boks
- Polygon
- Maske
- Nøkkelpunkter
Nøkkelpunkter og positur står utenfor denne rekken: de bevarer leddstilling fremfor utstrekning, og de velges når modellen må håndtere objektet, ikke bare finne det.
Data for industrielt maskinsyn bør gjenspeile beslutningen på linjen.
Et defektmerke uten prosesskontekst er kanskje ikke nok til å trene eller evaluere systemet som skal reagere på det. Det samme overflatemerket er en defekt på én stasjon og innenfor toleransen på den neste.
Det leverte merkesettet registrerer ikke bare klassen og geometrien, men også innsamlingsforholdene inspeksjonsbeslutningen ble tatt under, slik at en uenighet kan spores til bildet og ikke til annotatøren.
Ekte data forankrer systemet.
Syntetiske data utvider dekningen.
Sjeldne klasser og sjeldne forhold er nettopp det en ekte innsamling sjelden inneholder. Syntetiske bilder kommer ferdig merket, og de går gjennom den samme retningslinjen, kontrollen og akseptprosessen som de ekte.
Ekte grunnlag Syntetisk dekning - Merkesett som grunnlag
- Hull i klasser og forhold
- Generer
- Kontroller plausibilitet
- Evaluer mot ekte bilder
- Lukk sløyfen
Syntetiske bilder er et verktøy for dekning, ikke en erstatning for aksept på ekte bilder.
Kvaliteten følger hele merkesettet.
Kvalitetsprosessen begynner med retningslinjen, ikke med kontrollen, og slutter først når versjonen av merkesettet er godkjent.
Der nøyaktighet eller godkjenningsandel er riktig måltall, foreslår YPAI vanligvis et målområde på 95 % til 99 % etter kalibrering, med nøyaktig måltall, terskel og kontrollmetode definert i arbeidsomfanget (SOW).
Følger med den godkjente versjonen / klasseliste og taksonomi · annoteringsretningslinje med gjennomgåtte eksempler · kontrollør- og avgjøringslogg · samsvarsrapport · kvalitetsrapport · opprinnelses- og rettighetslogg · versjonslogg for merkesettet · sjekksummer
Leveres i eller tilordnes COCO, YOLO, Pascal VOC, KITTI, Parquet, JSONL eller et kundespesifikt skjema. Formatstøtte kontrolleres mot de faktiske dataene, datalasteren, verktøykjeden og leveransekravet.
Ulike systemer trenger ulikt dataarbeid. Vi avgrenser disse hver for seg: grunnmodeller for roboter, manipulasjons- og humanoidsystemer, industriell inspeksjon, sensor- og enhetsprogrammer og gjenoppretting av eksisterende data.
Send bildene, klassene og akseptkriteriene.
Systemet, oppgaven, datakilden, sensorene, skalaen, annoteringen og leveranseformatet. YPAI svarer med gjennomførbarhet, metode, skjema, kvalitetssikring og aksept, leveranseformat og de åpne beslutningene før oppstart.
Relatert
- Robotikk hos YPAI Innsamling, oppgavedemonstrasjoner og tilbakeholdt fasit for roboter i miljøene de arbeider i.
- Datainnsamling Tilpasset innsamling av video, bilder, sensordata og multimodale data.
- Videoannotering Hendelser over tid, sporing og handlingsmerker.
- LiDAR og 3D Annotering av punktskyer og romlige data.
- Sensorfusjon Synkronisert multimodal annotering.
- Bildeannotering Deteksjon, segmentering og nøkkelpunkter.
- Administrert annotering Ontologi, produksjon, kontroll og aksept.
- Piloter Valider oppgaven, resultatet og akseptplanen før oppskalering.