Tren roboter på episoder, ikke enkeltstående bilder.
YPAI gjør menneskelige og robotiske demonstrasjoner om til synkroniserte, treningsklare episoder der feil, inngrep og gjenopprettinger er bevart.
En boks rundt et objekt kan trene persepsjon. Den kan ikke lære bort oppgaven.
Systemer for fysisk KI trenger mer enn enkeltstående merker. De må vite:
Et merket bilde
- objektklasse
- objektets plassering
En komplett episode
- hva systemet observerte
- hvilken instruksjon eller hvilket mål som gjaldt
- hvilken handling som fulgte
- hva som endret seg i omgivelsene
- om det oppstod kontakt
- når hvert trinn i oppgaven startet og sluttet
- om forsøket lyktes
- hvorfor det mislyktes
- om et menneske grep inn
- hvordan systemet kom seg igjen
YPAI strukturerer disse sammenhengene som komplette episoder i stedet for løsrevne bilder.
Det samme gjelder industrielt maskinsyn: et visuelt avvik blir nyttige treningsdata først når det er knyttet til produktet, stasjonen, prosesstrinnet, toleransen, synsvinkelen, inspeksjonsmetoden og disposisjonen.
Prosjektet bygges rundt beslutningen systemet må ta.
Den beslutningen kan være:
- hvilket objekt som skal håndteres
- hvordan det skal gripes eller flyttes
- om en montasje er riktig
- om en overflate har en defekt
- om systemet skal fortsette, stoppe, prøve på nytt eller eskalere
Prosjektets ontologi, opptaksprotokoll, annotering og akseptplan følger den beslutningen.
Start med flaskehalsen i dataene.
YPAI gjennomfører ett definert trinn eller hele datadriften.
-
Startpunkt: Samle inn nye demonstrasjoner
Start her når: Du trenger nye interaksjonsdata fra mennesker eller roboter.
Typisk resultat: Strukturerte demonstrasjoner med synkroniserte observasjoner, handlinger, tilstander, utfall og rettighetsdokumentasjon.
-
Startpunkt: Strukturer eksisterende robotlogger
Start her når: Du har data, men kan ikke bruke dem konsekvent på tvers av trening, evaluering eller kontroll.
Typisk resultat: Versjonerte episoder med normaliserte skjemaer, validert strømsynkronisering og reproduserbare eksporter.
-
Startpunkt: Annoter og evaluer
Start her når: Du trenger strukturert oppgavebetydning, utfall eller fasit for industrielt maskinsyn.
Typisk resultat: Annoterte episoder eller visuelle datasett med ontologi, kontrollørlogg, resultater fra kvalitetskontroll og akseptstatus.
-
Startpunkt: Driv den løpende datadriften
Start her når: Du trenger driftsinfrastruktur rundt datasettet.
Typisk resultat: En kontrollert arbeidsflyt for data og evaluering koblet til miljøet der du utvikler modellen.
AUTONOMI UTENDØRS
Kanten er en del av oppgaven.
For en robotgressklipper er ikke en rute lært på rent gress nok. Våt mark, steiner, kabel og overgangen fra plen til kant endrer alle det neste trekket.
Tilnærming → grensen endres → ruten gjenopprettet
Den nyttige registreringen tar vare på konteksten som endrer ruten, ikke bare sekundene da alt fungerer.
Hver episode forklarer hva som skjedde.
Det nøyaktige skjemaet defineres for kundens robotplattform, policy-stakk og treningsmål.
En episode for robotlæring kan inneholde følgende lag.
Representativt episodeskjema
- Oppgaveidentitet
-
- episode-ID
- oppgavefamilie
- oppgavevariant
- miljø
- scene
- robot eller plattform
- operatør eller innsamlingsmetode
- protokollversjon
- start- og sluttbetingelser
- Instruksjon og mål
-
- instruksjon i naturlig språk
- strukturert oppgavemål
- målobjekt
- destinasjon
- begrensninger
- forbudte handlinger
- definisjon av suksess
- definisjon av feil
- Observasjoner
-
- video fra fast kamera
- egosentrisk video
- video fra håndleddskamera
- flerkamerastrømmer
- RGB
- dybde
- punktsky
- lyd
- taktile data eller kraftdata der tilgjengelig
- miljø- og enhetsmetadata
- Robot- og miljøtilstand
-
- leddtilstand
- pose for endeeffektor
- gripertilstand
- basepose
- objekttilstand
- verktøytilstand
- scenetilstand
- sensortilstand
- sikkerhetstilstand
- kontrollertilstand
- Handlinger
-
- translasjon
- rotasjon
- griperkommandoer
- leddkommandoer
- navigasjonshandlinger
- verktøybruk
- kontrollmodus
- inngrep
- stopp eller nytt forsøk
- Oppgavestruktur
-
- oppgavefase
- deloppgave
- handlingssegment
- forutsetning
- overgang
- kontakthendelse
- tilstandsendring
- fullføringshendelse
- Utfall
-
- vellykket
- delvis vellykket
- mislykket
- avbrutt
- utrygt
- ugyldig
- krevde menneskelig inngrep
- nytt forsøk startet
- gjenopprettet
- forlatt
- Feil og gjenoppretting
-
- feilpunkt
- feilkategori
- foregående tilstand
- forsøkt handling
- årsak i omgivelsene
- persepsjonsfeil
- planleggingsfeil
- kontrollfeil
- operatørinngrep
- gjenopprettingshandling
- endelig disposisjon
- Opprinnelse og kvalitet
-
- kilde
- rettighetsstatus
- innsamlingsprotokoll
- kalibreringslogg
- status for sensorsynkronisering
- annoteringsversjon
- kontrollstatus
- avvikshistorikk
- acceptance status
- datasettversjon
Episodeskjemaet fryses før produksjon i full skala.
Leveransen bygges rundt robotoppgaven, opptaksoppsettet og evalueringen.
Ta opp oppgaven
der den faktisk
skjer.
Opptaksarkitekturen avhenger av modellen, plattformen, oppgaven og miljøet den skal ut i.
Merk interaksjonen,
ikke bare objektet.
Annotering for fysisk KI må bevare sammenhengen mellom tid, tilstand, handling og utfall.
- Tilnærming
- Kontakt
- Grep
- Forflytning
- Slipp
Taksonomien bygges ut fra kundens modellmål og driftsmiljø.
Data for industrielt maskinsyn bør gjenspeile beslutningen på linjen.
En defektmerking uten prosesskontekst er kanskje ikke nok til å trene eller evaluere systemet som skal handle på den.
Det endelige datasettet registrerer merkingen og forholdene inspeksjonsbeslutningen ble tatt under.
Ekte data forankrer systemet.
Syntetiske data utvider dekningen.
Ekte episoder, simuleringsresultater og syntetiske scenarier går gjennom én dokumentert kvalitets- og akseptprosess.
Ekte grunnlinje Syntetisk dekning - Grunnlinje
- Hull i dekningen
- Generer
- Valider plausibilitet
- Evaluer mot ekte data
- Godkjenn for oppgitt bruk
Syntetiske data er et verktøy for dekning, ikke en erstatning for aksept i den virkelige verden.
Kvaliteten følger hele episoden.
Kvalitetsprosessen starter før innsamling eller annotering og avsluttes først når datasettversjonen er godkjent.
Der nøyaktighet eller beståttandel er riktig mål, foreslår YPAI vanligvis et målområde på 95 % til 99 % etter kalibrering, med nøyaktig mål, terskel og kontrollmetode definert i arbeidsomfanget (SOW).
Leveres med den godkjente versjonen / episodemanifest · sensor- og strømskjema · kalibreringspakke · ontologi og annoteringsveiledning · kvalitetsrapport · opprinnelses- og rettighetslogg · datasettversjonslogg · sjekksummer
Leveres i eller tilordnet RLDS, LeRobotDataset, MCAP, Parquet, JSONL, COCO, YOLO, KITTI eller et kundespesifikt skjema. Formatstøtte kontrolleres mot de faktiske dataene, lasteren, verktøykjeden og leveransekravet.
Ulike systemer trenger ulik datadrift. Grunnmodell for roboter · manipulasjon og humanoider · industriell inspeksjon · sensor og enhet · gjenoppretting av eksisterende data.
Send roboten, oppgaven og datakravet.
Systemet, oppgaven, datakilden, sensorene, omfanget, annoteringen og leveranseformatet. YPAI svarer med gjennomførbarhet, metode, skjema, kvalitetskontroll og aksept, leveranseformat og beslutningene som gjenstår før oppstart.
Relatert
- Data for fysisk KI Velg dataløpet: gjenopprett logger, samle inn, strukturer, annoter, fyll et hull eller evaluer oppgaven.
- Datainnsamling Tilpasset innsamling av video, bilder, sensordata og multimodale data.
- Videoannotering Tidsbestemte hendelser, sporing og handlingsmerker.
- LiDAR og 3D Annotering av punktskyer og romlige data.
- Sensorfusjon Synkronisert multimodal annotering.
- Bildeannotering Deteksjon, segmentering og nøkkelpunkter.
- Styrt annotering Ontologi, produksjon, kontroll og aksept.
- Piloter Valider oppgaven, resultatet og akseptplanen før du skalerer.