Trainieren Sie Roboter mit Episoden, nicht mit Einzelbildern.
YPAI macht aus Demonstrationen von Menschen und Robotern synchronisierte, trainingsfertige Episoden, in denen Fehler, Eingriffe und Wiederherstellungen erhalten bleiben.
Eine Box um ein Objekt kann die Wahrnehmung trainieren. Die Aufgabe kann sie nicht vermitteln.
Systeme für physische KI brauchen mehr als isolierte Labels. Sie müssen wissen:
Ein gelabeltes Einzelbild
- Objektklasse
- Objektposition
Eine vollständige Episode
- was das System beobachtet hat
- welche Anweisung oder welches Ziel galt
- welche Aktion folgte
- was sich in der Umgebung verändert hat
- ob ein Kontakt stattfand
- wann jede Aufgabenphase begann und endete
- ob der Versuch erfolgreich war
- warum er fehlgeschlagen ist
- ob ein Mensch eingegriffen hat
- wie das System den Ablauf wiederhergestellt hat
YPAI strukturiert diese Zusammenhänge als vollständige Episoden statt als unverbundene Einzelbilder.
Dasselbe gilt für die industrielle Bildverarbeitung: Eine visuelle Anomalie wird erst dann zu nützlichen Trainingsdaten, wenn sie mit Produkt, Station, Prozessschritt, Toleranz, Blickwinkel, Prüfmethode und Verwendungsentscheid verknüpft ist.
Das Projekt wird um die Entscheidung herum aufgebaut, die das System treffen muss.
Diese Entscheidung kann sein:
- welches Objekt manipuliert werden soll
- wie es gegriffen oder bewegt werden soll
- ob eine Baugruppe korrekt ist
- ob eine Oberfläche einen Defekt aufweist
- ob das System fortfahren, anhalten, es erneut versuchen oder eskalieren soll
Die Festlegungen zu Ontologie, Aufnahmeprotokoll, Annotation und Abnahmeplan folgen dieser Entscheidung.
Beginnen Sie beim Engpass in den Daten.
YPAI übernimmt eine definierte Phase oder den gesamten Datenbetrieb.
-
Einstiegspunkt: Neue Demonstrationen erfassen
Beginnen Sie hier, wenn: Sie benötigen neue Interaktionsdaten von Menschen oder Robotern.
Typisches Ergebnis: Strukturierte Demonstrationen mit synchronisierten Beobachtungen, Aktionen, Zuständen, Ergebnissen und Rechtenachweisen.
-
Einstiegspunkt: Bestehende Roboterlogs strukturieren
Beginnen Sie hier, wenn: Sie haben Daten, können sie aber nicht einheitlich für Training, Evaluierung oder Prüfung nutzen.
Typisches Ergebnis: Versionierte Episoden mit normalisierten Schemata, validierter Stream-Synchronisierung und reproduzierbaren Exporten.
-
Einstiegspunkt: Annotieren und evaluieren
Beginnen Sie hier, wenn: Sie benötigen strukturierte Aufgabenbedeutung, Ergebnisse oder Ground Truth für die industrielle Bildverarbeitung.
Typisches Ergebnis: Annotierte Episoden oder visuelle Datensätze mit Ontologie, Prüferprotokollen, Ergebnissen der Qualitätssicherung und Abnahmestatus.
-
Einstiegspunkt: Den laufenden Datenbetrieb führen
Beginnen Sie hier, wenn: Sie benötigen eine betriebliche Infrastruktur rund um den Datensatz.
Typisches Ergebnis: Ein kontrollierter Workflow für Daten und Evaluierung, angebunden an Ihre Umgebung für die Modellentwicklung.
AUTONOMIE IM FREIEN
Der Rand gehört zur Aufgabe.
Für einen Mähroboter reicht eine auf sauberem Rasen gelernte Route nicht aus. Nasser Boden, Steine, Kabel und der Übergang vom Rasen zum Beet verändern jeweils den nächsten Schritt.
Anfahrt → Grenze ändert sich → Route wiederhergestellt
Die nützliche Aufzeichnung bewahrt den Kontext, der die Route verändert, nicht nur die Sekunden, in denen alles funktioniert.
Jede Episode erklärt, was geschehen ist.
Das genaue Schema wird für die Roboterplattform, den Policy-Stack und das Trainingsziel des Kunden definiert.
Eine Episode für Roboterlernen kann die folgenden Ebenen enthalten.
Repräsentatives Episodenschema
- Aufgabenidentität
-
- Episoden-ID
- Aufgabenfamilie
- Aufgabenvariante
- Umgebung
- Szene
- Roboter oder Plattform
- Bediener:in oder Erfassungsmethode
- Protokollversion
- Start- und Endbedingungen
- Anweisung und Ziel
-
- Anweisung in natürlicher Sprache
- strukturiertes Aufgabenziel
- Zielobjekt
- Zielort
- Randbedingungen
- unzulässige Aktionen
- Definition von Erfolg
- Definition von Fehlschlag
- Beobachtungen
-
- Video von fester Kamera
- egozentrisches Video
- Video von Handgelenkkamera
- Multikamera-Streams
- RGB
- Tiefe
- Punktwolke
- Audio
- taktile oder Kraftdaten, sofern verfügbar
- Umgebungs- und Gerätemetadaten
- Roboter- und Umgebungszustand
-
- Gelenkzustand
- Pose des Endeffektors
- Greiferzustand
- Basispose
- Objektzustand
- Werkzeugzustand
- Szenenzustand
- Sensorzustand
- Sicherheitszustand
- Controller-Zustand
- Aktionen
-
- Translation
- Rotation
- Greiferbefehle
- Gelenkbefehle
- Navigationsaktionen
- Werkzeugnutzung
- Steuerungsmodus
- Eingriff
- Stopp oder erneuter Versuch
- Aufgabenstruktur
-
- Aufgabenphase
- Teilaufgabe
- Aktionssegment
- Voraussetzung
- Übergang
- Kontaktereignis
- Zustandsänderung
- Abschlussereignis
- Ergebnis
-
- erfolgreich
- teilweise erfolgreich
- fehlgeschlagen
- unterbrochen
- unsicher
- ungültig
- menschlicher Eingriff erforderlich
- erneuter Versuch eingeleitet
- wiederhergestellt
- abgebrochen
- Fehler und Wiederherstellung
-
- Fehlerpunkt
- Fehlerkategorie
- vorheriger Zustand
- versuchte Aktion
- Ursache in der Umgebung
- Wahrnehmungsfehler
- Planungsfehler
- Steuerungsfehler
- Eingriff durch Bediener:in
- Wiederherstellungsaktion
- abschließende Einstufung
- Herkunftsnachweis und Qualität
-
- Quelle
- Rechtestatus
- Erfassungsprotokoll
- Kalibrierungsnachweis
- Status der Sensorsynchronisierung
- Annotationsversion
- Prüfstatus
- Problemhistorie
- acceptance status
- Datensatzversion
Das Episodenschema wird vor der Skalierung auf Produktionsumfang eingefroren.
Die Umsetzung richtet sich nach der Roboteraufgabe, dem Aufnahmeaufbau und der Evaluierung.
Erfassen Sie die Aufgabe
dort, wo sie tatsächlich
stattfindet.
Die Aufnahmearchitektur hängt von Modell, Plattform, Aufgabe und Einsatzumgebung ab.
Labeln Sie die Interaktion,
nicht nur das Objekt.
Annotation für physische KI muss den Zusammenhang zwischen Zeit, Zustand, Aktion und Ergebnis bewahren.
- Annäherung
- Kontakt
- Greifen
- Transfer
- Ablegen
Die Taxonomie wird am Modellziel und an der Betriebsumgebung des Kunden ausgerichtet.
Daten für die industrielle Bildverarbeitung sollten die Entscheidung an der Linie abbilden.
Ein Defektlabel ohne Prozesskontext reicht möglicherweise nicht aus, um das System zu trainieren oder zu evaluieren, das darauf reagieren muss.
Der endgültige Datensatz erfasst das Label und die Bedingungen, unter denen die Prüfentscheidung getroffen wurde.
Reale Daten verankern das System.
Synthetische Daten erweitern die Abdeckung.
Reale Episoden, Simulationsausgaben und synthetische Szenarien durchlaufen einen dokumentierten Qualitäts- und Abnahmeprozess.
Reale Basis Synthetische Abdeckung - Basis
- Abdeckungslücken
- Generieren
- Plausibilität validieren
- Gegen reale Daten evaluieren
- Für den angegebenen Zweck abnehmen
Synthetische Daten sind ein Werkzeug für die Abdeckung, kein Ersatz für die Abnahme unter realen Bedingungen.
Die Qualität folgt der vollständigen Episode.
Der Qualitätsprozess beginnt vor der Erfassung oder Annotation und endet erst, wenn die Datensatzversion abgenommen ist.
Wo Genauigkeit oder Bestehensquote die geeignete Kennzahl ist, schlägt YPAI nach der Kalibrierung in der Regel einen Zielbereich von 95 % bis 99 % vor; die genaue Kennzahl, der Schwellenwert und die Prüfmethode werden in der Leistungsbeschreibung (SOW) festgelegt.
Wird mit der abgenommenen Version geliefert / Episodenmanifest · Sensor- & Stream-Schema · Kalibrierungspaket · Ontologie & Annotationsleitfaden · Qualitätsbericht · Herkunfts- & Rechtenachweis · Datensatzversionsnachweis · Prüfsummen
Geliefert in RLDS, LeRobotDataset, MCAP, Parquet, JSONL, COCO, YOLO, KITTI oder einem kundenspezifischen Schema, oder darauf abgebildet. Die Formatunterstützung wird anhand der tatsächlichen Daten, des Loaders, der Toolchain und der Lieferanforderung geprüft.
Unterschiedliche Systeme erfordern unterschiedliche Datenprozesse. Foundation Model für Roboter · Manipulation und Humanoide · industrielle Inspektion · Sensor und Gerät · Wiederherstellung bestehender Daten.
Senden Sie uns Roboter, Aufgabe und Datenanforderung.
Das System, die Aufgabe, die Datenquelle, die Sensoren, der Umfang, die Annotation und das Lieferformat. YPAI antwortet mit Machbarkeit, Methode, Schema, Qualitätssicherung und Abnahme, Lieferformat und den offenen Entscheidungen vor dem Start.
Verwandte Themen
- Daten für physische KI Den Datenpfad wählen: Logs wiederherstellen, erfassen, strukturieren, annotieren, Lücken füllen oder die Aufgabe evaluieren.
- Datenerfassung Kundenspezifische Erfassung von Video-, Bild-, Sensor- und multimodalen Daten.
- Videoannotation Zeitliche Ereignisse, Tracking und Aktionslabels.
- LiDAR und 3D Punktwolkenannotation und räumliche Daten.
- Sensorfusion Synchronisierte multimodale Annotation.
- Bildannotation Detektion, Segmentierung und Keypoints.
- Betreute Annotation Ontologie, Produktion, Prüfung und Abnahme.
- Pilotprojekte Validieren Sie Aufgabe, Ergebnis und Abnahmeplan vor der Skalierung.