PRIVATE UND ENTERPRISE-BEREITSTELLUNG

Das Pilotprojekt lief auf einem Laptop. Der Produktivbetrieb läuft in Ihrem Haus.

Assistenten, Agenten, Dokumenten-Workflows, Sprache und private Modelle. Vor der Freigabe auf Ihren Daten evaluiert und von YPAI betrieben. Die Daten, die Region und die Löschung bleiben bei Ihnen.

WISSENSASSISTENT 3 Dokumente · 3 Fragen

Ihre Fallakten bleiben im Archiv. Der Assistent liest sie dort.

Drei Dokumente, eine Frage. Der Assistent findet die Passage, die sie beantwortet, und zitiert sie, damit der Prüfer die Quelle kontrollieren kann. Fügen Sie Ihre eigenen Dokumente ein und stellen Sie Ihre eigene Frage. Die Demo-Modelle sind auf Englisch trainiert. Bei Dokumenten in anderen Sprachen kann die Antwort ungenau sein.

Die Dokumente

  1. Verfahren zur Änderungssteuerung, Abschnitt 4 Notfalländerungen am Inferenzdienst dürfen nach Genehmigung durch den diensthabenden Manager vom Bereitschaftsingenieur vorgenommen werden und müssen innerhalb von 24 Stunden im Änderungsprotokoll erfasst werden.
  2. Aufbewahrungsplan, Zeile 7 Prompts und Antworten auf dem Pfad des verwalteten Modells werden null Tage aufbewahrt. Anwendungsprotokolle werden 400 Tage im Konto des Kunden aufbewahrt und vom Kunden gelöscht.
  3. Zugriffsrichtlinie, Abschnitt 2 Supportzugriff auf die Produktivumgebung wird pro Vorfall vom Plattformverantwortlichen des Kunden gewährt und endet nach acht Stunden oder mit Abschluss des Vorfalls, je nachdem, was zuerst eintritt.

Oder fragen Sie

Die Antwort Beispiel

der diensthabende Manager

Zitiert aus

Verfahren zur Änderungssteuerung, Abschnitt 4. Notfalländerungen am Inferenzdienst dürfen nach Genehmigung durch den diensthabenden Manager vom Bereitschaftsingenieur vorgenommen werden und müssen innerhalb von 24 Stunden im Änderungsprotokoll erfasst werden.

Gebaut von YPAI. Läuft in Ihrem Browser. Das gezeigte Ergebnis ist das mitgelieferte Beispiel. Führen Sie es aus, um Ihr eigenes zu sehen. Keine Kundendaten.

WO ES LÄUFT 4 Muster · 1 Grenze

Vier Orte, an denen es laufen kann. Eine Grenze, die Sie unterzeichnen.

Sie wählen das Muster. Die Grenze wird darum gezogen und gezählt, und Ihr Sicherheitsverantwortlicher unterzeichnet sie vor der Freigabe. In allen vier laufen dieselben Systeme.

Muster 01

Ihre Cloud

Ihr AWS-, Azure- oder Google-Konto, Ihre Region, Ihr Identitätsanbieter. Modellaufrufe verlassen die Umgebung nur über private Endpunkte, die Sie genehmigen, ohne Aufbewahrung auf der Gegenseite.

  • Ihr Konto und Ihre Region
  • private Endpunkte, keine Aufbewahrung
  • kundenverwaltete Schlüssel

Muster 02

Dedizierter EWR-Tenant

Ein dedizierter Tenant unter EWR-Rechtsordnung, betrieben von YPAI. Die Schlüssel werden von Ihnen erzeugt und gehalten. Region und Löschung bleiben Ihre Entscheidungen.

  • keine gemeinsame Infrastruktur
  • Schlüssel von Ihnen widerrufbar
  • EWR-Rechtsordnung

Muster 03

Hybrid

Datensätze, Retrieval, Berechtigungen und Aktionen bleiben intern. Ein Frontier-Modell außerhalb antwortet nur auf Grundlage von Kontext, den das Gate freigegeben hat.

  • Datensätze bleiben intern
  • Namen, Orte, Daten bleiben intern
  • ein privater Pfad, gezählt

Muster 04

Ihre Hardware

Gewichte, Laufzeit, Anwendung und Index auf Hardware, die Ihnen gehört. YPAI bezeichnet eine Bereitstellung erst dann als getrennt, wenn gezeigt ist, dass Inferenz, Telemetrie, Updates und Supportzugriff intern bleiben.

  • Gewichte gespiegelt und gehasht
  • kein ausgehender Pfad
  • Updates benannt und geplant

Wir lesen das Muster aus Ihrer Beschreibung und stimmen es in unserer Antwort mit Ihnen ab. Jedes Muster kommt mit derselben Dokumentation und denselben Service-Levels.

EGRESS-KARTE 2 freigegeben · 0 nicht freigegeben

Zwei Pfade verlassen das Haus. Beide sind benannt.

Dies ist die Karte einer Bereitstellung. Zwei private Pfade verlassen sie, einer zum Modell und einer zum Monitoring, und der Zähler nicht genehmigter Pfade steht auf null. Schalten Sie einen öffentlichen Pfad ein und sehen Sie, wie sich der Zähler bewegt.

Intern Extern Anwendung Dokumentenspeicher Retrieval-Index Identitätsanbieter Audit-Log verwaltetes Modell Monitoring öffentliches Internet

DOKUMENTEN-WORKFLOW 5 intern gehalten

In jedem Datensatz steckt eine Person. Der Workflow hält die Person zurück und bewegt den Datensatz.

Ein Aufnahmebericht durchläuft den Workflow. Namen, Orte und Daten werden markiert und intern gehalten. Die klinischen Fakten und die Aufgabe dürfen an ein Modell außerhalb gehen. Das Demo-Modell, das Namen und Orte findet, ist auf englischen Texten trainiert. Daten werden über eine feste Regel erkannt.

Wie geschrieben, intern gehalten

Patient Ola Nordmann, geboren am 12. März 1961, wurde im Ullevål am 4. Mai mit Brustschmerzen aufgenommen. Dr. Anne Berg ordnete einen Troponintest und ein EKG an. Fassen Sie die Aufnahme für den Entlassbrief zusammen.

Wie es nach außen geht

Patient Person 1, geboren am Datum 1, wurde im Ort 1 am Datum 2 mit Brustschmerzen aufgenommen. Dr. Person 2 ordnete einen Troponintest und ein EKG an. Fassen Sie die Aufnahme für den Entlassbrief zusammen.

  • Patient intern gehalten
  • aufgenommen Ullevål, 4. Mai
  • Beschwerden Brustschmerzen
  • angeordnet Troponintest, EKG
  • Aufgabe Zusammenfassung für den Entlassbrief
das mitgelieferte Beispiel, bis Sie Ihr eigenes ausführen

5 intern gehalten: 2 Personen, 2 Daten, 1 Ort. Der Rest darf an ein Modell außerhalb gehen.

Illustrativer Datensatz. Kein Patient und kein Fall sind real. Der Datensatz bleibt, wo er gespeichert ist, und der Workflow liest ihn dort. Dokumenten-Workflows →

FREIGABE-GATE 8 zurückgehaltene Testfälle · 2 kritisch

Die Demo hat die Demofragen beantwortet. Die Freigabe wartet auf Ihre Fälle.

Vor der Freigabe wird das System innerhalb Ihrer Grenze auf Sets aus Ihren Produktionsdaten evaluiert, mit schwierigen Varianten Ihrer eigenen Fragen. Hier läuft das Gate auf acht zurückgehaltenen Items. Zwei sind kritisch. Der Demo-Leser liest nur Englisch, daher prüft das Gate jeden Testfall in seiner englischen Fassung.

  1. 01 kritisch Who approves an emergency change? the duty manager
  2. 02 Within what time must the change be recorded? 24 hours
  3. 03 Who applies the change? the on-call engineer
  4. 04 kritisch How long are prompts retained on the managed model path? zero days
  5. 05 Who deletes the application logs? the customer
  6. 06 schwierig For how long, if at all, does the managed path keep what was asked? zero days
  7. 07 schwierig When does support access expire if the incident runs for a day? after eight hours
  8. 08 schwierig Which role can grant production support access? the customer's platform owner

SPRACHSYSTEM drei Sekunden · dieser Raum

Ihre Nutzer sprechen in Fluren und Kabinen. Das Transkript bleibt bei Ihnen.

Nehmen Sie drei Sekunden in dem Raum auf, in dem Sie sind. Die Aufnahme wird in Ihrem Browser transkribiert. In Ihrer Bereitstellung geht das Transkript direkt in Ihren Workflow. Das Demo-Modell transkribiert nur englische Sprache.

Die Aufnahme

Transkript, Beispielaufnahme

start route guidance to the harbour terminal

Sprachdaten →

Läuft in Ihrem Browser. Das gezeigte Ergebnis ist das mitgelieferte Beispiel. Führen Sie es aus, um Ihr eigenes zu sehen. Keine Kundendaten.

BILDVERARBEITUNGSSYSTEM ein Bild · Schneefall · Dämmerung

Die Kamera sieht den Übergang in der Dämmerung. Die Auswertung erfolgt auf Ihrer Hardware.

Ein Bild einer Straßenkamera bei Schneefall. Der Detektor markiert, was er findet, mit seiner Konfidenz. In Ihrer Bereitstellung bleibt das Bild auf Ihrer Hardware, und die Bedienperson bestätigt oder korrigiert die Erkennung.

Erkennung person 0.68. Die Bedienperson bestätigt oder korrigiert sie, bevor die Erkennung erfasst wird.

das mitgelieferte Beispiel, bis Sie den Detektor auf diesem Bild ausführen

Läuft in Ihrem Browser Branchenlösungen →

IN DER EU BEREITGESTELLTE MODELLE EU-Inferenzprofil, Frankfurt

Ihre Nutzer schreiben auf Norwegisch. Das Modell antwortet auf Norwegisch, aus Frankfurt.

Open-Weight- und feinabgestimmte Modelle der Llama- und Mistral-Familien, evaluiert für die Sprachen Ihrer Nutzer, bereitgestellt aus Frankfurt über das EU-Inferenzprofil, sodass Prompts in der EU verarbeitet werden. Der Agent handelt nur innerhalb der für die Aufgabe erteilten Berechtigungen und zeigt jeden Schritt.

Ein privates Modell auf Norwegisch

Prompt

Oppsummer denne saken for saksbehandleren i to setninger.

Antwort

Søknaden gjelder tilknytning til kommunalt vann og avløp for eiendommen i Fjellveien 12, og mangler situasjonskart og samtykke fra nabo. Saken settes på vent til begge dokumenter er mottatt.

Modell
Mistral-Familie, EU-Inferenzprofil
Verarbeitet in
eu-central-1, Frankfurt

Ein ausgearbeitetes Beispiel, kein Live-Lauf. AI Implementation →

Ein Agent innerhalb seiner Berechtigungen

Aufgabe

Den Vorfall mit dem Runbook abgleichen und den Änderungsantrag einreichen.

Erteilt für diese Aufgabe

  • read_runbook
  • read_incident
  • draft_change
  • request_approval
  • file_change

Trace

  1. read_runbook Runbook 4.2, Notfalländerung
  2. read_incident INC-2231, Inferenzdienst beeinträchtigt
  3. draft_change Änderungsantrag entworfen, Rollback-Pfad benannt
  4. request_approval an den diensthabenden Manager gesendet, wartet
  5. file_change blockiert, außerhalb der erteilten Berechtigungen

Das Einreichen der Änderung liegt außerhalb der erteilten Berechtigungen, daher stoppt der Lauf dort, und der Trace zeigt, wo.

Ein ausgearbeitetes Beispiel, kein Live-Lauf. Unternehmensautomatisierung →

SICHERHEITSPRÜFUNG 3 Fragen · 3 Dokumente

Die Prüfung stellt drei Fragen. Die Bereitstellung beantwortet sie.

Die meisten privaten Bereitstellungen scheitern an denselben drei Fragen. Hinter jeder steht ein Dokument, das im Rahmen der Umsetzung erstellt wird.

Das Dokument Egress-Karte Bereit zur Abnahme

Jeder Pfad benannt, genehmigt oder geschlossen. Null nicht genehmigte Pfade bei der Freigabe, gezählt, mit der Aufbewahrungsregel je Komponente.

Intern Extern Anwendung Dokumentenspeicher Retrieval-Index Identitätsanbieter Audit-Log verwaltetes Modell Monitoring öffentliches Internet
nicht genehmigte Pfade
0
genehmigte Pfade
2
Aufbewahrung auf dem Modellpfad
0 Tage

Vor der Freigabe unterzeichnet Schalten Sie oben einen Pfad auf der Karte ein ↑

Die Prüfung, an der das Pilotprojekt scheiterte, ist die, für die das Paket geschrieben ist.

SERVICE-LEVELS 12 Ziele

Zwölf Zahlen. Die Leistungsbeschreibung (SOW) bindet jede davon.

Servicespezifikationen für ein benanntes Bereitstellungsprofil. Die Leistungsbeschreibung nennt das Ziel, die Architektur, die Voraussetzungen und die Messmethode. Der Produktivbetrieb beginnt, wenn die Abnahmenachweise bestanden sind.

  1. Netzwerkgrenze 0 nicht genehmigte Egress-Pfade Datengrenze
  2. Aufbewahrung bei Inferenz 0 Tage Aufbewahrung von Prompts und Antworten Datengrenze
  3. Verfügbarkeit 99,99 % monatliche Serviceverfügbarkeit Freigabe und Betrieb
  4. Wiederherstellung RPO 0 kritische Schreibvorgänge, RTO unter 60 s auf dem Serving-Pfad Freigabe und Betrieb
  5. Private 70B-Inferenz 1 s p95 bis zum ersten Token, 50 ms pro Token Modelle
  6. Schnelle 8B-Inferenz 250 ms p95 bis zum ersten Token, 10 ms pro Token Modelle
  7. Freigabequalität 100 % erforderliche Gates, 0 kritische Befunde Freigabe und Betrieb
  8. Rollback 5 min auf die letzte bekannte gute Version Freigabe und Betrieb
  9. Audit und Schlüssel 100 % vereinbarte Ereignisabdeckung, kundenverwaltete Schlüssel Datengrenze
  10. Umgebungen 3 isolierte Umgebungen Freigabe und Betrieb
  11. Aktionen blockiert außerhalb der genehmigten Befugnis Datengrenze
  12. Modellkontrolle richtlinienäquivalent nur Zielwerte Modelle

Die Leistungsbeschreibung bindet das gewählte Profil. Der Produktivbetrieb beginnt, wenn seine Voraussetzungen und Abnahmetests bestanden sind.

BEREITSTELLUNGSDOKUMENTATION 10 Dokumente

Ein Paket pro Workload. Bei der Freigabe übergeben.

Geschrieben für die Personen, die unterzeichnen. 10 Dokumente, in der Reihenfolge, in der Ihre Prüfung ihre Fragen stellt, und 5 davon tragen ein Service-Level aus der Leistungsbeschreibung.

Inhalt Bereitstellungspaket ein Workload, das Profil auf jedem Blatt benannt Bei der Freigabe übergeben
Was verlässt unsere Umgebung?
  1. §1
    Datenflusskarte Jeder Pfad hinein und hinaus, benannt, genehmigt oder geschlossen, mit den Netzwerkzonen.
    0 nicht genehmigte Egress-Pfade Oben gezeichnet: 0 nicht genehmigte Pfade ↑
  2. §2
    Fähigkeitsmatrix Modell, Endpunkt, Werkzeug, Cache und Logging, für jeden Pfad ohne Aufbewahrung.
    0 Tage Aufbewahrung von Prompts und Antworten
  3. §3
    Schlüssel- und Regionsmatrix Welche Schlüssel kundenverwaltet sind und wo jede Komponente verarbeitet.
  4. §4
    Identität und Abgrenzung der Agenten Wer und was handeln darf, mit der Genehmigungsgrenze für jeden Agenten.
    blockiert außerhalb der genehmigten Befugnis
Funktioniert es auf unseren Daten?
  1. §5
    Evaluierungssuite und Abnahmebericht Kritische Kriterien und geschützte Teilmengen, auf Ihren Fällen ausgeführt und vor der Freigabe berichtet.
    100 % erforderliche Gates, 0 kritische Befunde Auf dieser Seite noch nicht ausgeführt ↑
  2. §6
    Herkunftsnachweis, SBOM und Freigabenachweise Signierter Herkunftsnachweis, die Stückliste (SBOM) und die Freigabenachweise für jedes Produktionsartefakt.
Wer betreibt es nach dem Go-live?
  1. §7
    Freigabe- und Rollback-Verfahren Wie eine Freigabe ausgerollt wird und wie sie zurückgenommen wird.
    5 min auf die letzte bekannte gute Version
  2. §8
    Runbook, Verantwortung und Übergabe Wer nach dem Go-live was betreibt und wie es übergeben wird.
    In der Prüfung oben geöffnet ↑
Was zeigen wir der Aufsichtsbehörde?
  1. §9
    Betreibernachweise nach AI Act Zugewiesene Aufsicht, Monitoring und Log-Aufbewahrung, wie es der EU AI Act (KI-Verordnung) von einem Betreiber verlangt.
  2. §10
    AVV und Liste der Unterauftragsverarbeiter Der Auftragsverarbeitungsvertrag (AVV) und jeder Unterauftragsverarbeiter benannt.

Vor der Freigabe von Ihrem Sicherheitsverantwortlichen unterzeichnet. 10 Dokumente · 5 Service-Levels in der Leistungsbeschreibung

Das Paket ist die Bereitstellung auf Papier. Die Prüfung liest es vor dem Produktivbetrieb.

IHRE BESCHREIBUNG

Drei Zeilen genügen. Was es tut, wo es laufen muss, was nicht hinaus darf.

Die Grenze, die Sie unterzeichnen, beginnt mit diesen drei Zeilen.

Das System, oder das Pilotprojekt und wo es stehen blieb. Ihre Cloud, ein EWR-Tenant, eine hybride Aufteilung oder Ihre Hardware. Die Datensätze, der Index, die Schlüssel.

Wir verwenden die von Ihnen angegebenen Informationen zur Bewertung, Beantwortung und Bearbeitung Ihrer Anfrage gemäß unserer Datenschutzerklärung.

Eine namentlich benannte Projektleitung liest sie und antwortet innerhalb eines EU-Geschäftstags mit dem Muster, den Voraussetzungen und einer ersten Einschätzung der Grenze.

BEVOR SIE ABGRENZEN

Was Sicherheit, Compliance und Plattform zuerst fragen.

Kann das gesamte System in unserer Umgebung laufen?

Soweit die gewählten Modelle, Lizenzen, Infrastruktur und Abhängigkeiten es unterstützen. Inferenz, Retrieval, Anwendungszustand, Logging, Updates und Betriebszugriff werden gegen dieselben Service-Levels geprüft: 0 nicht genehmigte Egress-Pfade und eine explizite Aufbewahrungsregel je Komponente. Ein System wird nur dann als vollständig privat bezeichnet, wenn jeder wesentliche Prozess intern läuft.

Können sensible Daten intern bleiben, während ein externes Modell genutzt wird?

In einer hybriden Architektur bleiben Quelldokumente, Retrieval, Berechtigungen und Aktionen intern, und nur freigegebener Kontext erreicht das externe Modell. Dieser Schritt nutzt 0 Tage Aufbewahrung von Prompts und Antworten, während zustandsbehaftete Komponenten ihre eigenen genehmigten Speicher- und Löschregeln behalten.

Unterstützen Sie On-Premises- oder Air-Gapped-Umgebungen?

Soweit Modell, Lizenz, Hardware und Update-Prozess es zulassen. YPAI bezeichnet eine Bereitstellung erst dann als getrennt, wenn gezeigt ist, dass Inferenz, Telemetrie, Paketabruf und Supportzugriff innerhalb der Grenze bleiben, mit nicht genehmigtem Egress bei 0.

Unser Pilotprojekt ist an der Sicherheitsprüfung gescheitert. Wo fangen wir an?

Mit der Grenze. Wir zeichnen sie für Ihr Muster, zählen, was sie überquert, und übergeben der Sicherheit die Egress-Karte sowie die Aufbewahrungs- und Schlüsselmatrix. Das Pilotprojekt wird dann innerhalb der Grenze auf Ihren eigenen Fällen evaluiert, bevor jemand über den Produktivbetrieb entscheidet.

Wer betreibt das System nach dem Start?

YPAI kann die Bereitstellung an einen internen Verantwortlichen übergeben oder in einem vereinbarten Umfang für Monitoring und Updates weiterführen. Verantwortung, Zugriff, das Verfügbarkeitsprofil und seine Voraussetzungen, RTO, RPO und Eskalationswege werden vor dem Produktivbetrieb definiert.

Macht eine private Bereitstellung das System DSGVO-konform (GDPR)?

Standort, 0 nicht genehmigte Egress-Pfade und eine Aufbewahrungsmatrix unterstützen die anwendbaren Pflichten. Rollen, Zwecke, Übermittlungen und Unterauftragsverarbeiter gehören in den AVV und den organisatorischen Rahmen, den die Bereitstellungsdokumentation enthält.

Sie nennen, was Sie mitbringen und wo es laufen muss. Wir bauen es dort, testen es dort und betreiben es mit Ihnen.

AI Implementation umfasst Discovery, Architektur und die Bereitstellung selbst.