Das Problem mit Agenten
Autonome Systeme erzeugen Betriebsrisiko.
Ein generatives Modell kann eine falsche Antwort erzeugen. Ein Agent kann auf dieser Antwort handeln: eine Rückerstattung auslösen, einen Datensatz löschen, ein Dokument offenlegen oder einen Workflow-Schritt ausführen. Deshalb gehören Berechtigungen, Freigaben und Rückwege zum Kerndesign.
Die Entwicklungsarbeit geht deshalb über Prompts hinaus. Sie umfasst Berechtigungsgrenzen, Reversibilität, Eskalation, Protokollierung und die spätere Rekonstruktion dessen, was das System getan hat und warum.
- Was darf dieser Agent tun, und woher stammt diese Berechtigung?
- Welche Handlungen sind umkehrbar, und welche brauchen vorher einen Menschen?
- Wie würden Sie eine konkrete Entscheidung ein halbes Jahr später rekonstruieren — für eine Behörde oder ein Gericht?
- Was passiert, wenn ein Werkzeugaufruf fehlschlägt oder etwas Feindseliges zurückgibt?
- Welche Ihrer KI-Systeme sind nach der KI-Verordnung hochriskant — und können Sie Ihre Begründung zeigen?
- Wer haftet, wenn ein autonomes System einem Dritten Schaden zufügt?
Was wir bauen
Agentensysteme, von Anfang bis Ende.
Agentenarchitektur
Einzel- und Multi-Agenten-Entwürfe: Aufgabenzerlegung, Delegation zwischen Agenten, Werkzeug- und API-Oberflächen, Gedächtnis und Zustand, Retrieval und die Orchestrierungsschicht, die entscheidet, was in welcher Reihenfolge läuft.
Leitplanken & Berechtigungen
Eng gefasste Fähigkeitsfreigaben, Werkzeugzugriff nach dem Least-Privilege-Prinzip, Eingangs- und Ausgangsfilterung, Ausgabe- und Ratenlimits, Begrenzung des Schadensradius und deterministische Prüfungen rund um nicht-deterministische Komponenten.
Human-in-the-Loop
Eskalationsmodelle, die festlegen, wann ein Mensch erforderlich ist; Freigabeoberflächen, die Prüfung realistisch statt symbolisch machen; und definiertes Verhalten, wenn niemand reagiert.
Audit-Trails
Strukturierte, manipulationssichere Protokollierung von Prompts, Werkzeugaufrufen, Entscheidungen und Ergebnissen — ausgelegt auf die Aufzeichnungspflichten der KI-Verordnung und darauf, im Ernstfall tatsächlich zu helfen.
Evaluierung & Red Teaming
Verhaltensbezogene Testsuiten, Regressionsevaluierung über Modellversionen hinweg, adversariale Tests einschließlich Prompt Injection über Werkzeugausgaben und Robustheitstests unter beeinträchtigten oder feindlichen Bedingungen.
Produktivbetrieb
Monitoring, Drift- und Kostentransparenz, Incident-Response-Verfahren, die für autonome Systeme geschrieben sind, und ein Rollback-Pfad, der auch dann funktioniert, wenn die fehlerhafte Komponente ein Modell ist.
Compliance
KI-Verordnung für Systeme, die handeln.
Wir bewerten Ihre Systeme, klassifizieren sie und erstellen die Dokumentation für diese Einstufung. Die rechtliche Arbeit bleibt mit dem technischen Design verbunden, weil die Kontrollen vom tatsächlichen Verhalten des Systems abhängen.
Bewertung & Einordnung
Bestandsaufnahme Ihrer KI-Systeme, Einordnung in die Risikoklassen der KI-Verordnung, Bestimmung Ihrer Rolle als Anbieter oder Betreiber sowie eine Gap-Analyse gegen die daraus folgenden Pflichten. Wo die Antwort unsicher ist, dokumentieren wir die Überlegung und die zugrunde liegenden Annahmen.
Dokumentation & Governance
Technische Dokumentation, Risiko- und Folgenabschätzungen, Transparenzhinweise, Protokollierung und Maßnahmen zur menschlichen Aufsicht, Daten-Governance-Nachweise, KI-Governance-Rahmenwerke und interne Richtlinien sowie Begleitung durch Konformitätsbewertung und behördliche Anfragen.
Unser Vorgehen
Fünf Stufen mit konkreten Ergebnissen.
Discovery
Was der Agent tun soll, was er anfassen darf und was das schlimmste realistische Ergebnis wäre. Ergebnis: ein abgegrenztes Designbriefing und eine erste Risikosicht.
Einordnung
Wo das System nach KI-Verordnung und angrenzendem Recht steht und welche Pflichten daran hängen. Ergebnis: eine schriftliche Einordnung mit Begründung und Annahmen.
Entwurf & Umsetzung
Architektur, Leitplanken, Berechtigungsmodell, Protokollierung und Oberflächen werden gemeinsam entwickelt. Ergebnis: ein laufendes System und sein Kontrolldesign.
Evaluierung
Verhaltensbezogene, adversariale und Regressionstests gegen definierte Kriterien. Ergebnis: ein Evaluierungsbericht, den Sie einem Sicherheitsprüfer vorlegen können.
Betrieb
Monitoring, Verfahren für Vorfälle und wiederkehrende Neubewertung, wenn sich Modelle und Umfang ändern. Ergebnis: ein System, das nach dem Launch konform bleibt.
Was Sie erhalten
Ergebnisse, die Sie weiterverwenden können.
Die Rechte an allem, was speziell für Sie entsteht, gehen ab Entstehung auf Sie über und werden mit Zahlung wirksam. Soweit unser eigenes vorbestehendes Werkzeug in ein Ergebnis eingebettet ist, erhalten Sie eine unbefristete, unwiderrufliche, weltweite Lizenz zur Nutzung, Änderung und Pflege. Fremd- und Open-Source-Komponenten werden vor Arbeitsbeginn im Leistungsschein benannt.
- Dokumentation der Agentenarchitektur und des Kontrolldesigns
- Einordnungsmemorandum zur KI-Verordnung mit ausformulierter Begründung
- Risikobewertung und, wo erforderlich, Folgenabschätzung
- Paket technischer Dokumentation und Transparenzhinweise
- Evaluierungs- und Red-Team-Bericht mit reproduzierbaren Testsuiten
- Spezifikation für Protokollierung und Audit-Trail, umgesetzt
- KI-Governance-Rahmenwerk und interne Richtlinien
- Verfahren für Incident Response und Monitoring autonomer Systeme
Ein Agent für den Produktionsreview?
Senden Sie uns den Prototyp, den geplanten Workflow und den Einwand, der den Release blockiert. Wir helfen, die nötigen Kontrollen zu definieren.