Current Architecture Workshop: KI im Produkt

Warum diese Erweiterung

Sobald ein Modell Teil Ihres Produkts ist, wird sein Verhalten zum Verhalten Ihres Produkts. Dieses Verhalten lässt sich weder vollständig vorhersagen noch vollständig spezifizieren. Es ändert sich, wenn ein Anbieter ein Modell aktualisiert, ein Prompt angepasst wird oder sich die Daten verschieben, ohne dass jemand eine Zeile Code anfasst.

Klassische Architekturbilder zeigen Struktur. Für KI-Funktionen reicht das nicht. Struktur lässt sich zeichnen, Verhalten muss gemessen werden. Neben das Architekturbild tritt deshalb die Frage: Woran erkennen Sie, dass eine KI-Funktion tut, was sie soll, und woran merken Sie, dass sie nachlässt?

Dazu kommen Fragen, die klassische Architektur nie stellen musste. Von welchen Modellen und Anbietern hängt Ihr Produkt ab, und gibt es einen getesteten Ausweg? Wie viel darf ein Modell selbst entscheiden, und wer trägt die Verantwortung? Und welche Pflichten folgen daraus, etwa zu Kennzeichnung, Protokollierung und Datenschutz?

Was im Workshop passiert

Die Erweiterung baut auf dem Current Architecture Workshop auf. Dessen Blickwinkel bleiben, bekommen aber einen anderen Schwerpunkt. Das Modell wird zum Akteur in den Use Cases, und Fehlerfälle wie falsche Antworten, Verweigerungen oder ein Modellwechsel werden zu eigenen Szenarien.

Dazu kommen vier neue Blickwinkel: Verhalten und Evaluation, Modell und Anbieter, Autonomie und Verantwortung, Compliance und Risiko. Ihre Teams betrachten sie je KI-Funktion und im Zusammenhang, nicht als vier getrennte Formulare. Messwerte begründen, wie viel ein Modell entscheiden darf. Daraus folgen Risiko und Pflichten, und die Pflichten bestimmen, welche Anbieter infrage kommen.

Wie im Current Architecture Workshop sind Lücken kein Makel. Kann an einer Stelle niemand einen Nachweis vorlegen, etwa gepflegte Testfälle für eine KI-Funktion, ist genau das der wichtigste Befund.

Welche Fragen beantwortet werden

• Welche KI-Funktionen hat Ihr Produkt, und woran erkennen Sie, dass sie tun, was sie sollen?
• Wie bemerken Sie nachlassende Qualität, bevor Ihre Kunden es tun?
• Von welchen Modellen, Versionen und Anbietern hängen Sie ab, und ist der Ausweg getestet?
• Was kostet eine Anfrage, und wer sieht die Rechnung?
• Wie viel darf das Modell selbst entscheiden, wo greifen Menschen ein, und wie lässt sich eine Funktion abschalten?
• Wissen Ihre Nutzer, dass KI beteiligt ist?
• Welche personenbezogenen Daten gelangen in Prompts und Protokolle, und wie lange bleiben sie dort?
• Können Sie für eine konkrete Antwort belegen, welches Modell, welcher Prompt und welche Quellen sie erzeugt haben?

Was Sie mitnehmen

Wie im Current Architecture Workshop erarbeiten Ihre Teams alles selbst. Es bleibt bei Ihnen, und Sie entscheiden, was Sie damit weiter machen.

• Je KI-Funktion eine Übersicht, woran gutes Verhalten gemessen wird: Testfälle, Kennzahlen, Schwellen und Zuständige, und die Stellen, an denen noch nichts gemessen wird
• Die Lieferkette Ihrer KI-Funktionen: Modelle, Versionen, Anbieter, Ausweichwege und Budgets
• Je KI-Funktion eine festgelegte Autonomiestufe mit Freigabepunkten, Not-Aus und Nachkontrolle
• Eine Prüfliste zu Risiko, Kennzeichnung, Protokollierung und Datenschutz, mit den offenen Fragen für Ihre Datenschutz- und Rechtsverantwortlichen
• Ein Memo zu dem, was Ihre KI-Funktionen tun, obwohl es nie beabsichtigt war, als Grundlage für neue Testfälle
• Die offenen Lücken als konkrete nächste Schritte

Die KI gehört zum Produkt, nicht zu einem eigenen Team

Naheliegend ist, ein eigenes KI-Team zu gründen, das die Modellschicht besitzt. Damit entstehen genau die Übergaben, die ohnehin schon bremsen. Prompts, Testfälle und Werkzeuge der KI sind Teil des Produkts. Die Teams, die Features bauen, müssen sie anfassen können, und eine Änderung am Prompt ist eine Produktänderung.

Für wen

Für Produktentwicklungen, deren Produkt KI-Funktionen enthält oder bald enthalten wird.

Weil Verhalten Teil des Produkts ist, gehören neben den Entwicklungsteams auch Product Owner und UX in den Raum, dazu eine Person mit Blick auf den Datenschutz. Der Workshop ersetzt keine Rechtsberatung. Er macht sichtbar, welche Fragen zu klären sind, und übersetzt Pflichten in Architektur.

Voraussetzung

Die Erweiterung setzt ein gemeinsames Verständnis der Architektur voraus. Meist schließt sie direkt an den Current Architecture Workshop an. Liegt dieses Verständnis schon vor, etwa aus einem früheren Workshop, lässt sie sich auch einzeln buchen.

Herkunft

Die Erweiterung ist neu. Sie überträgt das Vorgehen des Current Architecture Workshop auf Produkte, in denen Modelle mitentscheiden. Die Prüffragen zu Risiko und Pflichten orientieren sich an der europäischen KI-Verordnung und an der Datenschutz-Grundverordnung.