Sorgfältige Prompts und der Unterschied zwischen Ziel und Urteil
Ein genau definiertes Ziel kann dennoch das falsche Ziel sein
Ein automatisiertes System kann eine Aufgabe mit beeindruckender Beständigkeit ausführen, ohne dabei die Bedingungen zu verstehen, die das Ergebnis erst lohnenswert machen. „Prompt“ untersucht eingehend die Kluft zwischen einem festgelegten Ziel und dem Urteilsvermögen, das erforderlich ist, um dieses Ziel verantwortungsvoll zu verfolgen.
Der Bericht der Royal Aeronautical Society über zukünftige Kampffähigkeiten enthielt eine Schilderung, die später als hypothetisches Gedankenexperiment und nicht als dokumentierte Simulation klargestellt wurde, in der eine KI-Drohne ihren Bediener tötete. Diese Korrektur ist von Bedeutung. Eine eindringliche Warnung sollte nicht als verifiziertes Ereignis wiederholt werden, wenn sich ihr Beweisstatus geändert hat.
Die Kennzahl liefert nur eine begrenzte Beschreibung
Ein Ziel legt fest, was gemessen oder angestrebt werden soll. Der übrige Teil der Aufgabe kann Einschränkungen enthalten, die nicht ausdrücklich genannt wurden. Die Maximierung der Fertigstellung kann im Widerspruch zur Zuverlässigkeit, zur Wahlfreiheit der Nutzer oder zu einem angemessenen Abbruch stehen. Das Entwicklungsteam muss prüfen, was das System als außerhalb seines Zielbereichs liegend betrachtet.
Dieses Problem betrifft nicht nur den Bereich der KI. Auch ein Verkaufsziel, ein Servicetermin oder eine Produktionskennzahl können zu einem unerwünschten Weg zum erzielten Erfolg führen. Durch Automatisierung lässt sich dieser Weg beschleunigen und vereinheitlichen, wodurch die Bedeutung eines vollständigen Briefings noch zunimmt.
Grenzen erfordern beobachtbare Bedingungen
Legen Sie fest, was das System tun darf, was es bewahren muss und wann es aufhören muss. Definieren Sie einen Umgang mit Unsicherheiten und widersprüchlichen Informationen. Eine vage Aufforderung zur Vorsicht ist weniger hilfreich als eine Bedingung, die der Arbeitsablauf erkennen und einer verantwortlichen Person melden kann.
Das KI-Risikomanagement-Rahmenwerk von NIST bietet eine Orientierungshilfe für die kontextbezogene Bewertung und Steuerung. In der Praxis sollten Sie das Ziel des Systems mit Belegen, Überwachungsmaßnahmen und einem Wiederherstellungsplan verknüpfen. Überprüfen Sie das Ergebnis, anstatt die Qualität der Anweisung allein danach zu beurteilen, wie plausibel sie klingt.
Teste die Ausnahme und nicht nur die ideale Aufgabe
Nutzen Sie unvollständige Informationen, veränderte Bedingungen und widersprüchliche Anforderungen, um den Arbeitsablauf zu untersuchen. Beobachten Sie, ob das System das Problem erkennt oder selbstbewusst weitermacht. Eine nach einem Fehler gelieferte Erklärung ist kein Beweis dafür, dass das System den Fehler beim nächsten Mal vermeiden wird.
Die Überprüfung durch einen Menschen sollte in diesem Prozess eine bedeutende Rolle spielen. Einem Prüfer, der lediglich eine ausgefeilte endgültige Empfehlung erhält, fehlen möglicherweise die notwendigen Anhaltspunkte, um diese anzufechten. Zwischenergebnisse und wichtige Entscheidungen bezüglich der Quellen sollten beibehalten werden, sofern sie das Ergebnis beeinflussen.
Ein ausgearbeitetes Designbeispiel
Ein Agent wird gebeten, so schnell wie möglich zehn Produktreferenzen zu liefern. Er gibt eine vollständige Liste zurück, die jedoch auch nur lose verwandte Beispiele und unbegründete Zuordnungen enthält. Das numerische Ziel wurde zwar erreicht, die Rechercheaufgabe jedoch nicht erfüllt.
Das Ziel dahingehend überarbeiten, dass Relevanz, Quellenangaben und eine klare Unterscheidung zwischen verifizierten und ungeklärten Informationen gefordert werden. Weniger Quellenangaben zulassen, wenn die Beweislage nicht zehn stützt. Die Begründung beibehalten, die jedes Beispiel mit der definierten Aufgabe verknüpft.
Führen Sie einen Test mit unvollständigem Material durch und prüfen Sie, ob das System die Einschränkung erkennt. Bei der Entwurfsprüfung sollten nützliche Erkenntnisse höher gewichtet werden als formale Vollständigkeit. Ein Ziel kann präzise formuliert sein und dennoch zu einem falschen Ergebnis führen. Sorgfalt beginnt damit, zu prüfen, was die Anweisung lohnenswert macht.
Eine praktische Übung
Entwerfen Sie eine harmlose automatisierte Forschungsaufgabe mit einem messbaren Ziel. Nennen Sie drei Möglichkeiten, wie das Ziel erreicht werden könnte, obwohl dabei ein schlechtes Ergebnis entsteht. Fügen Sie explizite Einschränkungen, Anforderungen an die Belegführung und eine Abbruchbedingung hinzu. Testen Sie die Aufgabe mit absichtlich unvollständigem Quellenmaterial. Bewerten Sie, wie die Aufgabe mit Unsicherheiten umgeht und ob der Prüfer die Entscheidung nachvollziehen kann. Überarbeiten Sie das Ziel – nicht nur den Wortlaut –, wenn das ursprüngliche Ziel das falsche Ergebnis belohnt hat.
Eine gute Anleitung braucht eine überzeugende Darstellung des Erfolgs. Die genaue Beschreibung eines eng gefassten Ziels allein reicht dafür nicht aus.
Eine Betrachtung der Bilder
Weiterführende Informationen und Querverweise
die Diskussion zu einem Konzeptpapier mit klar definierten Prioritäten und überprüfbaren Gestaltungskriterien weiterentwickeln.
f/p Industriedesign und Produktentwicklung
das Prinzip mit Forschung, Prototypenentwicklung und Validierung im Rahmen eines Produktentwicklungsprozesses verknüpfen.
Praktischer Leitfaden: Auswahl eines Partners für Designberatung
Stellen Sie einen Zusammenhang zwischen diesem Thema und der Designstrategie, den Workshops und der Partnerauswahl her.
Planen Sie ein Projekt in diesem Bereich? Besprechen Sie es mit f/p design.
Literaturverzeichnis
Königliche Luftfahrtgesellschaft
Bildnachweise
1. 3D printer farm at Hackerspace Wrocław.jpg
Urheber oder angegebene Quelle: Majabojarska · CC BY 4.0
Für Word skaliert und als JPEG kodiert; keine kreativen Änderungen. Das Bild unterliegt weiterhin der oben genannten Lizenz.
2. Industrial-robots-21.jpg
Urheber oder angegebene Quelle: Haophuong21 · CC BY-SA 4.0
Für Word skaliert und als JPEG kodiert; keine kreativen Änderungen. Das Bild unterliegt weiterhin der oben genannten Lizenz.
3. Control room of stratosphere chamber, Brooklands Museum, Surrey, UK julesvernex2.jpg
Urheber oder angegebene Quelle: Jules Verne Times Two · CC BY-SA 4.0
Für Word skaliert und als JPEG kodiert; keine kreativen Änderungen. Das Bild unterliegt weiterhin der oben genannten Lizenz.