- KI-Agenten
- Qualitätssicherung
AWS macht UAEF frei verfügbar: Open-Source-Tests für KI-Agenten
AWS veröffentlicht mit UAEF ein kostenloses Werkzeug, das KI-Agenten frameworkübergreifend bewertet und Verschlechterungen meldet.
Amazon Web Services hat das Universal Agent Evaluation Framework, kurz UAEF, als Open Source veröffentlicht. Das Werkzeug steht unter der Apache-2.0-Lizenz auf GitHub und prüft, ob eine Änderung an einem KI-Agenten – etwa ein neuer Prompt, ein anderes Modell oder ein zusätzliches Tool – das Ergebnis besser oder schlechter macht. UAEF arbeitet mit mehreren Frameworks zusammen, darunter LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore und Langfuse; für eigene Lösungen gibt es einen allgemeinen JSON-Adapter. Die Protokolle der Agenten werden in ein einheitliches Format übersetzt und anhand von 36 Kennzahlen in sieben Bereichen bewertet, etwa Werkzeugnutzung, Antwortqualität, Sicherheit, Geschwindigkeit und Verhalten in langen Gesprächen.
Testläufe lassen sich speichern und mit früheren Versionen vergleichen. Sinkt ein Wert standardmäßig um mehr als fünf Prozent, markiert UAEF das als Rückschritt und stuft ihn als leicht, mittel oder schwer ein. Laut AWS haben zwölf Organisationen aus Telekommunikation, Gesundheitswesen und Finanzbranche das Tool bereits vor Releases genutzt. Kostenlos ist allerdings nur die Software selbst: Bewertungen durch ein zweites KI-Modell laufen über Amazon Bedrock, gespeichert wird in DynamoDB und S3. Für Sicherheitsentscheidungen sind diese Bewertungen laut AWS nicht gedacht.
Damit greift AWS ein bekanntes Problem auf: Viele Agenten funktionieren im Prototyp gut, aber niemand merkt rechtzeitig, wenn ein Update sie im Alltag verschlechtert.
Was heißt das für deinen Betrieb?
Wenn du KI-Agenten im Einsatz hast oder planst, solltest du vor jedem Update automatisch testen, ob sie noch richtig arbeiten. UAEF ist ein kostenloser Einstieg dafür, setzt für einen Teil der Funktionen aber AWS voraus. Lege dir zuerst eine Handvoll typischer Testfälle aus deinem Alltag an – die brauchst du mit jedem Werkzeug.
Quelle: thenextweb.com