Arize Phoenix
Arize Phoenix ist eine selbst gehostete Plattform für Observability und Evaluation von LLM-Anwendungen und KI-Agenten. Sie zeichnet Abläufe per OpenTelemetry auf und bewertet Antworten und Retrieval mit Datensätzen und Experimenten.
- Projekt
- Arize Phoenix
- Herausgeber
- Arize AI
- Repository
- github.com/Arize-ai/phoenix
- Dokumentation
- arize.com/docs/phoenix
- Sprachen
- Python, TypeScript
Was ist Arize Phoenix?
Phoenix ist die quelloffene Observability-Plattform von Arize AI für Experimente, Evaluation und Fehlersuche. Sie läuft lokal, in Containern oder in der Cloud und ist anbieter- und sprachunabhängig. Die Lizenz ist die Elastic License 2.0; für einen verwalteten Produktivbetrieb bietet Arize zusätzlich das kommerzielle Arize AX an.
Für das Tracing nutzt Phoenix die OpenInference-Instrumentierung auf Basis von OpenTelemetry. Integrationen gibt es laut README unter anderem für das OpenAI Agents SDK, das Claude Agent SDK, LangGraph, Vercel AI SDK, Mastra, CrewAI, LlamaIndex und DSPy.
Kernfähigkeiten
- Tracing
- Aufzeichnung der Laufzeit einer LLM-Anwendung: Modellaufrufe, Tool-Aufrufe und Retrieval-Schritte nachvollziehen.
- Evaluation
- Antworten und Retrieval mit LLM-gestützten Bewertungen prüfen und vergleichen.
- Datensätze und Experimente
- Versionierte Beispielsätze anlegen und die Wirkung von Änderungen an Prompts, Modellen oder Retrieval messen.
- Playground und Prompt-Management
- Prompts optimieren, Modelle vergleichen, aufgezeichnete Aufrufe erneut ausführen und Prompt-Änderungen versioniert verwalten.
- MCP-Server
- Über einen MCP-Endpunkt lassen sich Traces, Datensätze und Experimente aus Coding-Agenten heraus abfragen.
Wann Phoenix passt
Phoenix passt, wenn Sie Agenten nicht nur bauen, sondern ihr Verhalten nachvollziehen und Änderungen vor dem Ausrollen messen wollen – und die Daten dafür in eigener Infrastruktur halten möchten. Weil die Instrumentierung auf offenen Standards beruht, lässt sie sich mit verschiedenen Frameworks kombinieren.
Phoenix wirksam im AI-first-Geschäftsmodell nutzen
Evaluation ist keine einmalige Abnahme. Ein Agent ist nie fertig: Daten, Modelle und Ziele ändern sich, und mit ihnen die Qualität der Ergebnisse. Ein Werkzeug wie Phoenix macht diese Veränderung sichtbar – vorausgesetzt, es gibt Maßstäbe, die aus dem Geschäftsziel abgeleitet sind.
Legen Sie deshalb fest, welche Fälle ein Agent sicher beherrschen muss, ab welcher Abweichung jemand eingreift und wer das entscheidet. Datensätze und Experimente werden dann zum Teil des Betriebs, nicht nur der Entwicklung. Da Traces Kundendaten enthalten können, gehören auch Speicherort und Zugriffsrechte in diese Planung.
Vom Tool zum Ergebnis
Im AI-first-Coaching klären Sie, welche Ergebnisse KI-Agenten in Ihrer Marktbearbeitung verantworten sollen und in welchem Rahmen. Danach gestaltet, entwickelt und betreibt REVAGO Ihr System. Sie zahlen für Ergebnisse – nicht für Aktivität.
Häufige Fragen
Was ist Arize Phoenix?
Arize Phoenix ist eine selbst gehostete Plattform von Arize AI für Observability und Evaluation von LLM-Anwendungen und KI-Agenten. Sie bietet Tracing auf Basis von OpenTelemetry, Evaluation, versionierte Datensätze, Experimente, einen Playground und Prompt-Management.
Ist Arize Phoenix kostenlos?
Phoenix ist quelloffen und selbst gehostet und steht unter der Elastic License 2.0. Für einen verwalteten Betrieb bietet Arize das kommerzielle Produkt Arize AX an, das dieselbe Instrumentierung nutzt.
Mit welchen Frameworks funktioniert Phoenix?
Phoenix ist anbieter- und sprachunabhängig. Laut README gibt es Integrationen unter anderem für OpenAI Agents SDK, Claude Agent SDK, LangGraph, Vercel AI SDK, Mastra, CrewAI, LlamaIndex und DSPy sowie für verschiedene Modellanbieter.
Weiterlesen im Wiki
Neutrale Einordnung, keine Empfehlung einzelner Anbieter. REVAGO ist mit den aufgeführten Projekten nicht verbunden. Beschreibungen beruhen auf den öffentlichen Angaben der Projekte; Funktionsumfang und Lizenzen können sich ändern.