Telerik

生產環境 AI 除錯

團隊可以精準定位代理工作流程中斷的環節，無論是工具被跳過、檢索失敗，還是錯誤迴圈。

成本控管

開發者可依模型、供應商與代理追蹤 token 用量與預估成本，藉此降低 AI 花費。

品質保證

透過 LLM-as-a-Judge 評估機制，衡量輸出是否達到可上線的品質標準，並捕捉幻覺與缺乏根據的回應。

工作流程優化

團隊可分析工作流程模式，了解在多步驟代理執行中，提示詞、模型與工具之間的互動關係。

RAG 系統監控

工程師可診斷檢索問題與不良上下文，這些因素往往會拖累回答品質。

多代理協作

使用者不僅能看到簡單的請求—回應路徑，更能觀察多步驟、多代理工作流程中的決策演變過程。

Trace Explorer（追蹤探索器）

完整擷取代理執行路徑，涵蓋提示詞、模型、工具、檢索步驟與輸出，並量測 span、模型呼叫、延遲、token 用量等數據。

Workflow Debugging（工作流程除錯）

利用真實代理執行的 trace 層級上下文，精準定位行為失效的環節，包括錯誤、失敗 span、重試與工作流程狀態。

Cost Attribution（成本歸因）

追蹤與執行路徑相關的 token 用量與預估成本，並依模型、供應商、代理與工作流程模式顯示花費分佈。

Quality Scorecards（品質評分卡）

運用 LLM-as-a-Judge 評估產生品質分數，衡量提示詞、模型與工作流程變更的影響。

Datasets & Experiments（資料集與實驗）

支援與生產 trace 連結的可重複評估，讓團隊能針對真實資料測試變更。

Prompt Management（提示詞管理）

讓使用者能在可觀測性工作流程中直接管理與迭代提示詞。

Model Optimization（模型優化）

提供效能指標，協助團隊有效選擇與調校模型。

AI Playground（AI 遊樂場）

提供實際操作的空間，讓使用者在平台內探索與測試 AI 行為。

Data Export（資料匯出）

團隊可匯出可觀測性資料，供進一步分析或整合使用。