全部词条
白话词典

生成式AI可观测性

也叫:GenAI Observability · AI可观测性 · 大模型应用可观测性

生成式 AI 可观测性用调用轨迹、用量、耗时和错误等信号还原模型应用的运行过程,并控制敏感正文的采集。

他们说

用轨迹、指标和错误信息观察生成式 AI 应用的运行过程

老白翻译

一次回答经过检索、模型和工具调用时,把每一步做了什么、多久、怎样失败记清楚。

它到底是什么

生成式 AI 可观测性把一次用户请求中的检索、模型调用和工具执行组织成可查询的轨迹,并记录模型版本、耗时、token 与错误等运行信号。

生活里的例子

助手回答超时时,轨迹可以显示时间花在知识库检索、模型生成,还是外部工具调用,帮助团队找到具体故障点。

常见误解

  • 误解:记录最终回答就够了。 最终文本无法说明检索是否为空、工具是否失败或模型是否被替换。
  • 误解:可观测性会自动判断回答质量。 轨迹还原系统动作,事实与任务质量仍要通过评测检查。
  • 误解:提示词和回答都应写进日志。 这些内容可能含个人信息,默认应少采集并设置独立权限与保留期限。

普通人怎么用

先让一条请求串起检索、模型和工具操作,确认错误、耗时、token 与版本能够被查到,再决定是否采集脱敏内容。

来源文章