标签归档:RAG

RAG 的新思路:SAG 和 OpenViking

最近在看 RAG 的两个新思路,其实也不是说特别新,有点新瓶装旧酒的意思。

对于 RAG 的优化,一种线路是继续优化传统 RAG:切块更细一点,召回器多堆几层,重排再优化,最后把 prompt 拼得更精致。另一条线路是开始换问题定义:如果知识检索本身的建模方式就不对,后面那一长串补丁是不是从第一步就已经输了。

SAG 和 OpenViking 属于第二种。

这两个项目看起来也不在一个层面上。SAG 讨论的是检索架构,OpenViking 讨论的是 Agent 的上下文系统。但我看下来,它们都是在解决同一类问题:RAG 之所以越来越重,往往不是因为模型不够强,而是因为我们把「知识」和「上下文」这两个对象建模得太糙。

过去一年,团队在 RAG 上花的钱和精力,主要耗在三个地方:

  • 文档切块以后,语义边界被打碎;
  • 多跳关联靠 embedding 硬撞,召回经常断链;
  • 想补结构化能力,就往 GraphRAG 走,结果离线构图、实体归一、增量更新把系统拖住。

这里的问题是这条路线会把系统带向复杂化。

SAG

SAG 的核心论文《SAG: SQL-Retrieval Augmented Generation with Query-Time Dynamic Hyperedges》提出了一种非常精妙的架构。它不是传统 RAG 与 GraphRAG 的简单拼接,而是一套用自己的数据模型和执行路径替代二者的原创检索架构。

它的核心思想可以总结为八个字:轻量离线,动态建图。

1. 数据模型

传统 GraphRAG 把文本切碎,试图把所有知识都抽象成 (Subject, Predicate, Object) 的三元组。这种做法丢失了文本原本的上下文语义,导致最后召回出来的都是一些干瘪的关系链,LLM 很难根据这些碎片生成高质量的回答。

SAG 重新设计了数据模型:

  • Chunk  Event(事件):一个语义完整的文本块(Chunk)被映射为一个 Event。Event 承载该 Chunk 的完整上下文,它是最终输出和溯源的边界,不再被拆成彼此独立的三元组。
  • Chunk  Entities(实体):从该 Chunk 中抽取多个 Entities。这些实体只负责索引和扩展,不替代事件本身所承载的完整含义。
  • Event  Entities:建立事件与实体之间的关联,共同定义了一条潜在的超边(Latent Hyperedge)。
+-------------------------------------------------------------+
|                         Original Chunk                      |
+-------------------------------------------------------------+
                               |
                               v
+-------------------------------------------------------------+
|                         Event (完整语义)                     |
+-------------------------------------------------------------+
            /                  |                  \
           v                   v                   v
+------------------+   +------------------+   +------------------+
|     Entity A     |   |     Entity B     |   |     Entity C     |
+------------------+   +------------------+   +------------------+

这个设计让事件和实体各司其职。实体只用来做连接的「钩子」,而事件负责保留完整的语义。

2. 查询时动态超边

SAG 不预先构建、也不全局维护任何静态图谱。所有的关系推理,都是在检索发生的那一瞬间,通过关系型数据库的 SQL JOIN 动态计算出来的。

当一个用户查询(Query)进来时,在线检索流程如下:

  1. 种子定位:通过语义(向量)与词法(全文检索)信号,找到与查询最相关的「种子实体」和「种子事件」。
  2. SQL 动态扩展:利用关系型数据库的 SQL JOIN 查询,沿着这些种子实体,将共享相同实体的事件连接起来。
  3. 局部超边实例化:在查询时,仅针对当前查询所需的局部结构实例化「超边」,不进行任何全局图遍历。
  4. 证据还原:将筛选出的事件映射回原始 Chunk,去重后作为最强证据提供给 LLM 生成带引用的回答。

在这个过程中,我们不需要 Neo4j,不需要复杂的图算法,底层的存储与查询完全依赖标准的数据库基础设施(如 SQLite、PostgreSQL、LanceDB 等)。

因为超边是查询时动态计算的,所以当有新文档导入时,不需要重算或重构全局图谱。新 Chunk 只需要并行抽取自身的 Event、Entities 并写入数据库即可。这让系统天然支持了高并发的增量写入。

从跑分数据来看,在相同的 BGE-Large-EN-v1.5 Embedding 与 Qwen3.6-Flash LLM 配置下,SAG 在 HotpotQA、2WikiMultiHopQA 和 MuSiQue 的 9 项 Recall@1/2/5 指标中取得了 8 项最佳成绩。其平均 Recall@2/Recall@5 达到了 79.30%/88.18%,而 HippoRAG 2 仅为 68.14%/83.28%。

一些问题

SAG 不是银弹,还存在一些问题。

抽取质量依然依赖 LLM。Event 的切分和 Entity 的抽取用的还是大模型,模型抽错了,后面的动态连接就是在错误的实体上做 JOIN。SAG 降低了实体的语义负担,但没消除抽取本身的不确定性。这块的鲁棒性得拿自己的语料实测。

查询时的实体提取是另一个隐患。动态超边的起点是从 Query 里提出核心实体,如果用户的提问很口语、实体表达很模糊,种子定位偏了,后面整条链就歪了。这个环节的召回率我认为是整个系统最脆弱的地方,值得单独压测。

还有并发下的延迟分布。JOIN 在数据量大的时候,SQL 的执行计划、索引命中情况会直接影响尾延迟。其底层继承了数据库的并发能力,在海量数据情况下需要观察其延迟分布。

OpenViking

聊完 SAG,看下 OpenViking。它跟 SAG 不是同一个层面的东西,我把它俩放一篇文章里,是因为它们代表了同一个方向上两种不同深度的探索。

SAG 解决的是「怎么把知识检索得更准」。OpenViking 解决的是「Agent 的上下文该怎么组织」。前者是检索问题,后者是上下文工程问题。

火山引擎把它定位成一款面向 AI Agent 的上下文数据库,基于开源的 OpenViking 内核构建的全托管云服务。核心思想它自己概括成四句:虚拟文件系统、分层上下文、目录递归检索、可观测与自迭代。

万物皆文件

OpenViking 把 Memory、Resource、Skill 三样东西统一抽象成文件,全部映射到 viking:// 协议下的虚拟目录,每个条目有唯一的 URI。

这个抽象是 Agent 发展到现在的一种沉淀,这里最早是 Manus 在实践的逻辑。Agent 领域现在最乱的就是上下文管理。你有用户的长期记忆、有外部知识资源、有工具和技能定义,这三样东西各自用各自的存储、各自的检索方式,代码里到处是特判。OpenViking 把它们收敛成同一套文件语义之后,Agent 就能用 listfind 这种统一指令去操作所有上下文。

从模糊的语义匹配变成确定性的文件操作,这个转变对调试很有帮助。向量检索是个黑盒,你不知道为什么这次召回了这几条、漏了那几条。文件系统是白盒,路径、目录结构摆在那,Agent 走了哪条路一目了然。

分层加载

OpenViking 在上下文写入的时候,就自动把它处理成三层。

L0 是一句话摘要,用来快速判断。L1 是概述,包含核心信息和使用场景,供 Agent 在规划阶段决策。L2 是完整原始数据,Agent 确有必要时才深入读取。

这个设计针对的是一个很现实的成本问题。把海量上下文一次性塞进提示词,token 烧钱、容易爆窗口、还引入噪声。分层之后,Agent 在规划阶段只看 L0 和 L1 就能做大部分决策,只有真正要用某份资料的时候才去拉 L2。

我算过一笔账。一个复杂的多步 Agent 任务,如果每一步都把候选上下文的全文塞进去,token 消耗是指数级的。分层供给相当于给 Agent 一个「先看目录再翻正文」的能力,规划阶段的 token 成本能压下去一大截。具体压多少取决于你的任务形态,但这个方向省的钱是实打实的。

目录递归检索

OpenViking 的检索不是单次向量召回。流程是这样:先通过意图分析生成多个检索条件,用向量检索快速定位初始切片所在的高分目录,然后在这个目录下做二次检索,把高分结果更新到候选集合;如果目录下还有子目录,就逐层递归重复二次检索;最后拿到最相关的上下文返回。

「先锁定高分目录,再精细探索内容」,这套策略把向量检索的语义定位能力和文件系统的层次结构结合起来了。单纯的向量检索找到的是孤立的片段,它不理解片段所在的完整语境。目录递归能顺着文件的组织结构,把一个片段周围的语境一起带出来。

这个思路和 SAG 的动态超边其实有相通之处。两者都意识到孤立的语义片段不够用,都想在检索时把「关联」这层信息补回来。SAG 用的是共享实体的 SQL JOIN,OpenViking 用的是目录层级的递归遍历。一个走关系代数,一个走树形结构。解决的底层痛点是同一个。

可观测与自迭代

OpenViking 的检索过程,每次的目录浏览、文件定位轨迹都被完整留存,能看清问题根源、指导检索逻辑优化。

对做过 RAG 调优的人来说,这个能力的分量不用多解释。传统向量检索出了问题,你几乎无从下手,只能瞎调 embedding、瞎调 chunk size。有了完整的检索轨迹,你能精确复盘 Agent 每一次信息获取走了哪条路径,哪一步偏了。

自迭代那部分是通过 session.commit() 主动触发的。会话结束时,系统异步分析任务执行结果和用户反馈,自动更新到 User 和 Agent 的 /memory 目录下。它既更新用户偏好,也从任务执行经验里提炼操作技巧和工具使用经验。

这个闭环我持谨慎乐观。自动提炼记忆听着很美,但提炼的质量、更新的边界、错误记忆的污染问题,都是需要长期跑才能暴露的。我不会一上来就把它当成生产依赖,会先在低风险场景里观察它更新出来的记忆到底靠不靠谱。

SAG 和 OpenViking

写到这,我把 SAG 和 OpenViking 放到一起,讲讲我看到的相同点。

传统 RAG 的世界观是扁平的。所有知识被切成等长的 Chunk,拍平进一个向量空间,检索就是在这个空间里找最近邻。这套世界观简单、好扩展,但它主动丢弃了知识之间的结构信息。Chunk 和 Chunk 之间是什么关系,谁包含谁,谁引用谁,谁是谁的上下文,全都被拍平的过程碾掉了。

SAG 和 OpenViking 从两个不同的方向,试图把这层被碾掉的结构信息找回来。

SAG 找回的是「实体关联」这层结构。它承认知识点之间存在通过共享实体建立的隐式关联,并且用查询时的 SQL JOIN 把这层关联即时重建出来。它的贡献在于证明了这层结构不需要离线物化成一张昂贵的全局图,用关系型数据库现成的关联能力就能在查询时高效算出来。

OpenViking 找回的是「层次组织」这层结构。它承认知识天然有目录、有层级、有从属关系,并且用虚拟文件系统把这层组织显式地保留下来,检索的时候顺着这个层级递归下去。它的贡献在于把 Agent 的上下文从一堆散落的切片,重新组织成了一个可导航、可追溯的结构。

两者都在做同一件事:扁平化的向量检索丢失了太多结构,而这些结构恰恰是复杂查询和长程任务真正需要的东西。它们的分歧只在于用什么载体去承载这层结构。SAG 选了关系表和 SQL,OpenViking 选了文件系统和目录树。

怎么选

落到实际决策,可以分两个场景。

如果核心诉求是知识库的多跳检索精度,语料相对静态、增量频繁、又要给用户看得见的原文引用,建议评估 SAG。它的动态超边在多跳上的数据摆在那,增量友好和溯源能力恰好解决了之前方案的问题。部署门槛低,本地就能验,评估成本几乎为零。

如果做的是 Agent 产品,痛点在长程任务的上下文管理、记忆沉淀、多 Agent 协作,建议去评估 OpenViking。它解决的是比检索更上一层的问题,文件系统抽象和分层加载对控制 Agent 的 token 成本、提升可调试性比较有用。

这两个东西不冲突。理论上一个成熟的 Agent 系统,底层完全可以用 SAG 这类引擎做精准的知识检索,上层用 OpenViking 这类框架做上下文的组织和调度。一个管「检索得准」,一个管「组织得清」,各司其职。

检索这条路走到今天,值得关注的方向已经从「怎么把向量算得更快」转到了「怎么把结构找回来」。SAG 和 OpenViking 是这个转向上两个具体的答案,一个在检索层,一个在上下文层。

以上。

从碎片检索到深度推理:如何重塑 AI Agent 的知识引擎

如果现在对于AI Agent 的知识引擎或者知识库的认知还停留在在「向量库 + embedding + topK 检索」的人,项目大概率正在踩坑。

传统 RAG 解决的是「能不能把资料塞给模型」的问题,而知识引擎要解决的是「模型能不能沿着知识结构走到正确答案」的问题。 这两个层级差得很远。前者偏检索,后者开始接近推理。Agent 一旦进入企业场景,尤其是要处理流程、制度、系统配置、投融资关系、风控链路、故障追因这类问题,知识如果还是碎片状态,后面的规划、调用、执行基本都会失真。因为对于模型来说重要的上下文已经是经是不完整的了,自然而然的就开始瞎猜了。

就 AI Agent 知识引擎来说,研发团队常遇到两个坑:

第一,很多团队高估了向量检索的上限。
第二,很多团队又低估了图结构落地的工程代价。

今天我们聊一下AI Agent 的知识引擎如何从碎片检索走到深度推理。

咱们今天主要聊四件事:

  • 为什么传统 RAG 在复杂问题上会持续失手
  • GraphRAG 到底重塑了什么
  • 真正可落地的架构怎么搭
  • 当前有哪些新一些的进展

传统短板

很多人第一次做 RAG,体验都挺好。

文档切块,做向量化,进库。用户一问,召回几段文本,拼 Prompt,模型生成答案。对于 FAQ、制度查询、产品说明、接口文档检索,这一套能迅速出结果,性价比很高。

问题在第二阶段才出现:用户不再问单点事实,而是开始问链式问题。

比如:

  • 「2019 年收购 A 公司的企业,其母公司在 2021 年的主要投资对象是谁?」
  • 「某服务在去年三季度的故障,和两个月前那次容量扩容有没有关联?」
  • 「这份上百篇研报里,哪些公司通过共同供应商暴露了同类风险?」

这类问题有一个共同点:答案不在某一个 chunk 里,而是在多个实体、多个时间点、多个文档之间。

传统 RAG 在这里会出现几种典型失效。

关系丢失

向量检索擅长找「语义相近」。它不擅长找「关系成立」。

文档切块以后,文本里的结构被打散了。原文中可能存在很清楚的逻辑链:

  • 公司 B 在 2019 年收购 A
  • 公司 B 是集团 C 的子公司
  • 集团 C 在 2021 年投资了 D

切完块之后,这三个事实可能散落在不同 chunk、不同文档、不同索引分区里。向量检索能不能一次把它们都召回?经常不能。即便召回了,顺序也未必对,相关性分也未必稳定。

这时候模型只能自己「脑补拼图」。一旦有一块没找到,推理链就断。而且,模型也不会老老实实说「证据不够」,它会倾向于补一个看起来像答案的东西出来。这就是很多人嘴里的幻觉。说白了,很多幻觉并不是生成模型凭空发疯,而是检索层先把它带沟里了。

上下文碎片化

RAG 的 chunk 机制本质上是一个工程妥协。

chunk 太小,语义不完整;chunk 太大,embedding 稀释,召回变钝,窗口成本暴涨。滑窗重叠能缓解一点,但解决不了跨章节、跨文档、跨时间的连续推理。

尤其是企业内部知识库,天然不是一本结构优雅的教材,而是一堆:

  • PRD
  • wiki
  • 飞书文档
  • 邮件摘要
  • 会议纪要
  • Jira 评论
  • 数据库导出
  • 运维记录
  • 外部 PDF

这些东西之间本来就没有自然连续性。你再把它们切成块,信息完整性只会进一步恶化。

实体歧义

只靠向量,相同名字的实体很容易串。

一个公司简称可能对应母公司、子公司、事业部;一个人名可能在不同组织里都出现过;产品代号可能跨年份复用。向量模型对这种歧义问题并不稳定,尤其在中文企业数据里,简称、别名、历史命名混在一起,非常常见。

实际项目里,实体歧义一旦没有解决,后面所有链路都白搭。你在检索层把「A 公司」对齐错了,后面再高级的 Agent 规划、工具调用、答案归因,都是建立在错图上。

时间失真

这个问题很多团队前期根本没建模。

企业知识不是静态的。组织关系会变,制度会改版,接口会下线,股权会变更,设备状态有有效期,药品说明有版本,风控规则按月份生效。

传统 RAG 里,一个 chunk 通常只是一段文本。它不天然携带明确的「生效时间」「失效时间」「版本边界」。所以用户一旦问时间敏感问题,系统就容易把不同年份的事实混成一团。

你会看到模型回答得头头是道,但时间轴已经错了。

多跳能力弱

这个问题其实不是模型不会推理,而是检索不给路。

Agent 场景里,很多问题天然是多跳的。要找到答案,系统需要先定位实体,再沿某种关系扩展,再结合时间、置信度、来源做过滤,最后拿到一条可靠路径。传统向量召回没有这个导航能力,它只会不断找「像不像」。

这就是为什么很多团队把模型从一个升级到另一个,效果只提升一点点。瓶颈不在模型本身,而在知识引擎没有结构。

图谱价值

把知识图谱拉进来,改变了检索目标

传统 RAG 检索的是文本片段。
GraphRAG 检索的是实体、关系、路径、子图,以及这些结构对应的证据。

这个差别很大。

显式关系

知识图谱最核心的价值,是把原来需要模型从文本里隐式猜出来的关系,变成显式结构。

比如:

  • 公司 A — 收购 — 公司 B
  • 公司 C — 母公司 — 公司 A
  • 公司 C — 投资 — 项目 D

一旦这些关系被建出来,系统面对复杂问题时就不需要靠 Prompt 去碰运气,而是可以沿着边去找路径。路径找到后,再把路径上的证据喂给模型组织语言。

这一步非常关键。因为它把「推理」从纯生成问题,变成了「结构检索 + 受约束生成」。

多跳导航

图结构天然支持多跳。

从一个节点出发,系统可以做一跳邻域扩展、两跳路径发现、带类型约束的遍历、带时间过滤的路径搜索。很多复杂问题,其实本质上就是图上的 constrained traversal。

做过故障分析、供应链穿透、组织权限审计的人都知道,真实问题往往不是「找到相似文本」,而是「沿着几类特定关系往外走,直到找到证据链」。

GraphRAG 在这里的优势很直接:它给系统一张路网,而不是一堆散落纸片。

可解释性

只要答案建立在路径之上,归因就容易很多。

传统 RAG 的可解释通常是「我引用了这几段文本」。这不够,因为用户看不出这些片段之间为什么能导出结论。

GraphRAG 则可以给出:

  • 命中的核心实体
  • 扩展的关系类型
  • 经过的中间节点
  • 命中路径对应的来源文档
  • 时间和版本约束

对于金融、医疗、法务、审计这类场景,是准入门槛。没有路径级证据,系统很难真正进入业务闭环。

异构融合

企业知识天生异构。数据库里有结构化字段,文档里有叙事描述,日志里有事件序列,报表里有指标快照,外部网页里有补充事实。

知识图谱很适合做这一层统一承载。节点和边上可以挂:

  • 来源
  • 时间戳
  • 置信度
  • 版本号
  • 原文锚点
  • 权限标签

这样,后面的 Agent 就不需要分别理解十几种数据形态,它只需要围绕图这个统一语义层工作。

幻觉压制

有人说 GraphRAG 「能消灭幻觉」。做工程的人都知道,不存在这种好事。

更准确地说,GraphRAG 能明显降低两类幻觉:

  • 检索证据不足导致的瞎补全
  • 实体关系错配导致的错误推断

图结构把推理空间收窄了。其本质上是一个针对知识的 harness 工程。模型不是面对无边界文本海洋自由发挥,而是在一个有限子图上做组织和归纳。再加上路径归因、时间约束、来源过滤,错误空间会被进一步压缩。

架构重构

GraphRAG 要真正落地,分为三段:建图、检索、生成

建图阶段

图谱质量决定了 GraphRAG 的上限,建图成本决定了它的下限。

如果图是脏的、歧义的、缺时间边界的,后面做再多检索优化都只是补洞。

实体抽取

最基础的是从文本中抽实体、属性、关系。

早期很多方案喜欢直接让 LLM 通读文档抽三元组。这么做效果可以有,但成本极高,而且稳定性不够。文档一长、格式一乱、术语一偏,大模型就开始漂。

建议:实体抽取和关系抽取要拆开看,不要一把梭。

实体层往往更适合用稳定的 IE 管线或者轻量模型先打底,再让 LLM 做补充和歧义修正。原因:

  • 实体是高频基础设施,规模大
  • 实体错一个,影响整片图
  • 实体任务相对更规则,适合工程化优化

尤其在垂直领域,术语标准化比抽取本身更难。医疗、金融、制造、运维,每个领域都有自己的缩写、版本命名、内部代号。这里如果没有术语表和字典体系,后面图融合基本没法看。

关系抽取

关系抽取是建图里最贵、最脆弱的一层。

关系比实体更依赖上下文。它牵涉事件角色、动作方向、时间条件、否定表达、范围限定。比如:

  • 「计划收购」
  • 「已完成收购」
  • 「传闻收购」
  • 「终止收购」

如果你都抽成同一种边,图就废了。

所以关系抽取不能只问「有没有关系」,还要问:

  • 关系类型是什么
  • 方向是什么
  • 是否已生效
  • 时间区间是什么
  • 证据来源在哪里
  • 置信度多少

不建议一上来就追求极全的关系本体。项目初期,关系类型设计得太花哨,抽取和维护成本会迅速失控。更稳一些的做法是围绕业务问题反推关系集合,先保核心链路通。

实体对齐

这是最容易被低估的坑。

同一个实体可能有:

  • 全称
  • 简称
  • 英文名
  • 别名
  • 历史名称
  • 内部代号
  • 不同系统中的主键

如果没有实体对齐,图上会出现大量看似不同、实际相同的节点。结果是路径断裂、统计失真、召回稀释。

实体对齐需要多种信号联合:

  • 名称相似度
  • 类型一致性
  • 属性重合度
  • 上下游关系重合度
  • 来源可信度
  • 时间重叠情况

仅靠名称相似度会出很多事故。尤其在中文企业环境里,简称重复极多。我见过一个项目把两个不同区域的同名子公司合并成一个节点,导致后面整条供应链分析全错。

时间与版本

这部分如果不做,GraphRAG 只是比 RAG 多了一层图壳。

建议节点和边都尽量具备时间语义,至少要能表达:

  • 创建时间
  • 生效时间
  • 失效时间
  • 采集时间
  • 数据版本

这样系统才能回答历史状态问题。比如:

  • 「2021 年时它是否还是子公司」
  • 「这个接口在 3 月版本里是否存在」
  • 「某规则在事故发生当日是否已生效」

如果没有时间建模,系统只会返回一个「混合当前状态和历史状态」的伪答案。

质量控制

建图不是 ETL 一次跑完就结束。它需要持续质控。

至少要有几层控制:

  • 抽取置信度阈值
  • 本体约束校验
  • 规则冲突检测
  • 抽样人工复核
  • 高风险实体白名单校正

比如,公司类型节点不该挂「毕业院校」属性;人员节点不该作为「机房设备」的父实体;时间区间不能出现失效时间早于生效时间。

这些校验就是 harness 工程。

检索阶段

GraphRAG 的检索不是去图库里「搜一下」这么简单。真正有效的检索,至少是一个分层过程。

第一步:实体定位

用户问题进来,先要知道问的是谁、什么对象、哪个版本、哪个时间点。

这一步常见做法是实体链接,必要时混合向量召回。目标是在图里找到核心节点。

这里有两个坑特别常见。

一个是用户表达不规范。简称、口语、错别字、历史名称都可能出现。
另一个是问题里实体不止一个,而且主次关系不清。

所以实体定位通常需要结合:

  • NER
  • 别名字典
  • 向量相似召回
  • 类型约束
  • 上下文消歧

如果这一步错了,后面全错。

第二步:子图扩展

定位到核心节点后,要决定往外扩多少。

这一步不能粗暴按 N 跳展开。图一旦大起来,邻域爆炸是很快的。尤其企业图谱里很多「高连接度节点」会把子图迅速拉成垃圾堆。

建议的做法是带约束扩展:

  • 限关系类型
  • 限最大跳数
  • 限时间区间
  • 限置信度
  • 限来源可信等级
  • 限节点类型

比如查询收购链路,就优先沿「收购」「母公司」「投资」这类关系走,而不是把「合作」「提及」「共现」都混进来。

第三步:路径发现

复杂问题很多时候不只是看邻居,而是找满足条件的路径。

比如:

  • 从 A 出发,找到其收购方,再找到收购方母公司,再找到该母公司在某年的主要投资对象
  • 找到某故障对应组件,再向上找到依赖链,再找变更记录,再对齐时间窗口内的容量调整

这类问题,本质上就是受约束路径搜索。图数据库和图算法在这里比纯向量库更像工具。

但有个问题:路径一多,候选会急剧增加。这个时候不能一股脑全喂给模型。要做路径评分和裁剪。

常见评分信号包括:

  • 路径长度
  • 关系类型优先级
  • 时间匹配度
  • 节点权威性
  • 来源可信度
  • 历史问答反馈

第四步:证据序列化

图拿到了,不能直接丢给模型。大多数模型并不擅长原生理解复杂图结构。

要把子图变成模型好消化的证据形式。常见有两种:

  • 路径序列化
  • 子图摘要

路径序列化适合事实问答。
子图摘要适合全局分析和开放问题。

实际工程里,更推荐结构化证据和原文片段联合输入。因为图给的是骨架,文本给的是细节。只有骨架,没有细节,答案会很硬;只有文本,没有骨架,答案会发散。

生成阶段

GraphRAG 不是检索完就结束。很多项目到这一步依然翻车,因为 Prompt 设计和输出约束没做好。

证据优先

Prompt 里必须明确要求模型优先依据图证据回答,不足时才引用文本补充,证据冲突时按来源等级和时间规则处理。

如果不写这些约束,模型还是会习惯性按语言流畅性组织答案,最后把未经验证的补全混进去。

路径归因

对于高事实性场景,建议回答里至少保留轻量级路径说明。未必要全部展示给用户,但系统内部必须保留。

比如答案背后至少知道:

  • 起点实体
  • 中间关系
  • 终点实体
  • 每一步证据来源
  • 时间过滤条件

有了这层,后面才能做审计、回放、纠错、反馈学习。

模板化输出

在财务、医疗、法务、运维这些高风险领域,自由生成要尽量少。

更稳的方式是字段化输出,例如:

  • 结论
  • 证据路径
  • 证据来源
  • 时间范围
  • 置信度
  • 不确定点

这样做的缺点是可读性略硬,优点是稳定。企业系统最终是要接流程、接审批、接工单、接风控策略的,格式稳定比文采重要得多。

三类路线

GraphRAG 现在大体有三条实现路线。可以工程投入和适用边界来看:

知识驱动

这一类把图谱作为主检索引擎。问题进来后,系统尽量转成图查询、路径搜索或者约束遍历,文本只做辅助。

这条路线适合:

  • 实体和关系相对清晰
  • 业务规则稳定
  • 可解释性要求高
  • 多跳推理占比高

典型场景像金融股权穿透、资产关系分析、故障因果链、药物禁忌关系、组织权限依赖。

优点:精度高、证据链清晰、推理路径稳定。

缺点:图谱不全时脆弱,对建图质量依赖极大。

如果你手里只有一堆杂乱文档,图谱覆盖率还没起来,就直接 all in 知识驱动,项目容易陷进「图不够用,文本又没保留好」的尴尬局面。

索引驱动

这一类不强调图上直接推理,而是把图结构转成索引增强信号。

比如:

  • 给 chunk 挂上关联实体、关系标签
  • 把子图摘要拼进 chunk 再做向量化
  • 用邻居关系信息做 rerank 特征

这条路线改造成本低,适合已有 RAG 系统做增强。很多团队第一阶段其实更适合走这条,而不是直接重做知识底座。

缺点也很实在:图只是辅助特征,没有成为真正的推理空间。所以多跳能力提升有限,可解释性也一般。

混合路线

现在真正跑得稳的,大多是混合型。

简单讲就是双路甚至多路召回:

  • 一路走图
  • 一路走向量
  • 必要时再接关键词或结构化库查询
  • 最后统一重排、裁剪、融合

这条路线最像真实世界。因为企业问题本来就不是纯图问题,也不是纯文本问题。很多时候用户一半在问事实链路,一半在问叙事背景。只用一种召回方式,效果往往不稳。

混合路线的问题在于系统复杂度高。链路变长之后,监控、调参、缓存、权限控制、延迟预算都更难。可它依然是现在最主流、也最靠谱的方案。

轻量建图

微软把 GraphRAG 带火,但慢慢大家发现了一个问题:原版重度 GraphRAG 太贵。

用 LLM 通读全量文档,逐段抽实体、关系、摘要,这种方案到真实数据规模经常直接失控。于是轻量化建图开始流行。

实体图思路

轻量路线的核心变化是:不再执着于完整关系抽取,而是先把实体和文档块稳定连起来。

也就是说,先建一个实体图,或者说 relation-light graph:

  • 节点是实体、文档、chunk
  • 边主要表达提及、共现、引用、归属、锚定等轻关系
  • 更复杂的关系留给后续局部推理或按需补抽

高质量关系抽取太贵、太慢、太脆。那就先把高确定性的部分做出来,把知识骨架做起来。

很多场景下,这么做反而更稳。因为实体图能显著改善召回导航,成本又远低于全量三元组图谱。

成本变化

轻量建图通常能把两个指标打下来:

  • Token 消耗
  • 图谱更新时间

这对中小项目非常关键。一个知识引擎如果更新周期是按天甚至按周算,它对 Agent 的支撑就已经很有限了。现实里的知识是流动的,尤其在运维、客服、风控、投研这些场景,更新速度直接决定答案可信度。

局限

轻量图省成本,但也有边界。

它更适合做「导航增强」和「局部上下文组织」,不适合承担强逻辑推理的全部职责。因为如果关系层太弱,系统最终还是要回文本里做大量补推断。

所以我们一般把轻量图看成一个很好的过渡层,或者作为混合架构中的图底座。

Agent 化检索

GraphRAG 这两年另一个明显趋势,是从固定流水线走向 Agent 化。

传统流程大多是:

用户提问 → 定位实体 → 扩子图 → 生成答案

问题是,复杂问题往往一轮检索拿不全证据。系统需要边查边判断:现在的证据够不够?应该沿哪类边继续走?有没有必要换一个切入实体?要不要回文档补背景?

这时候,GraphRAG 和 Agent 很自然就结合起来了。

查询拆解

复杂问题先拆成子问题,是 Agent 化 GraphRAG 的第一步。

比如:

「2019 年收购 A 公司的企业,其母公司在 2021 年的主要投资对象是谁?」

可以拆成:

  1. 谁在 2019 年收购了 A
  2. 该收购方的母公司是谁
  3. 该母公司在 2021 年的主要投资对象有哪些
  4. 哪个对象符合「主要投资对象」定义

拆解后的每一步都更适合图查询和约束检索。

迭代探索

Agent 可以根据中间结果决定下一步动作:

  • 命中实体不确定,先做消歧
  • 路径证据不足,扩大时间窗口
  • 图证据不全,补文本检索
  • 文本冲突,回图里查来源优先级

这比一条固定链路强很多。因为真实问题不会永远按设计者预想的路径走。

风险

Agent 化一听就很高级,但工程上有几个明显的问题:

  • 延迟增加
  • token 消耗增加
  • 调试复杂度上升
  • 失败路径变多

如果没有严密的步骤预算和停止条件,Agent 会在图里越走越远,最后拖垮时延和成本。

所以 Agent 化 GraphRAG 要有明确的控制策略:

  • 最大迭代轮数
  • 最大扩展跳数
  • 最大证据数
  • 最大 token 预算
  • 终止阈值

没有这些约束,系统会变成一个会自主发散的检索器。

强化学习

2025 到 2026 年,另一个值得关注的方向是把强化学习或者类似 reward-guided 策略引进图检索过程。

这个方向的核心问题是:子图应该扩到哪里停?哪条边值得继续走?

以前这类问题多靠规则和启发式。比如限制两跳、限制 topN 邻居、按关系优先级排序。够用,但不够细。

强化学习的吸引力在于,它试图让检索器学会一件事:在有限上下文预算下,优先收集对答案最有价值的证据。

为什么有价值

GraphRAG 很容易出现一个悖论:

  • 扩得太少,证据不够,答不出来
  • 扩得太多,噪声暴涨,模型反而更容易错

最优点其实是一个动态平衡,而且和问题类型、图谱密度、时间约束都相关。静态规则很难适配所有情况。

落地现实

这个方向我认为在部分场景是一个比较不错的解。

原因很简单。强化学习提升的是「策略细节」,前提是你的图已经比较干净,检索反馈链路也能闭合。如果底层图谱质量一般,奖励模型再聪明也学不到稳定策略。

所以在工程优先级上,我会把它排在:

  1. 实体对齐
  2. 时间建模
  3. 混合召回
  4. 路径裁剪
  5. 再考虑 RL 优化

很多团队喜欢直接追最新论文方向,结果底座没打稳,投入产出很差。

动态建图

静态全量图谱还有一个问题:更新慢。

数据一旦高频变化,整库重建非常重,增量融合也复杂。于是最近很实用的一条路是查询驱动的动态局部建图

思路

先用向量检索或关键词检索,快速圈出和问题强相关的一小批文档或 chunk。然后只针对这部分数据,在内存里临时构建一个局部图,用来做当前问题的推理。

这样做的好处很明显:

  • 不需要维护一个永远完整的全局大图
  • 对高频更新数据更友好
  • 构建成本和时延更可控
  • 对冷门知识不用提前付建图成本

适用场景

这条路线特别适合:

  • 数据更新快
  • 查询分布长尾
  • 很多知识只会被偶尔问到
  • 无法接受全量图谱重构成本

比如运维告警分析、实时舆情、工单流、交易异常调查。

局限

动态建图的问题也很明显:它的全局视角弱。

如果问题本身需要跨全库的大结构理解,比如全局主题分布、长期模式汇总、跨社区关联,局部动态图就不够用了。所以它更像实时推理层,不是全局知识层的完全替代品。

多模态图

GraphRAG 继续演进,节点已经不再局限于文本实体。

很多真实场景里,关键证据来自图像、图表、表格、时序信号。把这些都挂进图里,才可能支撑更完整的 Agent 推理。

例如医疗场景里:

  • 症状描述是文本节点
  • 检查指标是结构化节点
  • 影像特征是图像节点
  • 治疗方案是流程节点

如果这些数据还分散在不同系统里,Agent 再强也只能在局部瞎猜。多模态图的价值,在于把这些证据接成可遍历的语义网络。

不过这块别急着神化。多模态 GraphRAG 落地难度明显高于文本图谱,主要难点有三类:

  • 跨模态对齐难
  • 证据置信度难统一
  • 存储与检索链路更复杂

所以大多数团队短期内更现实的做法,是先把表格和结构化字段接进来,再逐步引入图像等模态。

超图方向

传统的知识图谱仅支持二元关系(即一条边连接两个节点,如 实体A → 关系 → 实体B)。然而在真实复杂场景中,事实往往是多维度的。

比如:

  • 三家公司共同参与某项目
  • 一笔交易涉及买方、卖方、标的、通道、时间、地区
  • 一个法律案件涉及原告、被告、法条、法院、时间节点
  • 超图与超边(Hypergraph & Hyperedges):超图允许单条“超边”连接任意数量的实体/节点。例如在医学场景中,描述“某症状”的发生可能涉及“患者、医生、检查手段、特定药物和治疗结果”。
  • 低阶与高阶关联:通过超图,系统能同时无损存储成对的“低阶关联”与包含多个实体的“高阶关联”,从根本上减少信息压缩带来的损失。

这个方向在金融穿透、案件分析、复杂项目协作里很有吸引力。因为它能更自然地表达群体事件和多方关系。

但说实话,超图现在离大规模工程标配还有距离。核心原因不是理念不对,而是生态、工具链、调试经验都还不够成熟。一般团队现在没必要急着上,除非业务场景确实被二元关系表达卡住了。

落地取舍

那么 团队到底该怎么选?

只做传统 RAG 就够的情况

如果你的问题大多是:

  • 单文档问答
  • FAQ 查询
  • 产品知识助手
  • 代码片段召回
  • 对多跳推理要求不高

那就别急着上图。把 chunk、embedding、rerank、query rewrite、metadata filter、citation 做好,收益通常更高。

应该上轻量 GraphRAG 的情况

如果已经出现这些信号:

  • 同一个问题答案分散在多个文档
  • 实体名称混乱、简称多
  • 用户经常追问上下游关系
  • 向量召回结果看起来相关,答案却老是不对
  • 需要更稳定的引用与归因

那我建议先上轻量图。先做实体层和文档锚定层,不要一口气建满关系宇宙。

应该上重度 GraphRAG 的情况

如果业务本身就是关系驱动的:

  • 金融穿透
  • 医疗知识网络
  • 风控依赖链
  • 故障根因传播
  • 供应链关联追踪
  • 组织权限审计

那重度图谱是值得的。因为这里的问题本质上就是图问题,用纯文本方案长期只能堆补丁。

Agent 化和 RL 什么时候考虑

当且仅当你已经满足这些条件时再往上走:

  • 图谱基础质量稳定
  • 问题复杂度确实需要多轮探索
  • 现有检索链路可观测、可回放
  • 成本和延迟预算允许

否则,先把基础检索做好,比上复杂策略更值。

小结

图结构是检索的 harness 工程。

向量检索还是底座,图结构正在变成高阶能力的分水岭。

没有向量,系统对模糊语义和开放文本会很迟钝。
没有图,系统对关系、路径、时间、一致性会很脆弱。

未来成熟的 Agent 知识引擎,大概率都不是单一路线,而是分层组合:

  • 向量层负责广覆盖召回
  • 图层负责关系组织与多跳导航
  • 结构化查询层负责精确过滤
  • Agent 层负责查询拆解与迭代探索
  • 生成层负责受约束表达与归因输出

说到底,知识引擎这件事,已经从「找资料」变成「构造可推理的证据空间」。

GraphRAG 不是给 RAG 多加一个数据库,也不是给模型多喂一点上下文。它把原来松散、偶然、靠模型自行拼接的知识,重组成了一张可以遍历、可以约束、可以回放的网络。

对 AI Agent 来说,对于 AI Agent 的上下文构建来说,这是关键的一步。

因为 Agent 一旦开始承担任务,它需要的就不再是几个看起来相关的文本块,而是一条能走通、能解释、能复核的知识路径。

以上。

对最近 AI 落地工程实践的一些想法和思考

最近和小区某上市公司的 CFO 喝茶聊 AI,在过程中思维和实际场景的碰撞,记录如下:

穿透复杂的表象,当前 LLM 的底层运行逻辑其实非常单一:它本质上是一个自回归的序列生成器,根据已有的上下文,计算词表中每一个 token 出现的概率分布,然后从中采样出下一个 token。

但这里的「概率」绝非毫无逻辑的随机掷骰子。 这种概率分布,是模型在海量预训练数据中内化的语言规律、世界知识以及逻辑推理能力的数学投影。通过多层 Transformer 网络与注意力机制(Attention),模型在极高的维度上完成了对上下文语义的深度解析与特征关联,从而将符合人类逻辑、契合当前语境的 token 赋予极高的概率权重。它是在用统计学的方式,重现人类的逻辑推理过程。

然而,无论其内部的概率计算多么精密,从软件工程的宏观视角来看,我们本质上依然是在传统的确定性系统中,强行引入了一个基于概率采样的非确定性组件。

传统软件工程建立在严格的确定性之上。输入特定的参数,经过固定的业务逻辑,必然得到预期的输出。现在我们将核心逻辑交由概率模型处理,相同的输入在不同的时间点,可能会产生完全不同的输出路径。

幻觉无法被根除。它是自回归模型的内生特性,是概率采样的必然产物。我们在进行系统架构设计时,必须将幻觉视为系统的常态。试图通过修改 Prompt 来彻底消除幻觉,在工程上徒劳无功。我们需要在系统边界处建立起拦截机制,用确定性的规则去兜底概率模型的不确定性。

容错度决定落地

当前商业化落地最顺畅、ROI 最高的场景,全部集中在高容错度领域。写行业报告、生成营销文案、文生图、视频生成、游戏 NPC 对话。这类场景的核心特征在于缺乏绝对的客观标准。

在内容创作领域,模型偶尔的逻辑发散会被用户视为创造力。工程团队不需要在接口的绝对可用性和输出的绝对准确性上死磕,只需要保证底线的内容安全和合理的响应延迟。系统可用性达到 95% 就能让用户产生极强的获得感。

一旦进入低容错度场景,工程实现的复杂度会呈指数级上升。医疗诊断、工业控制、核心交易链路。在这些领域,0.1% 的幻觉率都会导致灾难性的业务后果。我们在评估一个 AI 项目是否立项时,首要考量指标就是业务场景的容错底线。容错度越低,外围需要的确定性校验代码就越厚重,最终会导致系统的维护成本远超 AI 带来的效率提升。

知识外挂 RAG

RAG 的出现是为了解决模型内部知识更新滞后和私有数据隔离的问题。其核心原理是将外部文档切片、向量化,在用户提问时检索相关切片,拼接到 Prompt 中作为上下文喂给大模型。

在实际的工程环境里,RAG 的核心瓶颈在检索链路。切片策略直接决定了召回质量。按固定 token 长度切分会破坏语义完整性,导致关键信息被腰斩。按标点符号或段落切分会导致切片长度方差过大,影响向量化模型的表达能力。我们在生产环境中通常需要针对不同格式的文档编写定制化的解析器,将 PDF 或 Word 还原为结构化的文档树,再基于文档树的层级进行语义切片。

单一的向量检索在面对专有名词和长尾词汇时表现极差。我们必须采用混合检索架构:稠密向量检索加上稀疏词表检索。向量检索负责语义泛化,处理同义词和模糊表达。词表检索负责精准匹配产品型号、人名和内部项目代号。混合检索引入了多路召回合并的问题,通常需要引入倒数秩融合算法来重排结果。系统复杂度和查询延迟会成倍增加。

数据清洗占据了 RAG 项目 80% 的研发精力。直接将企业内部的原始文档灌入向量数据库,最终的问答准确率通常不到 40%。文档中存在大量的废话、过期的流程规范以及相互冲突的条款。垃圾进,垃圾出。我们在构建知识库之前,必须通过脚本和人工介入,对语料进行严格的去重、降噪和结构化提取。

工具调用确定性

为了弥补概率模型的缺陷,我们需要引入确定性的工具。Function Calling 机制本质上是给 LLM 接上双手。模型负责理解自然语言意图并提取结构化参数,具体的业务逻辑交由传统的确定性脚本执行。

工具调用的工程难点在于参数提取的稳定性。当注册的工具数量超过十个,或者参数结构嵌套层级过深时,模型的输出格式极易崩溃。我们在中间层必须加入严格的 Schema 校验机制。一旦校验失败,需要截断错误信息并触发重试。重试次数上限通常设定为 3 次,继续增加会耗尽上下文窗口并导致请求超时。

多轮工具调用会带来严重的延迟问题。模型每决定调用一次工具,都需要经历一次完整的网络请求和推理过程。如果一个复杂任务需要串行调用三个工具,用户的等待时间会轻易突破 10 秒。我们在架构设计时,需要尽可能将细粒度的 API 聚合成粗粒度的宏接口,减少模型与业务系统的交互频次

Agent 架构的脆弱性与状态管理

多智能体(Multi-Agent)架构在技术社区被过度神话。多个大模型相互协作、自主规划任务的 Demo 看起来非常惊艳。在真实的工业场景中,完全由 LLM 自主驱动的 Agent 链路极其脆弱。

误差会在多步推理中被迅速放大。假设单个 Agent 节点的输出准确率为 90%,一个包含五个节点的串行任务,最终的成功率会暴跌至 59%。任何一个节点的幻觉都会导致后续链路彻底跑偏。

我们在生产环境中构建复杂任务流时,坚决摒弃由 LLM 自主决定执行路径的黑盒模式。控制流必须由传统的有向无环图(DAG)或状态机来接管。LLM 仅仅作为状态机中的一个计算节点,负责处理非结构化数据的理解和生成。节点与节点之间的状态流转、条件判断、异常重试,全部由确定性的代码实现。这种设计牺牲了系统的灵活性,换取了业务系统必须具备的稳定性和可观测性。

非确定性系统的测试与监控

非确定性系统的测试与监控,是传统软件工程团队转型 AI 开发时遇到的最大痛点。传统的单元测试基于断言,期望输出是固定的字符串或数值。面对 LLM 每次都不一样的回答,基于精确匹配的 CI/CD 流水线会全线崩溃。

我们重构了整个测试评估体系。引入 LLM-as-a-Judge 机制,使用一个能力更强、参数规模更大的模型来评估业务模型的输出质量。评估维度被拆解为相关性、事实一致性、格式合规性等具体指标。在每次模型版本迭代或 Prompt 修改后,必须在包含上千个真实业务 Case 的黄金数据集上运行自动化评估。只有各项指标的波动在可控范围内,才能进行灰度发布。

在监控层面,传统的 APM 工具无法满足需求。我们需要采集每一个请求的 Prompt 模板版本、输入变量、输出结果、Token 消耗量以及推理延迟。这些数据是后续进行 Bad Case 分析和模型微调的唯一原料。针对 Token 消耗的监控直接与业务成本挂钩。我们会在网关层设置严格的并发限制和预算熔断机制,防止恶意请求或死循环调用导致账单失控。

两种范式的碰撞

AI First 与 AI 辅助是完全不同的架构逻辑。

AI 辅助是在现有系统中打补丁。主干流程依然是传统的表单和按钮,AI 作为一个侧边栏或悬浮窗存在,提供总结、翻译、润色功能。开发成本极低,对原有系统无侵入。用户在遇到问题时,可以选择性地向 AI 求助。

AI First 要求重构整个交互形态和底层流转逻辑。系统不再依赖预设的菜单树,由 LLM 充当中央路由。用户的自然语言输入直接驱动底层状态机流转。这要求所有内部 API 具备极高的自描述能力,业务逻辑必须高度解耦。我们在推进 AI First 架构时,面临的最大阻力通常来自老旧系统的技术债。历史遗留的紧耦合代码根本无法被封装成独立的工具供模型调用。

财务场景的拆解

财务场景是典型的低容错度、高确定性要求的领域。将概率模型直接应用于财务核心链路会引发严重的合规风险。可落地的切入点集中在外围的非结构化数据处理和信息流转环节。

发票与报销单据的信息抽取是一个高价值场景。传统 OCR 结合正则匹配在面对版式多变的票据时维护成本极高。引入大模型进行多模态信息抽取,将非结构化的图片或 PDF 转换为结构化的 JSON 数据。抽取后的数据必须经过传统规则引擎的二次校验,例如金额试算平衡验证、税号合规性检查。模型在这里承担的是「粗加工」角色,最终的业务落库动作依然由确定性代码把控。

财务制度问答可以大幅降低沟通成本。基于企业内部报销规范构建 RAG 系统。员工在提单前通过自然语言查询报销标准。这里的 RAG 必须严格限制模型的发散,Prompt 中需强制要求「仅根据检索到的内容回答,未提及的内容直接回复不知道」。为了防止模型编造财务政策,我们会在输出层增加一层文本相似度校验,确保模型的回答与检索到的原文保持高度一致。

财务分析报告初稿生成也是一个可行的方向。将结构化的财务报表数据通过代码转换为文本描述,作为上下文喂给模型,让其生成趋势分析和异常波动提示。模型在这里仅作为「翻译官」和「排版员」,不参与任何数值计算。所有的同比、环比计算必须在传统代码层完成,将计算结果以明确的数值形式提供给模型。让 LLM 去做算术题是工程上的反模式。

数据隐私在财务场景中是不可逾越的红线。公有云 API 无法满足审计要求。我们通常需要采用本地私有化部署的开源模型。7B 到 14B 参数规模的模型经过量化处理后,可以在单张消费级显卡上流畅运行。通过针对财务语料的微调,这些小模型在特定信息抽取任务上的表现可以持平甚至超越千亿参数的通用大模型。私有化部署带来了硬件采购和模型运维的额外成本,需要在项目初期进行严格的 ROI 测算。

以上