经历了前段时间的鸡飞狗跳，扎克伯格的投资似乎终于初见成效。

新近，Meta Superintelligence Labs 一同研发了名为 REFRAG 的快速解码体系，其目的在于处理 LLM 在面对大量上下文信息时所遭遇的性能难题，特别是在 RAG 等实际应用领域中。

为什么长上下文处理如此困难？

当前人工智能应用里，运用大语言模型应对资料丰富的长篇文字，对于增强咨询、交流及智能体运用水平至关重要。不过，这种方式也引发了重大难题：在常规的大语言模型中，关注机制的计算负担和内存消耗会随输入篇幅的平方数（N²）攀升。

文本的体积会增长一倍，处理时所需时间或将增加四倍，由此会造成明显的系统滞后，并且需要占用许多内存来保存 KV 缓存，这反过来又会导致系统处理能力下降，迫使创造者在知识广博程度与系统效能之间艰难抉择。

Meta 的调查发现，RAG 应用里 LLM 处理的信息很多源自外部知识库搜寻组合的片段，不过这些片段中只有少数同用户询问联系紧密。这些不相关的片段造成计算能力的无谓消耗。REFRAG 的主要理念正是由这一现象引出，它试图找出并忽略对那些不相关信息的无用运算，以此改进解码环节。

REFRAG 是如何解决问题的？

该框架运用巧妙方法，分四阶段操作，借助注意力稀疏构造，大幅增强了成效。它与常规 RAG 的主要不同之处在于，不让大语言模型直接接触篇幅庞大的原始资料。

该框架的实用性，在涵盖 RAG、多轮交互以及长篇文本提炼等多项长文本处理场景中得到了证实，并获得了非凡的成效：

简单来说，REFRAG 实现了「大上下文 RAG」从理论到实践的转变。

它的作用看似相当理想，不过留言区也指出，其真正意义有待在更多样化的现实情境里得到验证。

还有人对该研究中的 RL 策略提出了质疑。

方法

为了确保编码器和解码器之间能够紧密匹配，这项研究沿用了 Yen et al. (2024) 的研究成果，运用了一种以「下一段落预测」为核心任务的持续性训练方案。

训练期间，单个数据样本总共由 s+o 个词元构成。借助这个预训练环节，模型掌握了借助块嵌入完成后续任务的有效方法。

为了进一步优化模型表现，该方案还增设了借助强化学习达成选择性压缩的手段。当 CPT 对齐步骤结束后，模型会接受监督性微调，目的是使其能更好地适配特定的下游任务环境，诸如 RAG 以及多轮交互式对话。

CPT 的主要职责中，模型的运作方式是这样的：编码器先对前 s 个词元进行操作，接着再进行其他步骤

，其输出的压缩信息将辅助解码器预测接下来的 o 个词元

这项工作意在提升模型对环境信息的运用能力，以便达成精准的推断效果，为后续的实际运用做好铺垫。核心目的在于，任何编码器与解码器的搭配都可以顺利配合，保证解码器在仅得到压缩过的环境数据时，其输出内容与在完整未压缩的环境数据下产生的结果非常接近。

持续预训练方案

为了确保 CPT 阶段取得良好效果，研究者设计了一套训练计划，这套计划整合了任务重建和课程学习两种方式。通过对比实验可以发现，这套计划对于获得出色的 CPT 表现具有决定性作用。

重构工作，这项工作的目的是训练编码器掌握怎样以最少的资料损耗来压缩文字，具体步骤是，先取前 s 个词元

输入编码器，然后训练模型在解码器中重建出完全相同的词元

在此期间，解码器模型本身维持原状，参数不做任何调整，训练工作全部用于编码器以及连接编码器与解码器的那个中间层。

该任务主要实现两个目标：

设计重建任务的一个明确目标在于，促使模型在训练期间更注重利用其上下文记忆来获取信息，也就是从输入数据中提取知识，而不是单纯依靠其内在的参数化记忆，也就是模型本身已经掌握的知识储备。当通过这项任务初步实现了编码器与解码器的协调一致之后，就会解除对解码器的限制，从而正式启动 CPT 训练流程。

学习课程内容，虽然前面提到的训练任务在理论上很简单，但在实际操作中却非常困难，这种困难是，当模块长度 k 不断变大时，能够形成的词组搭配种类会迅速

这种增速随词汇量变化而变化。要把如此丰富的多样性压缩进一个长度固定的向量里，这可是个不小的难题。而且，从众多片段生成的向量重建出

个词元，进一步加剧了任务的复杂性。

与常理相悖，直接将预训练解码器接续编码器输出，即便在重建任务里，也未能削减困惑度数值。为了应对这一优化难题，研究者提议对这两项任务实施课程式训练。课程式训练借助逐步提升任务难度，让模型得以循序渐进且高效地习得复杂能力。针对重建任务，训练过程从复原单个模块着手：编码器接收用于

的一个块嵌入

解码器借助投影后的块嵌入 ecnk1 来重构这 k 个词元，然后，模型接着

中重建

，依此类推。为了不断优化任务层级，研究人员依据时间推移变换信息整合的配置，先从以较基础挑战（比如，单个模块关联）为主的素材入手，再慢慢转向以更复杂挑战（也就是 L 个模块关联）为主的素材。第六幅图描绘了学习进程中信息整合的演变情况。

答案预测的精准度需要进一步提升，为此该技术（REFRAG）增设了词元筛选压缩环节，关键信息块的处理方式有所不同，特别重要的部分不参与压缩，而是维持初始形态，这样做是为了防止重要内容被遗漏。

一种机器学习方案用于挑选需要保留的片段，这个方案以段落预测的复杂程度作为反向激励指标，也就是复杂程度越低，激励越大，借此训练模型去识别并保存重要内容，编码单元和解码单元都进行了参数修正，以便应对压缩与未压缩内容并存的输入状况。这个方法借助模块编码和遮盖手段，调整部件的排列次序，既维持了解码器按序工作的特点，又允许压缩数据的位置自由变动。