5月9日,IT之家报道,阿里巴巴推出了名为ZeroSearch的大规模模型,据官方介绍,该模型具备无需进行搜索操作即可激发搜索功能的特点。
IT之家附阿里对该模型的介绍大意如下:
我们设计了一种名为 ZeroSearch 的强化学习架构,该架构旨在通过不借助实际搜索引擎的方式,增强大型语言模型(LLM)的搜索效能。基于监督式微调技术,我们将 LLM 转换成了一个具备生成相关或含噪声文档的能力的检索单元,用以对查询做出响应。为了更充分地调动模型的推理潜能,我们采纳了课程化的拓展策略,使模型得以应对愈发繁杂的检索挑战,进而逐步提升其分析问题的能力。经过在众多领域内外的数据集上进行的广泛实验,我们发现ZeroSearch即便无需承担API费用,其表现也超越了那些依托于实际搜索引擎的模型。此外,它在多种规模的基础型与指令微调型大型语言模型上展现出良好的泛化能力,并且兼容多种强化学习算法。
官方公布的数据表明,在七大问答数据集的评测中,该系统的表现与谷歌搜索相匹敌,甚至在某些方面有所超越(其70亿参数模型的得分达到了33.06,而谷歌的得分为32.47),同时,其成本也大幅下降了87.93%。
利用SerpAPI进行谷歌搜索的查询训练,涉及64,000个查询的成本大概在586.70美元左右,相较之下,采用14B参数的模拟大型语言模型(LLM),在配备四个A100 GPU的设备上进行训练,所需费用仅为70.80美元。
目前,ZeroSearch 已在 Qwen-2.5、LLaMA-3.2 等众多知名模型系列中通过了测试。研究团队已将所有代码、数据集以及预训练模型公开发布在 GitHub 和 Hugging Face 平台上。
开源地址:
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:http://www.mjgaz.cn/fenxiang/275941.html