最近，上海交通大学长聘教授、通用人工智能研究所所长赵海得到了两个好消息，他指导的团队研发的“脑启发大语言模型”被选入“交大2030”计划B类，获得了500万元资金支持，同时他的研究领域被上海市科委“类脑智能”项目申报指南纳入，这份指南设立了“颠覆性技术研究”板块，旨在支持科学家们探索脑启发类脑智能的新机制和新途径，研究新型非Transformer结构的类脑大模型通用方案。

谷歌于2017年发明了Transformer这种深度学习构造，后来OpenAI不断改进，它彻底更新了自然语言处理、计算机视觉等领域的科技状况，变成人工智能大型模型广泛使用的构造。那么，上海为何要筹备挑战这种构造的科技计划？类似人脑的大模型研究进展怎样？采访者从接触中得知了值得注意的阶段性成果。

从脑科学成果中获得灵感

GPT迅速风靡全球，紧接着，部分人工智能领域的权威人士对Transformer架构的前景表示了担忧。杨立昆这位图灵奖得主指出，这种架构存在若干难题，比如计算开销巨大，难以把握复杂世界的规律，决策机制如同暗箱操作，因此未来恐怕难以达成科学家们渴望的通用人工智能目标，即创造出既能高效学习又能灵活泛化的智能体，它们能够自主应对复杂环境并完成指定任务，同时遵循人类社会的伦理准则。

今年一月，诺贝尔化学奖得主哈萨比斯在讨论通用人工智能话题时表示，可能还得再经历一两次类似Transformer那样的重大进展。这表明，Transformer或许并非大模型架构的终极形态，要想在通往通用人工智能的探索过程中取得进展，依然需要实现关键性的创新突破。

Transformer也许并非通用人工智能的终极路径，它存在局限性。

模仿人脑，是构建新型人工智能系统的一种方法，由于人脑是自然演化而成的智能主体。2016年，伯克利大学的一个研究小组在《自然》期刊上公布了一项研究，他们揭示出大脑皮层各个部分能够对特定的意义信息进行编码。赵海向媒体阐述了这项神经科学的研究发现。大型人工智能系统是否能够复制人脑的意义编码功能？二零二三年九月，这位交通大学学者萌生新思路，意图打破Transformer体系，着手设计一个模仿大脑运作的巨型语言系统。

他自行筹集科研经费，租用GPU服务器，率领团队进入类脑智能的探索前沿，当时训练大模型的GPU服务器价格昂贵，赵海团队每月需支付18万元租金，研发能否成功尚无定论，面对双重困境，他决心继续前行，因为他坚信：通用人工智能的根本基础在于人类大脑。

新范式模拟人脑全局机制

今年三月，“脑启发大语言模型”（BriLLM）这一拥有150亿参数的模型正式出现，交大研究集体将此中文大模型的源代码及模型参数公开。五月，该团队又推出了“脑启发大语言模型”的中文与英文精简版本，它们的参数量分别为20亿和10亿，不过运行效能与150亿参数的原版模型相比毫无逊色。检测表明，这三个非Transformer类型的脑科学模型，其创作水平等同于GPT-1，这一发现引起了华为公司Fellow蔡华等学者的重视。

BriLLM是第一个能够从全局角度模拟人类大脑运作方式的大型语言模型，为机器学习领域带来了根本性的变革。赵海指出，该模型运用了“信号全面连通传输”这一全新机制，以此替代了Transformer结构中原本的自注意力处理方式。这种新的机器学习模式效仿人脑皮层对特定语义的编码方法，把词元直接对应到“有向全连接图”架构中的各个节点，使得每个节点代表一个语义成分。它还模仿脑电波的传递机制，让信息沿着“最小阻力”路线，在“有向全连接图”中持续扩散，有选择地激发部分语义成分节点，促使大模型生成精确的文本信息。

“信号全连接流动”机制示意图

“脑启发大语言模型”同Transformer架构大模型相比，具备四个显著长处：它模仿人脑的语义编码与信号传递原理，因而能享有人脑的低能耗特性，使得大模型运算开销有望大幅削减；它的每个节点均对应清晰的语义，决策流程公开透明且易于解读，从而消除了大模型决策的“黑箱”现象，有助于保障人工智能的安全与可管理性；它的信号能够在各节点间自由流转，因此有望处理无限长度的上下文信息，并且无需扩展模型体量；它同多模态数据天然契合，在学习图像及视频资料时更贴近人类认知模式，无需借助海量数据支撑。

依靠这些长处，赵海团队通过了四回评审，赢得了“交大2030”计划B类项目资助。这类项目主张开创性的基础研究，聚焦于全球性的根本科学议题。它不要求发表论文，准许项目集体在学术探索中自主支配经费。我们计划将500万元资金主要投入到算力采购上，目的是在接下来两年内研发出类似GPT的对话式大型模型，以此与基于Transformer架构的大型模型进行对标竞争。获得项目批准后，赵海对于这项创新性极强的计划前景更加充满信心了。

瞄准百亿参数大模型目标

在类脑大模型这一尖端领域，赵海并非唯一探索者。据中国科学院脑智卓越中心消息，脑认知与类脑智能全国重点实验室的研究员李国齐正在推进“类脑通用智能大模型”的研发工作。他的技术路径与赵海存在差异，重点在于从细微层面复制大脑神经元的活动模式。

李国齐指出，Transformer架构大模型的核心是“点神经元模式结合自注意力原理”，而人类大脑的主要运算单元为树突神经元模式。该模式远比点神经元模式复杂，具有树形构造，包含众多分支和腔室，每个分支和腔室都存在不同参数的动态变化，因而树突神经元模式具备多层级记忆功能。我们希望探索这种大脑运作方式是否能够整合进当前的大型模型，从而创建一个具备通用功能的类脑智能架构。

他为了这个目标，领导同事们进行了诸多尝试，在学术研究方面，撰写了多篇论述脉冲神经网络学习方法的文献，把这类网络的层数从先前的五到十层，大幅度提升到五十到五百层；在基本单元设计方面，构想出一种包含多个空间区域和多条输入路径的同步脉冲计算单元，对于处理长链信息传递的难题有了新的突破；在整体结构设计方面，创造了“神经元树突脉冲网络”这一术语，把模仿人类大脑神经元结构的计算方式，整合进了人工智能的计算体系。

关于今后的科研规划，李国齐表示，他们打算借助不同领域的联合攻关，实现算法、训练环境和处理单元的紧密配合，打造出参数数量达到十亿到百亿级别的通用型智能模型。

赵海也计划研制百亿量级的人工智能模型，该模型借鉴人脑工作原理。接下来两年的时间里，他率团队将分步实施三个核心项目，包括针对中文和英文的预训练工作，实施指令微调的技术方案，以及实现高效的推理部署。最终目标是打造出参数数量超过300亿的中文版和英文版“仿脑式大型语言模型”，让用户能够切实感受到非Transformer架构模型所具备的独特性能优势。

我们团队已经完成了基础性的开创性工作，现在需要推动进一步的发展。我们期待政府能够提供更多的计算资源，以便我们能够更快地改进类脑模型。这是赵海表达的观点。