從技術路線上看，目前基于大模型的“大腦”技術路線正處在并行探索階段，并逐漸向端到端的大模型演進。

現階段主要是 4 條技術路線：

一、 LLM（大語言模型）+VFM（視覺基礎模型）

實現人機語言交互、任務理解、推理和規劃，目前最為成熟。主要代表是谷歌的 SayCan 模型，通過預訓練技能的價值函數對齊（Grounds）大語言模 型或者通過價值函數的訓練使大語言模型對用戶指令進行推理分解 獲得任務步驟。

二、 VLM（視覺-語言模型）

彌合語言與視覺理解間的差距，讓機器人實現更準確的任務規劃和決策。主要代表是清華大學的 CoPa 模型，利用嵌入在基礎模型（比如視覺語言模型的代表 GPT-4V）中 的常識知識為開放世界機器人操控生成一系列的自由度末端執行器 姿勢，生成的操控任務分為任務導向抓取和感知運動規劃。

三、 VLA （視覺-語言-動作模型）

在 VLM 基礎上增加運動控制，解決機器人運動軌跡決策問題。主要代表是谷歌的 RT-H 模型，學習語言和運動， 并使用視覺上下文，通過利用語言-視覺-動作結合的多任務數據集學 習更強大和靈活的動作策略。

四、多模態大模型

實現對物理世界環 境的全面感知，是未來的主要研究方向。主要代表是麻省理工、IBM 等共同研究的 MultiPLY 模型，將視覺、觸覺、語音等 3D 環境的各類 特征作為輸入，以形成場景外觀的初步印象，并通過多視圖關聯將印 象中的輸出融合到 3D，最終得到以對象為中心的場景特征。

此外，類腦智能和腦機接口等創新技術也為人形機器人“大腦”的 解決方案帶來無限可能。類腦智能是人工智能技術的進一步延伸，是 通過對人腦生物結構和思維方式進行直接模擬，使智能體能夠像人腦 一樣精確高效處理多場景下的復雜任務，是未來有望代替大模型的新 技術路線。腦機接口是在人腦與外部設備間建立連接通路的技術，實 現人腦與外界設備的信息交換。未來有望基于腦機接口實現“大腦”的 “人+機”混合智能。