“紫東.太初”2.0發布:探索通用人工智能的又一跨越

  近期，在人工智能框架生態峰會2023上，中國科學院自動化研究所所長徐波正式發布了“紫東.太初”全模態大模型，實時展示了大模型在音樂理解與生成、三維場景導航、信號理解、多模態對話等多項強大功能。


  據了解，“紫東.太初”全模態大模型是在千億參數多模態大模型“紫東.太初”1.0基礎上升級打造的2.0版本。其在語音、圖像和文本三模態的基礎上，加入了視頻、信號、3D點云等模態數據，突破了認知增強的多模態關聯等關鍵技術，具備全模態理解能力、生成能力和關聯能力。

  從多模態走向全模態 認知能力是關鍵

  2019年開始，中科院自動化所在語音、文本、圖像等單模態大模型研究和應用基礎上，瞄準多模態大模型領域開始聯合攻關。2021年正式發布了千億參數多模態大模型“紫東.太初”1.0，助推人工智能從“一專一能”邁向“多專多能”。

  徐波表示，人類的學習跟交互都是利用多模態進行的，要實現更高水平的智能，必須具備多模態能力。因此，“紫東.太初”大模型一開始就是沿著多模態的技術路線在進行。

  “‘紫東.太初’1.0大模型不斷加強應用的過程中，我們發現了很多新的需求。比如從工業智能角度來看，有很多像溫度、濕度、壓力、液位測量等參數需要處理。從醫療場景看，有很多體檢結構數據還有異構醫療影像數據等。通過分析這些結構化和非結構化的數據，我們認識到，只有對這些數據從簡單的采集、統計、分析上升到對這些數據的認知，才能真正把我們帶向智能化社會，也才能在更寬、更高的維度上認知世界、改變世界。”徐波提到。

  因此，抓住“認知能力”這個牛鼻子，“紫東.太初”2.0全模態大模型實現了全方位升級。從技術架構上實現了結構化和非結構化數據的全模態開放式接入，突破了多模態分組認知編解碼技術、認知增強多模態關聯技術等，多模態認知能力大幅提高。

  整合多方資源 探索通用人工智能產業化路徑

  會上，徐波展示了“紫東.太初”全模態認知大模型透過《月光曲》暢談貝多芬的故事，以及在三維場景里實現精準定位，通過圖像與聲音的結合完成場景分析。

  相較“紫東.太初”1.0大模型，2.0著力提升了決策與判斷能力，實現了從感知、認知到決策的跨越。這意味著在實際應用場景中，它將能夠為行業創造更大價值。

  提及“紫東.太初”全模態大模型當前在行業中的應用，他提到，在神經外科手術導航、法律咨詢、醫療多模態鑒別診斷、交通違規圖像研讀等領域已開啟了一系列引領性、示范性應用。

  特別是在醫療場景中，“紫東.太初”大模型部署于神經外科機器人MicroNeuro，可實現在醫療手術中實時融合視覺、觸覺等多模態信息，協助醫生對手術場景進行實時推理判斷。此外，通過與北京協和醫院合作，利用“紫東.太初”較強的邏輯推理能力，正在嘗試解決人類罕見病診療這個挑戰性醫學領域。

  值得一提的是，“紫東.太初”大模型以中科院自動化所自研算法為核心，以昇騰AI硬件及昇思MindSporeAI框架為基礎，由武漢人工智能計算中心提供算力支持。

  徐波表示：“我們在大模型的技術研究基礎上進行開放服務平臺開發，希望整合產學研資源打造多模態人工智能行業應用，探索通用人工智能產業化的路徑。”

  下一步，中科院自動化所以“紫東.太初”全模態大模型為基礎，將持續探索與類腦智能、博弈智能等技術路徑的相互融合，最終實現可自主進化的通用人工智能，并將探索在更多領域發揮賦能價值，為促進我國數字經濟快速發展貢獻力量。