真正的類人智能要考慮來自各種信號和感覺器官的信息。智能系統應該是綜合的，引入來自所有可用模式的信號。在許多實際的數據體系中，我們可以利用視覺（V）、語言（L）和語音/音頻（S）模態的數據。目前，研究者們在建立理解單模態、雙模太的模型方面取得了巨大的進展，然而將這些工作推廣到能夠同時解譯視覺、語言、語音的三模態系統上仍然是一項艱巨的任務。 三模態訓練需要大量的三模態數據（例如，帶文字描述的視頻），而此類數據的規模往往比可用的單模態或雙模態數據小好幾個數量級。例如，目前最大的帶標注的視頻數據集由 1.8 億段視頻組成，而最大的圖像描述數據集則包含高達 9 億個圖文對。

為了解決該問題，本文提出了兩種解決方案。首先，除了三模態視頻，我們還利用了大規模的雙模態數據，例如：帶有文本描述的圖像（V+L）、帶有轉寫文本的語音（S+L）和視頻描述（V+S）。這極大地擴展了模型輸入數據的規模和多樣性，同時涵蓋了全部三種目標模式。其次，我們提出了一種融合架構，可以采用研究社區提出的最先進的單模態編碼器的上下文輸出，而非從頭開始構建一個獨立的模型。

本文提出了「i-Code」,其中 i 代表集成多模態學習。我們開發了一個有效的融合模塊，該模塊集成了單模態編碼器的輸出，進行跨模態理解，從而獲得最終的預測結果。為了設計最佳的融合架構，我們試驗了多種 Transformer 架構內的自注意機制的變體，包括交叉和合并不同模態的注意力得分的機制。

接著，我們使用各種自監督目標利用雙模態和三模態數據對 i-Code 進行預訓練。這些目標包括：（1）掩碼單元建模。其中所有輸入信號都被轉換為離散的詞例（Token），旨在預測各模態下的被遮蔽的單元的正確詞例。（2）對比學習。給定兩種輸入模態，模型預測給定的信號是否來自訓練數據中的同一個三元組（或數據對）。

我們在多個多模態對比基準上徹底評估了 i-Code。實驗結果證明了所提出的多模態預訓練框架的有效性。對 i-Code 進行微調，相較目前最先進，我們可以在 6 個多模態數據集和 GLUE NLP 基準測試中的算法獲得 11% 的性能提升。