大模型，作為人工智能領(lǐng)域的革新先鋒，正引領(lǐng)著一場深刻的技術(shù)變革，其影響力已超越技術(shù)范疇，預(yù)示著人工智能、科學(xué)探索乃至人類社會的全面重塑。在全球科技競賽中，大模型成為各國爭奪焦點，戰(zhàn)略地位堪比20世紀(jì)的太空競賽，開啟大國科技新角逐。因此，深入了解大模型的各個方面變得尤為重要。

大模型的誕生、發(fā)展與應(yīng)用

大模型，是一類基于深度學(xué)習(xí)架構(gòu)、在海量數(shù)據(jù)上訓(xùn)練、能夠處理多種任務(wù)的基礎(chǔ)模型。與傳統(tǒng)AI模型相比，其顯著特征在于參數(shù)量大、數(shù)據(jù)量大、計算量大，是多重技術(shù)交叉融合的產(chǎn)物。其前身是歷經(jīng)數(shù)十年研究的語言模型，廣泛應(yīng)用于機器翻譯、語音識別等領(lǐng)域。隨著神經(jīng)網(wǎng)絡(luò)的再次興起，2000年神經(jīng)語言模型誕生，隨后2017年神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer橫空出世，融合了神經(jīng)語言模型、機器翻譯、序列建模及分布式技術(shù)。這一系列創(chuàng)新及對AI通用和泛化能力的追求推動了GPT系列的快速發(fā)展，從2018年至2020年，GPT一至三代相繼問世。2022年，ChatGPT憑借其卓越性能，將大模型推向公眾視野，成為AI發(fā)展的新里程碑。

大模型作為新興而迅速發(fā)展的技術(shù)，已跨越至多模態(tài)領(lǐng)域，涵蓋語言、語音、視覺等，并細(xì)化為通用、行業(yè)及任務(wù)特定模型，其在信息交互上的創(chuàng)新尤為顯著，引入了長上下文窗口（大模型能夠編碼的最長序列）、檢索增強及智能體等機制，極大增強了信息處理能力。這一技術(shù)不僅豐富了數(shù)字世界的應(yīng)用場景，如聊天機器人、AIGC等，還延伸至無人駕駛、人形機器人等物理世界領(lǐng)域，展現(xiàn)出強大的賦能潛力。在科學(xué)研究中，大模型不僅輔助工程設(shè)計、技術(shù)創(chuàng)新等應(yīng)用科學(xué)，更推動基礎(chǔ)科學(xué)探索，加速了自動化、智能驅(qū)動的科學(xué)研究新范式的形成。可以說，大模型既支撐了高端科學(xué)研究，也助力了傳統(tǒng)產(chǎn)業(yè)的轉(zhuǎn)型升級與降本增效?！?023企業(yè)數(shù)字化年度指南》調(diào)研數(shù)據(jù)顯示，超過63%的企業(yè)視大模型與AIGC技術(shù)為戰(zhàn)略資源，首要目的在于降本增效，廣泛應(yīng)用于研發(fā)創(chuàng)新、辦公效率提升、客戶服務(wù)、市場營銷等多個領(lǐng)域。同時，大模型在工業(yè)設(shè)計、芯片設(shè)計、人形機器人等多個行業(yè)的應(yīng)用案例也充分證明了其廣闊的應(yīng)用前景與市場潛力，正逐步成為推動社會進步與產(chǎn)業(yè)升級的重要力量。

大模型背后的關(guān)鍵技術(shù)

是什么造就了大模型如此強大的能力？從大模型的發(fā)展實踐看，其背后有三項關(guān)鍵技術(shù)。

一是大模型底層的神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer。Transformer最初提出主要是為了解決序列建模中的循序計算問題，即只有前面的詞元（自然語言處理中的最小語義單位）計算后才能計算后面的詞元。循序計算極大束縛了模型的并行計算能力，使得語言模型、機器翻譯等序列模型難以大規(guī)模擴展。Transformer架構(gòu)巧妙地利用了自注意力機制，不僅大幅度提升了模型的并行計算能力，而且顯著提升了模型的長距離依存關(guān)系建模能力（語言模型的關(guān)鍵挑戰(zhàn)）。并行計算能力使Transformer可以在大規(guī)模數(shù)據(jù)上進行快速訓(xùn)練，而長距離依存建模能力極大強化了Transformer對語言等序列數(shù)據(jù)內(nèi)部復(fù)雜依存關(guān)系的學(xué)習(xí)和表征能力。兩項能力的疊加，使Transformer開啟了“后臨詞元預(yù)測”范式模擬人類智能的大門。

二是基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練技術(shù)及擴展法則。Transformer雖然具有強大的并行計算和表征能力，但要使其學(xué)習(xí)和模擬人類智能還需要解決兩個重要問題：如何將人類多樣化的智能統(tǒng)一表征，如何訓(xùn)練模型使其高效學(xué)習(xí)人類智能。針對第一個問題，GPT將各類任務(wù)統(tǒng)一表示為生成式問題，無論是寫作、翻譯、問答等典型生成式問題，還是推理、規(guī)劃、問題求解等非典型生成式任務(wù)，都?xì)w聚到生成式AI的統(tǒng)一框架中，在這個統(tǒng)一框架中，基于后臨詞元預(yù)測的語言模型成為天然的技術(shù)路線。統(tǒng)一表征不僅使AI不需要為不同任務(wù)設(shè)計不同的模型（傳統(tǒng)弱人工智能模式），而且還極大提升了AI模型在不同任務(wù)間的遷移能力、泛化能力。對于第二個問題，語言模型的后臨詞元預(yù)測模式使自監(jiān)督學(xué)習(xí)成為模型訓(xùn)練的首選，在可大規(guī)模獲取的人類語言數(shù)據(jù)上，后臨詞元本身就存在，因此模型可以充當(dāng)自己的“教師”，采用“教師強制”方式進行自監(jiān)督訓(xùn)練。區(qū)別于傳統(tǒng)人工智能有限的有監(jiān)督數(shù)據(jù)，自監(jiān)督數(shù)據(jù)規(guī)模龐大且易于獲取。這不僅使模型可以學(xué)習(xí)豐富的人類知識，同時也要求模型的容量（參數(shù)量）足夠大。在給定算力規(guī)模前提下，如何選擇模型的參數(shù)規(guī)模及訓(xùn)練數(shù)據(jù)規(guī)模，使模型能訓(xùn)練到最優(yōu)性能？業(yè)界經(jīng)過反復(fù)實踐，總結(jié)出了擴展法則，用以指導(dǎo)模型與數(shù)據(jù)規(guī)模的協(xié)同擴展。

三是后訓(xùn)練階段的精調(diào)和對齊技術(shù)。經(jīng)過預(yù)訓(xùn)練的大模型，如同學(xué)習(xí)了大量知識和百般武藝的“學(xué)生”，但不知該如何運用。為了解鎖預(yù)訓(xùn)練模型的知識和能力，通常需要進行后訓(xùn)練，即采用少量的有監(jiān)督數(shù)據(jù)對預(yù)訓(xùn)練模型進行精調(diào)，使其能夠理解人類的意圖，遵循人類的指令，對齊人類的價值觀。業(yè)內(nèi)目前廣泛采用的后訓(xùn)練，通常包括兩個主要部分：有監(jiān)督精調(diào)（模仿學(xué)習(xí)人類給出的示范樣例）及人類反饋強化學(xué)習(xí)（基于人類反饋的偏好數(shù)據(jù)進行強化學(xué)習(xí)）。后訓(xùn)練的成本通常遠(yuǎn)小于預(yù)訓(xùn)練成本，同時，后訓(xùn)練也是解鎖模型能力、保障模型智能向善的關(guān)鍵階段，因此，業(yè)界對后訓(xùn)練寄予厚望。

大模型的突破點與創(chuàng)新方向

模型架構(gòu)、預(yù)訓(xùn)練與后訓(xùn)練，既是大模型的關(guān)鍵所在，也是未來重點突破的方向。Transformer架構(gòu)雖潛力強大，但其是否為最優(yōu)的智能學(xué)習(xí)架構(gòu)尚待驗證，能否承載全部的智能學(xué)習(xí)任務(wù)亦存爭議。預(yù)訓(xùn)練領(lǐng)域，高昂成本促使我們尋求更高效的數(shù)據(jù)學(xué)習(xí)方法，同時，模型規(guī)模與性能間的最優(yōu)平衡，以及模型、數(shù)據(jù)與計算三者間的理論關(guān)系，亦需深入探索。后訓(xùn)練領(lǐng)域，是否存在新的方法，偏好數(shù)據(jù)是否真能代表人類意圖和價值傾向，預(yù)訓(xùn)練+后訓(xùn)練是訓(xùn)練現(xiàn)有架構(gòu)的最優(yōu)模式嗎？這些都是值得思考和亟待突破的地方。

除此之外，還有四個重要研究方向有待深入探索（與以上三個方向存在一定的交叉），其突破可能關(guān)系到大模型能否躍遷到人工智能的新階段。一是類人推理能力。大模型的推理能力有待進一步加強，復(fù)雜問題的類人推理能力是大模型現(xiàn)階段最期待的突破方向之一。二是AI合成數(shù)據(jù)能力與模型的自我迭代能力。隨著模型規(guī)模的不斷擴大，人類數(shù)據(jù)可能很快被大模型用盡，AI合成的數(shù)據(jù)，成本既低廉，又可源源不斷生成。但如何生成高質(zhì)量數(shù)據(jù)，使大模型能夠自我學(xué)習(xí)、自我迭代，甚至實現(xiàn)弱模型合成數(shù)據(jù)監(jiān)督（訓(xùn)練）強模型，將是大模型未來突破數(shù)據(jù)限制的重要方向。三是自我發(fā)現(xiàn)和創(chuàng)新能力。人類不僅能夠?qū)W習(xí)已有知識，也可以創(chuàng)造新的知識，未來要實現(xiàn)完全自動化科學(xué)研究，大模型需要具備創(chuàng)造新知識的能力。四是可擴展的監(jiān)督。在復(fù)雜任務(wù)上、人類難以提供監(jiān)督數(shù)據(jù)的任務(wù)上（如未解的科學(xué)難題），大模型仍需要與人類目標(biāo)和價值對齊，這就要求監(jiān)督是可擴展的。該能力是前沿人工智能實現(xiàn)智能向善、安全治理的關(guān)鍵技術(shù)。

我國大模型技術(shù)的進展情況與發(fā)展路徑

盡管我國在大模型技術(shù)方面初期存在一定滯后，但近一年來發(fā)展迅速，不僅在研究領(lǐng)域取得了顯著成果，還在產(chǎn)業(yè)應(yīng)用上展現(xiàn)出了強勁實力。國內(nèi)相繼開源了通義千問等大模型系列，這些成果在國際大模型開源領(lǐng)域中僅次于美國，形成了廣泛的影響力。在產(chǎn)業(yè)應(yīng)用層面，我國多個大模型的中文能力已經(jīng)超越GPT-3.5，它們在數(shù)字人、人形機器人等前沿領(lǐng)域，以及能源、交通、醫(yī)療、政務(wù)、農(nóng)業(yè)、金融等多個傳統(tǒng)及新興行業(yè)中，都實現(xiàn)了豐富的落地應(yīng)用，推動了各行各業(yè)的智能化發(fā)展。

為鞏固并提升我國在這一領(lǐng)域的國際競爭力，可以從以下布局和規(guī)劃著手。第一，進一步提升以大模型為代表的前沿人工智能在國家科技和產(chǎn)業(yè)發(fā)展中的戰(zhàn)略地位，成立人工智能工作小組，領(lǐng)導(dǎo)AI產(chǎn)研咨詢委員會，統(tǒng)籌資源，制定AI政策和計劃，推進人工智能技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。第二，重點規(guī)劃和建設(shè)前沿人工智能相關(guān)的國家基礎(chǔ)設(shè)施，包括超級智算網(wǎng)絡(luò)、通用及行業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施、大規(guī)模人工智能軟件基礎(chǔ)平臺、人工智能安全與測評基礎(chǔ)設(shè)施、大模型開源平臺等。第三，開展大模型關(guān)鍵理論和技術(shù)攻關(guān)，啃硬骨頭，探新疆域，研發(fā)經(jīng)得起實踐考驗的硬核技術(shù)。第四，培育和建立大模型創(chuàng)新發(fā)展生態(tài)，形成大模型技術(shù)創(chuàng)新氛圍，鼓勵耐心資本敢投廣投大模型硬核技術(shù)創(chuàng)業(yè)企業(yè)。第五，重視人工智能人才培養(yǎng)和成長，培養(yǎng)一批具有長遠(yuǎn)眼光和實戰(zhàn)經(jīng)驗的AI戰(zhàn)略型人才、技術(shù)型人才、交叉復(fù)合型人才等。第六，重視人工智能安全治理，既要設(shè)計頂層治理策略，更要推動底層安全技術(shù)的創(chuàng)新突破。第七，積極開展國際合作，建立新型人工智能國際組織和機構(gòu)，吸收新理念，合研新技術(shù)，與發(fā)展中國家共享AI紅利。第八，推動前沿人工智能行業(yè)、國家、國際標(biāo)準(zhǔn)建設(shè)，形成標(biāo)準(zhǔn)體系，以標(biāo)準(zhǔn)建設(shè)護航人工智能產(chǎn)業(yè)發(fā)展。