2023年9月，習(xí)近平總書記首次提出“新質(zhì)生產(chǎn)力”，為新時(shí)代科技創(chuàng)新和高質(zhì)量發(fā)展提供了根本遵循和科學(xué)指引。同年12月，中央經(jīng)濟(jì)工作會(huì)議明確提出，“要以科技創(chuàng)新推動(dòng)產(chǎn)業(yè)創(chuàng)新，特別是以顛覆性技術(shù)和前沿技術(shù)催生新產(chǎn)業(yè)、新模式、新動(dòng)能，發(fā)展新質(zhì)生產(chǎn)力”。新質(zhì)生產(chǎn)力就是代表新技術(shù)、創(chuàng)造新價(jià)值、適應(yīng)新產(chǎn)業(yè)、重塑新動(dòng)能的新型生產(chǎn)力，人工智能恰恰是新質(zhì)生產(chǎn)力的重要組成部分?，F(xiàn)在，大模型正在驅(qū)動(dòng)新一輪科技革命和產(chǎn)業(yè)變革，中國科技企業(yè)亟須“All in AI”（全方位人工智能），創(chuàng)新發(fā)展大模型技術(shù)，保證大模型安全向善可信可控，為現(xiàn)代化產(chǎn)業(yè)體系建設(shè)注入新動(dòng)能。

大模型未來發(fā)展的“一個(gè)趨勢(shì)”

大模型的發(fā)展要順勢(shì)而為，在人人都能使用大模型的情況下，垂直化是大模型發(fā)展的一個(gè)重要趨勢(shì)。具體可以概括為六個(gè)方面的垂直化：一是行業(yè)深度化，在通用大模型的基礎(chǔ)之上做行業(yè)數(shù)據(jù)的訓(xùn)練；二是企業(yè)個(gè)性化，做大模型要跟某個(gè)企業(yè)的內(nèi)部知識(shí)緊密融合；三是能力專業(yè)化，一個(gè)模型解決一個(gè)專業(yè)領(lǐng)域的問題；四是規(guī)模小型化，企業(yè)專有模型用百億模型即可，訓(xùn)練、調(diào)試、部署的成本都會(huì)大幅降低；五是部署分布化，將來大模型既可部署在云上，也可部署在終端；六是所有權(quán)私有化，企業(yè)大模型的所有權(quán)和控制權(quán)完全由企業(yè)所有。

也就是說，大模型要想真正賦能千行百業(yè)，就要找準(zhǔn)剛需和痛點(diǎn)，重點(diǎn)發(fā)展專業(yè)化、垂直化、小型化、低成本的行業(yè)大模型和企業(yè)大模型，實(shí)現(xiàn)大模型的深度垂直定制。具體來說，就是以基礎(chǔ)大模型為底座，面向企業(yè)具體業(yè)務(wù)場景需求，通過數(shù)據(jù)篩選、模型訓(xùn)練、精調(diào)、掛接內(nèi)部系統(tǒng)和API（應(yīng)用程序編程接口）、交付，最終形成一個(gè)或多個(gè)融合企業(yè)內(nèi)部數(shù)據(jù)和知識(shí)、連接企業(yè)內(nèi)部系統(tǒng)、滿足企業(yè)特定業(yè)務(wù)需求的專有模型。

大模型安全風(fēng)險(xiǎn)的“三個(gè)問題”

安全與發(fā)展是一體之兩翼、驅(qū)動(dòng)之雙輪。作為新型數(shù)字化技術(shù)，大模型是一把“雙刃劍”，在帶來生產(chǎn)力提升、掀起新工業(yè)革命的同時(shí)，也帶來前所未有的安全新挑戰(zhàn)和新課題。大模型的安全風(fēng)險(xiǎn)可以簡單劃分為技術(shù)安全、內(nèi)容安全、人類安全三個(gè)問題。

一是技術(shù)安全問題。它主要是以大模型技術(shù)自身引發(fā)的安全問題為主，如網(wǎng)絡(luò)安全、數(shù)據(jù)安全、生成內(nèi)容安全。網(wǎng)絡(luò)安全主要指“漏洞”問題，數(shù)字化時(shí)代的典型特征之一便是“一切皆可編程”，由此帶來的后果則是“漏洞無處不在”，沒有攻不破的網(wǎng)絡(luò)，人工智能算法、模型、框架等都存在漏洞。另一個(gè)突出問題是大模型的算法安全，如特有的提示注入攻擊，就是通過設(shè)計(jì)問題，繞開大模型的安全規(guī)則限制。此外，大模型還存在“幻覺”和知識(shí)模糊的問題，經(jīng)常會(huì)“一本正經(jīng)的胡說八道”，并由此衍生出生成內(nèi)容安全問題。這類“幻覺”問題一旦在企業(yè)級(jí)場景中出現(xiàn)則更為致命，因?yàn)榇竽Ｐ烷_的“藥方”、寫的法律文書完全無法讓人相信。

二是內(nèi)容安全問題。目前，對(duì)大模型的控制、濫用、誤用和惡意應(yīng)用日益迫近并已開始帶來惡劣影響。近年來，隨著AIGC（生成式人工智能）技術(shù)的成熟，我們可以明顯感知到，人工智能換臉、人工智能換聲等新型網(wǎng)絡(luò)詐騙手段逐漸肆虐，逼真程度讓人防不勝防。此外，大模型大幅降低了網(wǎng)絡(luò)攻擊的門檻，編寫惡意代碼、釣魚郵件、勒索軟件等不再是少數(shù)黑客的專利。最近，有外國網(wǎng)民發(fā)現(xiàn)，不論告訴ChatGPT怎樣一組打亂順序、不符合語法的單詞，它都可以通過這些提示詞，快速生成勒索軟件、鍵盤記錄器等惡意軟件，這是因?yàn)槿祟惖拇竽X可以理解不符合語法的句子，人工智能同樣也可以。這些指令可以完美地繞過傳統(tǒng)的安全過濾器。

三是人類安全問題。這類問題主要是大模型的可控性。隨著“AI Agent”（人工智能體）等模式的成熟，大模型不僅能思考，還能通過調(diào)用企業(yè)內(nèi)部的API、函數(shù)，使其長出“手和腳”，發(fā)展成操作能力。當(dāng)大模型的參數(shù)足夠多，就像人類大腦中的一千萬億個(gè)神經(jīng)元被一百萬億個(gè)神經(jīng)網(wǎng)絡(luò)連接，最終出現(xiàn)了智慧涌現(xiàn)一樣。如果將來某一天大模型誕生了自主意識(shí)，很可能給人類生存安全帶來不可估量的風(fēng)險(xiǎn)。

目前，擔(dān)心人類安全挑戰(zhàn)可能為時(shí)尚早，但是對(duì)技術(shù)、內(nèi)容的安全挑戰(zhàn)必須加以重視。安全和數(shù)據(jù)隱私保護(hù)是當(dāng)前人工智能發(fā)展迫切需要解決的問題。

保障大模型安全的“四個(gè)原則”

當(dāng)前，人工智能安全已成為全球性的重大前沿問題，經(jīng)過大量的實(shí)踐和研究，360提出了大模型的安全四原則，即安全、向善、可信、可控。這四個(gè)原則既是構(gòu)建原生安全大模型的宗旨，也是360自研大模型遵循的基本原則。

安全原則，核心是解決漏洞問題。一個(gè)典型人工智能系統(tǒng)由大量軟件組成，是一個(gè)復(fù)雜的生態(tài)鏈。以大模型系統(tǒng)為例，在構(gòu)建和部署的過程中，除了本身的代碼外，經(jīng)常會(huì)涉及代理框架、向量數(shù)據(jù)庫，以及基礎(chǔ)的機(jī)器學(xué)習(xí)框架、訓(xùn)練管理平臺(tái)、優(yōu)化加速框架等。一旦某個(gè)環(huán)節(jié)存在漏洞，就會(huì)直接影響人工智能應(yīng)用和服務(wù)的安全。因此，保證大模型系統(tǒng)安全，降低網(wǎng)絡(luò)攻擊、數(shù)據(jù)泄露、個(gè)人隱私泄露風(fēng)險(xiǎn)，提升安全應(yīng)對(duì)能力至關(guān)重要。360一直關(guān)注人工智能安全研究，涉及整個(gè)軟件生態(tài)鏈的安全，包括安全大腦框架，解決網(wǎng)絡(luò)攻擊、數(shù)據(jù)竊取、數(shù)據(jù)泄露等問題，并曾在多個(gè)大模型應(yīng)用服務(wù)、代理框架、向量數(shù)據(jù)庫等發(fā)現(xiàn)漏洞，涉及Web類、邏輯類、內(nèi)存類多種漏洞類型。

向善原則，就是要保證大模型不作惡。提升大模型應(yīng)對(duì)提示注入攻擊能力，保證生成內(nèi)容符合社會(huì)道德倫理和法律要求，避免大模型被用于生成違規(guī)內(nèi)容、偽造圖片、偽造視頻、惡意代碼、釣魚郵件等，主要是保證大模型的輸出符合內(nèi)容安全標(biāo)準(zhǔn)。解決方案可以采用“小模型監(jiān)控大模型”，由風(fēng)控引擎“把關(guān)”用戶端的輸入和模型端的輸出，將所有內(nèi)容安全風(fēng)險(xiǎn)數(shù)據(jù)一網(wǎng)打盡。一方面，堅(jiān)持能力向善，在輸入控制上，要保證大模型使用合法數(shù)據(jù)進(jìn)行訓(xùn)練，攔截各類提示注入攻擊，防范網(wǎng)絡(luò)層面和內(nèi)容層面的有害輸入，防止安全過濾機(jī)制被輕易地繞過；另一方面，堅(jiān)持內(nèi)容向善，在輸出控制方面，對(duì)內(nèi)容進(jìn)行合法合規(guī)檢測和過濾，確保內(nèi)容健康向善。

可信原則，針對(duì)的是大模型的“幻覺”問題。如何解決大模型“幻覺”問題，目前，業(yè)界在這方面還沒有取得實(shí)質(zhì)性的技術(shù)突破。一個(gè)過渡性解決方案是：通過搜索增強(qiáng)和知識(shí)增強(qiáng)兩種方式，對(duì)大模型輸出的內(nèi)容進(jìn)行校正。搜索引擎在“事實(shí)保障”方面的準(zhǔn)確性優(yōu)勢(shì)能為大模型“糾偏”；企業(yè)內(nèi)部的知識(shí)系統(tǒng)、知識(shí)圖譜等相對(duì)成熟的知識(shí)架構(gòu)可被用來對(duì)大模型進(jìn)行知識(shí)增強(qiáng)，以彌補(bǔ)大模型在預(yù)訓(xùn)練階段的知識(shí)不足以及知識(shí)模糊，大幅降低大模型產(chǎn)生“幻覺”的概率。

可控原則，就是要把大模型“關(guān)在籠子里”。由于大模型不是萬能的，暫時(shí)還無法替代現(xiàn)有系統(tǒng)，所以，在策略上要堅(jiān)持“副駕駛”模式，確保“人在回路”，大模型調(diào)用外部資源的規(guī)則由人制定，重要決策由人做出，并對(duì)大模型的行為做全過程監(jiān)控審計(jì)，對(duì)Agent框架設(shè)置安全約束。例如，不能讓大模型接管郵件系統(tǒng)、自動(dòng)收發(fā)郵件。同時(shí)，還要讓大模型與現(xiàn)有的系統(tǒng)和業(yè)務(wù)場景保持適當(dāng)?shù)母綦x，不能直接把核心的API交給大模型，而是待時(shí)機(jī)成熟之后，才可讓大模型與內(nèi)部系統(tǒng)對(duì)接，發(fā)展Agent模式，打造企業(yè)內(nèi)部的智能中樞，自動(dòng)執(zhí)行完成復(fù)雜的指令，但必須要在安全上加以限制。簡而言之，一方面，把人的能力賦予大模型，讓大模型變得更強(qiáng)大，高效學(xué)習(xí)人類的工作流程和技巧；另一方面，要對(duì)大模型進(jìn)行必要約束，規(guī)定大模型可以做什么、不可以做什么，并且對(duì)全過程進(jìn)行管理，實(shí)現(xiàn)大模型的真正安全可控。

循道而行，方能致遠(yuǎn)。360將繼續(xù)致力于大模型安全研究，以數(shù)字安全和人工智能大模型為雙主線業(yè)務(wù)，為大模型產(chǎn)業(yè)的平穩(wěn)健康發(fā)展貢獻(xiàn)力量，為現(xiàn)代化產(chǎn)業(yè)體系建設(shè)打造新質(zhì)生產(chǎn)力工具。