摘 要:人工智能正改變著人類的生產(chǎn)生活方式，在賦能經(jīng)濟社會發(fā)展的同時也引發(fā)了多方面的風險，包括人工智能引發(fā)的國家競爭力風險、技術(shù)安全風險、網(wǎng)絡(luò)安全風險、經(jīng)濟社會風險和意識形態(tài)風險等。我國應堅持包容審慎的監(jiān)管方式，強化國家安全意識，在加強頂層設(shè)計、大力推進人工智能發(fā)展的同時，建立并逐步完善人工智能風險國家治理體系，促進我國人工智能健康有序安全發(fā)展，提高我國在人工智能領(lǐng)域的國際競爭力。

關(guān)鍵詞:人工智能 國家安全 網(wǎng)絡(luò)安全 意識形態(tài)風險

【中圖分類號】TP-9 【文獻標識碼】A

人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。加快發(fā)展人工智能是我們贏得全球科技競爭主動權(quán)的重要戰(zhàn)略抓手，是推動我國科技跨越發(fā)展、產(chǎn)業(yè)優(yōu)化升級、生產(chǎn)力整體躍升的重要戰(zhàn)略資源。人工智能依靠其通用性、多模態(tài)和智能涌現(xiàn)能力，與千行百業(yè)深度融合，在引發(fā)生產(chǎn)方式、技術(shù)創(chuàng)新范式、內(nèi)容生成方式和人機關(guān)系等多領(lǐng)域深刻變革的同時，也帶來諸多風險。

黨的十八大以來，以習近平同志為核心的黨中央把發(fā)展人工智能提升到戰(zhàn)略高度。習近平總書記指出：“我們要深入把握新一代人工智能發(fā)展的特點，加強人工智能和產(chǎn)業(yè)發(fā)展融合，為高質(zhì)量發(fā)展提供新動能。”同時強調(diào)：“要加強人工智能發(fā)展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。”[1]為確保人工智能安全、可靠、可控，我國逐步加強對人工智能發(fā)展的規(guī)范和治理。例如，2019年6月，國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》；2023年10月，中央網(wǎng)信辦發(fā)布《全球人工智能治理倡議》。在大力發(fā)展人工智能、提升我國在人工智能領(lǐng)域國際競爭力的同時，也要對人工智能帶來的技術(shù)安全風險、網(wǎng)絡(luò)安全風險、經(jīng)濟社會風險、意識形態(tài)風險，以及伴隨的倫理、法律和安全問題進行約束和監(jiān)管，建立并逐步完善人工智能風險治理體系，推動人工智能安全、健康、有序發(fā)展。

國家安全視角下的人工智能風險

人工智能技術(shù)逐步進入實用階段，賦能千行百業(yè)，創(chuàng)造出新的產(chǎn)品、服務(wù)和商業(yè)模式，為人類社會發(fā)展帶來重大改變。作為一種追趕人類智能的特殊技術(shù)，人工智能對社會發(fā)展的推動力、對社會倫理與秩序的沖擊力，以及其些作用背后的復雜性，都是人類既往的技術(shù)發(fā)明所不具備的。這其中蘊含著許多前所未有的、不容小覷的風險。

國家競爭力風險。人工智能是發(fā)展新質(zhì)生產(chǎn)力的重要引擎，不僅是經(jīng)濟的推動力，而且在科技創(chuàng)新、國防建設(shè)中都發(fā)揮著重要作用。當前，我國人工智能技術(shù)發(fā)展迅速，人工智能領(lǐng)域的學術(shù)論文和發(fā)明專利都居國際前列，但在人工智能原創(chuàng)性技術(shù)領(lǐng)域與美國還有一定的差距，諸如ChatGPT、Sora等里程碑式技術(shù)創(chuàng)新均最早出現(xiàn)于美國，我國尚處于“跟跑”階段。近年來，以美國為首的西方國家實施“小院高墻”政策，意圖對我國人工智能的發(fā)展進行系統(tǒng)性打壓，對我國造成不利影響。目前，我國的人工智能發(fā)展在人才、數(shù)據(jù)、算力等方面尚難打破西方霸權(quán)的壟斷。例如在人才方面，2019年全球頂尖人工智能研究人員中中國研究人員占10%，2022年這一比例增加到26%，美國仍然吸引最多的人工智能人才[2]。在數(shù)據(jù)方面，截至2024年，美國Common Crawl開源數(shù)據(jù)集每月對全網(wǎng)爬取會增加大約386TB的數(shù)據(jù)[3]，其每月增量比我國多數(shù)開源數(shù)據(jù)集的總量還大。在算力方面，國產(chǎn)芯片的計算速度與世界頂尖水平相比還有不小差距；與圖形處理器（GPU）配套的國產(chǎn)編程環(huán)境及軟硬件生態(tài)尚未成熟，制約了算力效率。整體而言，我國人工智能產(chǎn)業(yè)創(chuàng)新生態(tài)與國際人工智能產(chǎn)業(yè)創(chuàng)新生態(tài)相比尚有很大提升空間。

技術(shù)安全風險。一是人工智能“黑箱效應”可能生成偏誤信息，從而誤導使用者。人工智能模型存在非透明性的算法“黑箱”局限，使用者難以觀察模型從輸入到輸出的過程。當數(shù)據(jù)來源良莠不齊時，特別是有人使用特殊設(shè)計的輸入數(shù)據(jù)對訓練模型進行對抗性攻擊時，人工智能模型生成內(nèi)容的事實解釋性以及可理解性缺失，不僅使得輸出信息秩序紊亂、傳遞內(nèi)容扭曲失真，也使得審查和糾正偏見、錯誤或不當行為變得困難。再者，由于植根于人類社會根深蒂固的偏見以及因話語權(quán)不同導致的數(shù)據(jù)資料分布不均衡，人工智能模型訓練的數(shù)據(jù)是有偏的，導致人工智能模型對某些人群或事物作出不公正或不均衡推斷。二是人工智能模型訓練需要運用大量個人、企業(yè)和組織的數(shù)據(jù)，存在隱私和國家機密泄露風險。人工智能生成文本、圖像和視頻所需的大量數(shù)據(jù)可能涉及敏感的國家信息、商業(yè)信息和個人信息，在大范圍應用時經(jīng)常面臨數(shù)據(jù)過度采集、竊取、泄露和濫用風險[4]。三是人工智能技術(shù)研發(fā)與應用過程中存在知識產(chǎn)權(quán)侵犯和知識生產(chǎn)生態(tài)破壞等風險。隨著人工智能技術(shù)的快速發(fā)展，人工智能在藝術(shù)作品、科學研究、發(fā)明創(chuàng)新等領(lǐng)域的應用愈發(fā)深入，這些活動涉及到版權(quán)、專利權(quán)、商標權(quán)等多個方面知識產(chǎn)權(quán)。如何在知識產(chǎn)權(quán)、原創(chuàng)性等方面平衡技術(shù)使用和創(chuàng)作者權(quán)益目前仍存在爭議，包括但不限于人工智能生成作品的版權(quán)歸屬和保護范圍、人工智能作為發(fā)明者的專利申請資格等問題。

網(wǎng)絡(luò)安全風險。一是人工智能技術(shù)可能引發(fā)新型、難以管控的網(wǎng)絡(luò)犯罪。人工智能技術(shù)能夠提高網(wǎng)絡(luò)攻擊的隱秘性，降低高級網(wǎng)絡(luò)攻擊的技術(shù)門檻[5]，拓寬網(wǎng)絡(luò)犯罪的時空范圍，使犯罪從傳統(tǒng)的個體或小團伙作案變?yōu)槠占奥矢咔业统杀镜幕顒?，同時也使得國際網(wǎng)絡(luò)攻擊、滲透更加易發(fā)多發(fā)，加大了我國對網(wǎng)絡(luò)攻擊預防和溯源的難度。二是深度偽造等技術(shù)誘發(fā)傳統(tǒng)犯罪模式升級。人工智能的深度應用涉及經(jīng)濟利益、保密利益、使用性能等多重維度，當技術(shù)被惡意利用、大規(guī)模生成誤導性信息，將帶來智能詐騙風險。這種手段比傳統(tǒng)的網(wǎng)絡(luò)釣魚和電話詐騙更具欺騙性和破壞力。還有惡意用戶通過公開或非法手段收集資料，利用深度偽造技術(shù)制作虛假甚至淫穢圖片或者視頻傳播，侮辱霸凌他人。三是人工智能技術(shù)風險可能引發(fā)網(wǎng)絡(luò)空間衍生災變。隨著人工智能技術(shù)與網(wǎng)絡(luò)空間的深度融合，人工智能的本體風險有可能隨著網(wǎng)絡(luò)空間特別是物聯(lián)網(wǎng)的泛在互聯(lián)而加以放大，衍生演化出網(wǎng)絡(luò)空間的重大災變[6]，給物理世界帶來巨大風險。無人機、無人駕駛汽車、醫(yī)療機器人等無人化智能系統(tǒng)設(shè)計缺陷可能直接威脅公民生命權(quán)和健康權(quán)[7]。例如，2018年Uber自動駕駛汽車凌晨撞死行人事故即起因于Uber系統(tǒng)將行人判定為塑料袋等漂浮物，導致未能及時剎車。

經(jīng)濟社會風險。一是人工智能對簡單重復性勞動所產(chǎn)生的替代作用或?qū)⒁l(fā)技術(shù)性失業(yè)。人工智能使得部分勞動密集型制造業(yè)實現(xiàn)了自動化生產(chǎn)，從而替代這部分行業(yè)中的勞動力[8]。當人工智能適用于工業(yè)設(shè)計、藥物研發(fā)、材料科學、信息服務(wù)等領(lǐng)域，其發(fā)展伴隨的大規(guī)模技術(shù)性失業(yè)或?qū)⒁l(fā)全球結(jié)構(gòu)性失業(yè)，成為經(jīng)濟社會的不穩(wěn)定因素。二是人工智能的技術(shù)依賴加深致使認知淺層化風險加劇。人工智能的深度應用將減少人類主動思考的機會，并限制了其視野和思維深度，或?qū)⒃斐烧J知能力缺陷。例如，Sora等生成式人工智能的應用將會抑制學生抽象邏輯和批判性思維的發(fā)展，給科學和教育事業(yè)帶來巨大挑戰(zhàn)[9]。三是技術(shù)復雜性帶來的數(shù)字鴻溝和信息繭房加劇社會階層分化。不同社會群體在理解和使用人工智能技術(shù)方面存在顯著差距的問題普遍存在。技術(shù)采納者在通過人工智能技術(shù)不斷優(yōu)化效率、積累資源和權(quán)力的同時，致使技術(shù)知識或信息匱乏者被不斷邊緣化，從而引發(fā)社會不公平現(xiàn)象。此外，憑借人工智能算法繪制“數(shù)字臉譜”以精準迎合個體視覺偏好與信息需求的行為，加強了“信息繭房”的回音壁效應。用戶長時間處于同質(zhì)化信息空間，容易對固有觀念產(chǎn)生偏執(zhí)認同，滋生排他性傾向，進而誘發(fā)群體極化現(xiàn)象，導致經(jīng)濟社會不穩(wěn)定。

意識形態(tài)風險。一是人工智能語料差異內(nèi)嵌意識形態(tài)，具有價值取向不可控風險。大模型訓練語料庫中的意識形態(tài)差異很有可能被利用生成大量“可信”文本，以加深對客觀事實認知的分歧。2023年5月8日，布魯金斯學會評論文章《人工智能的政治：ChatGPT和政治偏見》指出ChatGPT存在政治偏見[10]。華盛頓大學、卡內(nèi)基梅隆大學和西安交通大學的一項研究發(fā)現(xiàn)，不同的人工智能模型具有不同的政治偏好，OpenAI的GPT-4是最左翼自由派，Meta的LLaMA是最右翼[11]。具有不同國家立場的人工智能產(chǎn)品在敏感事件或國際關(guān)系等問題上容易生成具有預設(shè)傾向的內(nèi)容，其傳播將潛移默化地影響年輕一代的價值觀，或?qū)槲鞣絿蚁蛭覈M行意識形態(tài)滲透及干涉提供便利，威脅社會意識形態(tài)安全。二是人工智能技術(shù)帶來的創(chuàng)作者責任缺失導致各種假信息泛濫，蠱惑社會人心。技術(shù)黑箱導致確定人工智能系統(tǒng)行為的道德法律歸屬變得復雜，由此帶來創(chuàng)作者責任缺失。隨著人工智能的發(fā)展和應用，虛假新聞制作和傳播的成本變得更低。借助人工智能文本、音頻、視頻大模型，惡意用戶制造大量真假難辨的假信息，篡改歷史，偽造事實，煽風點火帶節(jié)奏，為吸引眼球不擇手段。假信息泛濫可能導致人們對數(shù)字內(nèi)容的真實性產(chǎn)生普遍懷疑，影響社會信任與秩序。三是新型“數(shù)字殖民”引發(fā)意識形態(tài)偏移風險。在國家對于數(shù)據(jù)和算法依賴程度日益增強的情況下，領(lǐng)先掌握新一代人工智能技術(shù)的國家憑借技術(shù)優(yōu)勢占據(jù)規(guī)則和標準制定主導地位，這種技術(shù)霸權(quán)可能產(chǎn)生新的“數(shù)字殖民地”。

人工智能風險的治理策略

我國應堅持包容審慎的監(jiān)管方式，在大力發(fā)展人工智能的同時，加強對關(guān)鍵性風險的治理，統(tǒng)籌技術(shù)發(fā)展和規(guī)范引導，防范化解各種風險，構(gòu)建安全與發(fā)展兼容的人工智能治理生態(tài)。

加強頂層設(shè)計和系統(tǒng)性治理。一是堅持系統(tǒng)性謀劃和整體性推進，制定人工智能發(fā)展與治理規(guī)劃。對人工智能的發(fā)展趨勢和應用前景進行綜合研判和分析，以系統(tǒng)觀念協(xié)調(diào)好人工智能發(fā)展和安全。在發(fā)展方面，發(fā)揮新型舉國體制優(yōu)勢，建立人工智能產(chǎn)業(yè)良性發(fā)展生態(tài)，通過技術(shù)預見識別關(guān)鍵技術(shù)和市場需求，重點布局，推動人工智能安全有序發(fā)展。在安全方面，國家層面上成立專家委員會或咨詢委員會，遴選人工智能技術(shù)、倫理、法律、安全等領(lǐng)域的專家，并和社會公眾代表一起，對人工智能的風險治理提出前瞻性建議，提升全方位多維度綜合治理能力。二是構(gòu)建完備法律體系，推進制度建設(shè)。加快建立健全協(xié)調(diào)安全與發(fā)展、統(tǒng)籌效率和公平、平衡活力與秩序、兼顧技術(shù)和倫理的法律法規(guī)體系，推動人工智能監(jiān)管制度體系建設(shè)；依法出臺人工智能發(fā)展與治理的地方性法規(guī)和地方政府規(guī)章，引導創(chuàng)意者公平、安全、健康、有責任地將人工智能技術(shù)用于地方特色創(chuàng)新活動中，更有針對性地滿足地方需要。三是加快成立負責任人工智能技術(shù)的職能管理機構(gòu)，加強政策引導與監(jiān)管。建議成立專門的監(jiān)管機構(gòu)，通過制定有關(guān)人工智能技術(shù)開發(fā)和應用的政策，確保技術(shù)發(fā)展符合社會公共利益和道德標準；制定人工智能技術(shù)開發(fā)和應用的標準和規(guī)范，確保技術(shù)安全性、透明性和公平性；建立人工智能風險評估與預警機制，防止技術(shù)濫用和潛在危害。

降低數(shù)智社會轉(zhuǎn)型對民眾的沖擊。一是持續(xù)謹慎觀察人工智能帶來的“數(shù)字鴻溝”與失業(yè)風險，通過綜合性應對措施維護社會穩(wěn)定。加強人工智能教育與普及，緩解數(shù)字鴻溝，提高民眾對人工智能技術(shù)的認知與應用能力；密切關(guān)注人工智能技術(shù)發(fā)展可能帶來的結(jié)構(gòu)性失業(yè)、技術(shù)性失業(yè)與非對稱性失業(yè)等“創(chuàng)造性破壞”，建立失業(yè)預警制度，加大就業(yè)指導培訓，提供稅收優(yōu)惠，出臺兜底性失業(yè)保障政策。二是面向未來培養(yǎng)新型技術(shù)治理和社會治理協(xié)同的復合型人才。在高校設(shè)置跨學科課程，支持人工智能相關(guān)學科建設(shè)，大力培養(yǎng)人工智能技術(shù)人才和管理人才，獎勵優(yōu)秀人才和團隊，為人工智能技術(shù)發(fā)展與治理提供人才儲備；建立終身學習機制，提供系統(tǒng)化的人工智能技術(shù)職業(yè)培訓，鼓勵在職人員持續(xù)學習人工智能新技術(shù)以適應快速變化的技術(shù)環(huán)境。三是推動包容性技術(shù)發(fā)展的同時加強網(wǎng)絡(luò)安全保護。在人工智能技術(shù)研發(fā)和應用過程中充分考慮老年人、殘疾人等弱勢群體的特殊需求，設(shè)計和開發(fā)符合其使用習慣和能力的人工智能產(chǎn)品和服務(wù)，避免擴大“數(shù)字鴻溝”；建立健全數(shù)據(jù)保護法律法規(guī)，明確數(shù)據(jù)收集、存儲、處理和共享規(guī)范，提高數(shù)據(jù)全生命周期的安全性；加大對網(wǎng)絡(luò)犯罪的打擊力度，組建專業(yè)的網(wǎng)絡(luò)安全執(zhí)法隊伍，提升技術(shù)偵查能力，及時發(fā)現(xiàn)和遏制網(wǎng)絡(luò)犯罪活動；提升企業(yè)信息安全責任，推動企業(yè)采取有效措施防止數(shù)據(jù)泄露和濫用；通過多種渠道和形式，向公眾普及信息安全知識和防護技能，提高民眾的信息安全意識和防范能力。

構(gòu)建人工智能技術(shù)風險治理體系。一是夯實人工智能公共數(shù)字基礎(chǔ)設(shè)施一體化平臺建設(shè)，完善數(shù)據(jù)資源體系。加強對數(shù)據(jù)中心、超算中心、智能計算機中心等基礎(chǔ)設(shè)備建設(shè)，夯實數(shù)字基礎(chǔ)設(shè)施安全；加快推進數(shù)據(jù)共享平臺建設(shè)，制定統(tǒng)一的數(shù)據(jù)標準和規(guī)范，建立高質(zhì)量國家級數(shù)據(jù)資源庫，以解決人工智能大模型的數(shù)據(jù)質(zhì)量及算法偏見問題。二是前瞻布局人工智能大模型的風險防御技術(shù)體系，鞏固發(fā)展人工智能技術(shù)底層架構(gòu)以保障產(chǎn)業(yè)生態(tài)安全。針對人工智能全生命周期關(guān)鍵環(huán)節(jié)進行風險預判，打造動態(tài)升級、科學前瞻的防御技術(shù)體系，通過精準安全防范措施建立人工智能技術(shù)安全保障體系；在算法安全、數(shù)據(jù)安全、模型安全、系統(tǒng)安全、應用安全等方面加強前沿安全技術(shù)研發(fā)，并推動關(guān)鍵核心技術(shù)應用；加強對芯片、集成電路等基礎(chǔ)產(chǎn)業(yè)的保護力度，推動國家和企業(yè)重點開發(fā)自主可控的人工智能技術(shù)，夯實核心技術(shù)安全。

完善人工智能國家治理體系。一是技術(shù)與制度雙向賦能治理機制設(shè)計。面對飛速更迭的人工智能技術(shù)與復雜多樣的國家治理應用場景，需加強技術(shù)應用與制度創(chuàng)新的協(xié)同治理，依靠制度設(shè)計引導技術(shù)方向的同時，通過技術(shù)發(fā)展幫助完善制度設(shè)計從而提升治理能力。二是加強人工智能意識形態(tài)風險的治理，大力開展人工智能內(nèi)容識別民眾素質(zhì)教育，培養(yǎng)民眾對人工智能獲取的信息自覺進行多源驗證；開發(fā)人工智能生成式內(nèi)容溯源技術(shù)，高概率辨識可疑內(nèi)容的來源；建立生成式人工智能信息失真檢查和披露平臺，把正確信息及時公示于社會。三是積極推動人工智能治理國際平臺建設(shè)，參與國際規(guī)則制定。積極與國際社會合作，建立人工智能技術(shù)聯(lián)盟，防范算法世界政治霸權(quán)和數(shù)據(jù)跨境安全風險；建立廣泛、權(quán)威的國際對話機制，依托共建“一帶一路”倡議、金磚國家、上合組織、東盟等具有國際影響力的多邊機制，合理助力后發(fā)國家進步，促進人工智能全球治理成果的普惠共享；總結(jié)國內(nèi)人工智能治理經(jīng)驗并強化國際交流，在促進互信共識的過程中，推動多方、多邊主體間形成公開報告、同行評議等協(xié)同機制的標桿示范，切實推動人工智能治理原則落地[12]。

【本文作者為 楊曉光，中國科學院數(shù)學與系統(tǒng)科學研究院研究員； 陳凱華，中國科學院大學公共政策與管理學院特聘教授、國家前沿科技融合創(chuàng)新研究中心副主任。本文受國家自然科學基金重大項目（T2293771）及中國科學院重大咨詢項目（2022-ZW14-Z-027）的資助；中國科學院科技戰(zhàn)略咨詢研究院博士研究生薛澤華、助理研究員張超對本文亦有貢獻】

注釋略

責編：周素麗／美編：石 玉