【摘要】當前，生命科技和人工智能等前沿科技的倫理風險日益引起國際社會的高度關切，我國的科技倫理治理正在走上制度化發(fā)展之路。為了更好地推進我國科技倫理治理工作，我們必須切實把握作為科技倫理治理重點的前沿科技的特征，揭示其所呈現(xiàn)出的一系列深層次倫理風險，從而進一步加強對科技社會系統(tǒng)的結構性特征的理解，探索和重構風險認知的底層邏輯。其一，充分認識新興科技驅動的科技社會系統(tǒng)的革命性變化，以此理解前沿科技深層次倫理風險的結構性實質。其二，立足前沿科技倫理治理的開放性實踐，將科技倫理的風險認知和規(guī)范視為相關群體不斷更新的集體認知和工作假設。其三，強調前沿科技風險認知的系統(tǒng)性與可塑性，賦予科技和創(chuàng)新更大的可能性空間。由此，我們可以得出樹立科學認知的倫理邊界、設置合理的倫理法律門檻、形成具有開放性和整體性的治理機制、增進公眾科技倫理素養(yǎng)以及遵循相稱性原則等面向深層次科技倫理風險的預控和應對之道?！娟P鍵詞】科技倫理 科技倫理治理 深度科技化 深層次倫理風險 系統(tǒng)思維
【中圖分類號】B82-057/TP18 【文獻標識碼】A
【DOI】10.16619/j.cnki.rmltxsqy.2024.01.009
段偉文，中國社會科學院哲學所科技哲學研究室主任、研究員，科學技術和社會研究中心主任，中國社會科學院大學哲學院教授、博導，上海人工智能實驗室顧問。研究方向為科學哲學、技術哲學、信息哲學、科技倫理、科學技術與社會。主要著作有《信息文明的倫理基礎》《可接受的科學：當代科學基礎的反思》《網(wǎng)絡空間的倫理反思》等。
問題的提出
2023年11月初，首屆全球人工智能安全峰會在英國召開，來自美、英、歐盟、中、印等多方代表就人工智能迅猛發(fā)展引發(fā)的風險與機遇進行了深入探討。其間，我國提出的《全球人工智能治理倡議》系統(tǒng)闡述了人工智能治理的中國方案，會議發(fā)布的《布萊奇利宣言》凸顯了對前沿人工智能的超強技術能力和未來風險的關切。
實際上，對于正在進行中的前沿科技可能導致的人類生命安全與社會倫理風險的關注至少可以追溯至1975年生物學家暫?；蛑亟M研究的決定。尤其是21世紀以來，納米、人工智能、基因科技、合成生物學等顛覆性科技方興未艾，科技已成為無處不在和人類須臾不可離的強大力量，但同時也帶來了越來越多亟待應對的科技倫理風險。為此，世界各國對科技倫理問題及其治理日益重視，我國從國家層面相繼頒布了《關于加強科技倫理治理的指導意見》和《科技倫理審查辦法（試行）》等規(guī)范性文件，明確了邁向高水平科技自立自強之路應該遵循的倫理原則、治理框架和審查機制。
縱觀由近年來出現(xiàn)的基因編輯、人類動物嵌合體、人臉識別、算法推薦、腦機接口、深度合成以及ChatGPT等生成式人工智能所引發(fā)的倫理爭議，不難看到，前沿科技的風險不單是技術能力的增強所誘發(fā)的違背既有倫理和法律的技術濫用等問題，更在于新技術能力的涌現(xiàn)對既有技術社會系統(tǒng)的沖擊所導致的結構性價值沖突和深層次倫理風險。換言之，所謂深層次倫理風險是指，由于前沿科技研發(fā)越來越多地涉及對人、自然和社會的根本性、全局性的改變，前沿科技的發(fā)現(xiàn)和創(chuàng)新必然引起各種復雜的價值倫理矛盾，由此造成的倫理風險是結構性的，往往既難以通過一般的風險收益比較加以權衡，也不能訴諸簡單的倫理原則加以有效規(guī)范。因而科技倫理治理要真正做到“倫理先行”，必須對前沿科技研發(fā)活動中的深層次倫理風險有較為系統(tǒng)的認知，進而從科技創(chuàng)新的整體層面分析其原因，尋求具有全局性和預見性的應對之道。
前沿科技研發(fā)中的若干深層次倫理風險
大致而言，當前具有突破性發(fā)展并伴隨著巨大倫理風險的科技前沿主要集中在生命科學、醫(yī)學、信息科技與人工智能等領域，它們也是我國在國家層面推動科技倫理治理的主要關切。2019年以來，我國先后通過一系列的舉措啟動科技倫理治理體系建設：一是，成立國家科技倫理委員會及生命科學、醫(yī)學和人工智能分委會，由此推動了區(qū)域、部門和機構的科技倫理委員會的建立；二是，中共中央辦公廳、國務院辦公廳印發(fā)《關于加強科技倫理治理的意見》，提出倫理先行、依法依規(guī)、敏捷治理、立足國情、開放合作等治理要求，明確了增進人類福祉、尊重生命權利、堅持公平公正、合理控制風險、保持公開透明等倫理原則；三是，生命科學、醫(yī)學和人工智能分委會提出各自領域倫理高風險科技活動清單，如對人類生命健康、價值理念、生態(tài)環(huán)境等具有重大影響的新物種合成研究，侵入式腦機接口用于神經(jīng)、精神類疾病治療的臨床研究，對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統(tǒng)的研發(fā)等；四是，加強科技倫理審查工作，2023年2月，國家衛(wèi)生健康委、教育部、科技部、國家中醫(yī)藥局四部委聯(lián)合印發(fā)了《涉及人的生命科學和醫(yī)學研究倫理審查辦法》，10月，科技部等十部門聯(lián)合發(fā)布《科技倫理審查辦法（試行）》，兩個辦法將推動開展科技活動的高校、科研與醫(yī)療衛(wèi)生機構、企業(yè)等層面的科技倫理（審查）委員會的建立，在常規(guī)審查的同時建立需要開展專家復核的科技活動清單制度，對可能產(chǎn)生較大倫理風險挑戰(zhàn)的新興科技活動實施清單管理；五是，中國科協(xié)會同相關部門、機構、群體正在發(fā)起籌建中國科技倫理學會，以加強我國的科技倫理研究和政策咨詢工作；六是，在數(shù)字治理領域積極有為，繼算法備案、深度合成管理等辦法之后，國家互聯(lián)網(wǎng)信息辦公室聯(lián)合國家發(fā)展改革委等六部門正式公布了《生成式人工智能服務管理暫行辦法》。當然，數(shù)字技術和人工智能法律規(guī)制和監(jiān)管如何應對人工智能的開放性倫理挑戰(zhàn)需要在實踐中不斷展開系統(tǒng)研判，更有待通過試驗性的治理實踐不斷探索前行。
當前，我國科技倫理治理的主要策略是，堅持促進創(chuàng)新與防范風險相統(tǒng)一，客觀評估和審慎對待科技倫理風險，強化對科技活動的全生命周期的風險評估和監(jiān)督管理，預見和防范可能出現(xiàn)的具有嚴重影響的不確定性風險。為了更有效地貫徹實施這一策略，還應對以下7個方面的深層次科技倫理風險有所認識。
由科學認知活動缺乏倫理邊界意識所造成的突發(fā)風險。依照一般看法，“科學無禁區(qū)、技術有邊界”，但這一觀念已經(jīng)跟不上認知、智能等前沿科技領域倫理風險日益加劇的趨勢。在合成生物學、基因編輯、腦機接口等領域，科學研究和實驗本身就涉及對生命和智能過程的干預，基礎研究和轉化應用研究如同“旋轉門”而難以絕對區(qū)分，特別是認知和神經(jīng)等前沿科學研究可能會極大地影響人的自主、認知、隱私乃至精神等生命權利。例如，涉及對青少年群體的心理和行為的干預和誘導的研究，其倫理風險不僅僅是這類研究是否會對青少年的身心造成顯見的傷害、由此獲得的知識會不會被濫用和惡意使用，更在于研究者能不能意識到這類研究本身是否合乎倫理（換言之，是否會遭受不合倫理的質疑）、是不是要有一個邊界和限度。特別是在運用全新的技術干預人的生命和精神時，縱使對其中所涉及的倫理問題缺乏系統(tǒng)深入的認知，研究者至少應有一種倫理規(guī)則意識和邊界意識。由此，相關主體才可能從一般科技倫理和生命倫理原則出發(fā)，通過討論和對話制定具體科技活動中的防護措施和限制措施。更重要的是，在遇到科技倫理敏感問題時，這種規(guī)則意識和邊界意識會促使研究者將相關討論推進到科學共同體、社會公眾乃至國際社會層面，從而使這類技術研發(fā)應用可能帶來的深遠倫理影響得到深入探討，相關的責任與權利問題也可由此得以提出。例如，隨著腦機接口等神經(jīng)與認知技術的發(fā)展，在這類技術應用于神經(jīng)認知系統(tǒng)尚處于發(fā)育和不穩(wěn)定階段的青少年時就應有更嚴格的邊界。還要注意的有，可記錄大腦活動的神經(jīng)技術會不會影響人的精神與思想隱私等問題，作為應對是不是應該相應地賦予人們思想隱私權等神經(jīng)權利，[1]或者劃定神經(jīng)技術對人的精神干預的必要底線。而實際上，這種邊界意識和底線意識的缺失在科研人員中并不罕見。
當前，倫理高風險科技活動清單的制定和復核機制固然為涉及倫理敏感性的科技活動設定了具體邊界，但如果科研人員和管理者不能在認識上形成倫理邊界意識，那么高風險清單所設定的具體邊界很可能僅被當作合規(guī)的標準；如果相關人員不會在研究中主動認識和探索應有的倫理界限，科技界就有可能再次發(fā)生基因編輯事件之類嚴重踐踏倫理底線和紅線的惡性事件，出現(xiàn)突發(fā)性科技倫理風險。值得指出的是，所謂邊界意識并不是簡單的禁區(qū)意識，而是在認識上強調：一方面，應將存在高倫理風險的科學研究限定在現(xiàn)有科學認知和技術手段可控的范圍內，為科技風險設定安全邊界；另一方面，要充分認識到前沿科技領域涉及的倫理敏感問題，在認真厘清可能的倫理爭議的基礎上，劃定目前不應該逾越的倫理邊界。顯然，對前沿科技倫理邊界更為積極、主動，全面和動態(tài)的探究，是堅持促進創(chuàng)新與防范風險相統(tǒng)一的關鍵，也是實現(xiàn)敏捷治理的基礎。
前沿科技對生命權利的深遠影響所引發(fā)的不可逆風險。在大數(shù)據(jù)、人工智能、元宇宙、深度合成等前沿科技研發(fā)應用中，經(jīng)常出現(xiàn)數(shù)據(jù)泄露、隱私侵犯等倫理風險，危及人的生命、隱私、尊嚴以及其他合法權益；很多數(shù)據(jù)的采集具有侵略性，海量數(shù)據(jù)一旦出現(xiàn)信息安全和倫理問題，很難通過刪除數(shù)據(jù)等方法對相關違背倫理和法律的研發(fā)應用造成的后果進行矯正。例如，ChatGPT等生成式人工智能通過采集海量的網(wǎng)絡數(shù)據(jù)訓練大模型，產(chǎn)生大量文字、圖片和視頻內容，其中存在諸多有爭議的侵權行為，但由于其機制的復雜性和過程的不透明性，很難逐一確認和維權。對這種具有全局影響的顛覆性創(chuàng)新所帶來的不可逆風險，現(xiàn)有倫理法律規(guī)范和監(jiān)管措施難以應對。而這一倫理困境表明，前沿科技的倫理和法律研究應建立在更為系統(tǒng)深入的科技哲學、歷史、文化、社會學和人類學等跨學科研究之上。
類似地，在生命醫(yī)學領域，基因編輯和人類動物嵌合體研究雖然具有極大的有益前景，但也存在高度不確定性的風險。特別是在涉及人類種系的生殖技術和賦予動物具有接近人類智能的人類動物嵌合體研究中，必須認識到冒失地改變人類基因可能造成的不可逆風險。認識到這些不可逆的風險，一方面，有助于相關研發(fā)和應用更加負責、透明和可問責，走向更具倫理可接受性和社會穩(wěn)健性的研究與創(chuàng)新；另一方面，有助于對具體的不可逆風險展開系統(tǒng)深入的研究，推進理論、方法和工具創(chuàng)新，探尋更加安全和更符合人類長遠與共同利益的研究路徑。
前沿科技研發(fā)目標與人的權益的結構性沖突導致的倫理兩難。近年來，在內容推薦、金融風控、生物特征識別等領域出現(xiàn)了過度采集數(shù)據(jù)、行為操縱、信息繭房、大數(shù)據(jù)殺熟、算法歧視等在倫理和法律層面存在爭議的問題，相關部門在數(shù)字平臺治理和金融科技治理層面推出了一系列規(guī)范和監(jiān)管措施，起到了較好的治理效果。但值得指出的是，其背后存在著數(shù)據(jù)驅動的智能技術原理和現(xiàn)有社會倫理法律之間的結構性沖突。一方面，內容推薦等必須建立在對大數(shù)據(jù)的采集與分析之上；另一方面，這些數(shù)據(jù)所反映的是人們的行為記錄和生物特征。也就是說，兩者之間的沖突是結構性的，必然會導致倫理兩難。例如，元宇宙和自動駕駛技術必然以采集人和場景中的相關數(shù)據(jù)為前提，這將在一定程度上與隱私保護和信息安全相沖突。這種結構性的沖突使得由此造成的倫理風險難以從根本上得到治理。如果不深入探討如何解決這些結構性的矛盾、如何通過形成新的倫理和法律規(guī)范突破這種倫理兩難，則不難想象，隨著情感識別等新應用的普及，類似的結構性沖突和由此造成的倫理兩難將持續(xù)存在，而且更具爭議性。
值得指出的是，當前生成式人工智能的發(fā)展正在推動一場知識生產(chǎn)方式的革命，文字、圖片、視頻不再僅僅作為網(wǎng)絡和媒介內容，而成為大規(guī)模自動化知識生產(chǎn)的原料。由此就帶來了知識產(chǎn)權保護和發(fā)展新的知識生產(chǎn)引擎之間的結構性沖突，對內容的不同理解——作為知識生產(chǎn)原料的人工智能生成內容與作為信息安全監(jiān)管對象的網(wǎng)絡媒介內容——正在導致一種新的倫理兩難。類似地，不難預見，運用自動化智能系統(tǒng)提高效率和“機器換人”之間的沖突，可能會成為未來幾年不得不應對的科技社會難題。
物理世界與數(shù)字世界界限模糊所引發(fā)的“真相”消失的倫理困境。近年來出現(xiàn)的虛擬現(xiàn)實、元宇宙、深度合成和生成式人工智能，使得物理世界（真實）與數(shù)字世界（虛構）的界限日漸模糊，特別是虛擬影像的逼真度越來越高，引發(fā)了“真相”消失的社會倫理困境。從現(xiàn)實世界的角度來看，隨著這些技術的發(fā)展，它們很容易被用來混淆偽造的內容和真實的事實，甚至可用于虛構對特定事件和歷史的虛假集體記憶，從而干預人們的社會認知，操控人的意識和精神，即有可能導致大規(guī)模的偽造真相和意識操控等社會認知倫理和精神倫理層面的顛覆性影響。
然而，數(shù)字技術的發(fā)展又是未來科技社會的趨勢，從認知對象到認知過程的虛擬化趨勢越來越顯著，虛擬的生活和實踐越來越多地可以與物理世界的生活相互替代，虛擬世界中的“不良”行為對人在現(xiàn)實世界中的倫理和道德的影響日益成為莫衷一是但又必須直面的真問題。同時，越來越多的內容將由計算機和人工智能生成，因此，很難再通過“真實”和“虛假”的嚴格區(qū)分應對“真相”消失的倫理困境。更為復雜的是，在科學研究和金融科技等實際應用中，合成數(shù)據(jù)既可以用于造假，也可以用于矯正樣本不足等帶來的數(shù)據(jù)偏差，已經(jīng)很難用真和假來區(qū)分真實數(shù)據(jù)與合成數(shù)據(jù)的合倫理性。
智能社會系統(tǒng)中的人機信任問題及其倫理風險。當前，在智能客服、自動駕駛和醫(yī)療人工智能應用中出現(xiàn)的人機信任問題值得關注。在智能化早期，自動化和智能化系統(tǒng)的技術問題和服務質量問題可能會導致安全事故和人身傷害的發(fā)生，引起人們對技術的不信任感，而這顯然會影響對前沿科技發(fā)展的社會認可和接受。人們對機器缺失信任顯然不利于科技更好地賦能社會發(fā)展，但如何增進人們對機器的信任，則一方面需要數(shù)字和智能技術不斷提升其透明度和可解釋性，另一方面要從社會學、心理學、人類學和哲學等多學科入手，加強對人機行為和心理的研究，由此探尋增進人機信任和人機共生的綜合性的技術和社會舉措。
但同時，對機器的過度信任也存在著深層次的倫理風險，特別是人們在面對機器人等存在擬人化傾向的智能設備時，會誤以為它們是有意識的主體。隨著數(shù)字人、對話機器人技術的進步，這種擬人化的情感投射變得更加強烈，有可能導致人們出現(xiàn)認知上和心理上對自動化智能系統(tǒng)的過度依賴。例如，生成式和對話式人工智能很容易被不恰當?shù)禺斪髦R權威、道德權威和精神權威。因此，特別是在將人工智能用于青少年的陪伴、學習和心理引導時，必須考慮到由此可能引發(fā)的倫理風險。
由科技社會系統(tǒng)的難以問責所帶來的倫理風險。隨著生命醫(yī)學與人工智能等前沿科技的發(fā)展，整個社會日漸發(fā)展為一種整體性的復雜的科技社會系統(tǒng)，從個人的醫(yī)療、就業(yè)到國家的戰(zhàn)略決策，各項事務越來越多地取決于一個包括人和機器在內的復雜的決策系統(tǒng)。一旦出現(xiàn)某些問題，因為存在人類和機器多種智能體的參與，往往難以追責。例如，某個自動化智能系統(tǒng)因為誤判而決定對某一區(qū)域采取不必要的限電措施，或某個智能評分系統(tǒng)對某些考生試卷的自動化評分出現(xiàn)了差錯，最后很難找到負責任的主體。隨著自動化智能決策系統(tǒng)的普及，很可能會出現(xiàn)數(shù)字官僚主義和智能化官僚主義等新的官僚主義的表現(xiàn)形式。
國際科技霸權主義所帶來的國際政治倫理風險。近年來，美國在科技領域對中國采取的“脫鉤”“禁售”等所謂“去風險”等打壓策略正在形成一股國際科技霸權主義的逆流。值得關注的是，在生成式人工智能的發(fā)展過程中，中國地區(qū)的用戶在很多應用軟件（包括自動翻譯軟件）上無法注冊，這無疑是科技霸權主義的表現(xiàn)。近期，在芯片、量子計算和核聚變領域，美國明顯存在搶占制高點、鞏固計算霸權和形成新的能源霸權的盤算。在21世紀前20年全球化作為世界主流時期，我國科技在一段時間采取了跟隨與合作戰(zhàn)略，西方一方面存在將中國視為沒有規(guī)則的“野蠻的東方”的偏見，但另一方面也出現(xiàn)了將不合倫理規(guī)范的研究拿到當時科技倫理監(jiān)管制度尚不健全的中國和其他地區(qū)的“倫理傾銷”。在美國推行《芯片與科學法案》、不斷采取“小院高墻”等政策的影響下，美國對我國在價值觀和倫理上的偏見和質疑將進一步擴大，并且會與意識形態(tài)糾纏在一起。對此，我們應有清晰的認知，應立足人類命運共同體和更具美好的科技未來的大視角，從事實和學理層面予以必要的應對。
新興科技驅動的科技社會系統(tǒng)的革命性變化
在現(xiàn)代社會中，科學、技術和工程從來都不是孤立存在的子系統(tǒng)，而是無遠弗屆地存在和融入于整個社會之中。前沿科技并不是一種外在于社會的力量或動能，其創(chuàng)新發(fā)展實質上是在科技與社會乃至文化相互交織的科技社會系統(tǒng)中進行的。毋庸置疑，為了進一步認識前沿科技可能引發(fā)的一系列深層次倫理風險，需要進一步從系統(tǒng)論、整體論的維度把握前沿科技所驅動的新興科技社會系統(tǒng)中正在發(fā)生的革命性變化。尤其值得關注的有以下幾點。
技術空間與技術圈的出現(xiàn)。隨著前沿科技的發(fā)展，一種全新的技術空間和技術圈正在形成。技術空間不僅包括由技術拓展或介入的物理空間與生命結構，如可觀測宇宙、納米尺度、基因組等，更重要的是在物理空間之外形成了虛擬的信息空間和數(shù)字空間，如網(wǎng)絡空間、賽博空間以及近期生成式人工智能所形成的生成空間等。由此，技術在地球自然生態(tài)圈之上正在構建自然過程中不存在的信息圈、知識圈乃至智慧圈，這些圈層都是由技術作支撐的，可以統(tǒng)稱為技術圈。自然生態(tài)圈與技術圈的交纏互構決定了世界和人的存在與境況，決定了經(jīng)濟社會發(fā)展和國家競爭的總體空間。
虛擬認知與實踐方興未艾。如前所述，通過數(shù)據(jù)采集和信息計算，人們用數(shù)據(jù)來刻畫世界和人，對其進行模擬、分析和干預，使認知、制造乃至生活與交往實踐超越物理空間和現(xiàn)實可能性的限制。因此，應該從這一趨勢出發(fā)重新認識數(shù)據(jù)的內涵，重新界定“真”與“假”、“虛”與“實”，在擁抱世界數(shù)據(jù)化和虛擬認知的同時，充分考慮其倫理風險。
技術成為無形的自動化過程。技術系統(tǒng)的實時化、泛在化和微型化，使得技術無處不在、無所不及地嵌入到物理、生命乃至社會空間與過程之中，越來越隱而不現(xiàn)，使人難以覺察。當我們日益生活在這種技術世界之中時，無疑需要提升整個科技社會系統(tǒng)的穩(wěn)健性，防范系統(tǒng)性的科技倫理風險。
人與機器間的差異日漸縮小。隨著人與機器的交互不斷深化，出現(xiàn)了人的機器化和機器的擬人化這種人機同化但又存在內在沖突的趨勢。生成式人工智能所帶來的最根本性的挑戰(zhàn)，即人類可能最終無法區(qū)分機器人和人類。應該看到，人們在未來所獲取的信息和知識將越來越多地通過機器自動生成，尤其是隨著人工智能越來越強大，人們可能最終無法分辨出人類和人工智能分別產(chǎn)出的信息與知識之間的差異，甚至人工智能的表達和說服能力將勝過人類。
在這些革命性的變化的推動下，構建在技術社會系統(tǒng)之上的人類社會正在經(jīng)歷一場激進的變化。這些變化可能主要發(fā)生在生命醫(yī)學、數(shù)字與智能技術等領域，其主要表現(xiàn)是天然自然與人工自然的融合、人類智能與機器智能的整合。以合成生物學為例，正在研究中的回收工業(yè)廢物的“化學機器人”將插入現(xiàn)有細菌底盤來產(chǎn)生所需的代謝反應。這種從新陳代謝到DNA的變化方向意味著，通過合成生物技術，分子生物學的中心法則變成了化學分子世界的部分真理。隨著時間的推移，化學機器人將利用代謝生物化學的調節(jié)可以驅動DNA變化的事實，將所需反應的指令強制寫入細菌藍圖中。這種對生物學中信息流的科學思考方式的顛覆將使我們在碳捕獲、固氮和塑料降解等緊迫課題方面取得巨大飛躍，這進一步意味著整個行星正在邁向全新的人工化時期。[2]而生成式人工智能也正在從根本上改變著人類的社會生活和生產(chǎn)勞動，從導航、健康監(jiān)測、日常寫作到科學研究，人工智能助手可能成為人類須臾不可離的“技術伴侶”。雖然大多數(shù)技術專家認為目前還談不上奇點臨近，但的確是時候嚴肅思考我們究竟需要一個怎樣的人機共生的未來。
充分認識顛覆性前沿科技對技術社會系統(tǒng)的革命性影響，有助于發(fā)現(xiàn)結構性的涌現(xiàn)特征，也是評估新興科技倫理未知風險的關鍵。一般而言，大多數(shù)科技倫理分析往往關注創(chuàng)新對個人或群體的影響，而忽視其對社會基本結構的影響。例如，在20世紀50、60年代，美國對州際公路系統(tǒng)的預期倫理分析可能會權衡快速個人交通的價值與致命車輛碰撞的危險，但卻沒有看到對汽油的旺盛需求將為美國在中東擴大軍事能力提供理由，從而導致了強大的軍工復合體的進一步構建。而智能手機、短視頻和無人駕駛等技術在整體上所導致的社會生活層面的改變也與此類似。由此可見，新技術對社會基本結構的影響通常是看似不相關的技術復合體之間協(xié)同相互作用的產(chǎn)物。因此我們不僅要研究單個技術的倫理和社會影響，還應進一步關切各種技術綜合體在整個技術社會系統(tǒng)中產(chǎn)生的協(xié)同效應。[3]最近，在有關前沿人工智能的風險的討論中，人工智能帶來的生物、化學軍民兩用技術門檻降低所帶來的跨領域復合風險備受關注。
前沿科技倫理風險認知的底層邏輯
從國家戰(zhàn)略的層面來講，對前沿科技倫理風險及深層次倫理風險的認知事關重大，是相關科技、產(chǎn)業(yè)、社會、教育、環(huán)境、衛(wèi)生健康等各方面政策選擇和實施導向的基礎。展望未來，人類將進入深度科技化時代，科技影響的復雜性日益呈指數(shù)級上升，我們的智慧和意識能否跟上這一加速度，正在成為本世紀文明演進的首要難題。而應對這一難題的關鍵，不應僅依賴事后的反省，也不應是簡單的禁止，而在于不斷總結和反思前沿科技倫理風險預見、評估和審查中的方法和經(jīng)驗，不斷地發(fā)現(xiàn)、探索和重構前沿科技倫理風險認知的底層邏輯。
作為政策工具的科技倫理研究和風險認知。前沿科技所導致的價值沖突和倫理抉擇往往是前所未有的，是傳統(tǒng)的道德哲學和倫理理論所沒有遭遇或處理過的問題。前沿科技倫理研究和風險認知并不是單純的倫理學或應用倫理學研究（盡管后者為前者提供了重要的學理基礎），也不僅僅局限于科技共同體的共識，而更多地是作為政策工具和問題導向的跨學科探究，是參與科技倫理治理的相關群體的集體認知——而這也是當前各國推動科技倫理與治理真正的挑戰(zhàn)性所在。
針對前沿科技倫理問題與風險，基本的認知策略是，根據(jù)目前所掌握的科技倫理風險相關事實及其未來的可能性，運用倫理、法律、社會、政治、經(jīng)濟、公共管理等領域已有的理論資源，對其中所涉及的倫理和法律等方面的價值問題（如權利、責任、公平等）展開分析，對利益相關者的具體風險和收益加以權衡。
為了加強對科技活動的倫理規(guī)范，政府部門、行業(yè)、產(chǎn)業(yè)和科技共同體制定了科技倫理原則、規(guī)范、標準和指南，其中包括一般性的和通用的，而更多的是針對生命醫(yī)學、人工智能等專業(yè)和重點領域的。盡管這些文件是規(guī)范性的，但它們的形成只是科技倫理問題的跨學科共識和集體認知的第一步，因此它們可用作科技活動的倫理評估和倫理審查的參考框架和工作假設。換言之，科技倫理與創(chuàng)新一樣也應該有一個從0到1的過程，相關規(guī)范的實際內涵和認知價值需要通過科技倫理評估、審查等實踐才能得到落實、豐富、調整和發(fā)展。
前沿科技倫理風險認知的系統(tǒng)性和可塑性。對前沿科技倫理風險的全面與深入的認知建立在系統(tǒng)思維之上，不是單純的科學、技術、倫理認知及其組合，而是一種綜合性與系統(tǒng)性的認知。
其一，包括純科學在內的現(xiàn)代科技活動都是在科技軍工復合體和科技金融復合體等復雜的科技社會系統(tǒng)中進行的，這些復合體或科技社會系統(tǒng)決定了科技活動的目標，特別是如果科技軍工復合體占主導地位，兩用研究勢必強化，科技倫理風險會變得更加復雜。
其二，前沿科技所改變或顛覆的并不僅是單純的科學事實或技術現(xiàn)實，對前沿科技所帶來的全新事實或現(xiàn)實的認知和理解，應該建立在科技社會系統(tǒng)與自然生態(tài)系統(tǒng)（生物圈）、信息傳播系統(tǒng)（信息圈）、社會政治經(jīng)濟文化系統(tǒng)（文明圈）和正在形成之中的萬物智能化系統(tǒng)（心智圈）的相互聯(lián)系和影響之上。
其三，科技倫理風險與法律、安全、安保等風險緊密相連，要從系統(tǒng)性的維度對其加以把握?？梢哉f，前沿科技風險認知的最大障礙是科技專家、倫理法律公共政策專家和科技政策制定者的認知大多局限于領域知識，而這些領域知識難以與前沿科技帶來的系統(tǒng)性的全新現(xiàn)實相匹配。由此難免導致系統(tǒng)性無知，而無法識別科技、自然和人類系統(tǒng)之間復雜的互動糾纏。
其四，前沿科技的倫理價值取向離不開相關的科技文化背景，對它們的深入研究和了解是前沿科技倫理風險認知必不可少的基礎。值得指出的是，當前生命科技和人工智能等領域的最新發(fā)展，與后人類主義和超人類主義等思想觀念有密切的關聯(lián)。例如，超人類主義相信人類可以通過科學和技術達到一種新的存在狀態(tài)——更聰明、更強大、更長壽，而有關人工智能長期風險和生存風險與有效加速主義之爭的背后是科技末世論與科技樂觀主義的對峙。
因此，前沿科技倫理風險認知的宗旨是立足系統(tǒng)思維，超越簡單的技術樂觀主義和技術悲觀主義，賦予科技創(chuàng)新更大的可塑性。首先，通過對前沿科技所帶來的系統(tǒng)性新現(xiàn)實的科技倫理分析，最大限度地克服由系統(tǒng)性無知所引發(fā)的過于樂觀的幻想和過于悲觀的恐懼，從而使前沿科技的潛在風險得以相對理性地澄清，也使得其中的不確定性和未知前景得以呈現(xiàn)。
其次，通過對前沿科技倫理風險的系統(tǒng)性分析和認知，研究者與政策制定者應據(jù)此更全面地了解、更明確地界定前沿科技倫理爭議中的關鍵問題，進而聚焦于這些問題，在恰當?shù)臅r機作出最大限度地減少潛在科技倫理風險的政策選擇。一方面，研究者與政策制定者應運用系統(tǒng)認知，在前沿科技倫理風險的問題定義和解決方案的提出中掌握主動權，使科技倫理治理免受媒體炒作、新技術反對群體的激進立場以及大科技公司游說的負面影響；另一方面，研究者和政策制定者應該充分認識到前沿科技倫理風險往往涉及的是倫理兩難或道德困境，應訴諸權衡、審度、調適等實踐智慧，而不是非善即惡的簡單抉擇。
最后，更為重要的是，前沿科技倫理研究和風險認知賦予科技創(chuàng)新更大可塑性的關鍵在于研究者和政策制定者的系統(tǒng)認知能力與整體調控能力。轉基因技術的倫理爭議、劍橋分析干預美國大選等事件表明，對新技術的過早擔憂（如臉書等被指責為“全景監(jiān)獄”可能會干擾對科技倫理風險的系統(tǒng)認知和理性對話）使社會公眾和政策制定者難以了解問題的全貌和未來更加豐富的可能性。[4]在另外一些情況下，媒體對丑聞的過度關注和人們對科技可能性的過度想象（如人工智能終結者）可能會轉移問題的焦點，不當放大人們的風險感知。因此，研究者和政策制定者要保持必要的風險認知定力，要將對倫理風險的夸大及由此造成的恐慌心理和正在探討的倫理問題與風險區(qū)分開來，致力于澄清具體科技活動中利益相關者的利害關系，在不同的價值觀之間（如隱私與安全）進行權衡與調節(jié)。
強調前沿科技風險認知的系統(tǒng)性與可塑性，意味著理想的科技倫理風險防范和科技倫理治理并不僅僅是人們常說的方向盤和剎車片，而更是建立在系統(tǒng)權衡之上的戰(zhàn)略性的塑造者。簡單地講，就是要認識到前沿科技倫理風險以及我們對其認識的系統(tǒng)性、復雜性和未定性。而科技倫理治理的關鍵策略是從相稱性原則出發(fā)，在預防科技倫理高風險和促進有益的科技創(chuàng)新之間保持必要的張力，為前沿科技構造應有的創(chuàng)新空間。因此，為了走向更具可塑性的科技倫理治理，負責任的創(chuàng)新既要最大限度地減少前沿科技可能的倫理風險，又要避免過度科技倫理風險防范抑制有益的前沿科技創(chuàng)新。而這無疑需要相關主體在實踐探索中反復磨合共識，不斷凝練智慧。
深層次科技倫理風險的預控和應對之道
當前，前沿和新興科技的發(fā)展日益走向一種我們尚未能把握其全貌的深度科技化時代，不論是其中所呈現(xiàn)的深層次的倫理風險，還是新興科技驅動的科技社會的革命性變化，都表明我們要用一種更加開放和審慎的態(tài)度深化認識、預控和應對可能出現(xiàn)的科技倫理風險。
第一，要從樹立科學認知的倫理邊界意識入手加強科技倫理意識建設，通過科技、倫理、法律等交叉學科研究，探索前沿科技的倫理邊界和標準，形成自主的話語權。為了避免國際科技霸權主義置喙，建議通過扎實的學術研究和參與國際主流學術交流推進相關工作。為此，要進一步加強對科技倫理風險的研究和評估，并將這方面的研究能力作為前沿科技創(chuàng)新的核心認知能力。相關關鍵能力包括三個方面：一是通過跨學科協(xié)同，對生命科技和人工智能前沿的具體研究的社會影響和風險展開系統(tǒng)研究；二是通過跨領域探索，聚焦可能出現(xiàn)的跨領域復合性不確定風險，如前沿人工智能與生命科學結合可能帶來的機遇與風險等，對其程度和范圍作出相對準確的預見和評估；三是整合各學科和各領域，從領域、機構和研究者等維度繪制前沿科技倫理風險地圖，以此從總體上提升對前沿科技倫理風險的系統(tǒng)認知。
第二，要將倫理規(guī)范、法律規(guī)制和技術解決方案三個維度結合起來，設置合理的倫理法律門檻，分級分類管理，構建前沿科技倫理軟著陸機制，對深層次的科技倫理風險展開系統(tǒng)性和整體性的治理。值得指出的是，對人工智能等可能出現(xiàn)生產(chǎn)力革命的前沿科技領域的監(jiān)管，應該尊重科技規(guī)律和科技管理規(guī)律；對信息安全和內容監(jiān)管設置的倫理法律門檻應該分級分類，除了少數(shù)具有大規(guī)模社會動員和重大輿論影響的內容外，應該從容錯性的角度使得監(jiān)管適應人工智能的超速發(fā)展；同時需要加強與科技和產(chǎn)業(yè)部門的協(xié)同治理，共同構建前沿科技倫理軟著陸機制。應該看到，在ChatGPT的開發(fā)過程中，OpenAI運用“人機價值對齊工程”在原理上解決了價值倫理沖突的調和與矯正，為前沿科技的深層次倫理問題的治理指出了一個可行的方向——人機和人類與技術的價值對齊工程化。
第三，為了不讓各種科技倫理原則規(guī)范束之高閣，應該通過技術、管理和制度方面的解決方案，形成一套治理機制。其一，通過廣泛的調研和預見性研究與評估，建立和不斷更新前沿科技領域的科技倫理高風險清單。應通過這些清單的發(fā)布和審查復核，讓科技共同體、管理者和整個社會認識到具體的科技倫理風險和倫理邊界所在。其二，可以從開源創(chuàng)新和開放科學的維度，要求具有較高科技倫理風險的研究和創(chuàng)新活動在啟動階段公開注冊，通過數(shù)據(jù)開放存儲與共享，在研究實驗的全生命周期保持研究數(shù)據(jù)的透明性和可核查性，以便及時接受必要的倫理風險評估和審查。其三，要從制度上設計不同部門不同規(guī)定之間的接口機制，如不同倫理審查辦法以及倫理委員會之間建立互操作、互認可等相互銜接和協(xié)同的機制。
第四，推進科技倫理研究、推動科技倫理傳播和教育的關鍵不僅在于科技倫理學、應用倫理學和倫理學方面的研究、教育和傳播，更關鍵的是增進科技工作者和全民的系統(tǒng)思維與系統(tǒng)風險認知能力，尤其是加強科學、技術、工程哲學、歷史、文化、政治、經(jīng)濟、社會等方面的交叉學科和跨學科研究，進而全面提升科技人員和社會公眾基于系統(tǒng)性認知的科技倫理素養(yǎng)。
第五，科技倫理治理要注重遵循相稱性原則，既要避免松懈，也要防止過于嚴格。國際科技倫理治理中非常重視的相稱性原則，其基本內涵是既不忽視問題，也不夸大問題，而是要根據(jù)科技理論風險的程度展開針對性的治理。包括聯(lián)合國教科文組織新近發(fā)布的《人工智能倫理問題建議書》等在內的國際科技倫理指引中都強調了這一原則。從相稱性原則出發(fā)，一方面，科技發(fā)展不要“沖”得過快，科技活動的主體應該認識到為了使科技倫理風險可控，需要及時作出倫理回調；另一方面，在對科技企業(yè)的倫理治理、法律規(guī)制與行政監(jiān)管中，應該致力于通過恰當?shù)谋O(jiān)管促使其及時作出必要的倫理回調，同時應該避免過于嚴苛的處置。
（本文系國家社會科學基金重大項目“智能革命與人類深度科技化前景的哲學研究”的階段性成果，項目編號：17ZDA028）
注釋
[1]珍妮·戴爾：《拉斐爾·尤斯特：“我們必須盡早采取行動”》，2022年，https://www.unesco.org/zh/articles/lafeieryousitewomenbixujinzaocaiquxingdong?hub=83294。
[2]C. Preston, “Socrates Untenured: Ethics, Experts, and the Public in the Synthetic Age,“ Issues in Science and Technology, 2020(3).
[3]“Ethics in Technology Assessment,“ Issues in Science and Technology, 2020(2).
[4]薩姆·吉爾伯特：《好的數(shù)據(jù)：樂觀主義者的數(shù)字未來指南》，孟雁北譯，上海人民出版社，2023年，第145～156頁。
Deep Ethical Risks of Frontier Science and Technology and Responses to Them
Duan Weiwen
Abstracts: At present, the ethical risks of frontier science and technology, such as life science and technology and AI, have increasingly aroused great concern in the international community, and China's S&T ethical governance is embarking on the road of institutionalized development. To better promote China's ethical governance of science and technology, it is necessary to effectively grasp the characteristics of frontier science and technology as the focus of ethical governance of science and technology and reveal a series of deep ethical risks it presents. Thus, it is necessary to further strengthen the understanding of the structural characteristics of the sociotechnical system, and to explore and reconstruct the underlying logic of risk perception. Firstly, we should fully understand the revolutionary changes in the sociotechnical system driven by emerging science and technology, to understand the structural essence of the deep ethical risks of emerging technology. Secondly, based on the open practice of ethical governance of frontier science and technology, the risk cognition and ethical principles of science and technology are regarded as the collective cognition and working assumptions that are constantly updated by relevant groups. Thirdly, it emphasizes the systemic and plasticity nature of risk cognition in frontier science and technology, giving innovation a greater space of possibilities. As a result, we can find ways to prevent, control and cope with deep ethical risks of S&T, such as establishing ethical boundaries for scientific cognition, setting reasonable ethical and legal thresholds, forming an open and holistic governance mechanism, improving public S&T ethical literacy, and adhering to the principle of proportionality.
Keywords: ethics of science and technology, ethics and governance of science and technology, deep technologization, deep ethical risks, systems thinking
