中國科學(xué)院心理研究所研究員 朱廷劭

【摘要】隨著算法技術(shù)在各個領(lǐng)域的應(yīng)用越來越普遍，尤其在人文領(lǐng)域，不管是推薦系統(tǒng)，還是人力資源招聘，以及心理健康，都得到了很好的應(yīng)用，并且取得了一定的成效。但是，在具體應(yīng)用中，各類APP通過各類算法過度采集個人信息并加以無限制利用，將用戶綁定在他們所精心構(gòu)筑的“牢籠”，由此引發(fā)數(shù)據(jù)隱私泄露、算法濫用以及技術(shù)至上等新問題層出不窮，給社會帶來一定程度的不良影響。因此，要完善相關(guān)法律約束算法的使用，提高執(zhí)法力度鼓勵算法向善，通過增強用戶自主性以消除不良心理效應(yīng)，確保技術(shù)更好地為人服務(wù)，而不是帶來更多的問題。

【關(guān)鍵詞】算法計算 算法向善 心理效應(yīng)

【中圖分類號】TP181 【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2022.10.007

隨著時代的發(fā)展，信息技術(shù)尤其是人工智能與人們的日常生活和工作的結(jié)合越來越密切。一般來說，計算機為了完成特定的任務(wù)，需要遵循一定的算法。算法（algorithm）是指為了完成特定任務(wù)的計算步驟，用于計算、數(shù)據(jù)處理和自動預(yù)測推理。算法是為了解決特定的問題而提出的，問題來源就是輸入，而期望結(jié)果就是它的輸出。算法要求每個步驟都是明確的、可行的，這樣可以一定程度上確保對結(jié)果的預(yù)期也是確定的。算法步驟的明確并不代表算法所建立的輸入輸出之間的關(guān)系是明確可解釋的。當(dāng)前，算法技術(shù)廣泛融入線上線下的各種應(yīng)用場景，深入貼近人民生活。在提供各種便利性的同時，算法可能帶來的副作用，即“算法作惡”逐漸引起人們的重視，如何確保算法向善、技術(shù)向善的同時盡量遏制“算法作惡”是亟待解決的問題。

算法使用失范對社會造成不良影響

目前，新聞資訊、社交及短視頻等APP通過各類算法過度采集個人信息并加以無限制利用，將用戶綁定在他們所精心構(gòu)筑的“牢籠”。由此引發(fā)數(shù)據(jù)隱私泄露、算法濫用以及技術(shù)至上等新問題層出不窮，給社會造成一定程度的不良影響。

數(shù)據(jù)濫用引發(fā)公眾的隱私擔(dān)憂。各類網(wǎng)絡(luò)應(yīng)用APP可以采集海量的用戶數(shù)據(jù)，而用戶數(shù)據(jù)的濫用則會引發(fā)公眾對隱私泄露的強烈擔(dān)憂。2006年，美國在線（American On Line, AOL）為用戶搜索數(shù)據(jù)泄露一事向公眾道歉。此前，AOL的一個研究小組在網(wǎng)絡(luò)上公開了該公司約65.8萬匿名化處理后的用戶在3個月期間（同年3月1日～5月31日）所進行的搜索日志信息，約2000萬份左右，占同期搜索總量的0.3%。該研究小組的初衷是為了向?qū)W術(shù)研究人員提供一批真實數(shù)據(jù)進行算法比較，但是后來一些網(wǎng)站開始關(guān)注這批數(shù)據(jù)，并由此引發(fā)公眾對隱私信息泄露的巨大擔(dān)憂。

由于很多用戶把AOL作為互聯(lián)網(wǎng)入口，因此有些搜索關(guān)鍵詞就含有個人隱私信息，雖然用戶已經(jīng)被匿名化處理，但是從某個用戶ID所做的一系列搜索，還是有可能找到其真實身份。比如某位用戶搜索了某個具體的人名，或者家庭住址的郵編。用戶可能同時又搜索了其他不愿意讓他人知道的信息，其中一名AOL用戶進行了下面一連串搜索：“how to kill your wife”（如何殺害你的老婆）；“murder photo”（謀殺圖片）和“www.murderdpeople.com”。當(dāng)所有這一系列搜索行為都被公布，隱私就不復(fù)存在。這一事件在互聯(lián)網(wǎng)上招致鋪天蓋地有關(guān)泄漏個人隱私權(quán)利的批評。同年8月，AOL為用戶搜索數(shù)據(jù)泄露一事向公眾道歉，并解散了該研究小組。盡管相關(guān)信息已被撤下，但目前仍可以在互聯(lián)網(wǎng)下載。

算法濫用推波助瀾社會不公。算法濫用是人工智能自動化決策中，由數(shù)據(jù)分析導(dǎo)致的對特定群體的系統(tǒng)性的不公正對待，主要表現(xiàn)為性別歧視、價格歧視和種族歧視。為了追求商業(yè)利益最大化，算法有可能違背社會公平、道德和人性。比如，大數(shù)據(jù)殺熟，同樣的商品或服務(wù)，老客戶的價格反而高過新客戶。只推薦給人們能潛在帶來商業(yè)利益的東西，而不是最適合、最恰當(dāng)?shù)臇|西。通過濫用人性弱點，過度激發(fā)誘導(dǎo)客戶，從而對算法投放的產(chǎn)品服務(wù)產(chǎn)生依賴。只考慮算法的最終效果，沒有考慮人性，將人“異化”為簡單的數(shù)據(jù)。算法的具體原理和參數(shù)只有運營企業(yè)的少部分人知道，會產(chǎn)生利益捆綁。有的企業(yè)可能利用算法作惡，通過發(fā)布吸引眼球的信息推薦虛假產(chǎn)品等。

2015年6月以來，亞馬遜全球員工數(shù)驟增，人力資源部需要拼命工作以招攬新員工。為此，公司建立了一個十幾人的團隊，開發(fā)AI算法簡歷篩選系統(tǒng)。團隊訓(xùn)練了針對不同工種的計算機招聘模型，分析以往簡歷中出現(xiàn)的術(shù)語，并對常見技能進行重要性排序。但由于這些簡歷大部分是男性的，結(jié)果算法被訓(xùn)練成了對女性求職者有偏見，會優(yōu)先選擇男性求職者。算法對簡歷上求職者提交的自我描述內(nèi)容也有不同偏好，會更多向男性求職者簡歷中的高頻詞匯傾斜。性別偏見不是這類招聘模型唯一存在的問題。訓(xùn)練模型所需的數(shù)據(jù)也存在問題，比如，很難對推薦的最終效果進行評估，使得一些不合格的求職者會被算法推薦。人們一直希望利用科技提高招聘效率、減少對招聘人員主觀看法的依賴，但是如何確保算法的公平和有效性，還需要很長一段時間來實現(xiàn)。

各種各樣的算法歧視廣泛存在。一是近年來，我國一些網(wǎng)購平臺利用大數(shù)據(jù)“殺熟”的現(xiàn)象屢見不鮮，利用老顧客的信任抬高價格，以謀取不正當(dāng)利益。二是性別歧視。一些招聘平臺上的簡歷篩選算法，對男性求職者有著明顯的偏好，女性求職者的簡歷常常得分偏低。三是種族歧視。一些高薪工作廣告更多地向特定種族的人群推送，智能照相機在照相時提醒亞裔睜開眼睛等。此外，還有宗教信仰、經(jīng)濟狀況、外貌等特征被惡意使用所造成的算法歧視。

技術(shù)至上未必好心辦好事。英國的一家慈善機構(gòu)Samaritans在2014年10月發(fā)布了一個免費的Twitter插件——Samaritans Radar，允許Twitter用戶監(jiān)視彼此在社交媒體上發(fā)布的負面內(nèi)容。在使用時，該應(yīng)用自動掃描用戶在Twitter上關(guān)注的任何賬戶，一旦用戶發(fā)布了負面情緒的表達，它便會向注冊監(jiān)控該帳戶的用戶發(fā)送電子郵件警報，標記相關(guān)的推特，并聯(lián)系和提供支持的最佳指導(dǎo)方式。

盡管這款應(yīng)用的出發(fā)點是好的，但上線不久便受到了大量網(wǎng)民聲討，因為被監(jiān)控的人從未得到通知或知情同意。許多Twitter用戶擔(dān)憂該應(yīng)用可能引發(fā)極大的隱私問題，并且很容易被用于騷擾或跟蹤，因為用戶的粉絲列表中可能不僅有朋友，也有對他們有威脅的人（也許是危險的壞人）；另外，用戶擔(dān)心使用Samaritans Radar會讓人覺得發(fā)推文會被監(jiān)測，這對那些正在尋求支持的人來說不那么安全，可能會迫使有心理健康問題的人離開網(wǎng)絡(luò)。

除此之外，算法作惡的情況可能還有利用算法注冊虛假賬號、雇傭網(wǎng)絡(luò)“水軍”，實施虛假點贊、轉(zhuǎn)發(fā)等流量造假，或者鼓動“飯圈”粉絲互撕謾罵、刷量控評，等等?；蛘?，通過操縱干預(yù)熱搜、榜單等以各種“帶節(jié)奏”。一些算法服務(wù)商在開展個性化推薦、熱點榜單、信息發(fā)布等活動時，還存在影響網(wǎng)絡(luò)輿論的現(xiàn)象。我們應(yīng)該看到，算法的合理使用會給人們的工作生活帶來極大便利，但是惡意使用即算法作惡則會造成不良社會影響，帶來嚴重的后果。

算法作惡的心理效應(yīng)

算法自身不會對人們造成直接的危害，一般是通過算法的運行對人們的行為心理帶來影響，算法作惡背后的心理效應(yīng)主要包括回音室效應(yīng)、信息繭房和尖叫效應(yīng)等。

高度同質(zhì)化下沉默的螺旋?；芈暿倚?yīng)是由心理學(xué)家凱斯·桑斯坦（Cass R. Sustein）提出，[1]指的是在一個相對封閉的環(huán)境上，一些意見相近的聲音不斷重復(fù)，并以夸張或其他扭曲形式重復(fù)，令處于相對封閉環(huán)境中的大多數(shù)人認為這些扭曲的故事就是事實的全部。網(wǎng)絡(luò)技術(shù)使得信息的傳遞和分享變得更加便捷簡單，但也在無形中打造出一個封閉的、高度同質(zhì)化的“回聲室”，使得人們更重視跟自己的假設(shè)或信念一致的事例。“人以群分”，人們總是愿意跟意見相似的人為伍。

隨著各種網(wǎng)絡(luò)社交媒體的涌現(xiàn)與發(fā)展，互聯(lián)網(wǎng)空間的回聲室效應(yīng)愈發(fā)凸顯。在社交網(wǎng)絡(luò)中，人們以社交對象作為信息來源。他們在選擇信息來源的同時，也就進行了信息的過濾。社交網(wǎng)絡(luò)在一定程度上強化了人群的分化，人們受社交圈以及自身的立場態(tài)度的影響，往往更愿意固守在符合自己偏好的圈子里，對一些與自己意見相左、志趣不合的人“取關(guān)”甚至“粉轉(zhuǎn)黑”。目前部分商業(yè)網(wǎng)站會根據(jù)用戶的搜尋結(jié)果，進一步提供內(nèi)容相近的網(wǎng)絡(luò)信息，這種讓人產(chǎn)生“撓到癢處”的心態(tài)反而會帶來一定的問題。

網(wǎng)絡(luò)服務(wù)提供商通過算法分析，向用戶推送符合用戶偏好的信息，并不斷強化，其結(jié)果就是讓用戶陷入“同溫層”。當(dāng)我們越喜歡看某一類的文章，算法就越會更多推送類似的內(nèi)容，這導(dǎo)致我們越來越加深自己原本的想法，即便自己原本的想法可能并不都是正確的，這就是“同溫層效應(yīng)”。傳播學(xué)研究發(fā)現(xiàn)，這種現(xiàn)象最終會形成“沉默的螺旋”，即只有主流意見發(fā)聲，且聲音越來越大，其他人則附和或沉默。在網(wǎng)絡(luò)虛擬世界，人們往往會偏好與自己立場、觀念接近的信息源，屏蔽或刻意避開自己厭惡的持相反意見者。算法則可以根據(jù)我們過往的行為留痕（比如，瀏覽、點贊等），把最對我們胃口的信息推送到我們面前，這更進一步加劇了信息“同溫層效應(yīng)”。

算法作繭縛住用戶。信息繭房也是由凱斯·桑斯坦提出的，[2]在信息傳播中，因公眾自身的信息需求并非全方位的，而一般只注意自己選擇的東西和使自己愉悅的內(nèi)容，久而久之，會將自身桎梏于像蠶繭一般的“信息繭房”中。信息繭房會加劇網(wǎng)絡(luò)用戶群體的極化，群體內(nèi)的成員與外部交流會大幅減少，群體成員因為擁有相似的觀點和看法，內(nèi)部趨同的特征愈發(fā)顯著，容易產(chǎn)生盲目自信、心胸狹隘等不良心理，并誘發(fā)極端思想和極端行為。

互聯(lián)網(wǎng)平臺的功能設(shè)置中，有時為了規(guī)避用戶的反對，將一些體現(xiàn)個人自主性的設(shè)置隱藏很深，一般用戶面對眼花繚亂的設(shè)置，很多情況下只能接受系統(tǒng)的缺省設(shè)置，將自主性完全交由平臺。這種情況下，個體會不自覺地陷入平臺算法推薦的信息中，對推薦內(nèi)容感到高度滿意并很難感知到自身的信息受限。算法通過不斷培養(yǎng)用戶對平臺的依賴，久而久之，用戶信息接收維度變窄，獲取渠道單一，在單調(diào)的信息交互中形成特定的興趣習(xí)慣，讓人深陷“信息繭房”的桎梏。

眼球經(jīng)濟的價值導(dǎo)向。尖叫效應(yīng)是指在內(nèi)容傳播中，通過非法剪拼改編的驚悚、惡搞等低俗內(nèi)容，迅速引發(fā)人們的大量關(guān)注，無論是從滿足人們的獵奇心理，還是引發(fā)人們的指責(zé)批評，都能獲取高額的流量和點擊率[3]。依托大數(shù)據(jù)和人工智能，可以對用戶的網(wǎng)絡(luò)行為進行深度分析，在此基礎(chǔ)上將更多契合尖叫效應(yīng)的信息提供給用戶，從而達到取悅受眾，擴大平臺用戶基數(shù)的目的。在關(guān)注為王、流量為王的導(dǎo)向下，這種效應(yīng)會成為一種傳播的價值導(dǎo)向，吸引更多人制作違反道德、違反法律法規(guī)的內(nèi)容，在眾多平臺的裂變式傳播下，對人們尤其是青少年的世界觀、人生觀、價值觀造成不良影響。如果平臺只是不帶價值評判的純數(shù)據(jù)篩選，其采取分析、歸納、推薦的算法無可厚非，但如果忽略了“價值判斷”，就會讓算法淪為尖叫效應(yīng)的幫兇。

建議

技術(shù)的發(fā)展趨勢是不可逆轉(zhuǎn)的，“雙刃劍”效應(yīng)不可避免，但是考慮到商業(yè)的逐利內(nèi)驅(qū)力，如果寄希望于商業(yè)機構(gòu)的自我約束，那無異于與虎謀皮。如何在充分發(fā)揮算法在人們?nèi)粘Ｉ詈凸ぷ髦械姆e極作用同時，對其潛在風(fēng)險進行有效約束，是值得我們特別重視的問題。

完善相關(guān)法律約束算法的使用。目前出現(xiàn)的一些超級平臺，能夠通過手中掌握的用戶行為數(shù)據(jù)，實現(xiàn)對用戶偏好的準確把握，并且有能力實現(xiàn)信息的精準投放。在資本的驅(qū)使下，僅僅通過“向善”的宣教很難達到效果。因此，必須通過不斷完善相關(guān)的法律條文，約束算法在合規(guī)的范圍內(nèi)被使用。

歐盟《通用數(shù)據(jù)保護條例》（General Data Protection Regulation, GDPR），是歐洲聯(lián)盟于2018年5月25日出臺的有關(guān)信息保護的條例。GDPR?向所有收集、處理、儲存、管理歐盟公民個?數(shù)據(jù)的企業(yè)，限制了這些企業(yè)收集與處理?戶個?信息的權(quán)限，旨在賦予歐盟公民對個人數(shù)據(jù)的更多控制權(quán)。GDPR規(guī)定企業(yè)必須獲得數(shù)據(jù)提供者關(guān)于其數(shù)據(jù)合法使用的明確授權(quán)，?戶也擁有隨時取消授權(quán)的權(quán)利。當(dāng)獲取數(shù)據(jù)時所述的?的不再適?或?戶不再允許企業(yè)使?該數(shù)據(jù)，GDPR規(guī)定企業(yè)必須刪除?戶信息，同時將?戶的數(shù)據(jù)清除請求告知第三?處理機構(gòu)。

2021年11月1日起施行的《中華人民共和國個人信息保護法》是我國首部專門針對個人信息保護的法律。個人信息是指以電子或者其他方式記錄的與已識別或者可識別的自然人有關(guān)的各種信息，不包括匿名化處理后的信息。個人信息保護法強調(diào)在處理個人信息時，應(yīng)遵循“告知—知情—同意”的原則，即在處理個人信息前，以顯著方式、清晰易懂的語言真實、準確、完整地向個人告知相關(guān)事項，并應(yīng)取得個人同意。該法明確規(guī)定不得過度收集個人信息，并加大了對侵犯個人信息行為的懲處力度。一旦發(fā)生侵害個人信息的行為，將對個人信息處理者適用過錯推定原則，不能證明自己沒有過錯的就應(yīng)當(dāng)承擔(dān)損害賠償?shù)惹謾?quán)責(zé)任，這將在很大程度上減輕個人維權(quán)的難度。

GDPR和個人信息保護法的實施對中國互聯(lián)?的沖擊是巨大的，將對現(xiàn)有的基于搜集個?信息和隱私驅(qū)動的營收模式產(chǎn)?重?影響，使得算法在合法范圍內(nèi)被使用。“道高一尺，魔高一丈”，隨著技術(shù)的發(fā)展，也需要不斷完善相關(guān)法律法規(guī)，堵住不斷出現(xiàn)的算法作惡的新漏洞。

提高執(zhí)法力度鼓勵算法向善。加強行業(yè)自律，加強算法的道德和倫理建設(shè)是必要的。但是，在巨大利益的驅(qū)使下，仍然會有平臺游走在灰色的邊緣地帶。個人信息保護法需要全社會形成合力，形成針對個人信息不法使用的包圍圈。但是，法律的出臺僅僅是開始，法律的生命在于實施，權(quán)威在于執(zhí)行。只有在不斷的司法實踐中，實現(xiàn)持續(xù)一貫地對用戶信息的保護，并且通過對不法行為的嚴懲，才能達到立法的初衷。因此，應(yīng)在立法的同時，加強執(zhí)法的力度，實現(xiàn)對相關(guān)平臺的有效震懾，使其不敢為。

網(wǎng)絡(luò)虛擬世界與現(xiàn)實世界的聯(lián)系越來越緊密，為宣傳個人信息保護提供了便利條件。依靠網(wǎng)絡(luò)手段，向大家宣講相關(guān)的法律知識，具有很好的傳達性。對于違法行為及其懲處的宣講，則可以讓更多的用戶了解到什么樣的行為是違法行為，從而在自己的生活工作中避免不法行為對自己的傷害，也同時達到了對潛在不法分子的有效警告。

通過增強用戶自主性以消除不良心理效應(yīng)。大力保護用戶的個人自主性，平臺應(yīng)該將個人自主性設(shè)置交由用戶，向用戶充分解釋各項自主性設(shè)置的功能，使得用戶能夠?qū)ζ脚_信息有更大的自主權(quán)。此外，在信息提供方面，平臺應(yīng)該對所有的信息平等對待，而不應(yīng)該設(shè)置排他性的使用條款；擴大算法的信息披露力度，即作為算法的相關(guān)主體及利益相關(guān)方應(yīng)該披露算法的運行原理，使用過程中可能存在的偏見和漏洞以及可能對個人和社會造成的潛在危害。算法系統(tǒng)的設(shè)計、測試、運行表現(xiàn)及變動都需要留有記錄，全程監(jiān)測可審計。

為了實現(xiàn)網(wǎng)絡(luò)環(huán)境的風(fēng)清氣正，必須糾正“算法沒有價值觀”的價值判斷。網(wǎng)絡(luò)平臺運營者應(yīng)擔(dān)負起更多的責(zé)任，包括社會責(zé)任和法律責(zé)任。我們應(yīng)該發(fā)揮算法向善的一面，防止其成為不良內(nèi)容傳播的幫兇，以健康向上的價值觀來規(guī)范和指引算法應(yīng)用，營造清朗的網(wǎng)絡(luò)空間。

注釋

[1]Jamieson K. H.; Cappella J. N., 2008, Echo Chamber: Rush Limbaugh and the Conservative Media Establishment, Oxford University Press.

[2]Sunstein, C. R., 2006,  Infotopia: How many minds produce knowledge, Oxford University Press.

[3]Duan, P.; Zhang, L.; Song, K. and Han, X., 2020, "Intelligent News—The Backbone of Smart Media Communication", In Communication of Smart Media, Springer, Singapore.

責(zé) 編／肖晗題

朱廷劭，中國科學(xué)院心理研究所研究員、博導(dǎo)，中國科學(xué)院行為科學(xué)重點實驗室副主任。研究方向為大數(shù)據(jù)心理學(xué)、 網(wǎng)絡(luò)挖掘、機器學(xué)習(xí)。主要著作有《大數(shù)據(jù)時代的心理學(xué)研究及應(yīng)用》等。

Thoughts on Increasing Social Good in the Humanistic Application of Algorithmic Technology

Zhu Tingshao

Abstract: With the application of algorithmic technology in various fields becoming more and more common, especially in the humanities fields such as the recommendation system, human resource recruitment and mental health, it has been well applied and achieved certain results. But in the specific application, various Apps over-collect personal information through algorithms and make unlimited use of it, binding users to their carefully constructed "cage". This has led to emerging problems such as privacy leaking, algorithmic abuse and technological supremacy, bringing a certain degree of adverse impact to the society. Therefore, it is necessary to standardize the use of algorithms by improving the relevant laws, ramp up law enforcement to encourage increase of social good through algorithms, eliminate adverse psychological effects by enhancing user autonomy, and ensure that technology can better serve people rather than bring more problems.

Keywords: algorithmic calculation, algorithmic good, psychological effect