【導(dǎo)讀】本文節(jié)選自俄羅斯國際事務(wù)委員會網(wǎng)站2018年11月發(fā)表的題為《人工智能的發(fā)展前景和可能后果》的文章，文章主要介紹了當(dāng)今世界人工智能技術(shù)的發(fā)展現(xiàn)狀、未來趨勢以及可能導(dǎo)致的國際和社會后果。文章認(rèn)為，當(dāng)前，人工智能還處于“弱人工智能”發(fā)展階段，但已經(jīng)對個人、社會和國家安全構(gòu)成足夠的潛在威脅。當(dāng)前人工智能技術(shù)發(fā)展面臨的最大問題包括“人工智能民族主義”和“人工智能國家化”。同時，人工智能技術(shù)和第四次工業(yè)革命將對社會職業(yè)發(fā)展、法律倫理產(chǎn)生難以預(yù)測的巨大影響。

人工智能發(fā)展的主要問題和潛在威脅

盡管今天的神經(jīng)生物學(xué)取得了很多成就，但到目前為止，還沒人準(zhǔn)確地知道，自然的智能是如何形成的。因此也就沒人準(zhǔn)確地知道究竟如何研制人工智能。目前要研制出人工智能還存在系列亟待解決的問題，關(guān)于解決問題的優(yōu)先方向也存在不同的觀點。比如，開放式代碼OpenCog和SingularityNET人工智能國際研發(fā)項目負(fù)責(zé)人本·戈策爾（Ben Goertzel）認(rèn)為，研究通用人工智能所必須的所有技術(shù)原則上都已經(jīng)研制成功，只不過需要通過正確的方式進(jìn)行聯(lián)結(jié)以產(chǎn)生增效作用，最終就會出現(xiàn)通用人工智能。其余專家則更傾向于持懷疑的態(tài)度。他們認(rèn)為，必須解決許多下面即將列出的原則性問題。專家對強人工智能出現(xiàn)時間的評估也相距甚遠(yuǎn)：從十年到幾十年不等。

無論是普通的自主或者自適應(yīng)智能系統(tǒng)，還是通用或強人工智能系統(tǒng)的出現(xiàn)，都會產(chǎn)生不同程度的威脅，這些威脅即便在當(dāng)下也已經(jīng)非?，F(xiàn)實。其中包括：

研制所謂的致命自主武器系統(tǒng)（Lethal Autonomous Weapons Systems，LAWS），比如雇傭殺人用的無人機；

新一輪軍備競賽，各國將完善自主毀傷兵器的智能水平；

不一定是作戰(zhàn)使用的智能系統(tǒng)，可以是工業(yè)或者生活智能系統(tǒng)，不僅能夠進(jìn)行有目的的行動，還能進(jìn)行有意識的目標(biāo)定向，在此情況下，系統(tǒng)自主制定目標(biāo)可能導(dǎo)致目標(biāo)與人的目標(biāo)相違背；

程度更高的自動化將大多數(shù)人排除出物質(zhì)生產(chǎn)環(huán)節(jié)，這可能導(dǎo)致更大的社會階層差距，降低“社會階梯”的效率，增加“多余人口”的數(shù)量并導(dǎo)致相應(yīng)的社會后果。

2018年8月，在位于布拉格的捷克技術(shù)大學(xué)同時舉行了主題分別為人類水平人工智能、通用人工智能、生物激勵認(rèn)知結(jié)構(gòu)和神經(jīng)-符號技術(shù)的代表大會。大會上，來自人工智能研究領(lǐng)域前沿公司和組織（Microsoft，F(xiàn)acebook，DARPA，MIT，GoodAI）的主要專家發(fā)表了報告。這些報告列舉了人工智能領(lǐng)域研究的現(xiàn)狀，指出了社會所面臨的問題以及在該項技術(shù)下一步研究中可能出現(xiàn)的威脅。在本段概述中，作者將盡量簡要說明主要的問題和威脅，并指出應(yīng)對這些威脅可能的途徑。

首先必須明確與人工智能相關(guān)的一些術(shù)語：弱人工智能或者專業(yè)人工智能，自主人工智能（Autonomous AI），自適應(yīng)人工智能（Adaptive AI），通用人工智能（Artificial General Intelligence，AGI），強人工智能（Strong AI），人類水平人工智能（Human-Level AI），超人類水平人工智能（Super-human AI）。

弱人工智能或者專業(yè)人工智能毫無疑問就是指目前的技術(shù)方案，能夠自動完成某一具體任務(wù)，比如圍棋或者攝像頭的人臉識別功能。這種人工智能不能獨立學(xué)習(xí)其它任務(wù)，除非人類對其進(jìn)行重新編程。

自主人工智能是指系統(tǒng)能夠長時間在沒有操作員參與的情況下運行。比如，它能夠讓配備太陽能電池的無人機從香榭麗舍大道飛到紅場或者沿相反的路線飛行，獨立選擇路線、充電經(jīng)停地點，同時規(guī)避可能的障礙。

自適應(yīng)人工智能要求系統(tǒng)具備適應(yīng)新環(huán)境的能力，能夠獲取研制過程中沒有預(yù)置的知識。比如，能夠讓俄語對話支持系統(tǒng)獨立掌握新的語言，適應(yīng)新的語言環(huán)境或者在學(xué)習(xí)語言教學(xué)資料的基礎(chǔ)上，在對話中運用這些知識。

通用人工智能同樣要求具備高水平的適應(yīng)性，具備通用人工智能技術(shù)的系統(tǒng)在經(jīng)過相應(yīng)學(xué)習(xí)后，能夠在各種截然不同的活動中使用。學(xué)習(xí)過程可以是獨立的，也可以是有針對性的（在指導(dǎo)員的幫助下）。目前也經(jīng)常使用強人工智能來與弱人工智能和專業(yè)人工智能進(jìn)行對比。

人類水平人工智能要求系統(tǒng)的適應(yīng)性水平能夠與人類的適應(yīng)性水平相當(dāng)，也就是說系統(tǒng)能夠在與人類學(xué)習(xí)相當(dāng)?shù)钠谙迌?nèi)掌握同樣的技能。

超人類水平人工智能要求具備更高水平的適應(yīng)性和學(xué)習(xí)速度。因此，系統(tǒng)能夠?qū)W習(xí)人類基本難以勝任的知識和能力。

強人工智能研制中的原則性問題

在總體進(jìn)化框架下，強人工智能的出現(xiàn)完全是符合規(guī)律的，就像原子組成分子，分子組成細(xì)胞，細(xì)胞組成機體，專門的細(xì)胞構(gòu)成中央神經(jīng)系統(tǒng)，就像社會組織的出現(xiàn)，語言、文字的發(fā)展，最終出現(xiàn)了信息技術(shù)一樣是有規(guī)律的。在進(jìn)化過程中，信息結(jié)構(gòu)和組織方法不斷復(fù)雜化的規(guī)律已經(jīng)被瓦連京·圖爾欽很好地證明。如果人類文明沒有滅亡，那么這種進(jìn)化將是不可避免的，在很久以后的未來，這將拯救人類，因為只有信息的非生物存在樣式能夠逃過太陽系的滅亡，將我們的文明信息密碼保存在宇宙當(dāng)中。

與此同時，必須要承認(rèn)的是，要研制出強人工智能，并不一定要知道自然的人工智能是如何運行的，就像制造導(dǎo)彈不一定要知道鳥類如何飛行一樣。顯然，這遲早會通過這樣或者那樣的方法實現(xiàn)，或許，能夠通過幾種方法來實現(xiàn)。

大部分專家認(rèn)為，要研制出通用或者強人工智能，還要解決以下幾個原則性問題：

快速學(xué)習(xí)（few-shot learning）——必須讓系統(tǒng)學(xué)習(xí)的資料規(guī)模變小，而不是像現(xiàn)在的深度學(xué)習(xí)系統(tǒng)那樣，需要大量的專門準(zhǔn)備的學(xué)習(xí)資料。

強大的概括能力（strong generalisation）——研制情景識別技術(shù)，被識別目標(biāo)出現(xiàn)在與學(xué)習(xí)資料完全不同的環(huán)境當(dāng)中。

學(xué)習(xí)生成模型（generative models）——研制一種學(xué)習(xí)技術(shù)，當(dāng)記憶對象并非識別對象的特征，而是其構(gòu)成原則時，這能夠反映識別目標(biāo)更加深層次的實質(zhì)，能夠讓學(xué)習(xí)變得更快，具備更強的概括歸納能力。

結(jié)構(gòu)化預(yù)測和學(xué)習(xí)（structured prediction and learning）——在將學(xué)習(xí)對象展現(xiàn)為多層、多級結(jié)構(gòu)的基礎(chǔ)上，開發(fā)學(xué)習(xí)技術(shù)，在這種結(jié)構(gòu)中，低層級要素決定更高層級要素，這也可能成為解決快速學(xué)習(xí)和強概括能力的一種方法。

解決災(zāi)難性遺忘（catastrophic forgetting）問題——這個問題在現(xiàn)有系統(tǒng)當(dāng)中普遍存在，起初學(xué)習(xí)了一類目標(biāo)，之后學(xué)習(xí)識別新一類目標(biāo)時，失去識別第一類目標(biāo)的能力。

具備增量學(xué)習(xí)（incremental learning）能力——讓系統(tǒng)能夠積累知識并逐漸完善自身能力，與此同時不喪失先前所獲得的知識，且自然語言對話交流系統(tǒng)獲得新的知識。理想狀態(tài)是通過“嬰兒圖靈測試”（Baby Turing Test），系統(tǒng)應(yīng)當(dāng)逐漸具備從嬰兒至成人的語言水平。

解決意識問題（consciousness）——建立可靠的意識行為工作模型，通過建立“內(nèi)部世界圖景”保證進(jìn)行有效的預(yù)測和有針對性的行為，在這一圖景框架下，能夠在不與現(xiàn)實世界實際交互的情況下，尋找達(dá)成既定目標(biāo)的最佳行動戰(zhàn)略，這大大提高了安全性，檢驗假說的能力，提升了檢驗的速度和效能，從而也使得有生或者智能系統(tǒng)在自我意識的“虛擬世界”中具備了自我學(xué)習(xí)的能力。從應(yīng)用的觀點看，意識問題存在兩個方面。一方面，研制具備意識的人工智能系統(tǒng)能夠大大提高其效能。另一方面，研制這樣的系統(tǒng)會導(dǎo)致額外的風(fēng)險，包括倫理層面的問題，因為這些系統(tǒng)在某一階段將具備與人類相當(dāng)?shù)淖晕乙庾R水平，并因此可能導(dǎo)致法律方面的后果。

人工智能的潛在威脅

無論是自主或者自適應(yīng)系統(tǒng)，還是通用或者強人工智能系統(tǒng)的出現(xiàn)，都伴隨著不同程度威脅的產(chǎn)生，這些威脅在當(dāng)前也已經(jīng)迫在眉睫。

第一，對人類構(gòu)成威脅的不一定是強人工智能、通用人工智能、人類水平人工智能或者超人類水平人工智能，因為具備大量信息，速度極快的自主系統(tǒng)就已經(jīng)極具威脅。在自主系統(tǒng)的基礎(chǔ)上可研制所謂的致命自主武器系統(tǒng)，最簡單的例子就是3D打印機批量生產(chǎn)以及人工小批量制作的雇傭型殺人用無人機。

第二，對于國家的威脅是，另一個國家（潛在敵人）獲得了自主性、自適應(yīng)性更強，具備通用人工智能技術(shù)的武器，其反應(yīng)速度更快，能力更強。

第三，對于全世界的威脅是由上一個威脅衍生而來的，各個國家陷入軍備競賽，致力于改進(jìn)自主殺傷和摧毀兵器的智能水平，斯坦尼斯拉夫·萊姆幾十年前就曾如此預(yù)言。

第四，對于各方來說威脅可能是任何智能系統(tǒng)，不一定是作戰(zhàn)智能系統(tǒng)，也可以是具備一定自主性和自適應(yīng)性的工業(yè)或日常智能系統(tǒng)，不僅能夠進(jìn)行有針對性的行動，還能有意識地進(jìn)行目標(biāo)定向，而且系統(tǒng)自主設(shè)置的目標(biāo)可能與人類的目標(biāo)相違背，而系統(tǒng)達(dá)成目標(biāo)的能力要強得多，因為其運行速度更快，處理信息能力、預(yù)測能力更強。遺憾的是，這一威脅的程度還沒有得到應(yīng)有的重視和研究。

第五，對于社會的威脅是，資本主義（極權(quán)主義）社會中的生產(chǎn)關(guān)系進(jìn)入新的發(fā)展階段，越來越少的人具備控制物質(zhì)生產(chǎn)的能力，通過越來越高級的自動化，大部分人被排除出物質(zhì)生產(chǎn)，這可能導(dǎo)致更加嚴(yán)重的社會差距，降低“社會階梯”的效能，增加“多余人口”的數(shù)量，導(dǎo)致相應(yīng)的社會后果。

最后，對于整個人類的威脅是，基于全球網(wǎng)絡(luò)的全球數(shù)據(jù)處理、信息傳播和決策計算系統(tǒng)的自主化，因為這些系統(tǒng)的信息傳播速度和影響能力可能導(dǎo)致現(xiàn)有經(jīng)驗和管理模式所預(yù)想不到的社會現(xiàn)象。比如，當(dāng)今中國所采取的社會貸款體系就是一種獨一無二的文明實驗，它所導(dǎo)致的后果今天還不得而知。

目前對人工智能系統(tǒng)的監(jiān)控非常困難，原因之一就包括現(xiàn)有基于“深度神經(jīng)網(wǎng)絡(luò)”應(yīng)用方案的“封閉性”，使得難以在決策執(zhí)行前對決策的正確性進(jìn)行核實，甚至都不能對及其決策進(jìn)行事實分析?？山忉屓斯ぶ悄埽‥xplainable Artificial  Intelligence，EAI）這一新的方向目前被用來解決這一難題，將關(guān)聯(lián)（神經(jīng)網(wǎng)絡(luò)）和符號（基于邏輯）方法結(jié)合起來解決這一問題也出現(xiàn)了新的進(jìn)展。

應(yīng)對威脅的方法

毫無疑問，必須采取以下措施防止人工智能技術(shù)發(fā)展及其應(yīng)用可能導(dǎo)致的災(zāi)難性后果。

國際社會對致命自主武器系統(tǒng)予以取締并研究、采取執(zhí)行監(jiān)督措施。

國家支持旨在解決上述問題的工作，特別是可解釋人工智能，方法融合，研究目標(biāo)定向機制建立的原則以獲得有效的編程和智能系統(tǒng)監(jiān)控工具，程序設(shè)計的工具不是規(guī)則，而是價值觀，監(jiān)控的對象不是行為，而是目標(biāo)。

獲得人工智能技術(shù)和方法的民主化，比如，依靠對智能系統(tǒng)應(yīng)用于大眾計算、認(rèn)知技術(shù)學(xué)習(xí)所得收入的再投資，以及研究具有開放式密碼的人工智能方案，制定措施鼓勵現(xiàn)有“封閉式”人工智能系統(tǒng)開放密碼。比如，Aigents項目旨在為普通用戶研制自主工作，不受集中控制的個人人工智能助手。

在國際層面規(guī)定人工智能算法、分布式數(shù)據(jù)處理系統(tǒng)和決策系統(tǒng)工作協(xié)議的開放性，使國際和國家組織以及私人具有獨立審計的能力。密碼開放人工智能平臺和生態(tài)系統(tǒng)SingularityNET的創(chuàng)建就是在該方向的創(chuàng)造性探索之一。

關(guān)鍵詞：