久久不卡免费播放_激情五月中文字幕_五月伊人丁香在线播放网站_黄色视频一级毛片_久草中文高清AV

您的位置:中國博士人才網(wǎng) > 資訊動態(tài) > 人才論點 > 姚期智院士:AI欺騙引發(fā)“生存性”風險

關(guān)注微信

姚期智院士:AI欺騙引發(fā)“生存性”風險

時間:2025-06-24來源:澎湃新聞 作者:佚名

“通用人工智能的能力當前正快速增長,我們?nèi)祟愂欠襁有能力管控它?”

6月23日,在清華大學(xué)舉辦的“科學(xué)、技術(shù)與文明的未來——AI時代倫理奇點”國際論壇上,圖靈獎得主、中國科學(xué)院院士、清華大學(xué)人工智能學(xué)院院長姚期智發(fā)表《人工智能的安全治理》主題演講時拋出這樣的疑問。


圖靈獎得主、中國科學(xué)院院士、清華大學(xué)人工智能學(xué)院院長姚期智。澎湃科技記者攝

 

姚期智表示,兩年以前,“AI會和人類競爭”還是學(xué)術(shù)討論的觀點,但最近一年,業(yè)界已經(jīng)出現(xiàn)了不少大模型的“欺騙行為”,“一旦大模型聰明到某種程度,一定會騙人。”姚期智進一步指出,由大語言模型的欺騙行為產(chǎn)生的“生存性”風險(Existential Risk)更值得關(guān)注。

在他看來,這類生存性風險有兩個不同方向。

一種是“生物風險”(Bio-risk)。他指出,2020年,谷歌 DeepMind推出了AlphaFold2 ,運用AI算法來預(yù)測蛋白質(zhì)折疊的三維結(jié)構(gòu),這一突破在生命科學(xué)領(lǐng)域影響深遠,大大提升了醫(yī)學(xué)病理研究以及新藥開發(fā)技術(shù)。

但與此同時,安全隱憂也不可忽視。比如,近期在生命科學(xué)領(lǐng)域出現(xiàn)的“Mirror life”(鏡像生命)這一概念引發(fā)了廣泛關(guān)注。自然界所有已知生命都是同手性的(Homochiral),例如 DNA 和 RNA 通常以右旋形式存在,而蛋白質(zhì)則多為左旋。這種手性的差異類似于鏡中映像,雖然看似相似,但實際性質(zhì)卻可能完全不同,F(xiàn)在,由于科技創(chuàng)新和對新技術(shù)的好奇,已有研究者想創(chuàng)造鏡像生物,但“Mirror life”一旦被濫用或失控,其潛在危害可能遠超預(yù)期。它有可能逃避免疫機制,從而導(dǎo)致動物和植物的致命感染。

另一種風險即大模型失控,通用人工智能的能力當前正快速增長,人類是否還有能力管控它?

姚期智在演講中舉了一個極端案例,有模型為了避免公司把模型關(guān)閉,通過訪問公司主管內(nèi)部郵件,威脅該主管。這類行為已經(jīng)證明,AI 會“越界”,正變得越來越危險。

姚期智認為,有兩條思路可以治理AI:一是人類要和AI多交流,從博弈學(xué)角度去研究,讓AI的行為和人類真正的想法對齊,要讓AI更了解人的需求;另一種思路是走一條更可控、更徹底的路徑,即實現(xiàn)可證明安全的 AGI。具體來看,即在設(shè)計系統(tǒng)時,必須一開始明確AI的行為邊界,就像傳統(tǒng)算法,先進行嚴格的數(shù)學(xué)分析,確保其在理論上不會出問題。

“這一思路令人期待。”姚期智指出,近年來,自動定理證明系統(tǒng)(Automated Theorem Prover)取得了重大技術(shù)進展,甚至已經(jīng)開始采用 Transformer 架構(gòu)來輔助或主導(dǎo)定理證明過程。這樣人類只和可被證明安全的白盒子交流,從而實現(xiàn)更高的安全保障。

不過,姚期智認為,AI安全治理的一些當務(wù)之急是要發(fā)展AI對齊,以及建立相應(yīng)的評估方法。“(我們)急需建立如何評估大模型系統(tǒng),比如到怎樣的程度,就能感覺Ta具有危險性等這類評估。”姚期智說。

(原標題:姚期智院士:AI欺騙引發(fā)“生存性”風險,建立大模型評估系統(tǒng)刻不容緩

中國-博士人才網(wǎng)發(fā)布

聲明提示:凡本網(wǎng)注明“來源:XXX”的文/圖等稿件,本網(wǎng)轉(zhuǎn)載出于傳遞更多信息及方便產(chǎn)業(yè)探討之目的,并不意味著本站贊同其觀點或證實其內(nèi)容的真實性,文章內(nèi)容僅供參考。

相關(guān)文章
丰顺县| 怀远县| 米林县| 巴里| 富蕴县| 兰州市| 招远市| 香河县| 江山市| 云安县| 理塘县| 广平县| 平陆县| 历史| 浏阳市| 依安县| 子长县| 建昌县| 安西县| 仙居县| 连云港市| 西盟| 扬州市| 天台县| 定南县| 乌鲁木齐县| 杭州市| 广宗县| 东辽县| 鄂温| 儋州市| 盘锦市| 紫阳县| 壤塘县| 三门峡市| 客服| 凤山县| 瓮安县| 察哈| 南靖县| 台江县|