ChatGPT的Chat安全嗎？

一、奇點(diǎn)來臨了嗎？

大東：小白你在干嘛?。?/p>

小白：我在看ChatGPT的文章，最近這玩意火出圈了。

大東：確實(shí)，ChatGPT對(duì)現(xiàn)代人的生活方式的改變堪稱具有里程碑意義。

小白：嗯，東哥，我主要是關(guān)注ChatGPT對(duì)網(wǎng)絡(luò)安全領(lǐng)域的影響，這與我的專業(yè)、學(xué)業(yè)乃至未來事業(yè)發(fā)展都有很強(qiáng)的關(guān)聯(lián)度。

大東：沒錯(cuò)，ChatGPT可以在網(wǎng)絡(luò)安全領(lǐng)域有很多應(yīng)用，比如輔助代碼審計(jì)、威脅分析等，還有可能生成網(wǎng)絡(luò)攻擊腳本、釣魚郵件等。

小白：確實(shí)，寫代碼一直被認(rèn)為是一種高端的技術(shù)，程序員也一度被認(rèn)為是高薪崗位的代名詞，但是ChatGPT的橫空出世，無異于降維打擊，讓很多從業(yè)人員暗暗滋生了危機(jī)感。

大東：其實(shí)事實(shí)也遠(yuǎn)不至于這樣悲觀。隨著ChatGPT訓(xùn)練模型的豐富和語料庫的豐富，的確可以在一定程度上替代人類，但是信息安全領(lǐng)域的工作崗位，有些工作是偏向于溝通性質(zhì)的，過于理性的AI可能并不能給出能有人情味的答案，也無法滿足人文主義需求。

小白：嗯嗯，比如社會(huì)工程學(xué)，對(duì)吧。

大東：是的小白，其實(shí)每一次AI技術(shù)的突飛猛進(jìn)，都會(huì)引起一番關(guān)于“奇點(diǎn)是否已經(jīng)來臨”的大討論，但目前來看，人類的創(chuàng)意、靈感和感情是AI短時(shí)間內(nèi)無法替代的。因此我們的當(dāng)務(wù)之急并非販賣焦慮，而是要仔細(xì)分析ChatGPT對(duì)網(wǎng)絡(luò)安全行業(yè)發(fā)展會(huì)產(chǎn)生哪些影響。

小白：太好了東哥，洗耳恭聽。

二、ChatGPT 的“意識(shí)攻擊”

大東：其實(shí)關(guān)于ChatGPT，我想到了一個(gè)有意思的事。

小白：啥事？

大東：去年維基上“卡申銀礦”在中文版本中爆火的那件事，你有印象嗎？

小白：這個(gè)我知道，確實(shí)很有意思。是一位知乎用戶在為自己的小說尋找素材的時(shí)候，無意中檢索到了“卡申銀礦”這個(gè)詞匯，并將它分享到了一個(gè)歷史愛好者交流群中，結(jié)果有人對(duì)這個(gè)詞匯提出了質(zhì)疑，并通過一系列的資料查詢后，發(fā)現(xiàn)俄羅斯歷史上根本沒有這么一座銀礦。隨著進(jìn)一步地挖掘，終于挖出了名為“折毛”的用戶，她在中文版上編纂了幾百萬字的古俄羅斯歷史。

大東：嗯，哈哈，據(jù)說這位用戶為了使自己編纂的歷史更加可信，她還自行杜撰了地圖、人口變化圖、名人訪談等內(nèi)容。

小白：但話說回來，這跟ChatGPT對(duì)網(wǎng)絡(luò)安全的影響有啥關(guān)系呢？

大東：你不覺得這個(gè)故事給我們帶來了一些啟示嗎？

小白：似懂非懂。

大東：ChatGPT與Wikipedia的信息輸入方式有相似之處，前者是開放數(shù)據(jù)+用戶修正投喂，不斷強(qiáng)化學(xué)習(xí)能力；而后者是每個(gè)用戶只要使用與其匹配的話語體系，就可以成功地創(chuàng)建百科。這件事就是鉆了這個(gè)“空子”，在看似科學(xué)嚴(yán)謹(jǐn)?shù)腤ikipedia里面一本正經(jīng)地胡說八道。

小白：這樣看起來，確實(shí)如此。

大東：由此及彼地推演，我們不難看出，ChatGPT很容易被污染投喂，或者說遭受知識(shí)污染。

小白：可別把咱ChatGPT給喂壞了，孩子是無辜的呀。

大東：是的，更進(jìn)一步可以假定AI智能體投喂污染ChatGPT。

小白：那可真的太過分了。

大東：引用“八個(gè)打”的說法，安全人員有時(shí)需要打地鼠、打蒼蠅，自然也會(huì)需要打游擊、打太極。比如通過使用來自社交媒體或其他來源的大量文本數(shù)據(jù)訓(xùn)練模型，攻擊者可以使用ChatGPT生成極具可信度的網(wǎng)絡(luò)釣?電子郵件或消息，旨在誘騙受害者泄露敏感信息。

小白：插一句：熱心白上線了啊，“八個(gè)打”文章的上、下兩篇想回顧的讀者可以自行參閱。

大東：不錯(cuò)啊小白。由于黑客和灰產(chǎn)有不同層級(jí)的目的，所以如果ChatGPT經(jīng)常會(huì)有惡意投喂，可能會(huì)造成互聯(lián)網(wǎng)大范圍的知識(shí)體系級(jí)意識(shí)攻擊隱患。

小白：意識(shí)攻擊？

大東：沒錯(cuò)，意識(shí)攻擊可能會(huì)有深度隱藏、潛移默化等特點(diǎn)，有毒的意識(shí)會(huì)擴(kuò)散式污染互聯(lián)網(wǎng)體系，類似手機(jī)依賴癥。

小白：這太可怕了，看來AIGC是雙刃劍??！

大東：是的，相關(guān)的安全研究刻不容緩。

三、AI攻擊恐成為主流

小白：東哥，我想起了我們2019年就寫過《換臉好玩，可不要貪“ZAO”哦》。

大東：其實(shí)ChatGPT對(duì)網(wǎng)絡(luò)安全行業(yè)演進(jìn)的影響，遠(yuǎn)不止這些。

小白：還有哪些呢？

大東：ChatGPT的底層邏輯是基于大模型的深度學(xué)習(xí)框架，ChatGPT是源于Transformer 的神經(jīng)網(wǎng)絡(luò)架構(gòu)提出。

小白：什么是大模型？

大東：這是指ChatGPT用的方法叫“大型語言模型”，中文習(xí)慣稱為“大模型”。大模型所包含的參數(shù)在千億級(jí)以上，是一種通用模型，能夠?qū)⒋罅康臄?shù)據(jù)通過Transformer架構(gòu)做機(jī)器學(xué)習(xí)。

小白：哦哦。

大東：而大模型的訓(xùn)練，其實(shí)未來會(huì)形成產(chǎn)業(yè)鏈重塑，海量的應(yīng)用數(shù)據(jù)輸入到ChatGPT中，而各類商業(yè)組織、個(gè)人用戶對(duì)AIGC依賴性會(huì)越來越強(qiáng)。那么，大模型將會(huì)等同于芯片、操作系統(tǒng)在ICT的基礎(chǔ)軟硬件地位，對(duì)于國(guó)家安全的重要性可想而知。

小白：看來，這是未來的卡脖子技術(shù)??？那怎么能具備技術(shù)領(lǐng)跑地位呢？

大東：一方面，我們也要大力發(fā)展自己的大模型，同時(shí)大模型的技術(shù)迭代取決于算力網(wǎng)絡(luò)資源保障和類似于超級(jí)互聯(lián)網(wǎng)生態(tài)應(yīng)用交互，譬如東數(shù)西算。

小白：那看來，算力網(wǎng)絡(luò)安全將至關(guān)重要啊。

大東：是的，這方面的安全挑戰(zhàn)需要提前考慮。

小白：那我們得趕快徹夜不眠研究；

大東：錯(cuò)，這樣只是盲干。剛才我們講過，ChatGPT可以用于生成惡意攻擊代碼，未來攻擊代碼恐怕都會(huì)是AI自動(dòng)生成、無窮變化、持續(xù)演進(jìn)，原有的人工防護(hù)方法將面臨失效。

小白：那這怎么辦??？

大東：我們應(yīng)該研究如何使用AIGC提升安全防護(hù)的AI化能力。

小白：那以后不就成了AI之間打架了嗎？

大東：沒錯(cuò)，ChatGPT會(huì)促進(jìn)網(wǎng)絡(luò)攻防技術(shù)升維，未來利用AI實(shí)現(xiàn)網(wǎng)絡(luò)攻擊會(huì)成為主流攻擊形式。

四、小白內(nèi)心說

小白：今天東哥從火出天際的ChatGPT開始講，一直講了ICT產(chǎn)業(yè)鏈重塑和未來網(wǎng)安領(lǐng)域的發(fā)展趨勢(shì)，使我大開眼界，作為一名網(wǎng)安專業(yè)的學(xué)生，油然生發(fā)出一種使命感，感覺自己就是未來的superhero，但是AI安全防護(hù)技術(shù)該怎么戰(zhàn)勝AI攻擊呢？是個(gè)新問題。