ChatGPT掩蓋了它的內(nèi)部運(yùn)作原理

鳳凰網(wǎng)科技訊 《AI前哨》北京時(shí)間5月29日消息，對(duì)于一些人來(lái)說(shuō)，“黑匣子”(black box，也稱黑盒子)這個(gè)詞會(huì)讓人想起飛機(jī)上的飛行記錄器。如果發(fā)生不堪設(shè)想的事情，這些設(shè)備對(duì)事后分析很有價(jià)值。但是在人工智能(AI)領(lǐng)域，黑匣子也是一個(gè)重要的術(shù)語(yǔ)。

(資料圖)

什么是AI黑匣子？

AI黑匣子，指的是內(nèi)部運(yùn)作原理對(duì)用戶不可見的AI系統(tǒng)。人們可以向它們提供輸入并獲得輸出，但是不能檢查產(chǎn)生輸出的系統(tǒng)代碼或邏輯。

機(jī)器學(xué)習(xí)是AI的主要分支，它是聊天機(jī)器人ChatGPT和圖像生成器DALL-E 2等生成式AI系統(tǒng)的基礎(chǔ)。機(jī)器學(xué)習(xí)有三個(gè)組成部分：一個(gè)算法或一組算法、訓(xùn)練數(shù)據(jù)以及模型。算法是一組程序。在機(jī)器學(xué)習(xí)中，算法在接受大量示例(訓(xùn)練數(shù)據(jù))的訓(xùn)練后學(xué)會(huì)識(shí)別模式。一旦機(jī)器學(xué)習(xí)算法被訓(xùn)練，成果就是一個(gè)機(jī)器學(xué)習(xí)模型。模型就是人們使用的東西。

例如，人們可以設(shè)計(jì)一個(gè)機(jī)器學(xué)習(xí)算法來(lái)識(shí)別圖像中的模式，訓(xùn)練數(shù)據(jù)可以是狗的圖像，由此產(chǎn)生的機(jī)器學(xué)習(xí)模型將是一個(gè)狗的識(shí)別器。你可以給它一個(gè)圖像作為輸入，并獲得輸出，判斷圖像中是否存在一只狗，以及圖像中哪些像素組成了一只狗。

黑匣子是在“黑箱作業(yè)”

機(jī)器學(xué)習(xí)系統(tǒng)的三個(gè)組成部分中的任何一個(gè)都可以被隱藏起來(lái)，或者成為一個(gè)黑匣子。通常情況下，算法是公開的，所以把它放入黑匣子中的效果并不理想。因此，為了保護(hù)知識(shí)產(chǎn)權(quán)，AI開發(fā)者通常會(huì)將模型放入黑匣子中。軟件開發(fā)者采取的另一種方法是對(duì)用于訓(xùn)練模型的數(shù)據(jù)進(jìn)行模糊處理。換句話說(shuō)，將訓(xùn)練數(shù)據(jù)放入黑盒子中，以防止它被泄露。

黑匣子算法讓外界很難理解AI是如何工作的，但情況并非完全是這樣。

黑匣子的反面有時(shí)被稱為玻璃匣子(glass box，又稱玻璃盒子，指的是內(nèi)部運(yùn)作透明)。AI玻璃匣子是一個(gè)系統(tǒng)，其算法、訓(xùn)練數(shù)據(jù)和模型對(duì)任何人都是可見的。然而，研究人員有時(shí)會(huì)將這些玻璃匣子的某些方面描述為黑匣子。

這是因?yàn)檠芯咳藛T并不完全了解機(jī)器學(xué)習(xí)算法，尤其是深度學(xué)習(xí)算法是如何運(yùn)作的。可解釋的AI領(lǐng)域正在努力開發(fā)算法，雖然不一定是玻璃匣子，但可以被人類更好地理解。

黑匣子的弊端

在許多情況下，人們有充分的理由警惕黑匣子機(jī)器學(xué)習(xí)算法和模型。假設(shè)一個(gè)機(jī)器學(xué)習(xí)模型對(duì)你的健康狀況做出了診斷，你想要黑匣子還是玻璃匣子呢？對(duì)于給您開具治療方案的醫(yī)生，也許她想知道模型是如何作出決策的。

如果一個(gè)決定你是否有資格從銀行獲得商業(yè)貸款的機(jī)器學(xué)習(xí)模型拒絕了你，該怎么辦？你不想知道為什么嗎？如果你知道了原因，你可以更有效地上訴決定，或者改變你的情況，以增加你下次獲得貸款的機(jī)會(huì)。

黑匣子對(duì)于軟件系統(tǒng)安全也有重要的影響。多年來(lái)，計(jì)算機(jī)領(lǐng)域的許多人認(rèn)為，將軟件保存在黑匣子中可以防止黑客檢查它，因此它是安全的。這種假設(shè)在很大程度上被證明是錯(cuò)誤的，因?yàn)楹诳涂梢詫?duì)軟件進(jìn)行逆向工程。也就是說(shuō)，通過密切觀察軟件的工作原理來(lái)構(gòu)建一個(gè)副本，并發(fā)現(xiàn)可利用的漏洞。

如果軟件是在一個(gè)玻璃匣子里，那么軟件測(cè)試人員和善意的黑客可以檢查它，并告知?jiǎng)?chuàng)建者它的弱點(diǎn)，從而最大限度地減少網(wǎng)絡(luò)攻擊。鳳凰網(wǎng)科技《AI前哨》對(duì)此將持續(xù)關(guān)注。(作者/簫雨)