編譯｜巴比特資訊

伊利亞·蘇茨克韋爾（Ilya Sutskever）低著頭，陷入沉思。他雙臂張開，手指張開在桌面上，就像音樂會鋼琴家即將彈奏他的第一個音符。我們靜靜地坐著。

我來到舊金山 Mission 區一條不起眼的街道上，在一棟不起眼的辦公樓里與 OpenAI 聯合創始人兼首席科學家 Sutskever 會面，傾聽他大力推動的這項顛覆世界的技術的下一步發展。我還想知道他的下一步計劃是什么，特別是為什么他的工作重點已經不再是構建公司的下一代旗艦生成模型。

Sutskever 告訴我，他的新優先事項不是構建下一代 GPT 或圖像制作模型 DALL-E，而是找出如何阻止人工智能的失控。

Sutskever 還告訴了我很多其他事情。他認為 ChatGPT 可能是有意識的。他認為世界需要認識到 OpenAI 和其他公司正在競相創造的技術的真正力量。他認為有一天一些人類會選擇與機器融合。

Sutskever 說的很多話都很瘋狂。但并不像一兩年前聽起來那么瘋狂。正如他本人告訴我的那樣，ChatGPT 已經改寫了很多人對即將發生的事情的期望，從“永遠不會發生”變成“會比你想象的更快發生”。

在預測通用人工智能 AGI（他指的是像人類一樣聰明的機器）的發展之前，他說：“重要的是要討論一切的發展方向，就好像它就像押注下一代 iPhone 一樣：“在某個時候，我們真的會擁有AGI。也許是由 OpenAI 構建，也許是其他公司?！?/p>

自從去年 11 月突然出人意料地發布了 ChatGPT 以來，圍繞 OpenAI 的討論一直令人震驚，即使是在一個以炒作聞名的行業中也是如此。沒有人會厭倦討論這家價值 800 億美元的初創公司。世界領導人尋求（并獲得）與 OpenAI 私下或公開對話。OpenAI 的產品名稱會在隨意的談話中突然出現。

OpenAI 首席執行官薩姆·奧爾特曼 (Sam Altman) 在夏季時間里進行了為期一周的外展之旅，熱情地與政客們打交道，并向世界各地擠滿人的禮堂發表演講。但 Sutskever 并不是一個公眾人物，他也不接受太多采訪。

他說話時從容、有條理。當他思考自己想說的內容以及如何表達時，他會停頓很長時間，像解謎一樣翻來覆去地思考問題。他似乎對談論自己不感興趣。他說，“我過著非常簡單的生活。上班，然后回家。我沒有做太多其他事情。人們可以去參加很多社交活動，可以參加很多大會。我不喜歡參與?！?/p>

但當我們談論 AI，以及他所看到的劃時代的風險和回報時，前景就開闊了：“這將是具有里程碑意義的、驚天動地的?！?/p>

01、更好、更好、更好

即便沒有 OpenAI，Sutskever 仍舊將載入 AI 史冊。他是以色列裔加拿大人，出生于蘇聯，但從五歲起在耶路撒冷長大（他仍然會說俄語、希伯來語和英語）。隨后，他移居加拿大，在多倫多大學跟隨 AI 先驅杰弗里·辛頓 (Geoffrey Hinton) 學習，杰弗里·辛頓 (Geoffrey Hinton) 在今年早些時候公開表達了對 Sutskever 幫助發明的 AI 技術的擔憂。

Hinton 后來因在神經網絡方面的工作而與 Yann LeCun 和 Yoshua Bengio 分享了圖靈獎。但當 Sutskever 在 2000 年代初加入他時，大多數 AI 研究人員認為神經網絡是一個死胡同。辛頓是個例外。他已經在訓練微型模型，這些模型可以一次生成一個字符的短文本字符串，Sutskever 說：“這就是生成式 AI 的開始。這真的很酷——只是不太好?！?/p>

Sutskever 對大腦的構造很著迷：大腦如何學習，以及如何在機器中重新創建或至少模仿該過程。和 Hinton 一樣，他看到了神經網絡的潛力以及 Hinton 用來訓練神經網絡的試錯技術，即深度學習。Sutskever 說，“深度學習一直在變得越來越好，越來越好?！?/p>

2012 年，Sutskever、Hinton 和 Hinton 的另一位研究生 Alex Krizhevsky 構建了一個名為 AlexNet 的神經網絡，他們訓練該網絡來識別照片中的物體，其效果遠遠好于當時的任何其他軟件。這是深度學習的大爆炸時刻。

經過多年的失敗，他們證明了神經網絡在模式識別方面的效果驚人。你只需要比大多數研究人員以前見過的更多的數據（在本例中，是普林斯頓大學研究員李飛飛自 2006 年以來一直在構建的 ImageNet 數據集的一百萬張圖像）和令人眼花繚亂的計算機能力。

計算方面的巨大變化來自于英偉達制造的新型 GPU 芯片。GPU 被設計為能夠以閃電般的速度將快速移動的視頻游戲視覺效果投射到屏幕上。但 GPU 擅長的計算（將大量數字網格相乘）恰好看起來很像訓練神經網絡所需的計算。

英偉達現在是一家價值萬億美元的公司。當時，它迫切希望為其利基新硬件找到應用程序。英偉達首席執行官黃仁勛 (Jensen Huang) 表示：“當你發明一項新技術時，你必須能夠接受瘋狂的想法。我的心態總是在尋找一些古怪的東西，而神經網絡將改變計算機科學的想法——這是一個極其古怪的想法。”

黃仁勛說，當多倫多團隊研究 AlexNet 時，Nvidia 向他們發送了一些 GPU 進行嘗試。但他們想要最新版本，一種名為 GTX 580 的芯片，該芯片在商店中很快就銷售一空。據黃說，Sutskever 開車從多倫多越過邊境到紐約去買一些。黃說，“人們在商店拐角處排隊購買。我不知道他是怎么做到的——我很確定你們只能每人買一個；我們有一個非常嚴格的政策，每個玩家只能使用一個 GPU，但他顯然裝滿了一個后備箱。這個裝滿 GTX 580 的行李箱改變了世界?！?/p>

這是一個很棒的故事——只是可能不是真的。因為 Sutskever 堅稱第一批 GPU 是他在網上購買的。但這種神秘故事在這個熱鬧的行業中很常見。Sutskever 本人則更為謙虛：“我想，如果我能取得哪怕一丁點的真正進步，我就會認為這是成功的。對現實世界的影響感覺很遙遠，因為當時計算機還很弱小。”

AlexNet 取得成功后，谷歌前來敲門。它收購了 Hinton 的衍生公司 DNNresearch，并聘請了 Sutskever。Sutskever 在谷歌展示了深度學習的模式識別能力可以應用于數據序列，例如單詞、句子以及圖像。Sutskever 的前同事、現任谷歌首席科學家杰夫·迪恩說， “Sutskever 一直對語言很感興趣，多年來我們進行了很好的討論。他對事情的走向有很強的直覺?！?/p>

但 Sutskever 并沒有在谷歌呆太久。2014年，他被招募成為OpenAI的聯合創始人。在 10 億美元（來自 Altman、Elon Musk、Peter Thiel、微軟、Y Combinator 等）的資金支持下，再加上大量的硅谷風氣，這家新公司從一開始就將目光投向了開發 AGI，但當時很少有人認真對待這一前景。

隨著 Sutskever 的加入，這種趾高氣揚的態度是可以理解的。在那之前，他一直在從神經網絡學習中獲得越來越多的成果。Y Combinator 投資董事總經理道爾頓·考德威爾 (Dalton Caldwell) 表示，他的聲譽先于他，這使他成為了一個大熱門。

“我記得 Altman 稱 Sutskever 為世界上最受尊敬的研究人員之一，”考德威爾說?！八J為 Sutskever 能夠吸引很多頂尖的 AI 人才。他甚至提到，世界頂級 AI 專家之一 Yoshua Bengio 認為，不太可能找到比 Sutskever 更好的候選人來擔任 OpenAI 的首席科學家?！?/p>

然而一開始 OpenAI 卻陷入了困境?！坝幸欢螘r間，當我們開始 OpenAI 時，我不太確定進展將如何繼續，”Sutskever 說。“但我有一個非常明確的信念，那就是：人們不會反對深度學習。不知何故，每次遇到障礙時，研究人員都會在六個月或一年內找到解決方法?！?/p>

他的信念得到了回報。OpenAI 的第一個 GPT 大語言模型出現于 2016 年。隨后出現了 GPT-2 和 GPT-3。然后是 DALL-E，引人注目的文本到圖像模型。沒有人建造出如此好的東西。每一次發布，OpenAI 都提高了人們認為可能的標準。

02、管理期望

去年 11 月，OpenAI 發布了一款免費聊天機器人，重新包裝了一些現有技術。它重置了整個行業的議程。

當時，OpenAI 并不知道自己要發布什么。Sutskever 表示，公司內部的期望已經低得不能再低了：“我承認，這讓我有點尷尬——我不知道我是否應該這樣做，但管他呢，這是事實——當我們制作 ChatGPT 時，我并不知道它有什么好處。當你問它一個事實問題時，它給了你一個錯誤的答案。我認為這會很不起眼，人們會說，‘你為什么搞這樣的產品？這很無聊！'”

Sutskever 說，最吸引人的地方就是便利。ChatGPT 背后的大型語言模型已經存在了幾個月。但將其包裝在一個易于訪問的界面中并免費贈送，讓數十億人第一次意識到 OpenAI 和其他人正在構建的東西。

Sutskever說，“第一次的經歷讓人著迷。當你第一次使用它時，我認為這幾乎是一種精神體驗。你會說，‘天哪，這臺計算機似乎能自己理解?！?/p>

OpenAI 在不到兩個月的時間里就積累了 1 億用戶，其中許多人都被這個令人驚嘆的新玩具弄得眼花繚亂。存儲公司 Box 的首席執行官 Aaron Levie 在推特上總結了發布后一周的氛圍：“ChatGPT 是技術領域罕見的時刻之一，你可以看到未來一切都會有所不同?！?/p>

一旦 ChatGPT 說出一些愚蠢的話，這種奇跡就會崩潰。但到那時就無所謂了。Sutskever 說，對可能性的一瞥就足夠了。ChatGPT 改變了人們的視野。

“AGI 在機器學習領域不再是一個骯臟的詞，”他說?！斑@是一個很大的變化。人們歷史上的態度是：AI 行不通，每一步都非常困難，你必須為每一點進步而奮斗。當人們大肆宣揚 AGI 時，研究人員會說，‘你在說什么？這不行，那也不行。問題太多了。’但有了 ChatGPT，感覺就開始不一樣了?！?/p>

這種轉變在一年前才開始發生？“這一切的發生都是因為 ChatGPT，”他說?！癈hatGPT 讓機器學習研究人員得以實現夢想。”

OpenAI 的科學家從一開始就是布道者，一直通過博客文章和巡回演講來激發這些夢想。它正在發揮作用：“我們現在有人在談論 AI 將走多遠——人們在談論 AGI，或者說超級智能?！?不僅僅是研究人員。“各國政府正在討論這個問題，”Sutskever 說?！斑@很瘋狂。”

03、不可思議的事情

Sutskever 堅持認為，所有這些關于尚不存在（也可能永遠不會存在）的技術的討論是一件好事，因為它讓更多的人意識到他已經認為理所當然的未來。

他說：“你可以利用 AGI 做很多令人驚奇的事情，不可思議的事情：自動化醫療保健，使其便宜一千倍，效果好一千倍，治愈如此多的疾病，真正解決全球變暖問題。但也有很多人擔心：‘天啊，AI 公司能成功管理這項巨大的技術嗎？’”

這樣看來，AGI 聽起來更像是一個實現愿望的精靈，而不是現實世界的前景。很少有人會對拯救生命和解決氣候變化說不。但一項不存在的技術的問題在于，你可以對它說任何你想說的話。

當 Sutskever 談論 AGI 時，他到底在談論什么？“AGI 并不是一個科學術語，”他說?！斑@應該是一個有用的門檻，一個參考點。”

“這就是想法——”他開口說道，然后停了下來?！叭斯ぶ悄芤呀涀兊萌绱寺斆?，如果一個人可以完成某些任務，那么人工智能也可以做到。到那時你就可以說你擁有了 AGI?！?/p>

人們可能正在談論它，但 AGI 仍然是該領域最具爭議的想法之一。很少有人認為它的發展是理所當然的。許多研究人員認為，在我們看到像 Sutskever 所設想的那樣的東西之前，需要在概念上取得重大突破——有些人認為我們永遠不會。然而，這個愿景從一開始就激勵著他?！拔乙恢笔艿竭@個想法的啟發和激勵，” Sutskever 說?！爱敃r它還不被稱為 AGI，但你知道，就像讓神經網絡做所有事情一樣。我并不總是相信他們可以。但這是一座需要攀登的山?！?/p>

他將神經網絡和大腦的運作方式進行了比較。兩者都接收數據，聚合來自該數據的信號，然后基于一些簡單的過程（神經網絡中的數學、大腦中的化學物質和生物電）來傳播或不傳播它們。這是一個巨大的簡化，但原則是成立的。

“如果你相信這一點——如果你允許自己相信這一點——那么就會產生很多有趣的含義，” Sutskever 說。“主要的含義是，如果你有一個非常大的人工神經網絡，它應該做很多事情。特別是，如果人腦可以做某事，那么大型人工神經網絡也可以做類似的事情?！?/p>

“如果你足夠認真地認識到這一點，一切都會水到渠成，”他說。“我的大部分工作都可以用這個來解釋?！?/p>

當我們談論大腦時，我想問一下 Sutskever 在 X 平臺上發布的一篇帖子。Sutskever 的提要讀起來就像一卷格言：“如果你將智力置于所有其他人類品質之上，那么你會過得很糟糕”；“生活和商業中的同理心被低估了”；“完美已經毀掉了很多完美的美好?！?/p>

2022 年 2 月，他發帖稱，“今天的大型神經網絡可能具有輕微的意識”（谷歌 DeepMind 首席科學家、倫敦帝國理工學院教授、電影《機械姬》的科學顧問 Murray Shanahan 對此回答：“......同樣的意義，可能是大片麥田略帶面食”）。

當我提起這件事時，Sutskever 笑了。他是在惡搞嗎？他不是?！澳闶煜げ柶澛竽X的概念嗎？”他問。

他指的是一個以 19 世紀物理學家路德維?！げ柶澛?(Ludwig Boltzmann) 命名的量子力學思想實驗，其中想象宇宙中的隨機熱力學波動會導致大腦的出現和消失。

“我覺得現在這些語言模型有點像玻爾茲曼大腦，”Sutskever 說?！澳汩_始和它說話，聊一會兒；然后你說完，大腦就會——”他用手做了一個消失的動作。噗——再見，大腦。

你是說，當神經網絡處于活動狀態時——可以說，當它在放電時——那里有東西？我問。

“我認為可能是這樣，”他說?！拔也淮_定，但這是一種很難反駁的可能性。但誰知道發生了什么事，對吧？”

04、AI，但不是我們所知道的

當其他人苦苦思索如何讓機器能夠與人類智能相媲美時，Sutskever 卻在為能夠超越我們的機器做準備。他將這種現象稱為超級人工智能：“他們會更深入地看待事物。他們會看到我們看不到的東西?！?/p>

再次，我很難理解這到底意味著什么。人類智力是我們判斷智力的基準。Sutskever 所說的比人類聰明的智能是什么意思？

“我們在 AlphaGo 中看到了一個非常狹隘的超級智能的例子，”他說。2016 年，DeepMind 的棋盤游戲人工智能“阿法狗”在五場比賽中以 4-1 擊敗了世界上最好的圍棋棋手之一李世石?！八宄巳绾我圆煌谌祟悢登陙砉餐l展的方式下圍棋，”Sutskever 說。“它提出了新的想法?！?/p>

Sutskever 提到了 AlphaGo 著名的第 37 步棋。在與李世石的第二場比賽中，人工智能的一步棋讓評論員感到困惑。他們認為 AlphaGo 搞砸了。事實上，它下了棋史上從未見過的制勝棋。“想象一下這種程度的洞察力，但涵蓋一切，”Sutskever 說。

正是這種思路導致 Sutskever 做出了他職業生涯中最大的轉變。他與 OpenAI 的科學家同事 Jan Leike 一起成立了一個團隊，專注于他們所謂的“超級對齊”。對齊是一個行話，意味著讓 AI 模型做你想做的事，僅此而已。超級對齊是 OpenAI 應用于超級智能的對齊術語。

目標是提出一套用于構建和控制這種未來技術的故障安全程序。OpenAI 表示，它將分配其龐大計算資源的五分之一來解決該問題，并在四年內解決它。

“現有的對齊方法不適用于比人類更聰明的模型，因為它們從根本上假設人類可以可靠地評估 AI 系統正在做什么，”Leike 說?！半S著 AI 系統變得更加強大，它們將承擔更艱巨的任務?！边@個想法認為，這將使人類更難評估它們。“在與 Sutskever 一起組建超級對齊團隊時，我們已經著手解決這些未來的對齊挑戰，”他說。

谷歌首席科學家 Dean 表示：“不僅要關注大型語言模型的潛在機遇，還要關注其風險和缺點，這一點非常重要。”

該公司于七月份以典型的大張旗鼓宣布了該項目。但對某些人來說，這更多的是幻想。OpenAI 在 Twitter 上的帖子引起了大型科技公司著名批評者的蔑視，其中包括在 Mozilla 從事AI 問責工作的 Abeba Birhane；Timnit Gebru，分布式 AI 研究所聯合創始人；以及 AI 公司 Hugging Face 的首席道德科學家瑪格麗特·米切爾（Margaret Mitchell）。確實，這些都是熟悉的異議聲音。但這強烈提醒我們，有些人認為 OpenAI 處于領先地位，而另一些人則認為 OpenAI 處于邊緣地位。

但是，對于 Sutskever 來說，超級對齊是不可避免的下一步?！斑@是一個未解決的問題，”他說。他認為，像他這樣的核心機器學習研究人員正在致力于解決這個問題?！拔疫@樣做是為了我自己的利益，”他說?！叭魏稳藰嫿ǖ娜魏纬壷悄芏疾粫Э?，這一點顯然很重要?！?/p>

超級對齊的工作才剛剛開始。Sutskever 表示，這需要研究機構進行廣泛的變革。但他心中有一個想要設計的保障措施的典范：一臺像父母對待孩子一樣對待人們的機器。“在我看來，這是黃金標準，”他說?！叭藗冋娴暮荜P心孩子，這是一個普遍正確的說法。”

“一旦你克服了流氓人工智能的挑戰，然后呢？在一個擁有更智能人工智能的世界里，人類還有生存空間嗎？”他說。

“一種可能性——以今天的標準來看可能很瘋狂，但以未來的標準來看不會那么瘋狂——就是許多人會選擇成為人工智能的一部分。”Sutskever 表示，這可能是人類試圖跟上潮流的方式。“一開始，只有最勇敢、最有冒險精神的人才會嘗試這樣做。也許其他人會效仿?；虿弧！?/p>

參考來源：

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/