文|經緯創投
近日，谷歌旗下DeepMind團隊的人工智能項目AlphaDev研發出一種全新的數據排序方法，憑借一己之力提升排序算法的速度約70%，同時，對于哈希(Hash)算法，也找到了速度提高30%的辦法。十多年來，C++排序庫首次更改。這項最新的研究也登上了Nature。
坐不住的熱心網友，嘗試通過引導ChatGPT證明實力。僅僅一天時間，GPT-4在對話引導下，就能夠通過兩步獲得和AlphaDev幾乎相同的思路發現。讓網友不禁感嘆：大家還是低估了GPT-4。
如果AI優化算法即將成為加速全球計算的必經之路，那么，AlphaDev此次都從哪里下手？這項研究成果有多重磅？GPT-4又是如何破解的？比人類還聰明的超級智能還有多遠？人類如何與超級智能共存？以下，Enjoy：
01 不下圍棋的AlphaDev：如何革新計算基礎、改變C++庫？
數字社會下，人工智能三大核心要素悄無聲息地滲透到日常生活當中。算力、算法與數據，支撐著計算機的可持續發展，提高了數字時代下云端生活和工作的整體質量。
算力代表著數據處理能力的強弱，算法則影響著數據處理的效能。當算力與算法逐漸進入瓶頸期，“摩爾定律”便浮出水面，得到越來越多的討論與關注。
隨著GPT-4、Bard等大模型的參數指數級增長，對算力等資源的需求不斷增長。而過去50年里，人類不斷依靠芯片的改進以跟上步伐。
但隨著微芯片接近物理極限，改進代碼讓計算更強大、更持續變得至關重要。尤其是，對每天運行數萬億次代碼的算法愈重要。
代碼晝夜不休運行數萬億次，掌握算法基礎成了開發者的家常便飯。但是，與以往的人類更新代碼庫不同，在研究者的引導下，AI開始反過來優化算法。
如果說AlphaGo是AI突破圍棋領域的“最強大腦”，那AlphaDev便是Alpha家族在算法領域異軍突起的新秀。
6月8日，DeepMind在Nature上，發表了最新的研究成果“Faster sorting algorithms discovered using deep reinforcement learning”：AlphaDev作為一個全新AI系統，成功將一種每天運行數億萬次的C++排序算法的速度提高70%，同時，對于哈希算法，也找到了速度提高30%的辦法，超越了科學家們幾十年來的研究；甚至在部分算法上，能夠比人類快3倍左右。
DeepMind CEO Hassabis也通過兩句話讓AlphaDev登上熱搜榜，掀起計算機領域的討論熱潮：“AlphaDev發現了一種全新且更快的排序算法，我們已經將其開源至C++庫中供開發人員使用，這僅僅是AI被用于提升代碼效率的開端。”
AlphaDev所發現的最新成果，被納入LLVM標準C++庫Abseil并且開源，供開發者運用。十幾年來，C++排序庫首次更改，AI在其中發揮了里程碑的作用，數十億人將會受益。
更快的排序算法切實改變了計算基礎，無論是排序還是哈希算法。這也預示著，未來，在無數領域的數據處理方面，AI為之提供了新的優化空間。從搜索引擎到社交軟件以至于手機、計算機等各類基礎數據工程中，海量數據的處理速度都將被提升，計算機的生態系統得到了強化。
這項成果的重要性，正如Google DeepMind研究科學家Daniel J. Mankowitz所說：“我們估計，AlphaDev發現的排序和哈希算法，在全球范圍內每天被調用數萬億次。”
更快的算法：AlphaDev，通過游戲找到先進算法
排序算法，以一組數字為例，可以簡單理解為：輸入五個隨機數字，經由排序后，輸出從大到小排列的五個數字；即按照特定順序對于任務進行排列，這為計算機科學至今的發展進行了奠基。從在線搜索結果，社交帖子，到計算機和手機數據處理方式，排序算法每天都要執行數萬億次。
AlphaDev的創新意義在于，它并不是通過改進現有算法，而是完全從頭開始發現了更快的算法。
AlphaDev從計算機匯編指令入手，在這個原本被認為較低的級別上進行改進，找到了更高效的方法。
匯編指令用于創建二進制代碼。雖然開發者寫代碼時用的是C++等高級語言，但為了讓計算機理解，這些高級語言必須翻譯成「低級」的匯編指令。
在這個更低的級別上，計算機的存儲和操作都更靈活，因此如果再多做一些潛在的改進，就會對速度和能源產生巨大的影響。
基于AlphaZero（在圍棋、國際象棋和象棋等游戲中打敗世界冠軍的強化學習模型）的AlphaDev，其工作方式同樣結合了過往常用的計算機推理和直覺，可以選擇在運算過程中，添加哪些指令。
DeepMind將排序問題轉化成一個單人匯編游戲（Assembly Game），讓AlphaDev觀察它所生成的算法以及CPU中包含的信息，隨后，選擇一條指令為算法增添行動。“指令組合”的數量與圍棋的可能走法類似，非常“燒腦”。并且，每一步的選擇都存在著讓整個算法失效的風險。
來源：Nature
想要順利通關，AlphaDev就需要發現一個正確且比以往更快的程序。在這一過程當中，Deepmind會根據AlphaDev正確排序數字的能力和整體完成排序的速度和效率給予獎勵。AlphaDev能夠采取的行動共有四種：比較不同值、移動數值到另一個位置、或者跳轉到程序的不同部分。在執行完每一步之后，再對一組列表進行排序，并根據正確排序的列表中的數值數量獲得獎勵，如此反復，直至排完整個列表或者達到了程序的長度限制。
最終，AlphaDev 發現的新排序算法，對于 5 個數據的列表，它比最好的算法快 70%，對于超過 25 萬個項目的列表，速度提高了約1.7%。
研究科學家 Mankowitz 表示，“我們最初以為AlphaDev犯了錯誤，或者存在bug，但是，當我們分析這個程序時，我們意識到，實際上， AlphaDev 發現了更快的東西”。
更新的方法：AlphaDev swap move& AlphaDev copy move
AlphaDev的排序算法包含新的指令序列，每次應用時都會節省一條指令，這也被稱之為“AlphaDev swap move”和“AlphaDev copy move”。
這與曾經 AlphaGo的神之一手一樣讓人感到新穎。AlphaDev看似跳過了其中一步，實際上以更快捷的方式連接了項目。
AlphaDev 交換移動，發現只需要 min (A,B)。來源：Nature
AlphaDev 使用其復制動作時，發現只需要 max（B，min（A，C））。來源：Nature
更快的哈希函數：速度提升30%
成功找到更快的排序算法后，DeepMind開始嘗試AlphaDev能否推廣并適用于更為基礎的計算機科學算法，即散列/哈希（Hash）函數。
哈希概念，指構造一種儲存結構，通過某種函數，可以使元素的儲存位置與他之間的關鍵碼能夠建立一一的映射關系，查找時，就能通過該函數快速找到對應元素。
對應的，哈希函數又稱散列算法，是一種從任何數據中創建小的數字“指紋”的方法，能夠把消息或數據壓縮成摘要，使其數據量變小，并且將數據的格式固定下來。
這一函數將數據打亂混合，重新創建名為“散列值”（hash value）的“指紋”。散列值往往用一個短的隨機字母和數字組成的字符串來代表。
如此以來，計算機就可以使用散列值快速檢索相關數據。就像圖書管理員使用分類系統來找到特定的書籍一樣，散列算法幫助用戶知道他們正在尋找的內容以及確切的位置。
AlphaDev不負眾望，將其應用于 9-16 字節范圍內的哈希函數時，速度可提高 30%。新的哈希算法，也會被發布到開源的 Abseil 庫中，供全球開發者使用。
網友：AI優化世界代碼，AI創造AI的時代要來了？
基于上述AlphaDev的發現，有的網友很興奮——AI優化世界代碼，又達新里程碑。我們現在正在踏入未知領域：AI創造AI的時代要來了？
Google DeepMind認為，AlphaDev是朝著開發AGI工具邁出的一步，這些工具有助于優化整個計算生態系統，還能解決其他有益于社會的問題。
此番操作也成功在外網引發了歡呼和肯定。
有網友對于AlphaDev的創新性大加贊同：“酷#AlphaDev提出了一種新穎的反壟斷方法：通過交換和復制，AlphaDev跳過了一個步驟，以一種看似錯誤但實際上是捷徑的方式連接項目。”
也有網友非常期待AlphaDev下一波會秀什么操作：“這太不可思議了！基本算法有很大的優化空間。等不及看看AlphaDev還發現了什么！游戲已經開始了。”
有網友則對于AI發展整體呈現樂天派態度：“享受主要的AI程序在多方位為我們帶來的內容吧！”
02 被玩壞的GPT-4：如何兩步提示下破解AlphaDev的排序更優算法？
Google Deepmind新AI的研究成果剛登上Nature，時隔一天，就有“熱心網友”成功讓GPT-4也重現了一下AlphaDev的“神來之筆”。
這位熱心網友是來自威斯康星大學麥迪遜分校的副教授Dimitris Papailiopoulos，他只用兩步就讓GPT-4也發現了相同的操作。隨后，他還調侃道，“完全不需要強化學習，我能把這個發表在Nature上嗎？”
在引導GPT-4的過程中，他的溝通更加日常化。他先給GPT-4下了第一步觀察指令：
“以下是一段排序算法，我覺得它還有提升空間。你能否在下面幾行用***注明哪些指令可以被刪除或者改進？如果維持原貌，什么都不修改，就一步一步解釋原因，并且返回驗證它是正確的。”
GPT完成這項指令，只需要標注對應的解釋即可，并不需要直接修改。第二步命令隨之而來：
“在此基礎上，如果你有較高的把握度，按照上面的提示去做。在Temperature=0的情況下，盡量減少混淆情況出現。”
GPT-4隨之工作，并且總結道：指令“mov S P”可以被去掉，與其移動到P，我們可以直接使用S以節省步驟。
這與Deepmind的AlphaDev進行算法優化的思路相似度極高：
來源：Nature
相比之下，GPT-4用了兩步完成；AlphaDev則在設定的游戲情境下發現成果，完成下圖a和圖b的選擇和排列流程，以獲得獎勵。就過程而言，搜索空間極大，試錯成本也不低。
來源：Nature
部分網友對該教授的操作存在異議，比如：在ChatGPT中，并不能使用“temperature”，該教授也接受了自己的不嚴謹之處。
同時，對于GPT-4的表現，圍觀群眾紛紛銳評，褒貶不一，連馬斯克都忍不住留言：Interesting！
有網友對GPT-4大加贊賞：“即便是最有經驗的專家，也會低估GPT-4”。
也有網友持觀望態度：“或許這很有趣，GPT-4的各類示例發明了許多聰明的方法，并將思維方式和編碼的一般知識運用到一種它以前從未見過的編碼語言中。”
也有網友表示：“我會說（如果我理解正確的話），新穎性在于RL以前所未有的方式探索解決方案空間的能力，新算法如何被發現——這不是你能用LLM做的……”
有網友直接否定了GPT-3的解決辦法：“從技術上講，ChatGPT（GPT-3）的解決方案不正確：在調動后的行中，P應替換為S以保持正確性。同樣也出現在第一次通過中：如果最后一次比較的結果是S
有網友則對AlphaDev進行了一波拉踩：“對任何寫過匯編的人來說，看到DeepMind(s)的結果發布在Nature，一個以前只為真正鼓舞人心做研究、為自然世界提供亮點的雜志上，都會大失所望。”
此外，還有網友產生了人類與AI的思考：“看起來這么簡單，為什么人類到現在都沒有發現？”
除了網友通過引導GPT-4，兩步解決問題發出的“挑釁”，討論聲也席卷了互聯網。網友們大多傾向于同一觀點：AlphaDev拿下了本周人工智能領域最大的非新聞之一熱點。
Hacker News的用戶曾表示，AlphaDev所實現的70%提速，主要原因在于該庫在過去10年中并沒有被積極開發。此外，DeepMind的改進之處之所以有效，本質上是因為該庫沒有有效實現無分支排序網絡。
GitHub上的網友orlp也指出，雖然該算法確實自動地生成了較好的代碼，但它對于該領域的提升和改進，遠不至于達到革命性程度。
Anirudh VK發文指出，AlphaDev本身的優勢在于代碼匯編，找到缺失的優化點，并且平衡哈希算法的正確性和分布性。但實質上，該算法沒有找到一種全新的排序方法，而是對代碼進行了微觀優化。
他還認為，雖然DeepMind確實通過部署AlphaDev發現了更優算法，但該行為的影響力很大程度上被擴大化了。AlphaDev目前能夠在特定CPU上運行的特定庫中進行優化，具有一定的業務能力，但這并不能被稱之為驚天動地的發現。
不過，可預知的是，超級優化器已經存在，它們可以通過“蠻力”的方法找到最優化的程序，一切都值得期待。
03 比人類還聰明的超級智能
6月9日，北京智源人工智能研究院（以下簡稱智源）院長黃鐵軍在2023北京智源大會上表示，要實現AGI，有三條技術路線：
第一是“大數據+自監督學習+大算力”形成的信息類模型，OpenAI做GPT（生成式預訓練Transformer模型）就遵循這條技術路線。
第二是具身智能，是基于虛擬世界或真實世界、通過強化學習訓練出來的具身模型，以谷歌DeepMind的DQN（深度Q網絡，Deep Q-network)為核心取得的一系列進展即基于這條技術路線。
第三是腦智能，直接“抄自然進化的作業”，復制出數字版本的智能體。智源期望不同于前兩個技術路線，從“第一性原理”出發。從原子到有機分子、到神經系統、到身體，構建一個完整的智能系統AGI。
AGI之后，人工智能的控制與算法算力問題，一直以來都飽受行業關注。如何看待比人類更聰明的超級智能？在智源人工智能大會上，AI教父Geoffrey Hinton做了《通往智能的兩條路徑》的演講。
在Geoffrey Hinton看來，人工神經網絡很快就會比真實的神經網絡更智能。
他提出了非不朽計算（Mortal Computing）的概念，即一個人的智慧依賴于其身軀，不可隨意復制到另一身軀上，軟件也是如此更依賴它的硬件。如果硬件損壞，那學到的知識也會一起死亡。這便需要通過“知識蒸餾”進行轉移，比如把舊硬件上的知識用「蒸餾」的方式轉移給新硬件，就像老師教授學生一樣。
同時，Hinton還提出“權重共享”，即大語言模型與其副本之間存在著權重共享的關系。具體可以類比為：ChatGPT可以基于模型，同時和數以萬計的人類對話，跟每一個人的對話過程，都相當于一次“知識蒸餾”。
目前模型僅僅從文檔——也就是人類加工過的知識中學習，隨著技術的發展，它們將能夠從視覺信息中學習，接著可能學會操縱機器人。那么它們很容易比人類更聰明，聰明到擅長騙人。
75歲的Hinton希望研究者好好研究“如何擁有超級智能”。因為，在他看來，不那么聰明的物種，想要控制比它自己更加聰明的事物，是一場前所未有的挑戰。
他用一個很有趣的例子回答了我們正面臨的AI問題：“假設青蛙創造了人類。你會認為現在是誰擁有掌控權？青蛙還是人？我的講話就到這里。”
排序算法提速登上Nature，AlphaDev和GPT-4都給出了證明AI能力的答案。無論是先手還是后手，目前而言，操控它們的都還是人類。
同曾經風靡一時的提示詞工程師一樣，掌握提問的技巧，正確、智慧地提問是引導AI發現甚至創造的關鍵。本質上，超級智能目前仍然依賴人的培養與灌輸。GPT的上限、AI模型的上限，到底是憑借暴力運算、野蠻生長，還是制定標準、淺嘗輒止？
未來的路，都還在腳下，我們要做的，就是擁抱AI。