文丨光錐智能 周文斌

元宇宙已經涼透了，NFT也快淹死了，但中國互聯網不知道，中國互聯網不在乎，因為現在它的眼里只有ChatGPT......

這是最近兩個月來中國互聯網的真實寫照，大家都在為ChatGPT狂歡，周鴻祎更是語出驚人：“任何行業的APP、軟件、網站、應用，如果加持上GPT的能力，都值得重塑一遍。”

就像是發令槍扣動了扳機，在ChatGPT之后，人工智能直接開啟了科技企業的狂熱競賽。國外從微軟到谷歌；國內從百度到騰訊、再從阿里到字節，巨頭們紛紛下注，買定離手。

2月份，這把火終于燒到了自動駕駛領域，2月17日，毫末宣布將自動駕駛認知大模型正式升級為DriveGPT，并將在4月份公布進展。目前，毫末智行已完成DriveGPT的模型搭建和第一階段數據跑通，可以對標GPT-2的水平。

而在2月23日的財報發布會上，百度也專門提到要將文心一言與Apollo自動駕駛結合。按照部署，未來文心一言背后大模型技術在自動駕駛上的應用，將加深車輛對復雜城市路況的理解，進一步提升自動駕駛安全性和可靠性。

要知道，在ChatGPT之前，自動駕駛一直是人工智能最具代表性的應用，而ChatGPT作為人工智能領域的革命性突破，必然也將對自動駕駛帶來影響。

關于這個問題，光錐智能也曾詢問ChatGPT。

ChatGPT“認為”，自動駕駛作為一種新興技術，雖然可能面臨一些道德問題，但仍然在安全性、經濟性和可靠性方面對人類生活產生深刻影響。而作為一種自然語言處理的人工智能模型，ChatGPT可以在智能交互、數據處理，路況分析、人機交互，以及在社會和倫理問題的研究上提供支持。

那么具體而言，ChatGPT會給自動駕駛的發展帶來哪些變革呢？同樣作為人工智能的應用方向，它又和自動駕駛有著怎樣的淵源？又會給自動駕駛的發展路徑帶來哪些啟示？

一、ChatGPT和自動駕駛的淵源

ChatGPT能直接應用在自動駕駛領域嗎？

談起這個問題，了解自動駕駛和ChatGPT的人第一反應肯定都是“不行”。

原因很簡單，ChatGTP本質上是一種自然語言處理技術，它主要處理文本數據來實現對人類語言的理解和生成。但自動駕駛則更多涉及車載傳感器，如攝像頭帶來的圖像、以及激光雷達和毫米波雷達帶來的雷達數據。

所以雖然同樣屬于人工智能技術，但兩者看起來并沒有太多直接的關系。當然，這樣的區分只是局限在應用場景的不同，如果回溯背后的技術原理，ChatGPT與目前自動駕駛使用的主流技術其實有相當多的共同特點。

毫末智行CEO顧維灝介紹，毫末推出的人駕自監督認知大模型就已借鑒了ChatGPT的實現思路，采用RLHF（人類反饋強化學習）技術，通過引入真實人駕接管數據，對自動駕駛認知決策模型進行持續優化。

我們知道，ChatGPT是基于Transformer訓練的NLP大模型。2017年，谷歌在NIPS發表論文《Attention is all you need》提出了Transformer網絡結構。之后，由于其優秀的長序列處理能力，更高的并行計算效率，無序手動設計特征，以及更強的語義表達能力，Transformer橫掃NLP領域并成為最主流的訓練模型。

簡單來說，Transformer極大程度上提高了超大規模數據訓練的效率，所以在NLP領域取得成功之后，Transformer就延伸出了許多變種被應用到更多場景，其中就包括自動駕駛需要的圖像識別和目標檢測。

比如ViT（Vision Transformer）模型，它是一種基于Transformer的視覺模型，可以在不使用CNN卷積神經網絡的情況下進行圖像分類。或者DETR，一種基于 Transformer的目標檢測模型，它可以同時進行目標檢測和分類。

2021年6月，在頂級峰會CVPR 2021上，時任特斯拉AI高級總監的Andrej Karpathy首次提出將Transformer運用到自動駕駛的大規模無監督訓練中。（今年2月初，Karpathy在Twitter上宣布再次加入OpenAI。）

如今，在關于Transformer在自動駕駛方面的應用上，特斯拉已經有了許多具體場景，比如從BEV感知到占用網絡。

最早，特斯拉在車輛感知上使用的是Occupancy Tracker，即在每個相機上單獨進行感知，再將不同相機感知到的結果進行融合。

但這種方式存在許多問題，比如不同攝像頭之間的信息融合困難，鬼探頭等遮擋區域的預測困難，以及一些巨大物體（當一個物體跨過兩個攝像頭的范圍后）的預測困難等等。

面對這些問題，特斯拉AI團隊希望利用神經網絡將圖像空間映射到BEV空間。

所以在2021年的AI DAY上，特斯拉提出了新的BEV感知方案，可以跨過傳統圖像縫合技術，直接將所有攝像頭采集的圖像矯正后，一并輸入到神經網絡提取特征。然后再基于Transformer將這些特征進行關聯從而投影到一個BEV空間上，最終獲得一個反應周圍環境的鳥瞰圖。

到2022年底的AI DAY，特斯拉又提出了occupancy network 占用網絡，這是一種新的基于機器學習的三維重建方法，依靠它特斯拉可以把車輛行駛時遮擋靜止物體和動態物體通過有顏色的小方塊表示出來，以此來增加特斯拉的視野范圍，讓特斯拉可以對接下來的路徑規劃有更多信息。

這些其實都是ChatGPT同源技術在自動駕駛方面的應用，而具體到國內，在特斯拉首次提到將Transformer運用到自動駕駛2個月后，毫末就曾公開表示正在利用Transformer進行超大規模的感知訓練，并且后期有可能將Transformer引入到規劃和控制中。

到2022年，小鵬在1024科技日中也提到使用大模型打通XNGP全場景能力的觀點；百度Apollo也認為文心大模型將是提升自動駕駛能力的核心驅動力。

總之，在嘗到Transformer的甜頭之后，自動駕駛企業紛紛將其引入到自動駕駛系統中，以此來實現系統感知智能與認知智能的優化。

再回到ChatGPT，我們知道ChatGPT基于GPT-3訓練，但這個模型發布于2020年5月，雖然當時在數據規模上做出了突破，但卻并沒有像ChatGPT一樣一鳴驚人。

關于這一點，顧維灝認為，實現GPT3到ChatGPT的龍門一躍，最重要的是ChatGPT模型使用了“利用人類反饋強化學習RLHF”的訓練方式，更好的利用了人類知識，讓模型自己能夠判斷其答案的質量，逐步提升自己給出高質量答案的能力。這個思路，與毫末在自動駕駛認知決策上的思路不謀而合。

如同GPT-1到GPT-2一樣，毫末在自動駕駛認知的訓練最開始也是從引入個別場景，讓模型進行端到端的模仿學習開始的，這個階段算法直接擬合人類的駕駛行為。在這個基礎上，自動駕駛的第二階段引入海量的正常人駕駛數據，通過Prompt的方式實現認知決策。

但這個過程也會遇到一個問題，即自動駕駛算法學習的是所有“正常人類”的駕駛行為，這些數據中可能有高水平的，有低水平的，但機器無法分別，最終學習的結果就是達到一個綜合所有數據的平均水平。

為了解決這個問題，今年1月，毫末智行在AI Day上發布了人駕自監督大模型，這個大模型如OpenAI在GPT-3上做的RLHF一樣，引入真實人類駕駛員的接管數據對自動駕駛進行強化學習。

即自動駕駛車輛在行駛過程中，人類的每一次接手本質上可以理解為當前階段的自動駕駛解決方案的不滿意，而人類接手后的駕駛方案可以理解為更優的決策。所以通過對人類接手后駕駛方案的學習，能夠讓自動駕駛做出更像人的駕駛行為。

在當時的AI DAY上，毫末智行CEO顧維灝曾提到：“通過這種方式，在公認的困難場景，例如掉頭、環島等，我們的通過率提升了30%以上。”

因此，雖然ChatGPT無法直接應用到自動駕駛，但是ChatGPT的訓練過程，以及其面臨的具體問題及其解決方案都值得學習，也將對自動駕駛的發展帶來深遠的影響。

二、ChatGPT的啟示

對于自動駕駛來說，除了模型訓練方式和具體問題的解決之外，ChatGPT還能給自動駕駛帶來哪些啟示呢？

第一點，也是最重要的一點，就是ChatGPT給人類實現自動駕駛提供了信心。

如小冰公司CEO李笛所說，大模型某種意義上意味著一種暴力，一種大力出奇跡的狀態。ChatGPT也跟它的前身GPT-3模型一樣擁有1750億個參數，這是一種解決方案，即在人工智能這件事兒上，ChatGPT的成功意味著大力出奇跡是可行的。

在ChatGPT之前，困擾自動駕駛從業者一個很重要的問題在于，無窮無盡的corner case是不是真的能夠解決完。為了盡可能解決這個問題，一些自動駕駛公司琢磨出數字孿生、3D重建、占用網絡等多種方式。

而ChatGPT出現之后，又給自動駕駛解決corner case提供了新的思路，即只要數據量足夠多，依靠“人類反饋強化學習”，讓自動駕駛有能力應對所有corner case也并非不可能。

而要實現這樣的數據訓練，大模型就會成為自動駕駛企業的必備技術。所以就像百度自動駕駛技術專家王井東提到的那樣：“大模型已經成為自動駕駛能力提升核心驅動力。”

當然，要應用大模型實際上并不簡單。

首先面臨的就是成本問題，大模型具有參數規模大、數據訓練規模大，對算力要求大、成本高的特點。據國盛證券估算，GPT-3訓練一次的成本約為140萬美元，對于一些更大的LLM（大型語言模型），訓練成本介于200萬美元至1200萬美元之間，折合人民幣基本每一次都過了千萬。

所以對于自動駕駛企業來說，解決算力問題就變得尤為重要。以特斯拉為例，其在決定將Transformer應用到自動駕駛訓練同時，就推出了自己全新研發的超級計算機Dojo，從算力規模上看，當時的Dojo幾乎一出道就成功卡位了全球第五大超級計算機。

在國內，小鵬2022年和阿里云一起在烏蘭察布建立了智算中心“扶搖”。更早的2021年底，毫末也曾發布自己的自動駕駛數據智能體系MANA，到今年年初，毫末又進一步宣布建成了智算中心（MANA OASIS）。

所以在大模型背后，算力也將成為未來自動駕駛企業在市場競爭中的核心能力，而在算力充足的基礎上，優化算法效率來降低云端的訓練成本也會成為重要的技術優勢。

除了在成本和算力方面的考慮，自動駕駛與ChatGPT的差異也表現在，相比在網頁端，大模型在自動駕駛領域的落地會比較困難。

比如前面提到大模型需要大量的計算資源和存儲空間，但車端受限于硬件條件，計算資源和存儲空間都有限，而且還要考慮功耗和散熱等問題。

除此之外，自動駕駛需要實時地對周圍環境進行感知決策，因此大模型的計算速度需要非常快，但從目前ChatGPT的反應速度來看，這顯然還有難度。

針對這些問題，目前國內自動駕駛企業也提出了一些解決辦法，比如通過定制Transformer專用加速芯片來提升計算效能，以及通過改進車端模型，通過輕量化的模型來提升計算效率。

當然，ChatGPT除了給自動駕駛提供了“大力出奇跡”的信心之外，它更重要的革命性意義在于，讓AI模型進入了知識和推理的時代。

這恰恰是當前自動駕駛面臨的最大短板，即決策規劃缺乏足夠的智能。而如果能夠將ChatGPT的技術應用到自動駕駛的決策規劃上，讓模型學會駕駛知識和駕駛策略推理，那么將會極大地拔高整個自動駕駛軟件的智能上限。

這里其實和前面提到的毫末人駕自監督大模型是一個邏輯。

顧維灝曾提到，當前基于傳統、基于規則的認知算法已經進入瓶頸，很難取得突破。毫末一直在嘗試通過人駕自監督大模型的方式來提升自動駕駛決策的效果，使得自動駕駛更像老司機。

百度的嘗試也是同樣的路徑，百度在最新財報電話會上提到，按照部署，未來文心一言背后大模型技術在自動駕駛上的應用，將加深車輛對復雜城市路況的理解，進一步提升自動駕駛安全性和可靠性。

從這個角度，ChatGPT的技術或有可能推動實現L4級別自動駕駛的實現。

除此之外，ChatGPT還可以對自動駕駛場景生成帶來幫助。

作為軟件工程師，知乎作者@我是路頭new 在研究如何用OpenScenario 2.0中定義的智能駕駛場景描述語言來進行試車場景提取，語義級別仿真場景生成，仿真場景泛化的過程中使用了ChatGPT。

他讓ChatGPT幫忙生成一個Cut-in場景，在給定參數的情況下，ChatGPT能夠詳細給出基于OpenScenario 2.0的自動駕駛場景數據，甚至在參數不足的時候，它還會提醒作者需要設計其他參數。

同時，作者還測試了一些道路泛化的問題，即不給ChatGPT人為設定參數，而是讓限制條件下讓ChatGPT自動生成數據。而面對這個問題，ChatGPT也給出了合格的答案。

更重要的是，當作者提問到，是否能夠生成之前提到條件下的所有場景，ChatGPT給出了一個科學計算的結果——131000。

對于真正的自動駕駛場景來說，這樣的場景生成自然還十分粗淺，但這其實給自動駕駛場景生成，道路泛化提供了另一種思路和可能。

可以說，就像每一次底層技術的創新都會帶來大規模的技術裂變一樣，ChatGPT雖然不能直接應用在自動駕駛場景，但其背后的技術路徑，解決復雜問題的思路，都將為自動駕駛的發展提供最具價值的參考意義。