文章來源：騰訊科技×Web3天空之城

丨劃重點

①盡管 AI 模型性能驚人，但它們的學習能力仍遠遠落后于人類。它們需要大量數據來學習，而人類可以從很少的數據中學習很多。所以，要達到人類的學習速度，這些模型還需要做大量工作。很難預測這些模型何時會達到與人類相當的泛化學習能力。進步速度存在很大不確定性。

②伊利亞試圖在開源與閉源以及非營利性與營利性之間找到平衡。他認為兩端各有危險，理想情況是根據具體情況采取適當立場。安全考量說至關重要，但目前來說，競爭和商業需求也同樣重要。因此 OpenAI 的公司結構是獨一無二的，它是一家限制利潤的公司而不是一家正常的營利公司。這意味著一旦它向投資者和員工完成義務，它最終會再次成為一家非營利組織。這是一個獨特的結構，旨在讓OpenAI以非營利的方式實現其使命。

③OpenAI 的關鍵績效指標主要圍繞技術進步，對系統有更好的理解和控制，有效執行研究和安全計劃等。產品也很重要，但核心在于技術。

④深度學習在未來5-10年繼續取得進展。雖然規模化進展可能會放緩，但深度學習的其他方面，如新發現的屬性，將帶來穩定進展。未來的系統將遠遠超過我們現在擁有的系統。專業訓練與廣義訓練都可能有成果。擁有專業數據集和更強大的基礎模型都有幫助。這取決于特定的任務，最佳方法是綜合考慮。

編者引言：

4月20日，GPT之父，OpenAI創始人，首席科學家伊利亞首次回應阿特曼的“大模型規模已經見頂”言論，并分享了OpenAI的目標和KPI。

自從AI浪潮席卷而來之后，GPT之父伊利亞作為可能是最了解GPT的那個人已經接受過了很多來自各路媒體的訪談。但這一次的訪談可能是最特殊的一次：他難得的表現出了一些私人氛圍和輕松態度，因為這是來自他母校斯坦福的邀請。

雖然作為一個科學工作者，伊利亞依然保持了他的嚴謹和理性。但因為回家的安心感，他還是透露出了之前訪談中沒有提到的很多關于OpenAI的組織邏輯。包括他們從非盈利機構走向盈利機構的心酸歷史和他們在這過程中的道義堅持，OpenAI的KPI邏輯，堅持著科研非盈利機構的初心，這些純粹的目標到現在都沒有改變，也正是它們造就了OpenAI的領先。

除此之外，他還更清晰的對阿特曼前兩天的“大模型卷規模的時代結束了”做了詳細的注腳，以專家的角度展望了未來五年深度學習的發展：輕易提升的時代結束，但更精細的模型和更垂直的模型調教將帶來AI的新跨越。

在這個對談中，他還談到了神經網絡和生物大腦的異同，以及對人類意識的好奇如何推動他進入這個行業。這些看似私人的敘事實際上講述了人工智能發展最核心的邏輯：基于對人的認知理解，人工智能才可能涌現。在這一點上，回響著深度學習之父Hinton對腦科學的癡迷，也注釋了造就了GPT的底層Transformer 模型的認知心理學邏輯起源。這也足夠給目前更追求著復制和單純的技術研究的中國人工智能企業以啟發：回歸根本問題，才有可能造就革新性的超越。

GPT之父OpenAI Ilya斯坦福談AI 完整版1-4

關于Ilya的介紹

Ravi：

歡迎YouTube和斯坦福社區參加創業思想領袖研討會。這次研討會由斯坦福大學工程學院下屬的斯坦福創業中心和斯坦福大學創業學生商業協會主辦。我是拉維·巴拉尼，在斯坦福大學管理科學與工程系任教，也是企業初創公司的加速器Alchemist的主任。

今天，我們很榮幸請到伊利亞·薩茨基韋爾來參加ETL。伊利亞是OpenAI的聯合創始人兼首席科學家，OpenAI致力于研發造福全人類的人工智能。

伊隆·馬斯克等人稱，伊利亞是大型語言模型 GPT-3 及其面向公眾的產品 ChatGPT 的基石。自去年11月發布以來，很少有產品發布像 ChatGPT 一樣引起這么大的興奮、好奇和擔憂。

伊利亞是美國和世界從以色列和俄羅斯獲得的驚人人才的又一例證。伊利亞出生在俄羅斯，5歲時搬到以色列長大。他本科學習的前半段是在以色列完成的，后來轉學到多倫多大學完成數學學士學位。他在多倫多大學獲得計算機科學碩士學位和博士學位，隨后來到斯坦福，在安德魯·因格之后短暫工作，然后回多倫多大學在他的導師杰弗里·辛茨的研究公司DNN研究所工作。

隨后，谷歌在2013年收購了DNN研究所，伊利亞成為谷歌大腦的一名研究科學家。2015年，他離開谷歌成為當時新成立的OpenAI的技術主管。

ChatGPT自去年11月發布以來對世界的影響難以估量。

雖然ChatGPT似乎從無到有，顛覆了世界，但事實上，是AI創新歷史的深厚積淀導致了那一刻。盡管ChatGPT極具革命意義，但伊利亞對于AI的創新和突破性貢獻并不陌生。

杰弗里·辛茨曾說，伊利亞是2012年AlexNet卷積神經網絡的主要推動力。AlexNet被譽為深度學習革命的開端，引領我們走到今天。

當然，自OpenAI成立以來，ChatGPT花了7年時間才最終面世。

伊利亞于2022年當選皇家學會院士，2015年入選MIT科技評論35歲以下35人榜單，2014年獲得多倫多大學年度創新獎，2010至2012年獲得谷歌研究生獎學金。

大家請給伊利亞一個虛擬的熱烈掌聲，歡迎他來參加創業思想領袖研討會。

深度學習的原理解釋

Ravi：

伊利亞，想象一下掌聲歡迎你，任何時候歡迎你回到斯坦福校園。我們有很多話題要討論，我知道我們會有大量時間。

關于ChatGPT和大型語言模型，聽眾的了解程度差異較大。

我想首先就技術方面問一個簡單的問題：OpenAI及生成AI的核心技術是大型語言模型。你能簡單描述一下這項技術嗎？現在站在技術最前沿，有什么技術結果讓你驚訝，你當初沒料到的？

Ilya：

是的，我可以解釋這項技術是什么，以及為什么它起作用。

我認為它起作用的解釋既簡單又極其美妙，原因如下：人腦是我們在世界上最好的智能例子。我們知道人腦由大量神經元組成，非常之多的神經元。神經科學家研究神經元幾十年，試圖精確理解它們的工作原理。

盡管我們的生物神經元的運作仍然神秘，但最早的深度學習研究者在20世紀40年代提出了一個相當大膽的推測：人工神經元(我們在人工神經網絡中使用的)與生物神經元有點相似。這是一個假設。我們現在可以采用這個假設。這些人工神經元的好處是，它們更簡單，可以從數學上研究。

深度學習先驅取得的一項非常重要的突破就是發現了反向傳播算法。這是一條數學方程，說明人工神經網絡應該如何學習。它提供了一種方法，使用大型計算機實現這個神經網絡的代碼，然后有一條方程可以編程，告訴我們這個神經網絡應該如何調整其連接以從經驗中學習。

進一步的進步需要理解這個學習過程有多好和有多強大，以及在何種精確條件下這個學習過程效果最佳。盡管我們使用計算機，但這有點像生物學實驗。

深度學習的大部分進展歸結為：我們可以在大型計算機上構建這些神經網絡，并可以在某些數據上訓練它們，使這些大型神經網絡做數據要求它們做的任何事情。

大型語言模型的想法是：如果有一個非常大的神經網絡，可能現在離人腦不遠了，我們可以訓練它來從文本中的前面幾個單詞猜測下一個詞。這就是大型語言模型的概念：訓練一個大型神經網絡來從先前的詞猜測文本中的下一個詞，你希望神經網絡盡可能準確地猜測出下一個詞。

現在發生的事情是，回到我們最初的假設，人工神經元與生物神經元可能沒太大不同。所以，如果有一個像這樣的大型神經網絡，可以很好的猜測下一個詞，那么它可能與人們說話時所做的事情沒什么不同。這就是我們得到的結果。

現在，當你與這樣的神經網絡對話時，它具有極佳的對下一個詞的理解，它可以縮小范圍，它看不到未來，但它可以根據其理解正確縮小可能性范圍。能夠非常準確地預測下一個詞，這是AI理解運作的方式。

神經網絡理解意味著什么？難以給出一個清晰的答案，但很容易測量和優化網絡對下一個詞的預測錯誤。我們不一定理解(內部發生了什么)，但我們可以優化預測，這就是我們所做的。這就是目前大型語言模型如何產生的：它是大型神經網絡，使用非常強大的反向傳播算法進行訓練。

如果你愿意想象人工神經元與生物神經元沒有太大不同，那么是的，像我們的大腦一樣，它們可以做得非常好，能夠猜測下一個詞。

GPT很強，但和人類比學習能力很差

Ravi

所以，如果我理解正確，只是為了使這個比喻在生物大腦和這些神經網絡之間更加具體，如果人類是1倍學習速度，你了解最新的ChatGPT模型，你會把最新的ChatGPT模型與人類相比，比例是多少？如果人類是1倍，ChatGPT是多少？

Ilya：

有點難以直接比較我們人類和人工神經網絡，因為目前人類能從更少的數據中學習更多。這就是為什么像ChatGPT這種神經網絡需要如此多的數據來補償它們最初學習能力緩慢的原因。

隨著我們訓練這些神經網絡，使它們變得更好，學習能力開始出現。但總的來說，人類學習的方式與這些神經網絡開始的方式截然不同。例如，這些神經網絡僅僅在數學或編程方面非常精通，但要達到一定的水平，比如精通微積分，需要大量的教科書，人可能只需要兩本教科書和200多個練習題就可以了。

Ravi：

所以，如果放松數據約束，讓機器消耗盡可能多的數據，你認為它現在的運作水平是人類的十分之一左右，還是更多或更少？

Ilya：

要回答這個問題仍然很難。讓我解釋為什么我猶豫給出一個這樣的數字可能會誤導。因為目前，任何這樣的神經網絡在知識范圍和規模方面肯定都超越人類。例如，它們在詩歌和任何話題上發言都很流暢，它們可以談論歷史事件和許多事情；但另一方面，人類可以進行深入研究。一個專家會對某個話題有深入的理解，盡管可能只讀過少量文檔。

由于這種差異，我真的猶豫給出一個像“某個數字”的答案。

Ravi：

你認為會有一個奇點，機器會超過人類在學習和適應速度方面的進步嗎？你認為這個時間點會是什么時候？

Ilya

我不知道這個時間點會是什么時候。我認為需要一些更進一步的進展，但我絕對不會對這個時間點的出現下注。

Ravi：

你能給出一個范圍嗎？是下個月，明年，還是更長時間？

Ilya：

我認為這些事情的不確定性相當大，因為這些進步可能需要相當長的時間，也可能在某些年內出現。有很多推動力，但很難給出一個校準的答案。

GPT之父OpenAI Ilya斯坦福談AI 完整版2-4

ChatGPT沒有意識，但可以設計實驗去測試未來的AI

Ravi：

我還有一個問題，然后會轉到其他一些問題。

我知道有報道說，當你還是個孩子時，意識的概念讓你感到不安。我不確定“不安”這個詞的意思，但我很好奇，你是否將意識，感知或自我意識視為學習的延伸？你認為這也是必然會發生的事情嗎？

Ilya：

是的，在意識的問題上，小時候我會看看我的頭，我會想我怎么會看到我的手，我怎么能看到自己？我不知道如何解釋得更清楚，所以這是我感到好奇的事情。意識是棘手的，如何定義它？它長期以來一直難以定義，那么你如何在一個系統中測試它？也許有一個系統可以完美地運行，完美地按你的預期運行，但是由于某種原因，它可能并沒有自主意識。

我確實認為有一個非常簡單的方法，有一個實驗可以驗證AI系統(是否有意識)，但我們現在還不能運行。但也許在未來，當AI能從更少的數據中學習得非常快時，我們可以做如下實驗：我們可以非常仔細地整理訓練數據，永遠不會(在訓練數據里)提到意識的任何事情，我們只會說"這里有一個球，這里有一個城堡，這里有像一個小玩具"，你可以想象這種類型的數據，它會非常受控，可能會有幾年的這種訓練數據。

這樣的AI系統會與許多不同的教師互動，從他們那里學習，非常仔細，但永遠不會談論意識，人們不會和AI談論除了最表層的經驗概念之外的任何事情。

然后在某個時候，和這個AI坐下來，說好的，我想告訴你意識，這是人所描述但不是很清楚的現象，人們對此有不同的看法。

想象一下，如果AI說"天哪，我也有同樣的感覺，但我不知道如何表達"，那就有意思了，這肯定是值得(研究人員)考慮的事情：

如果AI只是被訓練來處理非常平凡的數據，關于物體和移動，或者你知道的某些非常狹隘的概念。我們不提意識，但AI最終還是以我們能認出來的方式雄辯和正確地談論，那(AI擁有意識)將是令人信服的。

Ravi：

你認為意識是某種程度上的事情還是更加二元的？

Ilya：

我認為這更多是一個程度的問題。我認為，假設一個人非常疲倦，或者也許喝醉了，那么也許有人在那個狀態下時，他們的意識可能已經在某種程度上減弱了。我可以想象動物有一個更加減弱的意識形式，如果你想象(意識)從類人猿，到狗和貓，然后到老鼠，甚至到昆蟲，我會說意識是相當連續的(發展過程)。

開源和閉源，OpenAI轉向營利性公司的故事

Ravi：

雖然我很想繼續在技術方面提出更多問題，但我想轉而談論OpenAI的任務，以及您如何看待道義的任何問題；作為首席科學家，道義在什么程度上影響您，如何看待您的角色。

讓我先提出幾點基礎，然后讓您發言。你知道，OpenAI的任務是確保人工智能的進步使全人類受益，它最初是一個非營利性和開源的機構，現在是一個營利性和閉源的機構。

我相信最初是馬斯克招募您加入OpenAI，并在它還是非營利組織時捐贈了1億美元。這表明最初的愿景是為了抵制谷歌和企業界，他不希望只由營利性企業控制的世界中存在AI構成人類存在威脅。現在，OpenAI既不開放，也不完全是非營利性的，它也是一個與微軟有密切關系的營利性企業。看起來世界可能朝著微軟和谷歌之間的私人壟斷發展。

您能夠解釋從非營利性轉向營利性的過程嗎？

您在做出這一決定時是否考慮了道義問題？

您如何看待自己作為首席科學官的角色起到的作用？

或者您是否更多地把它視為其他人應該處理的事情，而您主要只是負責推動技術進步？

Ilya：

這個問題有很多部分。讓我想想最好的方法來處理它。

有幾個部分：開源與閉源的問題；非營利性與營利性的問題；與微軟的關系；以及如何看待伊隆·馬斯克最近的評論；然后是關于我如何看待這件事的問題。也許我會從這里開始，我認為這更容易。

我這樣看待我所擔任的角色：我對OpenAI所做的事情感到直接責任，盡管我的角色主要是推進科學進步，但事實上，我仍然是公司的創始人之一，最終，我非常關心OpenAI的總體影響。

現在，我想繼續談論開源與閉源，和非營利與營利，我想從開源與閉源開始。

我認為AI面臨的挑戰是全方位的，涵蓋了許多不同的挑戰和危險，這些挑戰和危險彼此矛盾。我認為開源與閉源是一個很好的例子。為什么開源是理想的？讓我這么說吧，開源AI有什么好處？答案是：防止AI建設者手中集中權力。

如果你生活在一個世界上，比如只有少數公司控制這種非常強大的技術，你可能會說這是一個不理想的世界，AI應該是開放的，任何人都可以使用AI。這是開源的論點。

當然也有因為商業激勵反對開源，但還有另一個長期的論點也反對開源：那就是如果我們相信，AI最終會變得無與倫比的強大，如果我們達到一個AI如此強大的程度，你可以簡單地告訴它：“你能主動創建一個生物學研究實驗室嗎？主動完成所有的文書工作，運營工作空間，招聘技術人員，聚合實驗，主動完成所有這些事情"。

當AI開始變得令人難以置信的強大，難道這也應該開源嗎？

所以我對開源問題的立場是：我認為可以考慮這些神經網絡的能力。它們有多智能，能做多少事情。當能力較低時，我認為開源是一件好事，但在某個時候，(具體是哪個時候)可以辯論一下，但我會說，在某個時候，能力會變得如此巨大，以至于開源AI模型是明顯不負責任的。

GPT之父OpenAI Ilya斯坦福談AI 完整版3-4

Ravi：

閉源的決定是出于這個考量嗎？還是出于與微軟或其他人達成妥協以支持業務可行性的必要性？決定實際上是由這一理由驅使的，還是更多出于需求？

Ilya：

我要表達的意思是，在我看來，當前AI的能力水平還不高，不至于因為安全考量而閉源模型。這種研究目前確實是競爭階段。我認為，這些模型的能力如果繼續增強，將有一天，安全考量會成為不開源這些模型的明顯和直接的驅動力。

這是開源與閉源的問題，但您的問題還提出了另一個方面，即非營利性與營利性。我們也可以討論這個問題。

事實上，從某種意義上講，如果OpenAI能夠一直保持非營利狀態，直到完成使命，那將是更可取的。

然而，值得指出的一點是，這些數據中心的成本非常高昂。我相信你讀過各種AI初創公司籌集的資金數額，其中的絕大部分都流向云計算提供商。為什么會這樣？原因是訓練這些大型神經網絡需要大量計算資源，這是很明顯的。

你可以看到目前學術界和AI公司之間正在發生的分化。長期以來，許多十年里，人工智能領域的尖端研究都在大學的學術部門進行。這一情況一直持續到2010年代中期。但在某個時候，這些項目的復雜性和成本開始變得非常高昂，大學無法與業界競爭，現在大學需要找到其他方式來獲得(資源)。這些方式確實存在，只是和當前公司獲得資源的方式不同。

在這種背景下，非營利組織的問題是，向非營利組織捐款的人永遠不會看到任何回報，這是真正的捐贈。不管你信不信，讓人向非營利組織捐款實際上要困難得多。

所以，我們在想，解決方案是什么，可以好的可以采取的行動？所以我們想出了一個我所知世界上所有公司結構中獨一無二的主意。OpenAI 的公司結構是絕對獨一無二的。OpenAI 不是一家營利性公司，它是一家限制利潤的公司。

我想解釋這意味著什么。這意味著OpenAI的股權更像債券而不是正常公司的股權。債券的主要特征是一旦支付就消失了。換句話說，OpenAI對其投資者的義務是有限的，而不是正常公司對其投資者的無限義務。

Ravi：

這是否包括創始人？創始人是否持有OpenAI的股權？

Ilya：

薩姆·奧爾特曼沒有股權，但其他創始人有。

Ravi：

它是有限的還是無限的？

Ilya：

它是有限的。

Ravi：

這種限制是什么？因為創始人我假設不是以名義股份價值入股的。

Ilya：

我不確定我是否精確理解這個問題，但我可以回答我理解的部分，就是肯定有不同。它與正常的創業公司股權不同，但也有一定相似之處，比如越早加入公司，限制越高，因為需要更高的限制來吸引初期投資者。隨著公司繼續成功，限制會降低。

這為什么重要？這是因為這意味著當公司向投資者和員工支付完所有義務后，OpenAI會再次成為一家非營利組織。

你可能會說這完全瘋狂，這不會改變任何事情。但值得考慮的是我們期望什么，更重要的是考慮我們認為AI將成為什么。

我認為OpenAI實現其使命，向投資者和員工支付義務，在計算機變得更強大的時期成為非營利組織，這時經濟動蕩會很大，這種轉變將非常有益，這并不令人難以置信。這是限制利潤與非營利的答案。

你的問題還有最后一部分，我知道我講了一會兒，但最后一部分是與微軟的關系。

在這里，非常幸運的是，微軟正在以正確的方式思考這些問題，他們理解人工普遍智能的潛力和嚴重性。例如，在OpenAI的任何投資人簽署的所有投資文件上，包括微軟在內，微軟是OpenAI的投資者，這與谷歌DeepMind的關系非常不同，任何簽署任何投資文件的人都會在投資文件頂部看到一個紫色的長方形，說明OpenAI的信托責任是OpenAI的使命，這意味著如果使命與之相悖，你就有可能損失所有的錢。但這是所有投資者都簽署的內容。

Ravi：

讓我向大家清楚說明，因為谷歌收購了DeepMind，所以DeepMind只是谷歌內的一項資產，但是OpenAI，微軟是投資者，所以對OpenAI使命的信托責任，這一責任由非營利組織持有，是有限合伙人還是普通合伙人？

Ilya：

我不能告訴你具體細節，但這就是總體圖景。

對暫停AI實驗的回應

Ravi：

有人說，現在包括蘋果公司聯合創始人史蒂夫·沃茲尼亞克和埃隆·馬斯克，簽署了一份著名的公開請愿書，說我們正在接近或者越過關鍵時刻，如果現在不停止它們，到那時已經不可能控制人工智能及其產生的后果，他們呼吁停止人工智能。

我很好奇，你是一個世界公民，伊利亞，你出生在俄羅斯，在以色列長大，你是加拿大人。OpenAI對這份公開請愿書的回應是，我知道薩姆基本上說這不是解決問題的正確方法，但與此同時，薩姆也與許多國家進行全球巡回演講，這些國家也可能對西方持敵對態度。

你認為將技術傳播到世界各地方面，有任何公民義務或道德義務嗎？現在通過OpenAI，你認為這應該受到監管或某種監督嗎？

Ilya：

讓我想想，這個問題再次有許多部分。

的確，AI將變得極其強大和極其變革性。我確實認為，我們將要走向一個有明智政府監管的世界，這里有幾個維度。

我們希望生活在一個有明確規則的世界，例如訓練更強大的神經網絡。我們希望對這些神經網絡今天能做什么，以及我們預期在一年內或訓練完成時能做什么進行仔細的評估和預測。

理性地，我不會用“放慢進步”這一詞，我會用“使進步合理”來描述。

這樣，在每一步中，我們都做了功課，事實上，我們可以作出一個可信的說法，即“我們訓練的神經網絡系統正在做這件事，這里是所有的步驟，它已經被驗證或認證。”我認為這就是我們要走向的世界，這也是正確的。

至于公民義務，我會這樣回答，有兩個答案。顯然，我住在美國，我真的很喜歡這里，我想要這個地方盡可能繁榮興旺。我當然關心這個；當然，世界遠不止美國，這些國家之間的關系將如何解決，我認為這些問題有點超出我的專業知識，但我相信也會有很多討論。

OpenAI的KPI

Ravi：

是的，非常感謝你，伊利亞。我可以稍微談談策略嗎？我很好奇，就你們內部而言，你們追蹤什么指標？目前，OpenAI成功的最神圣的關鍵業績指標是什么？

Ilya：

最神圣的關鍵業績指標，我認為這也是不同人會給你不同答案的問題類型。

但如果我真的要縮小范圍，我會說，有幾個真正重要的KPI，其一無疑是技術進步。

我們做了好研究嗎？我們對我們的系統有更好的理解嗎？我們能更好地訓練它們嗎？我們能更好地控制它們嗎？我們的研究計劃得到很好的執行嗎？我們的安全計劃得到很好的執行嗎？我們對此多么滿意？我會說這將是我對主要KPI的描述，做一項很好的技術工作。

當然，還有產品方面的事情，我認為這很酷，但我會說，核心技術才是OpenAI的心臟，關于這項技術的開發，控制和操縱。

Ravi：

你現在將OpenAI視為目的地嗎？你認為OpenAI未來會成為人們前往的目的地嗎，像谷歌一樣；或者它將為其他應用程序提供動力，成為后端的一部分，或者成為后端基礎設施的一部分？在五到十年內，它是一個目的地還是更加幕后？

Ilya：

嗯，事情變化得如此之快，我不能對五到十年內的正確產品形態做出任何斷言。我想到的可能有點兩者兼有的意思，但這種問題還有待觀察。我想有可能兩種情況都有，但這些事情還很新。

GPT之父OpenAI Ilya斯坦福談AI 完整版4-4

給年輕人的建議

Ravi：

好的，我會問一個最后的問題，然后我會跳到學生的問題。如果你今天是斯坦福大學的學生，對人工智能感興趣，如果你想成為伊利亞，你會把時間集中在什么地方？如果你也對創業感興趣，你會給對人工智能和創業感興趣的斯坦福本科工程師什么建議？

Ilya：

我認為在第一個方面，總是很難給出通用的建議。但我仍然可以提供一些通用建議。

我認為，一般來說，最好利用自己獨特的傾向。你知道，每一個人，如果你想想人可能擁有的一系列傾向、技能或天賦的組合，這樣的組合非常罕見。不管你選擇何種方向，利用這一點都是非常好的主意。

關于人工智能研究，我可以說一些東西，但是你要傾向于你自己的想法，真正問自己你能做什么，是否有些對你來說完全明顯的東西，讓你覺得為什么其他人都沒有理解。如果你有這種感覺，這是一個好跡象，這意味著你可能(可以做些事情) 我們要傾向于這一點，探索它，看看你的直覺是真是假。

我的導師Jeff Hinton說過這么一件事，我真的很喜歡，他說你應該信任你的直覺，因為如果你的直覺很好，你會走得很遠，如果不好，那也沒辦法(笑)。

至于創業來說，我覺得這是一個你的獨特視角是否更有價值甚至至關重要的地方。也許我會解釋為什么我認為在研究中(這種獨特視角)更有價值，在研究中它也非常有價值；但是在企業中，需要利用你獨特的生活經歷，你看到了哪些東西，看到哪些技術，看看你是否可以聚焦在某個方面，然后真的去做。

所以這就是我通用建議的結論。

深度學習的未來五到十年：訓練規模見頂，垂直訓練蓬勃發展

Ravi：

我會過渡到學生的問題。最受歡迎的問題之一是，你如何看待深度學習在未來五到十年的發展？

Ilya：

我預期深度學習會繼續取得進展。有一段時間，很多進展來自規模化，我們在從GPT-1到GPT-3的過程中看到這一點最為明顯。但是事情會有一點變化。規模化進展如此迅速的原因是因為人們有這些數據中心，因此，僅通過重新分配現有資源，就可以取得很大進展。重分配現有資源不一定需要很長時間，只需要某人決定這樣做。

現在不同了，因為訓練規模太大了，規模化的進展不會像以前那么快，因為建設數據中心需要時間。

但與此同時，我預計深度學習會從其他方面繼續取得進展。深度學習的技術棧非常深，我預計會有許多層面的改進，結合在一起，仍然會帶來非常穩健的進展。我猜想可能會有新的，目前未知的深度學習屬性被發現，這些屬性將被利用，我完全預期未來五到十年的系統將遠遠好于目前我們擁有的系統。但具體怎么樣，我認為這有點難以回答。因為改進可能只有一小部分重大改進，還有大量小改進，都集成在一個大型復雜的工程產物中。

Ravi：

我可以問你一個問題嗎，你的聯合創始人Sam Altman說我們已經達到通過擴大語言模型規模能取得的最大限度(進展)。你同意嗎？如果是這樣，那么下一個創新前沿是什么，你正在關注什么？

Ilya：我想也許，我不記得他說了什么，但也許他的意思是輕易擴展的時代結束了，或者類似的意思，比如更大的神經網絡當然會更好，但要做起來需要很多努力和成本。但我認為會有很多不同的創新前沿，一些可能被其他人忽略的前沿會非常有成果。

Ravi：

我可以進一步問嗎？現在有這種爭論，應該垂直聚焦還是廣義訓練？你認為通過特定數據集訓練可以在某些領域如法律或醫學取得更好的性能，還是廣泛的數據集訓練會更受益？

Ilya：

到一定程度，我們應該期待專業訓練產生巨大影響，但是我們進行廣義訓練的原因僅僅是為了達到神經網絡甚至能理解我們提出的問題的程度；只有當它有極其扎實的理解力時，我們才能進入專業訓練，真正從中受益。我認為所有這些都是可能有成果的方向。

Ravi：

但你覺得我們什么時候會達到專業訓練的重點？

Ilya：

如果你看看開源工作的人，在開源模型的工作里，他們做了不少這種專業訓練，因為他們有一個相對較弱的模型，試圖從中獲得任何一點性能提升。所以我會說這是一個例子，一定程度上，如何訓練模型這不是非此即彼的，你可以把它看作是一個連續的過程。

Ravi：

當涉及AI應用到垂直領域時，你認為獲勝的優勢是擁有這些專有數據集，還是擁有一個性能更高的大型語言模型？

Ilya

所以我認為也許把AI看作多因素的組合會更有成效，每個因素都做出貢獻。擁有幫助你在一系列任務中提高AI的專業數據當然更好，擁有更強大的基礎模型當然更好，從具體任務的角度來看，這也許就是答案。

Ravi：

我要轉到其他問題。有一個問題是訓練和開發GPT 3/4的成本。

Ilya：

你知道，由于顯而易見的原因，我不能評論這個。

Ravi：

好的，我理解。我們的研究社區有強烈的愿望希望能訪問OpenAI各個方面的技術。有任何計劃向研究人員或其他初創公司提供并鼓勵更多的競爭和創新嗎？我聽到的一些要求是沒有限制地交互，以了解模型的性能，包括訓練詳情和模型本身的參數。你想對此評論嗎？

Ilya：

我認為這與我們早先關于開放與封閉的問題有關。我認為有一些具有成效的中間方法，例如，可以訪問的模型和各種組合都可以非常有生產力，因為這些神經網絡已經有如此大且復雜，僅僅研究這一點就可以極其有趣。

我們有一個學術訪問計劃，我們提供各種形式的模型訪問，事實上，許多學術研究實驗室確實以這種方式研究它們。所以我認為這種方法是可行的，這是我們正在做的事情。

Ravi：

我只想最后問一個問題，你能分享一些一般人不知道的但令人信服的ChatGPT的使用案例嗎？

Ilya：

我不會說這是未知的，但我真的很喜歡它的詩歌創作能力。你可以寫詩，說唱，它可以很有趣。

Ravi：

我好奇，在團隊工作中你們使用它嗎？它如何改變團隊動態，當你有AI深度融入人類團隊的工作時，有什么是我們現在可能不知道的？

Ilya：

現在最好的描述是，在AI影響下每個人的生產力都略有提高，人們對事情更在行。我不會說現在對團隊動態有明顯影響，但可以說，已經開始發生一些轉變。

Ravi：

我好奇它是否使對話非人類化，因為它是AI機器人，或者也許我們現在還沒有達到那個程度。。。

Ilya：

絕對不會那樣，我預測不會那樣，但我們拭目以待。

Ravi

非常感謝Ilya進行了這樣迷人的討論，時間總是太短暫了，你隨時歡迎回來，無論是虛擬的還是現場的。非常感謝你。