跟隨科技圈“潮流”，微軟宣布將于2023年3月底之前在全球裁員1萬人，約占員工總數(shù)的5%。這次裁員規(guī)模之大，被微軟視為應(yīng)對宏觀經(jīng)濟狀況和客戶優(yōu)先事項變化的措施。但這種做法似乎不影響這家企業(yè)有足夠的資金對OpenAI進行新一輪投資。

據(jù)外媒Semafor報道，微軟將以100億美元投資OpenAI，并且將獲得OpenAI 75%的利潤份額，直到收回投資資金，之后微軟將持有OpenAI 49%的股份。

投資OpenAI，其源動力是ChatGPT帶來的一系列業(yè)內(nèi)反響，ChatGPT一方面正為微軟補強其在搜索領(lǐng)域的壁壘，另一方面也為自身在通用型AI和NLP領(lǐng)域塑造商業(yè)化能力，而這原本是一個由谷歌AI主導(dǎo)的大市場。

(資料圖)

ChatGPT于2022年11月30日面向客戶端進行發(fā)布，兩個月后，該模型驅(qū)動的工具平臺月活用戶估計已達1億。近日，ChatGPT還宣布了Plus增值版，每月收費20美元，面向更多有需要的企業(yè)和學(xué)生提供會員服務(wù)。摩根士丹利的一份報告正研究ChatGPT是否對谷歌構(gòu)成威脅，“該語言模型可能會占據(jù)一定市場份額，并且破壞谷歌作為互聯(lián)網(wǎng)用戶入口的地位。”

深受深度學(xué)習(xí)的影響，NLP領(lǐng)域近年來的科研成果是可見的，也解鎖了很多新的應(yīng)用場景，但仍然沒有迎來關(guān)鍵的商業(yè)化破局。而OpenAI與微軟土財主的這次合力“氪金”，顯然激起了新一輪NLP技術(shù)企業(yè)的集體焦慮。

ChatGPT的過去與現(xiàn)在

從技術(shù)原理解釋，ChatGPT是由微調(diào)后的GPT3.5模型提供。與早期的ELMO，谷歌的BERT、ALBERT，百度的ERNIE，達摩院的M6一樣，它們均為NLP預(yù)訓(xùn)練大模型的典型代表。這意味著像知識檢索、人機交互、語言翻譯、文學(xué)創(chuàng)作這些活兒，預(yù)訓(xùn)練模型好像都能干。

但不同的是，ChatGPT這次還提供了客戶端界面，用戶可直接通過客戶端基于模型訓(xùn)練出的“機器人”進行交互，并且實現(xiàn)WebUI免費版。這種做法也讓許多C端用戶可以迅速調(diào)用ChatGPT，如構(gòu)思小說框架、寫論文、輔助課程設(shè)計、為程序debug等操作花樣百出。

在GPT3.5之前，OpenAI已經(jīng)連續(xù)發(fā)布三個版本的GPT模型，尤其以GPT-3最為著名。在此期間，GPT模型就開始瘋狂通過增加可訓(xùn)練參數(shù)、增加訓(xùn)練樣本等方式進行改進。但暴力拆解方式下，GPT-3依然會經(jīng)常產(chǎn)生錯誤，曾有專家指出，“如果沒有大量復(fù)雜的工程調(diào)試，GPT-3還無法真正投入使用?！?/p>

另一方面，GPT-3，其參數(shù)量就已經(jīng)達到1750億，并使用了45TB的訓(xùn)練樣本。這意味著當(dāng)AI任務(wù)訓(xùn)練效果提升的同時，也對模型訓(xùn)練成本和時間帶來了巨大挑戰(zhàn)。業(yè)內(nèi)有人曾估計僅訓(xùn)練GPT-3模型就需要1200萬美元，如果用一塊非常先進的英偉達GPU訓(xùn)練GPT-3，大概需要100年。

在Transformer思潮的推動下，語言模型進入“巨量”時代，大模型已經(jīng)在產(chǎn)業(yè)界帶來了一系列連鎖變化。而NLP領(lǐng)域又并非是一個獨立的技術(shù)范疇，依然需要有底層算力、大數(shù)據(jù)、知識圖譜、遷移學(xué)習(xí)等核心技術(shù)的支撐。

如果GPT按照以往的發(fā)展邏輯，將會逐漸通過開源方式讓科研與工程界共享技術(shù)紅利。但在商業(yè)世界，絕非如此簡單。

微軟的神來一筆

2019年，在聯(lián)合創(chuàng)始人馬斯克轉(zhuǎn)身離開后，OpenAI宣布重組，成為有利潤上限的盈利機構(gòu)，股東的投資回報被限制為不超過原始投資金額的100倍。同年7月，微軟以10億美元注資，并獲得了OpenAI GPT-3的獨家授權(quán)，而OpenAI則可借助微軟的Azure云服務(wù)平臺解決商業(yè)化問題，緩解高昂的成本壓力。

過去幾年，OpenAI與微軟的合作節(jié)奏逐漸加快。2021年，OpenAI與代碼托管平臺Github（被微軟收購）合作推出Copilot AI智能代碼生成平臺，可將文字語言提示詞轉(zhuǎn)化為代碼，目前是為了提升開發(fā)者編碼效率。

2022年，OpenAI先后推出圖像生成器DALL-E 2和文本生成器ChatGPT，微軟也迅速將其整合到自身產(chǎn)品套件，如搜索引擎Bing、Office辦公全家桶、會議視頻產(chǎn)品Teams Premium均已經(jīng)計劃應(yīng)用ChatGPT。

而如今，微軟不僅希望進行新一輪百億美金投資，還表示將在Azure云平臺中整合ChatGPT，實現(xiàn)Azure OpenAI服務(wù)全面上市，通過該服務(wù)可訪問OpenAI開發(fā)的AI模型，屆時微軟的每個產(chǎn)品都將具備相同的AI能力。

與OpenAI的合作，成為微軟到迄今為止在AI領(lǐng)域一筆成功的買賣，對微軟在搜索引擎、辦公、會議視頻，以及云市場引發(fā)了強烈沖擊，而這也讓外界“期待”有望在2023年發(fā)布的GPT-4。

熱鬧的背后

據(jù)外媒CNBC爆料，谷歌最近正在加快研發(fā)一個名為“學(xué)徒巴德”（Apprentice Bard）的聊天機器人，其基于LaMDA語言模型。顯然，谷歌于去年12月針對ChatGPT的“紅色警報”已經(jīng)拉響。而除了LaMDA之外，谷歌也已經(jīng)計劃將圖像生成模型Imagen對抗OpenAI的DALL·E 2。

而據(jù)百度披露，今年1月初，百度搜索將升級“生成式搜索”能力，基于百度自研的生成式模型能力，為用戶開放式的搜索提問或定制化的信息需求“創(chuàng)作答案”。此外據(jù)路透社報道，百度曾計劃于3月將該服務(wù)作為獨立應(yīng)用推出，再逐步將其集成到搜索引擎中。

無論在當(dāng)下關(guān)注度較為集中的搜索領(lǐng)域，還是其他潛在領(lǐng)域，受ChatGPT的強烈刺激，包括谷歌、百度在內(nèi)的AI主力梯隊已經(jīng)快速跟進起來。不過，源自GPT本身涉及的倫理問題與技術(shù)難點依然存在。

如Stack Overflow已經(jīng)宣布禁止將ChatGPT所產(chǎn)生的問題用于回答社區(qū)問題，并給出違規(guī)者最多可被封禁30天的懲戒措施。當(dāng)不少大學(xué)生開始用ChatGPT寫作業(yè)，紐約大學(xué)等高校的教授及學(xué)者們也發(fā)出警告，將AI視為作弊行為。

在技術(shù)層面，GPT-3曾經(jīng)會犯的錯誤，在ChatGPT上也并未解決掉，如只能計算精通十以內(nèi)的加減法，甚至還會“一本正經(jīng)地胡說八道”。這與ChatGPT的訓(xùn)練語料庫有一定關(guān)系，其喂養(yǎng)的數(shù)據(jù)還是來自2021年前來自互聯(lián)網(wǎng)的數(shù)十億個文本示例。例如在專業(yè)知識領(lǐng)域或者信息更新快的IT領(lǐng)域，模型訓(xùn)練任務(wù)和訓(xùn)練效果往往會受其制約。

而在訓(xùn)練成本上，小冰公司CEO李笛此前表達，“ChatGPT主要是研究性質(zhì)上的突破。它有非常好的創(chuàng)新，即證明了在原有的大模型基礎(chǔ)之上，進行一些新的訓(xùn)練方法，可以更好地提高對話質(zhì)量。但如果小冰用ChatGPT的方式來運行系統(tǒng)，現(xiàn)在小冰每天承載的交互量就需要花近3億人民幣的對話成本，即使ChatGPT可以把成本優(yōu)化到現(xiàn)在的10%，也賺不回來?！?/p>

據(jù)外媒披露，微軟此前的融資就以現(xiàn)金+Azure云算力的方式作為兌付，模型訓(xùn)練最消耗的也恰恰是算力成本。這也難怪分析機構(gòu)預(yù)測，ChatGPT使用量的快速增長可能使英偉達在12個月內(nèi)銷售額達到30億至110億美元。長期來看，這也將是微軟應(yīng)對算力高投入與ChatGPT高增長可預(yù)見收益下的一種對沖策略。

其實，ChatGPT出現(xiàn)之前，基本國內(nèi)大的AI玩家就已經(jīng)在涉足構(gòu)建出類似于GPT、但主要基于中文語料庫的預(yù)訓(xùn)練大模型。大模型在落地過程中呈現(xiàn)出了與以往模型不同的技術(shù)特征，也帶來了更好的智能化水平。

“但是大模型想要在某個方向上訓(xùn)練得更好，智能化水平更高，需要在具體落地場景引入額外的領(lǐng)域知識，才能解決實際問題。AI大模型有其自身特點，訓(xùn)練時使用的數(shù)據(jù)集主要來自互聯(lián)網(wǎng)，在通用知識和領(lǐng)域知識的分布上存在不均，會影響其在具體行業(yè)的應(yīng)用?！崩顺毙畔I軟件研發(fā)總監(jiān)吳韶華對鈦媒體App表示。

對于更多的創(chuàng)業(yè)公司而言，大模型做微調(diào)或二次開發(fā)的方式，且不說仍需要大量算力的支持，在實際場景中，能不能等到成熟落地也需要時間成本。

在ChatGPT之后，勢必會有更多的AI團隊試圖給出算法更加精準(zhǔn)、訓(xùn)練成本更低、對于用戶而言調(diào)取更方便的模型，它可能依然會結(jié)合Transformer，也可能運用新的機器學(xué)習(xí)方法，提出對語言翻譯、文本生成、甚至情感分析等NLP通用場景下的解決思路。

尤其對于中國的AI團隊，也會在ChatGPT的這場狂歡中繼續(xù)回答一個老問題：當(dāng)技術(shù)的風(fēng)口再次來了，如何避免走過去商業(yè)目標(biāo)不清晰的老路？（本文首發(fā)鈦媒體APP 作者 | 楊麗）

關(guān)鍵詞： openai chatgpt 華為開發(fā)者大會