混元大語(yǔ)言模型，從理論上可以打破騰訊的原有的產(chǎn)品版圖邊界，讓AI連接起各個(gè)產(chǎn)品與用戶之間的需求。
截止4月上旬，國(guó)內(nèi)已有多家頭部企業(yè)發(fā)布/或預(yù)發(fā)布了自己的大模型，其中包括了：
一時(shí)間，“尋找或成為中國(guó)的OpenAI”，成為了國(guó)內(nèi)各企業(yè)最首要的問題。
如何在保證速度的同時(shí)，解決好資金、算力、數(shù)據(jù)、人才，以及更多未知的工程化方法，都是一個(gè)頗為考驗(yàn)“內(nèi)功”的環(huán)節(jié)。
目前，互聯(lián)網(wǎng)行業(yè)中的一些企業(yè)，已經(jīng)在大模型領(lǐng)域展現(xiàn)出了自己的實(shí)力，比如阿里這類領(lǐng)軍企業(yè)，但同時(shí)，還有像騰訊這樣實(shí)力不容小覷的企業(yè)尚未發(fā)力。
騰訊作為互聯(lián)網(wǎng)行業(yè)的領(lǐng)軍企業(yè)之一，擁有強(qiáng)大的技術(shù)實(shí)力、豐富的數(shù)據(jù)積累以及AI基礎(chǔ)設(shè)置，讓其在AIGC領(lǐng)域的布局備受關(guān)注。
自O(shè)penAI發(fā)布Chatgpt以來(lái)，大模型領(lǐng)域一個(gè)明顯的趨勢(shì)，就是隨著算力的發(fā)展，模型容量持續(xù)提升，模型通用性和泛化能力也更強(qiáng)。
然而，此前國(guó)內(nèi)基于萬(wàn)億大模型的應(yīng)用探索極少，在高速網(wǎng)絡(luò)、訓(xùn)練/推理框架、模型算法和落地應(yīng)用等方面，也沒有全面深入的公開性研究。
然而，若要問鼎“萬(wàn)億大模型”這枚王冠，強(qiáng)大的算力則是必不可少的。于是，騰訊設(shè)計(jì)的一套“先蒸餾后加速”的大模型壓縮方案——太極-HCF ToolKit，就應(yīng)運(yùn)而生了。
太極平臺(tái)，包含了從模型蒸餾、壓縮量化到模型加速的完整能力，為AI工程師打造從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評(píng)估到模型服務(wù)的全流程高效開發(fā)工具。
由于太極框架封裝了很多功能和驗(yàn)證，因此只要配置正確，就不需要再進(jìn)行額外的測(cè)試。這大大加快了開放的進(jìn)度。
以太極平臺(tái)的基礎(chǔ)，配合強(qiáng)大的底層算力與低成本的高速網(wǎng)絡(luò)基礎(chǔ)設(shè)施，騰訊打造了首個(gè)可在工業(yè)界海量業(yè)務(wù)場(chǎng)景直接落地，并投入應(yīng)用的萬(wàn)億NLP大模型——HunYuan-NLP 1T（以下簡(jiǎn)稱混元）。
混元最快僅用256卡在一天內(nèi)即可完成萬(wàn)億參數(shù)大模型的訓(xùn)練，整體訓(xùn)練成本僅為直接冷啟動(dòng)訓(xùn)練萬(wàn)億模型的1/8。
而騰訊之所以在訓(xùn)練成本上如此大費(fèi)周章，則與其自身的戰(zhàn)略布局有著密切的關(guān)系。
縱觀混元在騰訊應(yīng)用層、模型層的布局，我們可以發(fā)現(xiàn)，這樣的布局策略，很有可能是想以統(tǒng)一的平臺(tái)，實(shí)現(xiàn)技術(shù)復(fù)用和業(yè)務(wù)降本，支持更多的場(chǎng)景和應(yīng)用。
而這樣的技術(shù)復(fù)用和多場(chǎng)景支持，則與騰訊在互聯(lián)網(wǎng)領(lǐng)域獨(dú)特的生態(tài)位有著密切關(guān)系。
騰訊目前已有的互聯(lián)網(wǎng)江山，涵蓋了社交、游戲、廣告、內(nèi)容創(chuàng)作等多個(gè)領(lǐng)域，如何用最低的成本，為原先已有的眾多產(chǎn)品和業(yè)務(wù)進(jìn)行賦能和升級(jí)，就成了騰訊在AI時(shí)代首先要考慮的問題。
目前，騰訊已經(jīng)打造了以混元 AI 大模型為技術(shù)底座的廣告多媒體 AI 技術(shù)矩陣；以及應(yīng)用于創(chuàng)作的智能創(chuàng)作助手；和通用游戲競(jìng)技 的AI“絕藝”+“絕悟”。
可以說(shuō)，這種通過(guò)降低模型訓(xùn)練成本，從而迅速讓AIGC 技術(shù)為多個(gè)領(lǐng)域賦能的做法，與互聯(lián)網(wǎng)行業(yè)發(fā)展初期，很多企業(yè)通過(guò)“燒錢”的方式，以迅速擴(kuò)大市場(chǎng)份額的策略，著實(shí)有一種“異曲同工之妙”。
“混元”對(duì)騰訊 AI 應(yīng)用生態(tài)的拓展，絕不僅僅是一次對(duì)原有業(yè)務(wù)的“縱向升級(jí)”。
從某種程度上說(shuō)，這樣的生態(tài)的拓展，體現(xiàn)了騰訊在人工智能時(shí)代，對(duì)社會(huì)各領(lǐng)域、各產(chǎn)業(yè)層面的新一輪商業(yè)滲透的展開。
而這種多元化布局的思路，可以說(shuō)是對(duì)其在移動(dòng)互聯(lián)網(wǎng)時(shí)代“攻城略地”的一次復(fù)刻。
在移動(dòng)互聯(lián)網(wǎng)時(shí)代，騰訊的野心就已經(jīng)四溢到了游戲、社交、金融、廣告等多個(gè)領(lǐng)域。這種多元化的業(yè)務(wù)布局，使得騰訊的觸手深入到了網(wǎng)絡(luò)生活的各個(gè)方面，并最終通過(guò)微信這個(gè)終端，一步步整合了人們對(duì)于衣食住行的大部分需求，以至于到了人們難以對(duì)其脫離的地步。
在進(jìn)行多元化布局的同時(shí)，通過(guò)“燒錢”的方式不斷投資并購(gòu)，也是騰訊壯大自身的另一大手段。
如京東、美團(tuán)、滴滴等，這些企業(yè)都是行業(yè)內(nèi)的領(lǐng)先者，與騰訊的業(yè)務(wù)有很強(qiáng)的互補(bǔ)性，能夠?yàn)轵v訊帶來(lái)更多的商業(yè)機(jī)會(huì)和收益來(lái)源，從而進(jìn)一步擴(kuò)大了騰訊自身的業(yè)務(wù)版圖。
然而，隨著互聯(lián)網(wǎng)紅利消失, 市場(chǎng)已經(jīng)進(jìn)入相對(duì)平穩(wěn)的發(fā)展階段，各大巨頭們也開啟了從增量到存量的戰(zhàn)爭(zhēng)。
在這樣的背景下，傳統(tǒng)的“花錢買量”已經(jīng)難以再帶來(lái)新的用戶增長(zhǎng)，既然原有產(chǎn)品的“縱向增量”已經(jīng)走到盡頭，那么通過(guò)跨領(lǐng)域融合的“橫向增量”方式，繼續(xù)維持或擴(kuò)大自身龐大的業(yè)務(wù)版圖，就成了騰訊若要在AIGC時(shí)代，一種最可行的策略。
憑借已有的龐大的用戶數(shù)據(jù)，加上大模型帶來(lái)的開放平臺(tái)、生態(tài)合作，將自身的業(yè)務(wù)逐漸與農(nóng)業(yè)、醫(yī)療、工業(yè)、教育等領(lǐng)域融合，可以最終編織成一張深深嵌入社會(huì)各個(gè)領(lǐng)域的智能化網(wǎng)絡(luò)。
正如移動(dòng)互聯(lián)網(wǎng)時(shí)代，微信通過(guò)二維碼、朋友圈、小程序等功能的推出，不斷擴(kuò)寬了自身的應(yīng)用場(chǎng)景，并實(shí)現(xiàn)了用戶數(shù)的一次次飛躍。
在人工智能時(shí)代，通過(guò)混元大模型帶來(lái)的通用+專用領(lǐng)域的融合功能，意味著騰訊能夠?qū)⒏鱾€(gè)領(lǐng)域的數(shù)據(jù)和信息進(jìn)行整合和分析，混元大模型可以提供更加個(gè)性化、智能和高效的服務(wù)，從而進(jìn)一步增強(qiáng)用戶的忠誠(chéng)度和粘性。
而當(dāng)這些來(lái)自多個(gè)領(lǐng)域的信息、數(shù)據(jù)，最終被大模型整合進(jìn)某一終端時(shí)，一個(gè)涵蓋了人們各個(gè)不同領(lǐng)域需求的“AIGC版微信”，或許也就此誕生了。
在某種程度上，它可能會(huì)比現(xiàn)在的微信更“必要”、更“難以離身”，得益于大語(yǔ)言模型知識(shí)抓取、邏輯分析能力，一些涉及事項(xiàng)多、專業(yè)性強(qiáng)，并且與民眾需求緊密相連的需求（如醫(yī)療、法律等領(lǐng)域），最后甚至僅僅能通過(guò)人們一句簡(jiǎn)單的“命令”，得到實(shí)現(xiàn)。
如此一來(lái)，混元大語(yǔ)言模型，從理論上可以打破騰訊的原有的產(chǎn)品版圖邊界，讓AI連接起各個(gè)產(chǎn)品與用戶之間的需求。
若要支撐起這樣橫跨各領(lǐng)域、多業(yè)務(wù)的大模型生態(tài)，一道繞不過(guò)去的坎，就是算力的限制。
市場(chǎng)上流傳的調(diào)研紀(jì)要顯示，要訓(xùn)練像ChatGPT這樣的生成式AI，至少需要1萬(wàn)張英偉達(dá)A100加速卡的支持。目前，國(guó)內(nèi)只有6家公司具備這樣的硬件實(shí)力。
然而，這樣的“算力邊界”，并沒能阻止騰訊在AIGC時(shí)代擴(kuò)充自身版圖的野心。
4月14日，騰訊云正式發(fā)布了面向大模型訓(xùn)練的新一代高性能計(jì)算集群HCCPNV5。
該集群采用最新一代騰訊云星星海自研服務(wù)器，并搭載了英偉達(dá) H800 Tensor Core GPU（國(guó)內(nèi)首發(fā)），提供業(yè)界目前最高的3.2Tbps超高互聯(lián)帶寬，算力性能比前代提升了3倍。
一般來(lái)說(shuō)，一個(gè)集群的性能，主要取決于三個(gè)要素：?jiǎn)螜C(jī)算力、網(wǎng)絡(luò)架構(gòu)、存儲(chǔ)性能。
而得益于騰訊云星星海服務(wù)器采用6U超高密度設(shè)計(jì)，每節(jié)點(diǎn)支持8塊H800，上架密度與同行相比提升了30%。利用并行計(jì)算理念，通過(guò)CPU和GPU節(jié)點(diǎn)的一體化設(shè)計(jì)，將單點(diǎn)算力性能提升至最強(qiáng)。
原因在于高性能計(jì)算存在“木桶效應(yīng)”，一旦計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)任一環(huán)節(jié)出現(xiàn)瓶頸，就會(huì)導(dǎo)致運(yùn)算速度嚴(yán)重下降。
因此，先進(jìn)算力的背后是先進(jìn)芯片、先進(jìn)網(wǎng)絡(luò)、先進(jìn)存儲(chǔ)等一系列的支撐，缺一不可。
此次騰訊自研的星脈網(wǎng)絡(luò)，為新一代集群帶來(lái)3.2T的超高通信帶寬。在「星脈網(wǎng)絡(luò)」的加持下，單集群規(guī)模支持4K GPU（最大支持10萬(wàn)+ GPU）、超EFLOPS（FP16）算力。
搭載同樣的GPU卡，3.2T星脈網(wǎng)絡(luò)相較前代網(wǎng)絡(luò)，能讓集群整體算力提升20%，使得超大算力集群仍然能保持優(yōu)質(zhì)的通信開銷比和吞吐性能。并提供單集群高達(dá)十萬(wàn)卡級(jí)別的組網(wǎng)規(guī)模。
而新一代HCC集群，引入了騰訊云最新自研存儲(chǔ)架構(gòu)，支持不同場(chǎng)景下對(duì)存儲(chǔ)的需求。
例如其中的COS+GooseFS方案，就提供基于對(duì)象存儲(chǔ)的多層緩存加速，大幅提升了端到端的數(shù)據(jù)讀取性能；
而CFS Turbo多級(jí)文件存儲(chǔ)方案，則充分滿足了大模型場(chǎng)景下，大數(shù)據(jù)量、高帶寬、低延時(shí)的存儲(chǔ)要求。
隨著新一代HCC高性能計(jì)算集群的發(fā)布，國(guó)內(nèi)大模型訓(xùn)練面臨的算力困局有望得到紓緩，而國(guó)內(nèi)的人工智能生態(tài)，也有可能從此走向百花齊放的局面。
這是因?yàn)?，雖然對(duì)于中國(guó)企業(yè)來(lái)說(shuō)，雖然ChatGPT這樣大模型，工作量和成本并不是不可接受，但只有在算力、算法、數(shù)據(jù)等不同環(huán)節(jié)，讓眾多公司構(gòu)成了一個(gè)龐大的人工智能生態(tài)，量變引起質(zhì)變，中國(guó)自己的世界級(jí)大模型，才會(huì)有“涌現(xiàn)”的基礎(chǔ)。
說(shuō)到底，ChatGPT不是OpenAI一家公司的成功，而是一種人工智能生態(tài)的成功。
隨著混元大模型所帶來(lái)的低成本訓(xùn)練紅利，國(guó)內(nèi)大模型多元化格局也有望就此形成，而由此構(gòu)建出的人工智能生態(tài)，也將有望讓ChatGPT這類AI發(fā)生在中國(guó)、根植在中國(guó)。
