ChatGPT是革命性的數(shù)據(jù)模型,給我們帶來驚喜不僅僅是內(nèi)容的生產(chǎn)方式的變化,更讓人們看到了通用人工智能的希望,推動AI大模型和新應用不斷涌現(xiàn)。隨著通用人工智能和人類真實的需求對齊,超大模型正在成為人工智能撬開廣大應用市場的利器。
大模型可以將復雜問題泛化成一個通用問題,極大縮短產(chǎn)業(yè)應用的周期。不過,另一個方面,大模型對于算力的要求將會更高,需要AI基礎設施的支撐。
當前針對大模型和基礎設施,國內(nèi)外巨頭均已展開布局。收購OpenAI后,微軟對于其全力的支持,才成功研發(fā)出ChatGPT,讓微軟重回科技之巔。同時,微軟的智能云Azure是OpenAI的重要合作伙伴,為其提供了重要算力和云等基礎服務。
商湯早在2018年就開始大模型相關探索,當時叫做預訓練模型。2023年,商湯科技連續(xù)推出了多模態(tài)多任務通用大模型“書生(INTERN)2.5”和大模型體系“日日新SenseNova”。在商湯大模型的背后,是商湯科技新型AI基礎設施——商湯大裝置SenseCore。
2023年6月2日,臨港智能算力產(chǎn)業(yè)峰會中,臨港新片區(qū)智算產(chǎn)業(yè)聯(lián)盟正式成立,作為“新片區(qū)智算產(chǎn)業(yè)鏈鏈主”企業(yè)和聯(lián)盟的算力提供企業(yè),商湯科技將與智算產(chǎn)業(yè)上下游及高校與科研院所共同開展資源共享、技術交流和項目合作。
可見,無論國外還是國內(nèi),眾多科技巨頭都已將大算力+大模型作為長期的戰(zhàn)略方向。
01
大模型時代,
算力到底有多重要?
2023年,國內(nèi)外眾多科技巨頭紛紛布局大模型,比如谷歌發(fā)布了PaLM-E、阿里發(fā)布大模型“通義千問”、百度推出“文心一言”。
商湯科技4月發(fā)布“日日新SenseNova”大模型體系之后,在大裝置的賦能下實現(xiàn)了日新月異的飛速發(fā)展:開源了“書生2.5”多模態(tài)大模型,以及發(fā)布遙感大模型SenseEarth3.0、通才AI智能體GITM等等。近日,商湯科技、上海AI實驗室聯(lián)合香港中文大學、復旦大學及上海交通大學發(fā)布千億級參數(shù)大語言模型“書生·浦語”(InternLM)?!皶て终Z”具有1040億參數(shù),是在包含1.6萬億token的多語種高質量數(shù)據(jù)集上訓練而成。
全面評測結果顯示,“書生·浦語”不僅在知識掌握、閱讀理解、數(shù)學推理、多語翻譯等多個測試任務上表現(xiàn)優(yōu)秀,而且具備很強的綜合能力,因而在綜合性考試中表現(xiàn)突出,在多項中文考試中取得超越ChatGPT的成績,其中就包括中國高考各個科目的數(shù)據(jù)集(GaoKao)。
“書生·浦語”聯(lián)合團隊選取了20余項評測對其進行檢驗,其中包含全球最具影響力的四個綜合性考試評測集:
由伯克利加州大學等高校構建的多任務考試評測集MMLU;
微軟研究院推出的學科考試評測集AGIEval(含中國高考、司法考試及美國SAT、LSAT、GRE和GMAT等);
由上海交通大學、清華大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集C-Eval;
以及由復旦大學研究團隊構建的高考題目評測集Gaokao;
實驗室聯(lián)合團隊對“書生·浦語”、GLM-130B、LLaMA-65B、ChatGPT和GPT-4進行了全面測試,針對上述四個評測集的成績對比如下(滿分100分)。
△評測成績
“書生·浦語”不僅顯著超越了GLM-130B和LLaMA-65B等學術開源模型,還在AGIEval、C-Eval,以及Gaokao等多個綜合性考試中領先于ChatGPT;在以美國考試為主的MMLU上實現(xiàn)和ChatGPT持平。這些綜合性考試的成績反映出“書生·浦語”扎實的知識掌握程度和優(yōu)秀的綜合能力。
商湯科技聯(lián)合創(chuàng)始人、大裝置事業(yè)群總裁楊帆表示,在接下來2~3年之后,人工智能研究可能80%、90%都將轉向大模型。很多方向產(chǎn)業(yè)人工智能研發(fā)或將被大模型所替換,這也符合自然的技術研發(fā)進步延伸的過程,我們正奔向大模型時代。
大模型如火如荼,算力重要性同樣不言而喻。OpenAI作為微軟的子公司,背后對于算力或許不焦慮。可對于國內(nèi)很多公司來說,背后或許并無微軟、谷歌、亞馬遜這樣的巨頭支撐,又該如何應對呢?
眾所周知,大模型需要在海量數(shù)據(jù)上進行訓練和優(yōu)化,才能達到更高的預測準確性和泛化能力,隨著數(shù)據(jù)處理量增大,對于算力的需求也越高。比如,在ChatGPT的研發(fā)上,微軟就在Azure的六十多個數(shù)據(jù)中心部署了幾十萬張GPU,為OpenAI單獨使用。
△商湯科技人工智能計算中心
如今,中國科技巨頭已經(jīng)開始肩負AI基礎設施建設的責任。比如,2021年,世界人工智能大會期間,商湯正式推出新型AI基礎設施——商湯大裝置SenseCore;2022年9月,商湯大裝置AI云也對外發(fā)布,并于2023年2月25日正式上線。商湯大裝置SenseCore在千卡集群上達到了90%的利用率,遠遠領先行業(yè)平均水準。
未來,是否擁有大模型與大算力是衡量一家人工智能企業(yè)能力的主要標準。也是打破國外“算力壟斷”,打造高效率、低成本、規(guī)模化的下一代AI基礎設施與服務的關鍵所在。
在算法層面,不管是商湯科技,又或者是其他AI科技公司,都在從小模型到大模型轉型。
在算力層面,經(jīng)過5年探索,商湯科技人工智能計算中心(AIDC)去年在上海臨港正式投用,成為商湯大裝置SenseCore的重要算力基座,是亞洲目前最大的智能計算平臺之一,也是國內(nèi)為數(shù)不多接近GPT所需算力的重要基礎設施。
臨港新片區(qū)黨工委副書記吳曉華在算力大會上表示,臨港新片區(qū)算力產(chǎn)業(yè)已在上游軟硬件、中游的數(shù)據(jù)中心、調(diào)度平臺,下游應用進行了相應布局。
上海臨港自貿(mào)區(qū)計劃到2025年,形成以智算算力為主、基礎算力和超算算力協(xié)同的多元算力供給體系,算力產(chǎn)業(yè)總體規(guī)模突破100億元;與此同時,總算力超過5EFLOPS(FP32),AI算力占比達到80%,建成公共算力服務平臺。商湯科技聯(lián)盟重要參與者,將會為臨港自貿(mào)區(qū)提供重要算力基礎服務。
未來,無論在政府和政策端,還是企業(yè)和應用端,算力都是AI技術發(fā)展的重要基礎設施。
李開復多次在公開活動中強調(diào),不要忽視在基礎設施領域的投資,尤其是算力領域。能提高算力或者帶來新算法、新芯片等類型的企業(yè),也是創(chuàng)新工場著重關注的領域。
IDC的數(shù)據(jù),預計到2023年全球AI芯片市場規(guī)模將達到710億美元。
奇績創(chuàng)壇創(chuàng)始人兼CEO陸奇認為,大模型為先的新一代基礎設施是新時代早期的好“工具生意”。
AI的巨變前夕,率先掌握底層算力提供能力,或許可以在資本市場和應用市場雙線開花,實現(xiàn)名利雙收。
02
商湯大裝置的三大核心優(yōu)勢
算力、數(shù)據(jù)、算法是AI傳統(tǒng)三要素,三者的結合造就了人工智能的廣泛應用。只不過,伴隨著通用人工智能時代(AGI)到來,數(shù)據(jù)量的攀升,市場對于算力和算法的要求越來越高。
未來,誰能為AI三要素提供更好地整合能力,以及更低成本、更低門檻的能力是決定其市場地位的關鍵。
在深潛atom看來,企業(yè)選擇人工智能基礎服務時,成本、性能和差異性都是重要參考目標,在選擇眾多之時,差異化服務或是決定企業(yè)選擇的關鍵。
提到人工智能基礎設施的差異化服務上,商湯科技也是繞不開的一家科技公司。其很早預見了AGI時代的到來,針對AI基礎設施展開了布局,并且推出商湯大裝置SenseCore——融合了算力、算法和數(shù)據(jù)處理能力,致力于打造高效率、低成本,規(guī)?;男滦腿斯ぶ悄芑A設施。
△商湯大裝置SenseCore
行業(yè)普遍認為算力就是基礎設施,但實際上人工智能基礎設施是算力、數(shù)據(jù)、算法(包括基礎算法和算法相關的工具)三位一體。算力不僅是硬件的資源,還包括上面一整套的基礎軟件體系;數(shù)據(jù)也不僅是數(shù)據(jù)本身的積累,還包括處理數(shù)據(jù)的能力、整合數(shù)據(jù)的能力、使用數(shù)據(jù)的know-how……誰能把這三者的整合能力提供得好,提供更低成本、更低門檻的能力是決定整個競爭的關鍵,也是商湯大裝置想去做的。
在AI基礎設施的擴建中,有效算力的提升是個挑戰(zhàn)。有時候并行500P算力的GPU,實際上有效算力可能只有200P或者300P,GPU的利用效率并不高。因此,如何實現(xiàn)高性能計算優(yōu)化,以及異構網(wǎng)絡的調(diào)試是核心關鍵。
當前,商湯科技大模型并行訓練服務支持單集群3200卡5000億稠密參數(shù)模型訓練,在千卡集群上達到了90%的利用率,遠遠領先行業(yè)平均水準。
商湯大裝置SenseCore已經(jīng)完成2.7萬塊GPU的部署并實現(xiàn)了5.0exaFLOPS的算力輸出能力。目前,商湯大裝置SenseCore可最多支持20個千億參數(shù)量大模型(以千卡并行)同時訓練,最高可支持萬億參數(shù)超大模型的訓練。
更為關鍵的是,商湯大裝置SenseCore有三大差異性優(yōu)勢。
首先,商湯科技是AI原生,熟悉各個環(huán)節(jié)。從芯片、服務器、基礎軟件、工具軟件、算法生產(chǎn)到應用,商湯科技都有布局和成就,沉淀了大量的專家認知和工具,對每個環(huán)節(jié)的困難、挑戰(zhàn)都有足夠的經(jīng)驗。因此,在硬件服務器的配置,訓練類型的配置,推理類型的配置,訓練和推理之間的關系分析,以及集群內(nèi)部的網(wǎng)絡調(diào)度等領域,都可以更好地為用戶提供關鍵性建議。
其次,商湯有成熟的端到端應用解決方案。商湯科技很早就針對“一平臺四支柱”(AI大裝置+智能汽車、智慧生活、智慧商業(yè)、智慧城市)進行前瞻性戰(zhàn)略布局,并擁有豐富的AI產(chǎn)業(yè)應用經(jīng)驗,更了解不同行業(yè)對于AI的需求,從而可以更好地提供端到端綜合服務。
比如,商湯科技已經(jīng)構建的業(yè)界首個感知決策一體化的端到端自動駕駛解決方案UniAD,在多項關鍵數(shù)據(jù)集與指標上超越了SOTA方法。使得車道線的預測準確率提升了30%,預測運動位移的誤差降低了近40%,規(guī)劃誤差降低了近30%。
△商湯大模型賦能絕影“駕艙云”三位一體
馬化騰表示,要把底層的算法、算力和數(shù)據(jù)扎扎實實做好十分關鍵,更關鍵的是場景落地。對于用戶來說,可選擇性或許很多,真正要做產(chǎn)業(yè)落地的時候,AI是要拿端到端價值說話的。
在開源生態(tài)的建設上,商湯也有獨特的優(yōu)勢。在人工智能時代,最重要的不是框架,真正的核心價值全都沉淀在算法和模型里?;谏虦L期的開源生態(tài)積累,商湯大裝置的算法模型層,提供OpenMMLab、OpenGVLab、OpenDILab三套開箱即用的開源算法體系。其中人工智能算法開源體系OpenMMLab在GitHub上已獲得超7.5萬多個星標,用戶遍及超過110個國家和地區(qū),是深度學習時代極受歡迎的計算機視覺開源算法平臺之一。
商湯科技還被授予“新片區(qū)智算產(chǎn)業(yè)鏈鏈主”企業(yè),將基于商湯人工智能計算中心(AIDC)積極參與臨港智算產(chǎn)業(yè)鏈的協(xié)同融合和集聚發(fā)展。
03
大裝置+大模型
“引爆”大規(guī)模場景應用
通用大語言模型成熟之前,我們和算法的交流需要通過一些標準句式,體驗感并不好。現(xiàn)如今,伴隨著通用大語言模型成熟,我們可以采取和正常人溝通的方式和算法溝通,并且得到正確的回應。大模型帶來的不光是效率的提升,更讓原來一些體驗不夠好形成大規(guī)模應用的場景,到今天可以形成大規(guī)模應用。
臨港算力大會上,上海市經(jīng)濟信息化委副主任湯文侃表示,希望臨港新片區(qū)探索將“網(wǎng)絡、數(shù)據(jù)、算力、安全”聯(lián)動創(chuàng)新的合作模式,利用AI算法將行業(yè)數(shù)據(jù)轉化為產(chǎn)業(yè)知識,從而賦能千行百業(yè)。
落地永遠是對研發(fā)的最重要檢驗標準。作為臨港新片區(qū)智算產(chǎn)業(yè)聯(lián)盟重要成員,商湯科技正在用實際行動回應算力在落地中的重要價值。
截至今年5月,商湯大裝置已累計服務超40個核心客戶,其中大模型客戶10家以上,涵蓋智能駕駛、生物制藥、芯片設計、智慧商業(yè)、高校科研等前沿領域,并已在超過20個落地場景中實現(xiàn)大模型交付。
例如,2023年5月,商湯科技在CHIMA2023公布了全新升級“SenseCare?智慧醫(yī)院”綜合解決方案,在“大模型+大算力”的驅動下,SenseCare?智慧診療平臺已經(jīng)搭載20余款AI輔助診斷應用。
商湯科技董事長、CEO徐立表示,通用人工智能時代,模型的能力可以用算力來衡量。商湯大裝置SenseCore已經(jīng)打造通用人工智能時代的基礎設施,在模型的迭代速度及處理問題的能力上日日更新。商湯科技十分期待與更多同行者建立縱深合作,共商行業(yè)新模式,共探未來新方向。
毫無疑問,AI產(chǎn)業(yè)即將迎來一個更加繁榮的大航海時代。以商湯科技為代表的企業(yè),正在為人工智能提供強大的計算和存儲能力,讓AI技術更加低成本、低門檻、高效率地進入到各個場景里面,推動未來產(chǎn)業(yè)生態(tài)的百花齊放。