“燒錢”的大模型如何爲企業“降本增效”助力?騰訊的實踐經驗

因佛科技 2024-05-23 11:15:02

大模型的價值潛能有目共睹,但“成本黑洞”也不失爲一個事實。除了尋找最佳落地路徑和業務場景之外,大模型的成本問題也一直備受關注。作爲一個短板效應明顯的系統工程,萬億級參數規模,背後不但涉及巨大的算力資源消耗,還有隨之而來的存儲、推理、運維、應用等一系列成本。

如何才能讓“燒錢”的大模型物超所值,解決絕大多數企業當下最關心的“降本增效”問題?騰訊正在通過實踐不斷探索和尋求他們的答案。

在 6 月 14 日 -6 月 15 日即將于深圳舉辦的 ArchSummit 全球架構師峰會 上,我們邀請到了來自騰訊多個不同條線的技術專家,從訓練框架、開發、落地應用等多個維度分享現階段企業如何利用大模型實現降本增效的目標。

拿訓練框架來說,目前不僅要支持文生文、多模態、文生圖、文生視頻等大模型訓練,還要支持 Dense 和 MoE 模型的訓練;不僅要支持小模型的訓練,還要支持萬億參數模型的訓練;不僅要支持單任務單卡大模型的訓練,還要支持單任務萬卡規模大模型的訓練;不僅要支持同構 GPU 的訓練,還要支持異構 GPU 的加速訓練,如何滿足大模型訓練的多種加速需求,成爲大模型 AI Infra 的必須解決的挑戰。

基于對存儲、網絡、計算的深度融合優化,騰訊研發了 AngelPTM 大模型訓練框架,其通過 6D 並行策略提高模型的訓練並行度、通過 ZeROCache 解決大模型訓練顯存壓力大的問題,通過 MOE 加速組件解決超大規模參數模型高效訓練的問題,通過與星脈高速網絡的協同優化,與算力、服務器、存儲等團隊的通力配合來解決單任務萬卡訓練的問題。

據悉,通過 AngelPTM 支持文生文、多模態、文生圖 / 視頻等大模型的高速訓練,單任務萬卡訓練可實現長時間的穩定高性能訓練。

圍繞這些話題,騰訊機器學習平台部大模型訓練框架研發技術專家薛金寶將在 ArchSummit 深圳帶來《騰訊 AngelPTM 大模型訓練框架優化與實踐》的議題分享。

軟件開發是大模型較早入局的落地場景之一,通過與低代碼技術的結合,開發效率提升將邁入新的台階。

具體而言,低代碼平台旨在使用少量代碼,高效的搭建頁面。對非前端從業者友好,提供了開箱即用的無代碼數據配置服務,和以 LowCode 進行了管理端研發體系升級。隨著大模型的能力飛速提升,大模型的提效能力加上低代碼的易用性相輔相成,將讓低代碼開發效率更高,更大程度降低用戶的使用門檻。

在 ArchSummit 深圳,騰訊 PCG 前端技術專家苑宗鶴將分享《AI 在低代碼平台搭建中的運用和挑戰》。

行業探索方面,騰訊雲利用 RAG 技術結合私域知識,基于騰訊雲行業大模型構建了 AI 智能助手,對內提升服務效率的同時,還對外提升客戶自助服務降低成本,在此過程中沉澱出企業智能知識庫的解決方案。此外,基于過去多年沉澱服務數據,騰訊雲通過大模型理解力,構建發現問題 - 量化分析 - 改進優化 - 線上驗證的閉環,持續提升自身雲産品的競爭力。

騰訊雲安燈産品 & 研發總監許小川將在 ArchSummit 深圳分享《騰訊雲安燈 AI 大模型應用實踐和探索》。騰訊雲安燈是一款服務于騰訊雲內部、夥伴及客戶的一站式 IT 服務管理平台。隨著 LLM 技術迅猛發展,其在 AI 大模型應用上做了諸多實戰,幫助騰訊雲、夥伴及客戶降本提效、提升服務水平。

除此之外,在工業質檢場景,騰訊雲還聯合頭部標機客戶,結合其在所屬場景的數據優勢,提供基于公有雲 / 私有化服務集群的質檢大模型訓練服務,並與端側單機軟件打通,實現在質檢行業呼喚已久“0 樣本、秒換型、快應用”的新範式突破。

工業 AI 質檢,從能不能到快不快,到是否能更快。騰訊雲采用的解決方案是一體化方案,標准平台建設,雲 + 端協同。該方案已經在 3C/ 锂電 / 光伏等複雜質檢項目落地,獲評工信部最佳實踐,IDC 市場排名第一。

對此,騰訊雲高級産品專家王剛將在 ArchSummit 深圳帶來《大模型時代的工業質檢方法論》的議題分享。

當然,大模型不是企業降本增效的唯一手段,也不是眼下需要重點關注和跟進的唯一技術。在建造 AI 智能化這座“高樓”的過程中,基礎的技術基底也必須打牢。

比如,如何持續提升可觀測性技術中日志檢索和分析等核心能力?據了解,騰訊雲 CLS 利用統一資源池理念,消除了系統中各個層次的 IO 資源隔離,實現了成本降低 90% 的目標;同時在優先控制成本的前提下,通過消除全地域算力資源隔離,實現了大規模分析能力提升數十倍。

在 ArchSummit 深圳,騰訊雲專家工程師林兆祥詳細介紹“降本九成,提效十倍”的目標究竟是如何達成的。

與此同時,大模型的盛行也將重塑微服務架構。微服務架構的廣泛應用,把大而複雜的業務系統拆分成高內聚的微服務,對整個系統實現解耦。每個服務負責相對獨立的邏輯,但是要實現業務價值,需要協調所有服務保證端到端業務流的成功。

騰訊星星海實驗室架構師葉彬將在 ArchSummit 深圳分享《彈性可伸縮海量工作流引擎建設實踐》,具體從業務場景出發(海量服務器全鏈路運營),並結合真實的業務痛點,闡述在落地過程中如何開創性實現了彈性可伸縮架構,使得該引擎具備千萬級多層嵌套流程毫秒級調度、峰值十萬 QPS、秒級容災自愈的基礎設施流程調度能力,有效支撐海量服務器全鏈路數億級作業場景。

除了騰訊的衆多優秀講師之外,我們也邀請了(以下排名不分先後)阿裏巴巴、百度、網易、字節跳動 / 火山引擎等互聯網技術大廠, vivo、知乎、高德地圖、Uber 、螞蟻集團、eBay、貨拉拉、快手、哔哩哔哩、攜程等頭部互聯網企業,以及 CNCF、Thoughtworks、順豐集團、美的集團、鴻海科技集團(富士康母公司)、甯德核電、廣發證券、微衆銀行、衆安銀行、天弘基金等衆多機構和企業的專家共同探討生成式 AI 技術對于企業未來架構的影響。

目前,ArchSummit 深圳大會議程已經上線,並將持續更新,感興趣的同學請鎖定大會官網:

活動推薦:

本屆 ArchSummit 會議上,我們邀請了 CNCF、順豐集團、阿裏、騰訊、百度等企業的專家來演講。會議上還設置了大模型應用、架構升級、智算平台、AI 編程、成本優化等專題和話題內容。如您感興趣,可點擊查看更多詳情。目前會議進入 9 折購票階段,可以聯系票務經理 17310043226 , 鎖定最新優惠。

原文鏈接:https://sourl.co/R7rUgs

0 阅读:0

因佛科技

簡介:感謝大家的關注