老便宜了!字節跳動豆包大模型開始營業

因佛科技 2024-05-23 11:15:29

作者 | 華衛

5 月 15 日,火山引擎發布了字節跳動研發的豆包大模型家族,今天起正式開啓對外服務。而豆包的定價,讓大模型從以分計價進入到了以厘計價的時代。

“不僅效果好,人人用得起的才是好模型。”火山引擎總裁譚待表示,大的使用量,才能打磨出好模型,也能大幅降低模型推理的單位成本。

據披露,豆包主力模型 pro-32k 版的模型推理輸入價格僅爲 0.0008 元 / 千 Tokens,相當于一元錢就能買到 125 萬 Tokens,比行業價格低 99.3%;在處理 128K 長文本時,豆包通用模型 pro 的推理輸出價格爲 0.005 元/ 千 Tokens。

譚待認爲,大模型要做好有三個關鍵挑戰:模型效果、推理成本、落地難度,用的人越多,調用量越大,才能讓模型越來越好。在 2024 火山引擎春季 Force 原動力大會上,火山引擎推出的一站式大模型服務平台火山方舟、扣子應用也帶來了最新的技術升級動態升級。

豆包模型官網:https://www.volcengine.com/product/doubao

豆包模型家族亮相日均處理 1200 億 Tokens

豆包系列模型由字節跳動研發,包括從語義、聲音到圖像的多模態內容家族,還可以創建個性化定制的智能體,能夠通過便捷的自然語言或語音交互,高效完成互動對話、信息獲取、協助創作等任務。

其中,豆包通用模型 pro 是字節跳動自研 LLM 模型專業版,具有理解、生成、邏輯和記憶等綜合能力,窗口尺寸最大支持 128K 長文本,並可精調,適配場景更加通用。豆包通用模型 lite 是性價比更高的輕量版,對比 pro 版本千 Tokens 成本下降 84%、延遲降低 50%,爲企業提供靈活經濟的模型選擇。

在聲音方面,豆包有具備語音合成、聲音複刻和語音識別方面的三個模型,不僅善于表達多種情緒,而且 5 秒即可實現聲音一比一克隆,對音色相似度和聲音自然度進行高度還原,還支持複刻聲音的跨語種遷移。語音識別效果尤其在科技,教育,醫療等垂直領域表現突出,並善于處理口音、噪音等複雜場景的語音識別。

而豆包·文生圖模型擅長對中國特色文化的理解和輸出,豆包·Function Call 模型是當前支持扣子的主力模型,可根據不同的輸入指令和情景,選擇不同的函數和算法來執行相關任務。

豆包·角色扮演模型則可以根據人物設定進行演繹,具備個性化的角色創作能力、上下文感知能力強和劇情推動能力,可以滿足用戶更加個性化的角色扮演需求。據字節跳動産品和戰略副總裁朱駿透露,豆包上已有超過 800 萬個智能體被創建。

此外,朱駿還談到很多豆包在産品設計上的思考。“用戶的核心需求沒有變化,包括高效獲取信息、工作提效、自我表達、社交娛樂等,在快速演化的是技術。對于大模型的應用,其定義了三個設計原則:擬人化、離用戶近、個性化。

豆包名字的由來正是,希望産品的名字和大模型一樣是擬人化的,像身邊親密的朋友或家人在日常生活當中願意用的昵稱一樣,能夠成爲用戶隨身攜帶的“語音百事通”、桌面端文案創作小助手、嵌入到用戶現有使用環境的代碼生成和注釋助手。

“經過一年時間的叠代和市場驗證,豆包大模型正成爲國內使用量最大、應用場景最豐富的大模型之一,目前日均處理 1200 億 Tokens 文本,生成 3000 萬張圖片。”譚待表示。

現場,譚待還首次披露了豆包大模型的月度活躍用戶情況,雙端月活用戶量達到 2600 萬。目前,豆包模型已用于豆包 App、扣子、河馬愛學、飛書智能夥伴、抖音電商、剪映、番茄小說等字節跳動旗下産品及業務,並通過火山方舟向智能終端、汽車、金融、消費等行業的衆多客戶提供服務。

火山方舟升級 2.0 版來了

此次火山方舟平台進行了全新的升級,推出方舟 2.0 平台,新平台發布了三個重要的大模型插件。火山方舟是火山引擎發布的大模型服務平台,提供模型訓練、推理、評測、精調等全方位功能與服務,並重點支撐大模型生態。

火山方舟 2.0 升級的主要亮點如下:

聯網插件:提供抖音頭條同款搜索能力,能夠實時連接海量優質互聯網數據和抖音的獨有數據,並且可以通過業內領先的意圖識別能力,提供給用戶更准確和更全面的回答。內容插件:獨家上架了抖音內容插件,可以獨家的提供抖音豐富的視頻和圖文內容,並且作爲相關重要信息去豐富大模型和用戶的交互過程。RAG 知識庫插件:內置了字節跳動多年實踐沉澱的大規模高性能向量檢索能力,百億級別數據可以實現毫秒級檢索,支持秒級索引流式更新,可以實現新增數據能夠實時被檢索到,知識庫插件也內置了豆包向量化模型,中文場景效果領先, 可以給用戶提供更好的搜索相關性。同時,文檔解析環節集成了飛書優秀的文檔解析能力,支持 pdf、doc、ppt、excel、txt、markdown 等多種複雜類型文檔解析能力。

除了核心插件外,方舟 2.0 也對系統的承載能力、安全保護能力和算法服務能力進行全面提升。首先是系統承載能力,火山方舟提供了超過萬卡公有雲 GPU 資源池來支持大模型的推理服務,並能夠提供 5 秒接入新建精調模型的彈性調度,僅需 3 分鍾就能完成千卡擴容,來支撐企業在應用大模型過程中可能出現的突發流量和業務高峰。

在安全可信上,方舟 2.0 通過傳輸加密、數據加密和獨有的大模型安全沙箱功能,能夠在模型精調、部署和應用的過程中實現安全增強,不僅可以防止惡意攻擊模型的汙染,而且可以有效保護企業內部數據不會發生泄露。

算法服務方面,火山方舟平台配備了專屬的大模型的算法團隊。

“人人都是 AI 應用開發者”扣子專業版發布

“AI 在通常的理解中是一個難且貴的概念,難在于大模型本身的技術複雜性,而貴在于它的訓練和推理成本。目前其主要的時間場景仍局限在搜索引擎和修圖工具,但大語言模型真正的潛力遠不止于此。”扣子産品經理潘宇揚表示,扣子産品能夠連接大模型和用戶場景。

據介紹,作爲新一代 AI 應用開發平台,無論是否有編程基礎,都可以在扣子上快速搭建基于大模型的各類 bot,並將其發布到各種社交平台、通訊軟件或部署到網站等其他渠道。

目前,扣子專業版已集成在火山引擎的大模型服務平台“火山方舟”上,提供企業級 SLA 和高級特性。招商銀行、海底撈火鍋、超級猩猩、獵聘等企業,已在扣子上搭建了智能體。複旦大學、浙江大學等名校也爲課程和實驗搭建 AI“助教”。

原文鏈接:

0 阅读:0

因佛科技

簡介:感謝大家的關注