惹來爭議,AI大模型爲何如此的貴?

數字科技互聯界 2024-06-01 07:20:10

AI大模型的熱度已經持續一年多了,而且絲毫沒有減弱之勢。不過最近出現了一些質疑的聲音,直指AI大模型極大地消耗地球資源。據華爲AI首席科學家田奇透露,AI大模型60%的成本是電量消耗,是不折不扣的超級“電老虎”。據美媒報道,爲響應2億個用戶請求,ChatGPT每天消耗超50萬度電,用電量抵得上5萬多個中國家庭。此外,AI大模型不僅耗電還耗水。據谷歌發布的2023年環境報告,谷歌數據中心去年用掉了全球每天飲用水的1/4水量。

在4月初的一次播客采訪中,OpenAI的競爭對手Anthropic的首席執行官達裏奧·阿莫代伊(Dario Amodei)指出,當前市場上人工智能模型的培訓成本已高達1億美元。他進一步表示:“目前正在訓練的模型,以及預計在今年晚些時候或明年年初不同時間推出的模型,其成本已接近10億美元。而在我看來,到了2025年和2026年,這一成本將飙升至50億或100億美元。”

這個成本確實不是普通企業能消費得起的,所以AI大模型依然是超級巨頭的玩具。其實,AI大模型的成本高是多方面影響的,包括訓練成本、硬件成本、數據成本、模型架構和優化成本、推理成本、電力和維護成本以及研發成本等,它們相互交錯共同推高了AI大模型的成本。但究其根本,就是硬成本和軟成本。

其中,硬成本包括芯片(GPU)、服務器、數據中心、可擴展設備等成本。

訓練大型AI模型通常需要大量的高性能GPU。例如,微軟與英偉達合作推出的Megatron Turing-NLG(MT-NLG)模型使用了4480塊A100 GPU。GPU的選擇(如英偉達的A100、V100等)和數量直接影響成本。英偉達的H100圖形芯片,作爲訓練人工智能模型的黃金標准,其預估售價高達3萬美元,但市場上一些經銷商的報價更是成倍增長。除了GPU,還需要其他服務器硬件,如CPU、內存、存儲和網絡設備。這些硬件的成本累計起來也是一筆不菲的數目。

而訓練AI大模型則需要在數據中心進行,數據中心的建設和維護成本包括電力、冷卻系統、安全和維護等。隨著AI模型規模的增大,可能需要不斷增加硬件資源,這就需要考慮硬件擴展的成本和長期可持續性,這同樣讓成本高築。

AI大模型的軟成本包括模型架構及優化成本、訓練成本和自然資源成本。

設計和優化大型語言模型需要專業的研究人員和工程師,這涉及到顯著的人力成本。去年,流媒體巨頭Netflix曾一度發布廣告,招聘人工智能産品經理一職,年薪高達90萬美元。同時,AI大模型的訓練成本非常高。例如,OpenAI首席執行官Sam Altman曾提到,GPT-4的訓練成本超過1億美元。根據AI Index年度報告,大模型的訓練成本隨著模型規模的增大而急劇增加,2017年Transformer模型訓練成本約爲900美元,而到了2023年,GPT-4和Google的Gemini Ultra的訓練成本分別約爲7800萬美元和1.91億美元。隨著訓練數據量的增長AI大模型的訓練費用還在節節攀升。

AI大模型在訓練過程中需要大量的算力,這直接導致對電力的巨大需求。例如,英偉達H100芯片的最大功耗爲700瓦,運行一小時就要耗電0.7度。此前有消息稱,OpenAI訓練GPT-5,需要數萬張H100芯片。除了電力,AI大模型在運行過程中還需要大量的水資源用于冷卻和散熱。例如,谷歌2022年的用水量達到了56億加侖水,用于數據中心散熱。AI大模型的訓練和運行過程中還會産生顯著的碳排放。斯坦福大學報告顯示,GPT-3模型在訓練期間釋放了502公噸碳。

這些成本因素表明,AI大模型的成本是非常高的,並且隨著模型規模的增大和訓練複雜性的提高,這些成本還在不斷上升。而這些成本支出是否值得,現階段下結論也還爲時尚早。

0 阅读:15

數字科技互聯界

簡介:感謝大家的關注