顯示廣告
隱藏 ✕
※ 本文轉寄自 ptt.cc 更新時間: 2024-03-17 22:22:08
看板 Stock
作者 jackliao1990 (j)
標題 [新聞] ChatGPT每年電費2億?!日耗電量~1.7萬家
時間 Sat Mar 16 14:16:37 2024



原文標題:
ChatGPT每年電費2億?!日耗電量~1.7萬個家庭,網友:挺值!

原文連結:
https://tinyurl.com/yxhvbevc

發布時間:
2024/03/15

記者署名:
明敏豐色

原文內容:
ChatGPT居然這麼費電?

最新的等式出現了:

ChatGPT日耗電量約為1.7萬家庭每日耗電量。


什麼概念? 一年光電費就要花2億!

美國一般家庭平均單日用電29千瓦時,而ChatGPT的單日用電量超過了 50萬千瓦時 。
(美國商業用電一度約0.147美元也就是1.06元,相當於一天53萬元)

消息一出就直接衝上熱搜第一了。

除了OpenAI, Google 也「不容小覷」:

在Google搜尋中應用生成式AI技術,Google每年的耗電量將高達290億度,也就是每天約
7,900萬度。

而在未來,AI這一「吃電巨獸」的食量還會更驚人。

數據統計:

    到2027年,人工智慧資料中心的用電量將和荷蘭、瑞典等小國用電量相當。


有網友看完表示:

    這是利好光伏和風電?

所以AI最後拼的是誰發電多、誰發電成本低?

AI要耗多少電?

如上數據來自一篇論文《The growing energy footprint of artificial intelligence
》。

作者是荷蘭數位經濟學家Alex de Vries,透過英偉達、OpenAI、Google等公開數據進行
估算。

結果就得出了許多意想不到的結論。

首先,現在大模型訓練時期的耗電量和推理階段相比,已經不值一提了 。

SemiAnalysis數據顯示,OpenAI需要 3617台 英偉達HGX A100、共28936個GPU來支持
ChatGPT推理。

ChatGPT每天需要回應1.95億次請求,預計每天需要消耗564兆瓦時電力,每個請求約2.9
瓦時。

而GPT-3整個訓練階段的耗電量預估為1287兆瓦時,是ChatGPT大約4天的消耗量。

谷歌報告也表示,2019-2021年,與人工智慧相關的能源消耗中有60%來自推理部分。

因此論文提出未來研究AI用電量時,更應該從全週期角度來考慮。

但這也與模型再訓練頻率、模型性能與功耗之間的平衡有關系。比如BLOOM在推理階段的
耗電量就顯著降低。

其次,搜尋引擎如果用上AI,耗電量還會更高。

谷歌方面曾在去年2月表示,AI回應請求的成本可能是一般搜尋的10倍。

數據顯示,使用一次Google搜尋消耗的電量是 0.3瓦時 。 這和上面分析給出的數據相呼
應。

如果要將大模型能力植入到Google搜尋中,預計需要 512821 個HGX A100,按照每台設備
功耗為6.5千瓦來計算,每天將需要80吉瓦時的電力消耗,一年需要29.2太瓦時。

目前Google每天需要處理高達90億次搜索,換算一下,平均每個請求要消耗6.9-8.9瓦時
,已經是普通搜索的20倍+。


同樣的現像在英偉達的財報資料中也可以看到。

去年第二季度,英偉達營收創紀錄,其中資料中心部門較上季度相比成長了141%,這表示
AI方面的需求擴增。

今年,英偉達AI伺服器出貨量可能達到150萬台,總功耗可能達到9.75-15.3吉瓦。 這數
量級的伺服器,每年的用電量將達到85.4-134太瓦時。

不過AI用電量會一路飆漲嗎?

研究認為也不一定。

即使像Google這樣在全球擁有數十億用戶的廠商,也會慎重考慮AI與搜尋引擎的融合。
在硬體、軟體和電力成本壓力下,廠商腳步或許沒那麼快。

硬體生產本身也受到掣肘,AI熱潮使得台積電CoWoS先進封裝產能吃緊,但新建廠真正可
能開始批量生產要等到2027年,這或許也會影響英偉達的出貨量。

以及模型本身的演算法和架構也會讓AI功耗在一定程度上降低。

最終研究認為,關於AI用電量的問題,過於悲觀或樂觀都不可取。

短期內,在各種資源因素影響下,AI用電量成長會被抑制;但硬體和軟體的能源效率提高
,顯然也無法抵銷長期的電力需求成長。

總之,作者認為在AI開發方面,還是不要鋪張浪費的好。 監管機構也需要考慮要求廠商
揭露相關數據,提高整個AI供應鏈的透明度,以便更了解這項新興技術的環境成本。

實際上,先前關於AI消耗資源的話題已經多次引發討論。

有研究指出,到2027年,資料中心人工智慧的用電量將與荷蘭或瑞典等小國的用電量相當


加州大學河濱分校研究表明,問ChatGPT5-50個問題,就可消耗500毫升水。

因為AI超算資料中心需要大量水來散熱,微軟也承認用水是訓練模型的一大成本,從2021
年到2022年,其全球用水量飆升了34%,相比研究AIGC前急劇增加。

網友:也要看產出

除了微博,#ChatGPT日耗電超50萬度#的消息也在知乎衝上熱榜第三。

儘管這數據看起來驚人,但不少網友都表示:

    我們還是需要比較一下投入產出。

知乎網友@段小草就淺算了一下:

    一天50萬度電,1.7萬個美國家庭。 但美國有1.2億個家庭,也就是 只需萬分之一的
家庭用電,就能支撐一個服務全球TOP 1的AI產品、服務數億用戶 ,這還是在浪費能源破
壞環境嗎?


言下之意,如下所說(來自知乎網友@桔了個仔):

ChatGPT創造的價值其實遠遠超過它的能耗。

和某些技術(咳,懂得都懂)的耗電量相比,它可能更不值一提了。

所以,有人(知乎網友@玩吾傷智)直接就表示,這則消息應該這麼理解:

    震驚, 只需要1.7萬一般家庭的電力即可滿足ChatGPT的一日用電需求。 (手動狗頭


咳咳,有趣的是,上面的答主@段小草還提到了一篇論文,題為《The Carbon Emissions
of Writing and lllustrating Are Lower for Al than for Humans》,講的是AI 在畫
畫和寫作上的碳排放量一個比人類少310到2900倍,一個比人類少130到1500倍 。

這樣看來,AI甚至算是 「節能減排的先鋒」 。 (手動狗頭)

吶,我們還是早點洗洗睡、關注GPT-5什麼時候發吧。

奧特曼:我們需要可控核融合

話又說回來,儘管比起收益,ChatGPT一日1.7萬個家庭的能耗還不值一提,但AI能耗確實
也是一個值得關注的問題。

而這一點,奧特曼早就「擔憂」了。

在今年1月的一場達沃斯會議中,他表示:

    人工智慧的未來取決於清潔能源的突破。

具體而言,他認為:

隨著技術越來越成熟,AI將消耗越來越大量的電力, 如果能源技術無法突破,就無法實
現這一目標 (即讓AI技術釋放全部潛力)。

而現在,大眾還不是很了解這個需求究竟有多大,奧特曼本人也表示也遠遠超出他的預期


至於如何提升能源產量,他也直言:

    需要 可控 核融合 ,或更便宜的太陽能及儲存等等。

——說起可控核融合,奧特曼其實早就押注了一家相關公司,名叫 Helion 。

他在它身上投資了3.75億美元,這是他以個人名義投資的最大一筆。

除此之外,奧特曼的「爸爸」 微軟 也押注了這家公司。

據了解,Helion成立於2013年,目前約150+員工。 他們預計2028年上線50兆瓦規模的可
控核融合發電項目,微軟將率先採購。


原報告:
https://www.cell.com/joule/abstract/S2542-4351(23)00365-3

參考連結:
[1]https://weibo.com/1642634100/O4lb78n3U?refer_flag=1001030103_

[2]https://www.businessinsider.com/chatg...icity-than-us-household-2024-3
ChatGPT Uses 17,000 Times More Electricity Than a US Household: Report
[圖]
An average US household is using around 29 kilowatt-hours of electricity while ChatGPT is using more than half a million, The New Yorker reported. ...

 

[3]https://www.newyorker.com/news/daily-comment/the-obscene-energy-demands-of-ai
The Obscene Energy Demands of A.I. | The New Yorker
[圖]
Elizabeth Kolbert on how the advent of artificial intelligence is fuelling a spike in demand for energy consumption. ...

 

[4]https://www.theverge.com/2024/1/19/24...-breakthroughs-in-clean-energy
Sam Altman says the future of AI depends on breakthroughs in clean energy. - The Verge
[圖]
The OpenAI CEO said during an event in Davos this week that “We still don’t appreciate the energy needs of this technology,” which is expected to cons ...

 
[5]https://www.zhihu.com/question/647926823



心得/評論:

要實現人工智慧普及 就需要大量的GPU和伺服器 沒有穩定和強大的發電量是玩不起來的

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.38.22.144 (臺灣)
※ 作者: jackliao1990 2024-03-16 14:16:37
※ 文章代碼(AID): #1bzJbBGj (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1710569803.A.42D.html
a9a9a8a1    : 華城上2000 不要不信1F 03/16 14:18
addy7533967 : 蒜粒=電力2F 03/16 14:18
tocks2010   : 欸哎重電 無敵的吧3F 03/16 14:19
ATTwo       : 科技廠一年電費多少?4F 03/16 14:28
qwertymax56 : 他們要的是核融合 台廠哪裡有標的5F 03/16 14:32
maykizuki   : 華城!華城!華城!6F 03/16 14:35
Lowpapa     : 剛好台灣不缺電7F 03/16 14:36
axray       : 水冷8F 03/16 14:37
patrol      : 所以台灣才會被外拋阿9F 03/16 14:38
patrol      : 沒有核能跟人玩什麼,多個幾天沒出太陽就落後了
jasonkey123 : 這時候又不敢談暖化議題了...11F 03/16 14:40
patrol      : 可以自動輪班的強ai出來,連台g也得下去12F 03/16 14:41
patrol      : 血流成河
devidevi    : 重電又要漲了14F 03/16 14:43
labbat      : 用電需求大,綠電大爆發15F 03/16 14:43
devidevi    : 你要電,就要電纜16F 03/16 14:43
twerk       : 柵欄又壞了17F 03/16 14:45
jay3u7218   : 信號來了喔!18F 03/16 14:46
PTTpeter    : 所以以後搞AI的,還要自蓋核電廠才能玩得起!!!19F 03/16 14:50
huabandd    : 特斯拉充電樁也是爆炸耗電20F 03/16 14:53
huabandd    : 電這種東西核能蓋好蓋滿就好了
huabandd    : 反正越進步蓋的核能廠越安全
huabandd    : 以前都一堆用到現在了,根本不用怕
buyerko     : 全球蓋核電或等外星人給能源科技24F 03/16 14:57
shinyi444   : 不然你以為微軟買核電廠拼2026商轉是買爽的嗎?25F 03/16 14:57
zxcvb1234522: 之前挖礦顯卡就超耗電,看來AI要大規模發展不太可26F 03/16 14:58
zxcvb1234522: 能,AI太耗電了,各國政府不會發展AI吃電怪獸
Moneytaker  : 中興電 中興電 中興電 上50028F 03/16 14:58
tsuneo      : 非AI家園喊起來..不過可能沒票29F 03/16 15:05
qwe78971    : 一天五十萬度蠻少的 不到台積電的百分之一  台積一30F 03/16 15:08
qwe78971    : 年就是百億度 50萬難怪臺灣做AI被人看不起
lc85301     : 用 AI 發電不就好了,自體循環32F 03/16 15:08
qwe78971    : 每年兩億電費還是換算成台幣 就算是英鎊歐元美金來33F 03/16 15:11
qwe78971    : 計價 對微軟也不痛不癢 我是創始人這兩億要我出也
qwe78971    : 沒問題 這篇危言聳聽罷了
azhu        : 難怪母體需要那麼多生物電池36F 03/16 15:11
patrol      : 到時候覺O唯一的用途是去踩腳踏車發電37F 03/16 15:12
kkchen      : 核能產業大利多?38F 03/16 15:15
jt13        : 才二億..形容的好像很多一樣39F 03/16 15:17
chinaeatshit: 製造不會耗電的晶片供AI使用就好了  台積電大獲全40F 03/16 15:25
chinaeatshit: 勝
aegis43210  : 危言聳聽而已,推論的耗電量還比不上全球使用google42F 03/16 15:30
aegis43210  : 搜尋引擎的耗電量,用綠電加儲能就能輕鬆彌補這些用
aegis43210  : 電
k374318     : 電價還是太便宜,說真的電最該大漲不然不會有人想節45F 03/16 15:33
k374318     : 電只會藉機亂漲價
aegis43210  : 問題一直在散熱,而矽光子可以解決散熱問題47F 03/16 15:33
KrisNYC     : 比挖礦有意義太多了48F 03/16 15:37
notime      : 碳排放大戶49F 03/16 15:39
aegis43210  : 挖礦也是有意義的,那是維持去中心化的成本50F 03/16 15:41
Shepherd1987: 矽谷軟體工程師一年要35萬鎂又只能工作8小時, 多買51F 03/16 15:43
Shepherd1987: 幾張卡少僱幾趴人力, 划算啦
Heedictator : PC 都要 1,000 W 了53F 03/16 15:48
tttxxx      : 谷哥在台有2個資料中心 也是很費電的那種54F 03/16 16:15
Francix     : 挖擴現在那有什麼意義,去中心化的洗錢? 十幾年過去55F 03/16 16:17
Francix     : 也沒廣泛用來當交易貨幣
BarryDale   : 一年兩億?真的不貴57F 03/16 16:26
sleeplist   : 算力當然得投入電力58F 03/16 16:27
andyeva     : 駭客任務是真的!!59F 03/16 16:30
KrisNYC     : 我覺得這是哲學問題 去中心化是否有實質產出?60F 03/16 16:39
KrisNYC     : AI是很直接的可以取代人力做出很多智財產出的
gk1329      : 才2億 便宜吧62F 03/16 16:42
gk1329      : 比特幣才爛 GPT至少有解決問題
s1612316    : 該抵制了 AI礦卡就該關機 吃電怪獸64F 03/16 16:43
gk1329      : 未來看484直接用人腦神經做神經網路65F 03/16 16:43
gk1329      : 便宜效率高 還能自動變多= =
aegis43210  : 資源有流動自然就會有產出67F 03/16 16:46
a10141013   : 重電作多就對了68F 03/16 17:04
joygo       : 唉唷 看到名牌了 微軟真的太強了 能源誰不需要,這69F 03/16 17:06
joygo       : 才是真的鏟子
g9911761    : 比挖礦好多了71F 03/16 17:12
deolinwind  : AI是萬能的,連核融合都能發明,電力(未來)不是問72F 03/16 17:18
deolinwind  : 題,如果沒成功就賠投資人的錢
simo520     : 以後就是用駭客任務中的方式為母體供電74F 03/16 17:53
a10141013   : 電力需求至少再噴一倍75F 03/16 18:01
k798976869  : 虛擬垃圾幣整天挖礦浪費的電才多76F 03/16 18:07
u97127011   : 挖礦才叫浪費錢 AI對生產力有幫助77F 03/16 18:13
skizard     : 還好台灣不缺電78F 03/16 18:19
shaunque    : 貴或便宜先不談,到底有多少人有認真看內容和數字79F 03/16 18:21
shaunque    : 計算,然後發現內文單位是人民幣
tony1768    : 這種算力會不會搞AI是假實則在挖礦81F 03/16 18:26
speai18891  : 相較挖礦那種超浪費電行為 這超省好嗎82F 03/16 18:28
aika5512308 : 好 蓋歐印華城了83F 03/16 18:41
webrose     : 這篇要歐印哪一家股票?84F 03/16 18:42
m061i6      : 才兩億有夠少85F 03/16 18:52
ogkw        : 有那麼困擾嗎?養幾隻皮卡丘就能解決的事。86F 03/16 19:00
strlen      : 就知道為何老巴一直加碼能緣股87F 03/16 19:02
xylinum     : AI泡沫,問一題要收多少錢?88F 03/16 19:34
visadanny   : 這世界至少有五成人是沒Ai聰明的…… 才1.7萬戶 很89F 03/16 20:18
visadanny   : 划算了
agvnol      : 請用愛發電XDDDD91F 03/16 20:37
dangurer    : 沒人在乎-.- 便宜92F 03/16 21:06
kevincn13   : 重電歐印93F 03/16 21:29
zzzz73919   : 核能唯一解94F 03/16 23:34
ksjr        : 美國需要更多的愛95F 03/17 00:29
kanehhh     : 核融合算綠電嗎?96F 03/17 01:12
huyee       : 核電概念股在哪97F 03/17 02:29
herculus6502: 坐等核融合實現98F 03/17 07:19
mainsa      : 比起挖礦平白無故燒掉的電 用在AI有用多了 NV的東99F 03/17 11:57
mainsa      : 西從挖礦轉往AI就知道用電量不會變少 但至少用的有
mainsa      : 價值
pili0830    : 用愛發電成本最低102F 03/17 17:39

--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 53 
作者 jackliao1990 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇