回上層
Disp BBS
看板
Gossiping
作者
nk11208z
(小魯)
標題
[問卦] google資料中心的硬碟為啥比較快阿
時間
Tue Nov 12 16:02:14 2019
如題
本魯在網路上看硬碟的時候,突然想到一件事情
google大部分的資料中心還是用HDD吧
但HDD以7200轉來說最高速度頂多180MB/s
就算是SSD速度也頂多600MB/s
就算網路再快也不可能突破物理極限 對吧
之前有看到google資料轉移好像只需要三天
那問題來了google資料中心隨便都PB起跳,那他們是如何達成資料快速轉移的過程阿
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.161.202.190 (臺灣)
※ 文章代碼(AID): #1TocS9Zh (Gossiping)
※ 文章網址:
https://www.ptt.cc/bbs/Gossiping/M.1573545737.A.8EB.html
推
moonoftree
: 五樓肛門黑科技做到的
1F 42.76.94.33 台灣 11/12 16:02
→
cattgirl
: 磁碟陣列
2F 42.72.29.113 台灣 11/12 16:02
噓
Ryu3y3s
: 你以為只有一個硬碟嗎
3F 126.250.14.196 日本 11/12 16:02
推
SmonSo
: 陣列
4F 218.164.171.16 台灣 11/12 16:03
→
bill403777
: 雇用特種小精靈 專門訓練過的
5F 123.51.142.8 台灣 11/12 16:03
推
k1k1832002
: 查RAID怎麼運作
6F 114.40.0.231 台灣 11/12 16:03
→
wa88
: 據說ptt一開始真的是宿舍裡的幾個硬碟
7F 101.15.212.197 台灣 11/12 16:03
→
tkucuh
: CDN
8F 61.221.161.18 台灣 11/12 16:03
→
ymx3xc
: 坐飛機阿
9F 1.165.44.61 台灣 11/12 16:04
推
xxxg00w0
: 傳統SCSI都萬轉起跳了 google那財力搞
10F 111.82.180.188 台灣 11/12 16:04
→
alexrow
: 報告自己做
11F 223.138.93.38 台灣 11/12 16:04
→
xxxg00w0
: 不好全塞客製化大容量NVME
12F 111.82.180.188 台灣 11/12 16:04
推
cattgirl
: ptt以前可以贊助捐硬碟 會收
13F 42.72.29.113 台灣 11/12 16:04
推
e1q3z9c7
: 精英小精靈
14F 58.114.22.114 台灣 11/12 16:04
→
SmonSo
: 不用據說呀 一堆BBS站一開始都是個人電腦
15F 218.164.171.16 台灣 11/12 16:04
噓
LOVEEE5566
: 你在睡覺的時候人家還在上班轉移
這就是為什麼 你進不了google
16F 101.15.197.164 台灣 11/12 16:05
→
Insania
: 你不知道股溝的文件小精靈都是經過特訓
拿global pay的精英嗎?
18F 180.204.40.142 台灣 11/12 16:05
推
seysem
: SSD
20F 61.58.175.40 台灣 11/12 16:06
推
a94037501
: 直接把硬碟搬走啊
21F 111.71.71.61 台灣 11/12 16:07
推
a29174332
: RAID
22F 42.75.187.229 台灣 11/12 16:08
噓
Busufu
: 文組真的養一堆智障嗎?
23F 223.140.70.44 台灣 11/12 16:09
→
Merkle
: 有種東西叫做Raid =___=
24F 114.45.58.170 台灣 11/12 16:10
推
ISNAKEI
: 用貨車
25F 42.75.137.168 台灣 11/12 16:11
推
BDrip
: 而且你的SSD速度還是SATA3的 PCIE的速度..
26F 220.133.170.196 台灣 11/12 16:11
推
birdy590
: Google File System
先天設計就是分散式的 不只是 RAID
27F 203.203.203.201 台灣 11/12 16:12
→
shcjosh
: 有raid 而且ssd遠不止600MB/s 那是接口的
極限
29F 180.217.151.183 台灣 11/12 16:15
推
albertfeng
: 不一定全部HDD,加入SSD可以當快取
31F 111.82.172.95 台灣 11/12 16:16
推
henry8168
:
32F 211.75.123.94 台灣 11/12 16:17
推
Merkle
: SSD已經有資料中心在用了 QLC就是標榜適合
資料中心大量讀取用的
33F 114.45.58.170 台灣 11/12 16:17
推
a2470abc
: google 雲層上工作室有小精靈 不眠不休
在雲上搬來搬去啊
35F 122.116.230.122 台灣 11/12 16:20
噓
abc0922001
: 你在打這篇廢文的同時,人家在努力搬
37F 122.146.248.21 台灣 11/12 16:20
噓
buwa56
: 三天你跟我說快?
38F 61.57.231.229 台灣 11/12 16:22
推
gracefeather
: 用SSD緩衝再放進HDD
39F 140.114.18.128 台灣 11/12 16:25
噓
appleonatree
: Raid
40F 111.71.38.59 台灣 11/12 16:26
推
ayasesayuki
: 人家用的ssd還是天天寫入好幾倍容量
還能撐5年的那種
41F 110.26.204.251 台灣 11/12 16:28
推
DLHZ
: 人家小精靈有練過的
43F 114.27.107.159 台灣 11/12 16:29
推
Handsomeshen
: 作業系統有教
44F 36.239.208.140 台灣 11/12 16:31
推
appleonatree
: 一顆硬碟寫入100 十顆不就1000
45F 111.71.38.59 台灣 11/12 16:32
噓
lwrwang
: RAID(磁碟陣列),你可以自己查一下
46F 61.221.66.178 台灣 11/12 16:37
--
→
rlnyjp
台灣 11-12 17:37
假設檔案內容是 ABCDE,共 5 GiB。把它拆開成 A、B、C、D、E 五段,分別儲入五顆硬碟,每顆硬碟只須儲存 1 GiB,故乍看下儲存速度提昇了五倍。這是 RAID 的幾種架構之一,強調速度的一種。另外有強調安全性的,也就是會自動備份,以免某顆硬碟壞軌時資料喪失。
→
rlnyjp
台灣 11-12 17:43
另外還有一種速度更快,就是 ramdisk,比 SSD 還快。ramdisk 是把多餘的記憶體(RAM)拿出來當硬碟用,但如果斷電的話資料就沒了。在 Linux 內,它的 filesystem type 是 tmpfs。用 torrent 抓片片時,我都用 ramdisk 暫存,免得頻繁讀寫硬碟降低硬碟壽命。