顯示廣告
隱藏 ✕
※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2019-01-07 23:35:20
看板 Gossiping
作者 cih4tw (CIH)
標題 Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈
時間 Mon Jan  7 14:43:55 2019


我是CIH,很高興有人問3000萬FB帳號怎麼取樣?

以下是數據分析教學。

我們在做數據,一個最重要的是,分母的取樣。
分母的取樣,必須絕對完全平均分佈。

若是從某粉絲頁、某部份、你想的任何組合去取樣,絕對完全失真。
因為全世界沒人知道真正的分佈。

我的擷取方式,亂數產生FB用戶ID,
用爬蟲跟FB Server抓取全世界3000萬個亂數用戶帳號(分散到全世界不同國家)。
接下來,判斷用戶真實IP是台灣,再判別是否是活躍用戶。
從此台灣數據分析,會以這個當母體。

根據實際抓取,目前全世界FB註冊帳號ID分佈如下:
4 ~ 1899999999
100000000000000 ~ 100039999999999

從臉書的文件顯示,目前FB帳號ID最大可以到100099999989999,
現在FB新帳號ID實際已經用到10003XXXXXXXXXX(我系統抓取實際顯示數據)。

有人可能會好奇,臉書ID從4號開始,4號是誰?
可以看一下我臉書之前的貼文:
https://www.facebook.com/2691681504190564
你的臉書帳號ID,有比住在台南的這個台灣人(編號:2100)還前面嗎?... - Cih SoftwareMagician | Facebook
[圖]
你的臉書帳號ID,有比住在台南的這個台灣人(編號:2100)還前面嗎?

這個網站查詢你的臉書帳號ID:
https://lookup-id.com/

#Facebook 最早註冊,住在台灣本土的 #台灣人 是誰?
根據 #CIH 資料庫顯示,
https://www.facebook.com/2100
住在 #台南 的 楊先生。
他的臉書編號是:2100
這個帳號,2018年還有在使用喔。...
 

最後,最近我重新抓取全世界臉書帳號,原因是,有些帳號會被砍,有些新帳號會出現。
需要重新讓母體取樣分佈正確,定期需要重新抓。
另外,我之前在幫客戶做『電子商務』用戶長相分析與喜愛,發現幾個條件組合下,
所剩的母體取樣不足,因此我必須『加大』分母取樣數。

今天已經抓到全世界6690萬的用戶帳號,再過一段時間,破1億個FB帳號,就停止取樣。

這些資料可以知道全世界用戶社群關係,用來解析人類行為。



※ 引述《cih4tw (CIH)》之銘言:
: 數據分析:CIH 陳盈豪
: 專長:暴力型逆向工程破解、暴力型臉書爬蟲
: 用爬蟲掃全世界3,000萬筆臉書用戶帳號,抓出其中IP來自台灣、中國的帳號

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.50.176.60
※ 文章代碼(AID): #1SClKk8g (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1546843438.A.22A.html
r02182828: 樓下說跟我想的一樣1F 01/07 14:45
YJM1106: 有神快拜2F 01/07 14:45
nicehsing: 推~ 毒王3F 01/07 14:46
SupCat: 先推4F 01/07 14:46
VVizZ: 看不懂5F 01/07 14:46
SupCat: 現在一堆菜逼巴沒聽過CIH大名6F 01/07 14:46
SupCat: 曾經讓全世界聞之色變的名字 連軍隊都怕....
pnsboy: 是當年大同那一位嗎  神人8F 01/07 14:48
popobbs: 神人推9F 01/07 14:48
geordie: 真正的資料探勘10F 01/07 14:49
widec: 神人11F 01/07 14:50
luck13406: 在此跪拜12F 01/07 14:50
legendmtg: 原來你換新帳號了 sketch不見還以為你不用PTT了13F 01/07 14:53
kuanyuu: 太神啦!14F 01/07 14:59
pooznn: 這種爬法 不會被BAN嗎?!15F 01/07 15:00
node1: 寫CIH病毒的那個嗎?16F 01/07 15:02
shala: 大數據要run好久,辛苦了17F 01/07 15:19
sd2567: 毒王18F 01/07 15:36
sxskr1001: 推19F 01/07 15:37
a181w: 猛猛20F 01/07 15:49
galusx: 大同之光 cc21F 01/07 15:53
sitai: 為什麼沒有0-3號22F 01/07 16:08
altarage: 毒神呀~~23F 01/07 16:24
howardab: 天啊啊 竟然看到駭客大神發文了24F 01/07 16:25
capazek: 太神啦25F 01/07 16:29
chunglee: 推,雖然看不懂26F 01/07 16:36
gugugaga: 加油 謝謝你為台灣付出27F 01/07 16:39
howardab: 台灣駭客之神 !28F 01/07 16:42
Myfun: 推,希望能用於遏制假新聞 !29F 01/07 16:50
TigerLily: 推30F 01/07 16:58
artpoet: @@ 威31F 01/07 17:09
dogmax: 暗黑data mining32F 01/07 17:09
Maiar: 真的好猛啊33F 01/07 17:18
toinnd: 有神快拜34F 01/07 17:35
babyface1977: 拜35F 01/07 17:45
freshmints: 這個就車諾比病毒的那位 只能說慶幸他本質是個好人XD36F 01/07 17:47
ptt80357: 大數據時代37F 01/07 18:41
Marshuman: 真神人來了38F 01/07 18:56
BlowjobFace: 有點恐怖39F 01/07 20:19
kmtrash: 好強40F 01/07 23:28

--
※ 看板: Gossiping 文章推薦值: 0 目前人氣: 0 累積人氣: 203 
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇