看板 Gossiping
作者 cih4tw (CIH)
標題 Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈
時間 Mon Jan  7 14:43:55 2019


我是CIH,很高興有人問3000萬FB帳號怎麼取樣?

以下是數據分析教學。

我們在做數據,一個最重要的是,分母的取樣。
分母的取樣,必須絕對完全平均分佈。

若是從某粉絲頁、某部份、你想的任何組合去取樣,絕對完全失真。
因為全世界沒人知道真正的分佈。

我的擷取方式,亂數產生FB用戶ID,
用爬蟲跟FB Server抓取全世界3000萬個亂數用戶帳號(分散到全世界不同國家)。
接下來,判斷用戶真實IP是台灣,再判別是否是活躍用戶。
從此台灣數據分析,會以這個當母體。

根據實際抓取,目前全世界FB註冊帳號ID分佈如下:
4 ~ 1899999999
100000000000000 ~ 100039999999999

從臉書的文件顯示,目前FB帳號ID最大可以到100099999989999,
現在FB新帳號ID實際已經用到10003XXXXXXXXXX(我系統抓取實際顯示數據)。

有人可能會好奇,臉書ID從4號開始,4號是誰?
可以看一下我臉書之前的貼文:
https://www.facebook.com/2691681504190564
你的臉書帳號ID,有比住在台南的這個台灣人(編號:2100)還前面嗎?... - Cih SoftwareMagician | Facebook
[圖]
你的臉書帳號ID,有比住在台南的這個台灣人(編號:2100)還前面嗎?

這個網站查詢你的臉書帳號ID:
https://lookup-id.com/

#Facebook 最早註冊,住在台灣本土的 #台灣人 是誰?
根據 #CIH 資料庫顯示,
https://www.facebook.com/2100
住在 #台南 的 楊先生。
他的臉書編號是:2100
這個帳號,2018年還有在使用喔。...
 

最後,最近我重新抓取全世界臉書帳號,原因是,有些帳號會被砍,有些新帳號會出現。
需要重新讓母體取樣分佈正確,定期需要重新抓。
另外,我之前在幫客戶做『電子商務』用戶長相分析與喜愛,發現幾個條件組合下,
所剩的母體取樣不足,因此我必須『加大』分母取樣數。

今天已經抓到全世界6690萬的用戶帳號,再過一段時間,破1億個FB帳號,就停止取樣。

這些資料可以知道全世界用戶社群關係,用來解析人類行為。



※ 引述《cih4tw (CIH)》之銘言:
: 數據分析:CIH 陳盈豪
: 專長:暴力型逆向工程破解、暴力型臉書爬蟲
: 用爬蟲掃全世界3,000萬筆臉書用戶帳號,抓出其中IP來自台灣、中國的帳號

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 110.50.176.60
※ 文章代碼(AID): #1SClKk8g (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1546843438.A.22A.html
※ 同主題文章:
Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈
01-07 14:43 cih4tw.
r02182828: 樓下說跟我想的一樣1F 01/07 14:45
YJM1106: 有神快拜2F 01/07 14:45
nicehsing: 推~ 毒王3F 01/07 14:46
SupCat: 先推4F 01/07 14:46
VVizZ: 看不懂5F 01/07 14:46
SupCat: 現在一堆菜逼巴沒聽過CIH大名
曾經讓全世界聞之色變的名字 連軍隊都怕....6F 01/07 14:46
pnsboy: 是當年大同那一位嗎  神人8F 01/07 14:48
popobbs: 神人推9F 01/07 14:48
geordie: 真正的資料探勘10F 01/07 14:49
widec: 神人11F 01/07 14:50
luck13406: 在此跪拜12F 01/07 14:50
legendmtg: 原來你換新帳號了 sketch不見還以為你不用PTT了13F 01/07 14:53
kuanyuu: 太神啦!14F 01/07 14:59
pooznn: 這種爬法 不會被BAN嗎?!15F 01/07 15:00
node1: 寫CIH病毒的那個嗎?16F 01/07 15:02
shala: 大數據要run好久,辛苦了17F 01/07 15:19
sd2567: 毒王18F 01/07 15:36
sxskr1001: 推19F 01/07 15:37
a181w: 猛猛20F 01/07 15:49
galusx: 大同之光 cc21F 01/07 15:53
sitai: 為什麼沒有0-3號22F 01/07 16:08
altarage: 毒神呀~~23F 01/07 16:24
howardab: 天啊啊 竟然看到駭客大神發文了24F 01/07 16:25
capazek: 太神啦25F 01/07 16:29
chunglee: 推,雖然看不懂26F 01/07 16:36
gugugaga: 加油 謝謝你為台灣付出27F 01/07 16:39
howardab: 台灣駭客之神 !28F 01/07 16:42
Myfun: 推,希望能用於遏制假新聞 !29F 01/07 16:50
TigerLily: 推30F 01/07 16:58
artpoet: @@ 威31F 01/07 17:09
dogmax: 暗黑data mining32F 01/07 17:09
Maiar: 真的好猛啊33F 01/07 17:18
toinnd: 有神快拜34F 01/07 17:35
babyface1977: 拜35F 01/07 17:45
freshmints: 這個就車諾比病毒的那位 只能說慶幸他本質是個好人XD36F 01/07 17:47
ptt80357: 大數據時代37F 01/07 18:41
Marshuman: 真神人來了38F 01/07 18:56
BlowjobFace: 有點恐怖39F 01/07 20:19
kmtrash: 好強40F 01/07 23:28

--
--
作者 cih4tw 的最新發文:
  • +27 Re: [爆卦] 柯文哲臉書按讚數持續下降中 - Gossiping 板
    作者: 180.217.75.11 (台灣) 2019-01-24 17:59:48
    資料來源:CIH 柯文哲粉絲數,從2018-06-26開始紀錄至今,共213天。 最多粉絲數2019-01-18:2117656 今天:2115074 2115074 - 2117656 = -258 …
    44F 30推 3噓
  • +44 [爆卦] 柯文哲FB,IP來自中國、簡體用戶變多了 - Gossiping 板
    作者: 180.217.75.11 (台灣) 2019-01-21 21:46:01
    我是CIH, 專精暴力型數據分析。 以2019-01-18(UTC±0)當天的貼文,按Like讚或是留言, 用戶臉書語言設定為簡體(local=zh_CN)或是IP來自中國(不含港澳), 不重複的用戶 …
    116F 67推 23噓
  • +31 Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈 - Gossiping 板
    作者: 110.50.176.60 (台灣) 2019-01-07 14:43:55
    我是CIH,很高興有人問3000萬FB帳號怎麼取樣? 以下是數據分析教學。 我們在做數據,一個最重要的是,分母的取樣。 分母的取樣,必須絕對完全平均分佈。 若是從某粉絲頁、某部份、你想的任何組合去取樣 …
    40F 31推
  • +267 Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈 - Gossiping 板
    作者: 110.50.161.90 (台灣) 2019-01-05 17:09:41
    我是CIH,讓我們繼續思考與解讀數據。 先談談數據分析的威力,再談偵測臉書上網來自『中國』,這數據為何可以相信? 以下是去年我臉書的數據分析: 裡面文章我盡量不解讀數據,我習慣讓大家學習去思考。 1. …
    293F 268推 1噓
  • +404 [爆卦] 臉書用戶IP來自台灣、中國的語言分佈 - Gossiping 板
    作者: 110.50.161.90 (台灣) 2019-01-04 08:12:56
    數據分析:CIH 陳盈豪 專長:暴力型逆向工程破解、暴力型臉書爬蟲 用爬蟲掃全世界3,000萬筆臉書用戶帳號,抓出其中IP來自台灣、中國的帳號 zh_TW 繁體中文(台灣) 72.9% en_US 英 …
    549F 425推 21噓
點此顯示更多發文記錄
(cih4tw.): Re: [爆卦] 臉書用戶IP來自台灣、中國的語言分佈 - Gossiping板