看板 Gossiping作者 xzcb2008 (卍情色日本喵喵卍)標題 [問卦] 有沒有什麼讓excel跑快點的方式？時間 Sun Apr 19 12:25:43 2020
在分析一些數據
一個範圍數據可能高達9千萬筆..到16千萬筆.
因為一個excel工作表只能塞約100萬列...
我勢必為了這問題分割工作表
為了方便運算我還得把
所有資訊放在一個檔案內
導致一個excel大小500mb-800mb
為了分析特定數據篩選
太多列我還要想辦法先篩選特定資訊
然後在彙整到...同一個工作表...
這樣不斷縮小數據...很麻煩
靠著這樣最後要做運算
大量數據跑xlookup
countifs..
光這樣要產生數據就要花3-5分鐘
一次運算
我常常發呆看著excel下方顯示
4個執行序跑20%...
很痛苦
有人推薦什麼方式
可以一個工作表塞9千萬資料
並且超過1000萬行的軟體嗎...
有沒有比excel更強的八卦阿？
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.242.190.218 (臺灣)
※ 文章代碼(AID): #1UczB9ZK (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1587270345.A.8D4.html
→ Barrel: 不要工作就不用看了阿幹3F 04/19 12:26
推 ym205: Access啊6F 04/19 12:26
→ olozil: 請改用資料庫....9F 04/19 12:26
推 luckyBF: 換個超級電腦或自己寫程式好嗎11F 04/19 12:27
推 ilohoo: 裝筆電裡在高鐵裡開 至少物理上速度增加了13F 04/19 12:28
→ potionx: 應該問說為什麼你要用EXCEL做20F 04/19 12:31
→ kivan00: 這種資料量你要轉到MYSQL21F 04/19 12:31
→ xzcb2008 …
→ xzcb2008: 我就只會excel加上簡單的vba..access我有空學學看好了23F 04/19 12:32
→ xzcb2008: ，不然每個縣市都這個數量...而且每個月都會增加...
推 h40217aiyd: 用python的pandas套件 幾分鐘就跑完了25F 04/19 12:32
推 kilof: 買條鞭子好了26F 04/19 12:34
推 Yude0109: excel吃cpu運算能力吧，換好點的27F 04/19 12:34
→ DOOHDLIHC: 整理A片嗎?EXCEL根本不是資料庫系統，只是功能剛好湊和著用30F 04/19 12:34
推 QQCandy: 同樓上，用Python32F 04/19 12:34
推 qazxws: hadoop spark33F 04/19 12:34
推 BDrip: Excel只吃單核吧..34F 04/19 12:36
推 anper: 你電腦太慢，之前我在日本的最高研究機構35F 04/19 12:36
推 GGylin: 用xlsb存 順序先排好37F 04/19 12:36
→ anper: AIST產業綜合技術研究所
實習，電腦跑幾秒就出來了，超市的大數據38F 04/19 12:36
推 arickal: 去學python租aws寫spark40F 04/19 12:37
→ anper: R language也可以吧41F 04/19 12:37
推 mrecct: 換別的軟體42F 04/19 12:40
推 JMashburn: 人家就只會excel叫他學python跟R也太強人所難 乖乖找個會的人幫你弄吧46F 04/19 12:40
推 menshuei: 換py快不到哪裡去，轉成DB效能比較好也方便管理。48F 04/19 12:41
推 t95912: 你可以換更好的電腦50F 04/19 12:41
推 ariadne: 為什麼你讓Excel做這種工作？Access蹲在旁邊牆角快哭暈了51F 04/19 12:42
→ NTJL: 換電腦52F 04/19 12:42
推 ruse: 學習Power BI的Power Query，對Excel使用者比較快理解。53F 04/19 12:42
推 yeh0416: Data warehouse 建起來55F 04/19 12:42
→ holycity: excel用csv輸出python讀算 沒底子上網學兩三天應該ok56F 04/19 12:45
推 sodes: 小精靈的錢別省啦57F 04/19 12:46
推 axvbn: 你有聽過資料庫嗎？58F 04/19 12:47
推 jakert123: 你有excel一定會有access 找找看吧60F 04/19 12:48
→ jameshcm: Access真的是邊緣人，連曾經出現過的FrontPage都比它紅63F 04/19 12:52
推 P5566: 花錢叫別人跑 選我正解65F 04/19 12:56
推 VIATOR: R和excel整合的還不錯，其實學起來也沒多難66F 04/19 12:56
推 Siika: hadoop67F 04/19 12:57
推 sammoon: excel吃硬體 資料量大用程式跑比較好68F 04/19 12:58
→ VIATOR: Access可以處理大資料，而且用起來跟excel比較像69F 04/19 12:58
推 ariadne: 原po會VBA用excel倒資料給access運算再輸出excel根本無痛70F 04/19 13:00
推 markhbad54: 微軟的access很簡單，上個兩小時的課就可簡單使用75F 04/19 13:08
噓 GGing: 只會用 excel 怪誰？學資料庫呀！76F 04/19 13:09
推 theedge: 印象中access千萬等級的數據可能不夠力喔？77F 04/19 13:09
推 jamestracy: 買tableau或是下載試用 9千萬筆應該蠻快的79F 04/19 13:10
--
→
rabbit44667
台灣 04-19 14:58
用qlikview