※ 本文轉寄自 ptt.cc 更新時間: 2021-04-30 15:29:07
看板 NBA
作者 標題 Re: [外絮] 用機器學習模型預測MVP得主
時間 Fri Apr 30 13:33:16 2021
大略看了一下原文
提供我的一點淺見
首先
使用機器學習處理問題
是假設實際存在一個真實的模型
接著透過資料訓練出一個模型盡可能接近真實的模型
然後我們就可以拿訓練出來的模型對新的資料做預測
然後我們就可以拿訓練出來的模型對新的資料做預測
但是在這個問題上面
MVP票選並不是一個固定的模型
投票的人不一樣 投票的思維也不一樣
即便是同一批人 重新投一次票結果可能也不會一樣
因此
在這種問題上使用機器學習
甚至是各種資料科學的方法都可能存在不小的問題
資料的選取也很奇怪
作者的目的是建構一個預測MVP得主的模型
但實際上
他建構的是預測MVP得票排序的模型
作者為了讓訓練資料更多
把資料做了一個特別的調整
將原本的單一年度單一球員的資料(features)+是否為MVP(label)
調整成整個MVP票選結果排序中任意兩兩一組+誰的票多
具體詳細做法也沒有揭露
這樣的做法存在非常大的問題
因為同類型的球員會有分票效應
你不會知道把第一名的球員抽出之後
原本投給他的票會如何地分配給後面的球員
整個MVP票選結果 並沒有 告訴我們兩兩一組的票選結果
但是作者的模型大量使用了兩兩一組的排序關係作為訓練資料
然後最重要的是模型訓練方式跟模型評估
除了揭示使用了 XGBoost與LambdaMART 外
其他所有重要資訊都沒有揭露
我們無法得知所有的38年之中
哪些年份被拿來做為訓練資料
或是每個年份中哪些兩兩成對的組合是訓練資料
當然更不會知道訓練出來的模型評估結果好或壞
也不無可能作者把訓練資料跟測試資料反覆做各種分切
最後選取一種最滿意的切法做最後的建模
這樣做就會造成 data leakage 的問題
大概先這樣
---
如果有太複雜的ML問題
建議寄站內信給前站長 CharlieL
XD
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.249.26 (臺灣)
※ 文章代碼(AID): #1WYvQV57 (NBA)
※ 文章網址: https://www.ptt.cc/bbs/NBA/M.1619760799.A.147.html
※ 編輯: y800122155 (123.193.249.26 臺灣), 04/30/2021 13:35:15
幾千筆資料，幾十個欄位，excel是要隨便弄個回歸交差嗎?
並以常態性假設進行後續分析工作。
但是機器學習需要的資料量跟前述工作完全是兩回事，不可混淆。
--
→ : 推1F 04/30 13:39
推 : 箭頭2F 04/30 13:39
推 : 箭頭3F 04/30 13:41
→ : 推4F 04/30 13:43
推 : 懂歐 推5F 04/30 13:45
→ : 原來他不是用38年來的所有球員數據去跑的喔6F 04/30 13:46
推 : 推XD7F 04/30 13:46
推 : 文組 聽不懂8F 04/30 13:46
→ : 你把濤哥放那?9F 04/30 13:47
推 : 身為外行人，這篇是不是說原始方法看起來有點問題10F 04/30 13:47
→ : ，就算是32/38猜中，可能是湊？
→ : ，就算是32/38猜中，可能是湊？
→ : 簡單說這篇提出的疑問是訓練的方法有問題。12F 04/30 13:50
→ : 但回在PTT沒用啊 XD PTT只會在意偷而已啊 XDDDD
→ : 但回在PTT沒用啊 XD PTT只會在意偷而已啊 XDDDD
推 : 他應該是把 38 年來的全丟進去跑然後用個普普的模型14F 04/30 13:53
→ : 所以不會 overfitting，但這種跑法根本沒意義
→ : 所以不會 overfitting，但這種跑法根本沒意義
→ : 上一篇根本秀下限16F 04/30 13:53
→ : 只能說有幾年的評分標準稍微不一樣而已17F 04/30 13:53
→ : 和偷不偷根本沒啥關係
→ : 和偷不偷根本沒啥關係
推 : 你放心 鄉民看不懂還是會繼續吵繼續酸19F 04/30 13:57
推 : 推20F 04/30 14:00
推 : 認真了，大家只是需要找個可以吵起來的理由21F 04/30 14:02
推 : 投票的人才是真的22F 04/30 14:04
→ : 中肯
→ : 中肯
→ : 簡直亂做一通 我只信濤哥24F 04/30 14:11
推 : 合理推25F 04/30 14:12
推 : 算力乖乖拿去挖礦好嗎??26F 04/30 14:13
→ : 不過就是因為不是固定模型才要機器學習阿 不然excel27F 04/30 14:13
→ : 數據列一列就好了
這樣的說法是完全錯誤的→ : 數據列一列就好了
幾千筆資料，幾十個欄位，excel是要隨便弄個回歸交差嗎?
推 : 有做有話題29F 04/30 14:14
推 : 他的sample size 就不夠大要怎麼train?30F 04/30 14:16
→ : 恩恩 跟我想的一樣31F 04/30 14:19
推 : 反正程式數據小改，改到高興的人不就好了32F 04/30 14:24
推 : 專業推，很多留言不知道為什麼一直跳針32/38。看懂33F 04/30 14:24
→ : model怎麼出來的比其他事情重要多了…
→ : model怎麼出來的比其他事情重要多了…
推 : 終於有人講公道話35F 04/30 14:24
推 : 就統計而已30左右的樣本數跟沒有一樣36F 04/30 14:26
你對樣本的認知有很大偏誤，並不是一整個年度作為一個樣本→ : 頂多就是算個趣味給大家看一下打發時間而已37F 04/30 14:26
推 : 推38F 04/30 14:28
推 : 其實量化分析樣本數最少30這是學術界公認的，30不會39F 04/30 14:35
→ : 不準
統計學上，以30或25個樣本作為足夠大的樣本來近似常態分佈，→ : 不準
並以常態性假設進行後續分析工作。
但是機器學習需要的資料量跟前述工作完全是兩回事，不可混淆。
推 : 我文組先道歉41F 04/30 14:36
→ : 要發戰文其實也用不到機器學習來跑，鄉民拿幾個指42F 04/30 14:36
→ : 標配上自己愛的權重去給分數，分數最高的就當MVP。
→ : 這樣就可以嘴誰偷了MVP。而且這方法記得之前在板上
→ : 有看過類似的。原文那樣子應該比較像是拿NBA數據來
→ : 當練習的成果發表吧？
→ : 標配上自己愛的權重去給分數，分數最高的就當MVP。
→ : 這樣就可以嘴誰偷了MVP。而且這方法記得之前在板上
→ : 有看過類似的。原文那樣子應該比較像是拿NBA數據來
→ : 當練習的成果發表吧？
推 : 乾 整篇都看不懂 搞那麼複雜XD47F 04/30 14:37
推 : 推48F 04/30 14:46
推 : XD 這種類型的模型好像蠻適合當學校的課程專案的49F 04/30 14:52
推 : Comments from Reviewer #1:50F 04/30 14:52
→ : 台灣應該要有人寫幾個模型來玩啊51F 04/30 14:52
→ : 我是覺得這case不太好，因為MVP跟數據表現重疊性52F 04/30 14:54
→ : 太高，基本上數據漂亮的球員MVP呼聲就高
※ 編輯: y800122155 (123.193.249.26 臺灣), 04/30/2021 15:02:23→ : 太高，基本上數據漂亮的球員MVP呼聲就高
→ : 而且原文用了25個指標再做模型，搞不好結果沒有直接54F 04/30 14:57
→ : 看PER來得簡單 XD
→ : *"在"做模型
→ : 看PER來得簡單 XD
→ : *"在"做模型
推 : 以後直接看per就好了啊 其他都妖魔鬼怪57F 04/30 14:59
推 : 雖然我看不是很懂,這篇我也推58F 04/30 15:09
推 : 我建議採用 Palantir 的服務59F 04/30 15:11
→ : 真實世界問題本來就一堆問題沒人知道是否真有模型60F 04/30 15:17
→ : 像人喜歡看什麼影片真的有模型嗎？only God konws
→ : 但yt跟Netflix一樣用ML train出東西來推薦影片給你
→ : 重點應該要放在是跑出來的結果有沒有用
→ : 像人喜歡看什麼影片真的有模型嗎？only God konws
→ : 但yt跟Netflix一樣用ML train出東西來推薦影片給你
→ : 重點應該要放在是跑出來的結果有沒有用
推 : 推shifa，配上自己愛的權重去給分數就好了...64F 04/30 15:17
推 : 很專業唷 不過人家也只是隨便玩玩而已吧65F 04/30 15:24
推 : 濤哥沒機會秀一把 不然一定屌打66F 04/30 15:25
--
※ 看板: NBA 文章推薦值: 0 目前人氣: 0 累積人氣: 62
回列表(←)
分享