回看板
Disp BBS
作者 EvilSD (星塵遠征君)
標題 Re: [討論] 關於 Dcard ML 實習作業
時間 Mon May 15 21:35:24 2023


: 題目是用結構資料，包含標題、看板資訊以及1-6小時的愛心數和評論數等等
: 來預測發文後 24 小時的愛心數


來雲一下我可能會怎麼做

如果假設我沒理解錯誤題目的話，應該基於給予的前六小時的資料，
去預測未來24小時候的愛心數吧?


首先這題目我可能就不會考慮用NLP來做處理，主要是資料量可能不足
再加上中文NLP來做除了麻煩外效果可能也不會太好

想法是有了1~6小時的愛心數跟評論量，預測未來24小時的愛心數
基本上標題文字的意義其實可能就不是那麼重大，有強烈特徵的可能只是一兩個關鍵字
而且有了前六小時的數據，基本上不用標題也能夠推估未來的數字

所以覺得這題比較難的是，你沒有6小時之後的資料，所以很難預估一個趨勢
(除非有給完整趨勢資料)

因此我會將看板資訊轉成單純數字的Label，
或是可以取得與看版相關的人氣值正規化後做代替
將標題做關鍵字提取，並且做文字雲把重複的強烈關鍵字與留言愛心數做對應，
重新建一個特徵值

接下來就有完整的特徵值資料，做一下特徵值的關聯性或是強度分析
挑幾個覺得強烈的出來訓練一個模型即可(ML與DL都可以)
(應該用LSTM效果比較好)


基本上能簡單做就不會想太複雜處理，單純一個想法也確定可不可行，供大家討論參考

--
那片有座高塔哭著朝北方奔去的天空，是我此刻片尋不著的風景

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.166.82.176 (臺灣)
※ 作者: EvilSD 2023-05-15 21:35:24
※ 文章代碼(AID): #1aOZKXb0 (Soft_Job)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1684157729.A.940.html
※ 同主題文章:
[討論] 關於 Dcard ML 實習作業
05-14 01:29 Sixigma
Re: [討論] 關於 Dcard ML 實習作業
05-15 21:35 EvilSD
推 hsuchengmath: 為啥會沒有24小時後的資料，dcard文章不是一大堆，隨便爬都有啊1F 05/16 07:55
 我不知道他們題目有沒有說可以拿外部資料，只為了符合遊戲規則而已
如果是我理解這樣，這題目其實比較有點類似工業界的生命預估

推 oopFoo: 我也覺的是這個方向，但關鍵字應該也是重要，但關鍵字如何提取，應該是dl訓練出來的。我覺的這題關鍵是如何提取關鍵字，不然有6小時的資料應該很容易預測24小時的愛心數。
而且給time series的資料，應該就是想用transformer3F 05/16 07:56
能簡單就比較不會想複雜用，雖然不確定考官想要的方向是什麼

→ DrTech: 5萬筆資料用transformer 去over-fitting？ 資料量那麼少，模型用那麼複雜，效果好也是運氣
沒有對錯，純個人不同看法。7F 05/16 11:10
認同
※ 編輯: EvilSD (59.120.53.15 臺灣), 05/16/2023 12:23:10
推 ekids1234: transformer 一般來說要到哪個數量級才勉強及格 ?10F 05/16 12:27
如果在NLP感覺至少也要數十萬以上才夠用
但目前的題目是只要抓標題，文本量很少因此我猜五萬筆是足夠的
只是如果今天拿去測外部資料會不會準，就不知道了

推 oopFoo: 我猜現在所有人都在用bert/gpt，找intern應該也是想要延續公司正在做的，transformer也許不是最適合這題，但可能是dcard想找的人。只是盲猜，提出來聊聊。面試，考題，機運蠻重要的。
這種"標題"對"星星"的decoder應該很簡易訓練，反正資料少11F 05/16 13:01
的確考量考官想看的差異度會很大，有些考官喜歡看新東西新技術，有些考官喜歡實用性

→ h920032: 用BOW就夠了吧16F 05/16 13:38
真是懷念XD 但依我原先的想法用BOW應該就是最直接的了
※ 編輯: EvilSD (59.120.53.15 臺灣), 05/16/2023 14:01:23
--
作者 EvilSD 的最新發文:
點此顯示更多發文記錄