作者
標題 Re: [請益] 為什麼有人說AI會讓資工人失去工作?
時間 Sun Jun 4 01:17:04 2023
標題 Re: [請益] 為什麼有人說AI會讓資工人失去工作?
時間 Sun Jun 4 01:17:04 2023
※ 引述《csie68 (小春子)》之銘言：
: AI可能會取代"人力"
: 一些基礎的工作 就像現在的電動車
: 但不可能取代"人類"
: 因為沒有電 AI就無法運作 拔掉插頭 它能做甚麼？
: 所以結論
: AI會取代資工人嗎?
: 答案是 不會
: 因為資工系 是人 不是電腦
: 無論AI發展得多好 都無法取代人
: 因為他就不是人 怎麼取代？
: ※ 引述《xa56 (枒)》之銘言：
: : 東西會越來越進步啊
: : 只能說未來只有像設備工程師
: : 這種黑手而且一個當好幾個人用的
: : 才能活下去吧
: : 製程類的都可以靠ai了
: : 只剩改機修機這種雜活暫時沒人可以處理
阿肥外商碼農阿肥啦！
我只能說當前甚至往後十幾年都很難完全取代，除非真正的AGI實現了，那取代的可能不
止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己
或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？
止資工人，而是整個人類社會了，想想看AGI都有人類智慧了，那鎖螺絲、自己修理自己
或是檢測同類機器人都是很簡單的，那幹嘛還找人類黑手？
先說說像GPT-4即便是大成功的當下，很多企業要復現這樣的模型難度也是跟登天一樣
，整個複雜系統工程是OPENAI在標榜GPT-4可scalable的基礎，這邊說說Meta(Facebook)
其實之前有實現開源的GPT-3，光是訓練重啟就花了整整五十次，其中有各種像顯卡崩潰
、loss跑飛等等，這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決，
不是說很輕鬆的事情。
其實之前有實現開源的GPT-3，光是訓練重啟就花了整整五十次，其中有各種像顯卡崩潰
、loss跑飛等等，這些都是需要建構好的基礎系統跟對於複雜系統的開發維護才能解決，
不是說很輕鬆的事情。
https://i.imgur.com/pLsUJnR.jpg
![[圖]](https://i.imgur.com/pLsUJnR.jpg)
這邊在說說這張圖，這是ICLR 2020的一篇Paper，充分說明當前DL的難點，這邊data A跟
data B有一條藍色的部分是local minimum ，而白色星星移動點是模型初始值到鞍點，可
以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度，但是內部神經節點
的激活功能卻完全不同，這也充分解釋了為什麼神經網路的解釋性那麼差，而且隨著參數
量越來越複雜，可解釋就成比例下降，最近OpenAI拿GPT-4來解釋神經節點也發現這種現
象，有些神經網路節點看似有對一些抽象概念激活可以解釋，但是有些連人都很難理解他
激活了哪些概念。
data B有一條藍色的部分是local minimum ，而白色星星移動點是模型初始值到鞍點，可
以發現到隨機起始雖然都能始模型到達一定的低點也就是一定的精度，但是內部神經節點
的激活功能卻完全不同，這也充分解釋了為什麼神經網路的解釋性那麼差，而且隨著參數
量越來越複雜，可解釋就成比例下降，最近OpenAI拿GPT-4來解釋神經節點也發現這種現
象，有些神經網路節點看似有對一些抽象概念激活可以解釋，但是有些連人都很難理解他
激活了哪些概念。
而且當數據分佈發生變化，內部不變性也會改變，雖然說最近有一些研究認為現實世界的
結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題，
但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的，也剛好驗證了這類大
語言模型更偏好kolmogorov複雜度低的預測，而他也確實學習到了其中的歸納偏置。
結構是共享低複雜高結構化的所以也間接證明爲什麼GPT-4可以處理很多一般性的問題，
但是我們還是發現他對於高複雜度的問題像是數學等依舊是蠻差的，也剛好驗證了這類大
語言模型更偏好kolmogorov複雜度低的預測，而他也確實學習到了其中的歸納偏置。
最後一點，就是當前基本上所有的模型都是基於類貝葉斯歸納原則的，若是要從哲學上探
究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論，否則要模型取代一門科學學科跟研究
都是不可能的，尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳
播本質上是無解的，也就是為什麼我之前會說要完全取代資工/工程師很困難，最多是讓
工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進
行程式撰寫，而且撰寫程式的複雜度也會隨著越抽象門檻越來越高，因為你必須搞懂什麼
樣的優化方向而不是顯式開發。
究勢必要挑戰卡爾波普爾奠定科學非歸納的認知論，否則要模型取代一門科學學科跟研究
都是不可能的，尤其是模型在面對Out of distribution 的問題時當前基於梯度的反向傳
播本質上是無解的，也就是為什麼我之前會說要完全取代資工/工程師很困難，最多是讓
工程師未來不需要一行一行寫code僅需掌握一些抽象概念然後給模型優化方向跟目標來進
行程式撰寫，而且撰寫程式的複雜度也會隨著越抽象門檻越來越高，因為你必須搞懂什麼
樣的優化方向而不是顯式開發。
除非未來真的出現更好的學習算法或是我們真的完全可以復刻大腦，不然真的要離AGI還
差很遠的，也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反
向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類
完全不同的強大力量，只是他現在甚至未來十年都仍需要依附人類之上。
差很遠的，也就是LeCun說得當前深度學習還缺少世界模型、Hinton一直想找到能取代反
向傳播跟梯度下降的新的學習算法的原因。但即使是這樣LLM也確實充分展現了他跟人類
完全不同的強大力量，只是他現在甚至未來十年都仍需要依附人類之上。
以上
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.45.8.61 (臺灣)
※ 作者: sxy67230 2023-06-04 01:17:04
※ 文章代碼(AID): #1aUtMIzm (Tech_Job)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1685812626.A.F70.html
※ 同主題文章:
06-01 10:57
06-01 12:00
06-01 12:30
06-01 14:10
06-01 15:18
06-01 16:47
06-01 17:34
06-01 21:25
Re: [請益] 為什麼有人說AI會讓資工人失去工作?
06-04 01:17
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:22:44
，那就不是一台專門鎖螺絲的機器，他可以做任何任務包含知道自己哪個部位受損該如何
自救。AGI實現的話，人類社會就不需要存在了，那才是真正的大問題。只是當前人類離
這個階段還很遠，當前所有深度學習模型只是基於歸納式的模型，那就必須依附在人類之
上。
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 07:48:33
T-4的可scalable 的工程化細節，這個放眼到現在要復現跟GPT-4一樣參數的跟scalable
能力，依然是不容易的事情。然後這邊是拿完全復刻GPT-3的OPT-3來做對比，利基點要一
樣才能做比對，然後深度學習可解釋的問題在2023的今天這篇2020的Paper基礎學習算法
依舊沒有改變所以依然有效，光是今年4月就有相關研究在研究一些學習有效性問題也發
現GPT-2、GPT-3更傾向低複雜度建模了，建議DrTech先看清楚文章脈絡再回覆喔。
P.S. 過時的文章不代表完全無用，要看中間有多少翻新的成果，當然對於基礎學習算法
的研究很多都要隔幾年才出現一篇，這類基礎學理當前還是很薄弱的。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 14:44:02
GPT-4是沒有公佈他的具體訓練細節跟參數，只能知道跟GPT-3差不多可能更大。可以看一
下GPT-4 report第三頁還是第四頁他們有討論到他們整體系統已經經過優化能做到從小模
型直接推估出最終大模型的loss這點就算是你直接拿開源Llama 訓練都很難復現GPT-4的
工程能力，我的第一個問題回覆是指撇開模型效能不管來探討純粹工程複雜度，當然Llam
a用1/10不到達到相應的效果是很好的，但是考量到未來萬一有想復現甚至把羊駝家族提
升到對應參數量那第一個問題就是要怎麼弄出跟OpenAI一樣的系統確保訓練穩定這件事，
所以我才會說是不容易的，不是要拿來說Llama云云之類的。
然後第二個問題關於學習算法問題可解釋的研究當前最多就是只有研究到GPT-2到GPT-3從
一些線索來推估GPT-4甚至整體LLM的可解釋問題，我覺得用這篇論文來說明沒什麼問題，
而且隨著模型更複雜反而會更難解釋模型到底學到了什麼的問題，所以當前的研究包含Op
enAI他們自己的研究都不會考慮拿最複雜的研究而是從比較好下手實驗的模型來推估隨著
參數增加模型的變化並且預測到GPT-4也會有相應的可解釋性。
主要是我想表述的有點多又比較雜，造成誤會就先說抱歉。
這邊附註一下，我這邊其實是想說明的是我為什麼覺得當前模型很難完全取代資工人，從
訓練來看降低工程複雜度是還有辦法提升的，這需要有資工背景，而從可解釋性來看，當
前算法很難有一個我們訓練好就可以解決全部問題的模型，所以最終還是需要搭配各種系
統包含顯式Coding來解決模型不足。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:23:54
--
推 : 推推1F 06/04 01:42
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 01:47:29推 : 學到了2F 06/04 02:07
推 : 好奇問問。一台會鎖螺絲的機器要多少錢啊？3F 06/04 02:56
這邊是假設AGI真的實現，那他不是只有會鎖螺絲，就像人類能自我急救、急救他人一樣，那就不是一台專門鎖螺絲的機器，他可以做任何任務包含知道自己哪個部位受損該如何
自救。AGI實現的話，人類社會就不需要存在了，那才是真正的大問題。只是當前人類離
這個階段還很遠，當前所有深度學習模型只是基於歸納式的模型，那就必須依附在人類之
上。
※ 編輯: sxy67230 (114.45.8.61 臺灣), 06/04/2023 07:48:33
推 : 以螺絲來說現在早就已經可以自動給螺絲自動電腦視覺對位自動鎖螺絲加扭力控制了，不用的原因是人比較便宜，在中國請個OP打螺絲底薪三千加班後五千又乖又聽話，不是高毛利跟高良率產業或者少子化找不到人幹，什麼都導機器人導AI而沒有實際為產品帶來對應的價值提升最後的結果都是放棄，好不好很需不需要是兩回事。4F 06/04 08:50
→ : 你講的都是很籠統的話
很多機器手臂已經會互相修復和溝通了
只是還有太多發展空間11F 06/04 09:16
很多機器手臂已經會互相修復和溝通了
只是還有太多發展空間11F 06/04 09:16
推 : No 會說設備工程師難取代是因為背後的整套機制
不是單純某個動作 根本沒看到重點
譬如換機油 如何製造取得/如何運送到機器旁?
如何獲得最原始的各種原料?14F 06/04 09:18
不是單純某個動作 根本沒看到重點
譬如換機油 如何製造取得/如何運送到機器旁?
如何獲得最原始的各種原料?14F 06/04 09:18
→ : 這些都可以流程化 可以被流程化就有機會程式化
小朋友言論 =.=18F 06/04 09:21
小朋友言論 =.=18F 06/04 09:21
→ : 在強尼戴普電影全面進化transcendence則有強調20F 06/04 09:22
→ : 有什麼原物料是無法流程劃取得的嗎?21F 06/04 09:23
→ : 超級AI如何解決原料取得跟安裝運送的問題22F 06/04 09:23
→ : 哪裡有問題都是用電
之後是核融合
你真的認為非核會成真嗎?
AI認知中的環境是人類認知中的環境嗎?23F 06/04 09:24
之後是核融合
你真的認為非核會成真嗎?
AI認知中的環境是人類認知中的環境嗎?23F 06/04 09:24
推 : 唯一最適合全面取代人工的是上太空，
在月球鎖螺絲、在水星挖礦之類的。27F 06/04 09:27
在月球鎖螺絲、在水星挖礦之類的。27F 06/04 09:27
→ : 小朋友你提出來的東西都經不起考驗喔!29F 06/04 09:28
推 : 可以先進到這種水準的AI 就可以消滅人類了啦
你才在哪唬爛 光講甚麼可以解決 你馬上做啊只會放屁30F 06/04 09:41
你才在哪唬爛 光講甚麼可以解決 你馬上做啊只會放屁30F 06/04 09:41
噓 : ZZzzzzzzzzz32F 06/04 09:57
推 : 你講的好複雜喔講簡單一點是什麼33F 06/04 12:17
噓 : 拿過時paper當專業？ 怎麼不拿LLaMA的paper 來說其實現在大家訓練GPT-3以上的能力根本超容易。
一看就知道你不是在做NLP與LLM在亂發文啦，現況根本不是這樣。
2023年，現在很多Open source要訓練超越GPT-3 的能力，本跟超簡單好嗎。34F 06/04 13:42
所以LLaMa有GPT-4的參數量跟性能嗎？我這邊前面提到的就是OpenAI自己公佈他們訓練GP一看就知道你不是在做NLP與LLM在亂發文啦，現況根本不是這樣。
2023年，現在很多Open source要訓練超越GPT-3 的能力，本跟超簡單好嗎。34F 06/04 13:42
T-4的可scalable 的工程化細節，這個放眼到現在要復現跟GPT-4一樣參數的跟scalable
能力，依然是不容易的事情。然後這邊是拿完全復刻GPT-3的OPT-3來做對比，利基點要一
樣才能做比對，然後深度學習可解釋的問題在2023的今天這篇2020的Paper基礎學習算法
依舊沒有改變所以依然有效，光是今年4月就有相關研究在研究一些學習有效性問題也發
現GPT-2、GPT-3更傾向低複雜度建模了，建議DrTech先看清楚文章脈絡再回覆喔。
P.S. 過時的文章不代表完全無用，要看中間有多少翻新的成果，當然對於基礎學習算法
的研究很多都要隔幾年才出現一篇，這類基礎學理當前還是很薄弱的。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 14:44:02
→ : 你跳針耶，你拿的論文是GPT-3等級的。
LLaMA有沒有GPT-4的性能，也要看細節，有fine-tune的，特定任務，可以贏沒有特地fine-tune的GPT-4也很正常。
至於你在扯GPT-4參數？ Open AI根本沒公布參數量，你怎麼知道，你在瞎掰什麼。
歡迎拿論文或參考資料來佐證，而不是引用一篇paper後，2成對，八成內容在瞎掰。
請教一下，哪篇論文或網址，有透漏GPT-4的參數量與訓練細節的？ 歡迎站內信給我學習，我是從來沒看過。
你的文章都不錯，看得出來一定的專業。難得此版有專業的人願意發文。如有什麼誤解，也歡迎站內信給我些指導。40F 06/04 15:13
我覺得你有點誤會了，這邊是兩個問題分開說明的。LLaMA有沒有GPT-4的性能，也要看細節，有fine-tune的，特定任務，可以贏沒有特地fine-tune的GPT-4也很正常。
至於你在扯GPT-4參數？ Open AI根本沒公布參數量，你怎麼知道，你在瞎掰什麼。
歡迎拿論文或參考資料來佐證，而不是引用一篇paper後，2成對，八成內容在瞎掰。
請教一下，哪篇論文或網址，有透漏GPT-4的參數量與訓練細節的？ 歡迎站內信給我學習，我是從來沒看過。
你的文章都不錯，看得出來一定的專業。難得此版有專業的人願意發文。如有什麼誤解，也歡迎站內信給我些指導。40F 06/04 15:13
GPT-4是沒有公佈他的具體訓練細節跟參數，只能知道跟GPT-3差不多可能更大。可以看一
下GPT-4 report第三頁還是第四頁他們有討論到他們整體系統已經經過優化能做到從小模
型直接推估出最終大模型的loss這點就算是你直接拿開源Llama 訓練都很難復現GPT-4的
工程能力，我的第一個問題回覆是指撇開模型效能不管來探討純粹工程複雜度，當然Llam
a用1/10不到達到相應的效果是很好的，但是考量到未來萬一有想復現甚至把羊駝家族提
升到對應參數量那第一個問題就是要怎麼弄出跟OpenAI一樣的系統確保訓練穩定這件事，
所以我才會說是不容易的，不是要拿來說Llama云云之類的。
然後第二個問題關於學習算法問題可解釋的研究當前最多就是只有研究到GPT-2到GPT-3從
一些線索來推估GPT-4甚至整體LLM的可解釋問題，我覺得用這篇論文來說明沒什麼問題，
而且隨著模型更複雜反而會更難解釋模型到底學到了什麼的問題，所以當前的研究包含Op
enAI他們自己的研究都不會考慮拿最複雜的研究而是從比較好下手實驗的模型來推估隨著
參數增加模型的變化並且預測到GPT-4也會有相應的可解釋性。
主要是我想表述的有點多又比較雜，造成誤會就先說抱歉。
這邊附註一下，我這邊其實是想說明的是我為什麼覺得當前模型很難完全取代資工人，從
訓練來看降低工程複雜度是還有辦法提升的，這需要有資工背景，而從可解釋性來看，當
前算法很難有一個我們訓練好就可以解決全部問題的模型，所以最終還是需要搭配各種系
統包含顯式Coding來解決模型不足。
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:23:54
推 : 南無阿彌陀佛54F 06/04 16:10
※ 編輯: sxy67230 (49.216.132.111 臺灣), 06/04/2023 16:44:02推 : 人力資源的取代是漸進的,一樣的工作成果,從10個人漸進到5個人再到2個人55F 06/04 19:58
推 : ai其實很燒錢搞不好用人才比較便宜57F 06/04 20:28
推 : 用做產品角度來 沒有人會做出符合全部市場的功能
根本不切實際 一定是漸進式先小規模再慢慢擴大應用所以當然不可能完全取代資工人58F 06/04 20:40
根本不切實際 一定是漸進式先小規模再慢慢擴大應用所以當然不可能完全取代資工人58F 06/04 20:40
噓 : 好喔 你覺得不會就不會吧61F 06/05 08:34
--