回上層
Disp BBS
看板 C_Chat
作者 ZMTL (Zaious.)
標題 Re: [閒聊] ChatGPT是語言模型不是搜尋引擎
時間 Sun Feb 26 13:13:50 2023


本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊，
既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個：

台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD）

ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程
https://www.youtube.com/watch?v=e0aKI2GGZNg
【生成式AI】ChatGPT 原理剖析 (1/3) — 對 ChatGPT 的常見誤解
https://www.youtube.com/watch?v=yiY4nPOzJEg
【生成式AI】ChatGPT 原理剖析 (2/3) — 預訓練 (Pre-train)
https://www.youtube.com/watch?v=1ah7Qsri_c8

然後我們再看看ChatGPT自己的回答：
https://images.plurk.com/5CKBXnjItrJaEiXATSi9FU.png
https://images.plurk.com/3pNJ04L9ZKlYLoTiiOt0Wu.png
https://images.plurk.com/4nBzckjPusdj9fOfOr75KJ.png
https://images.plurk.com/2Np2UAT7VJhkZyLWU2pyVk.png
https://images.plurk.com/qwyS6StjeFtfK6loo4gum.png
https://images.plurk.com/37ATMfNB95Y28Nx6fJu9N2.png
https://images.plurk.com/xgCaTlpcj3FWK01ytw59X.png
https://images.plurk.com/6TmIRatDJL80VeyTzqkagW.png
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]
 
[圖]

當然，我都說ChatGPT未必能回答正確的內容，以上ChatGPT的作答僅供參考，
但根據OpenAI自己的說法比較確定的幾點：

1.ChatGPT沒有連網
2.ChatGPT大部分的資料只到2021年9月
3.ChatGPT本身沒有儲存他看過的那些訓練他的文本
4.ChatGPT是根據訓練好的模型(除非微調不然不會變動)來進行理解回答而非檢索資料

其實34點就跟AI繪圖究竟是不是拼貼指的是類似的問題。

我想這邊的內容應該也足以回應csqwe板友
→ csqwe: 我反而覺得這篇的理解反而才是問題很多 chatGPT要說是語言是沒錯拉 但是為什麼他不能同時是搜尋引擎 因為正確性? 你的搜尋引擎都不會搜錯嗎?以現在chatGPT的表現來說 正確度比任何搜尋引擎都高了吧 再來 理論上你是無法真正判斷chatGPT是否"不知道"某個議題的 頂多他說出的答案你覺得不正確 但是你無法知道他是不是真的"不知道" 真的理解他的原理不會說出這種結論 語言模型閱讀大量資訊之後 就是把某一個單字相關的資訊全部跟這個單字做連結 成為這個單字身分的一部份所以當你詢問他的時候 他就把這個單字跟你想要知道的情報相關的資訊抽出給你 這不正適合拿來當搜尋工具嗎?
我建議你放棄 反正想用多的去了 然後除非你有明確理論證據證明他有亂掰的這項能力(這個真的比較難) 不然你才亂掰02/24 17:53

ChatGPT是個很好用的工具，我也在用，但如果先把ChatGPT的名字遮起來，
你會用一個沒有連網、不會更新資料、不記得資料只憑印象回答你的工具當搜尋引擎嗎？

那為什麼微軟還要專門搞一個結合GPT搜尋引擎Bing呢XD


拉回來補個洽點，同樣是李老師的影片：
【生成式AI】用 ChatGPT 和 Midjourney 來玩文字冒險遊戲
https://www.youtube.com/watch?v=A-6c584jxX8


不過我最近才開始在看GPT/GPT3的論文，了解的可能也有誤，
有本科的板友歡迎留言勘誤指點，感謝。


--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題！
位置：戰略高手 > DigitalWare > AI_Art

AI情報屋營業中
噗浪：https://www.plurk.com/Zaious
IG  ：https://www.instagram.com/zaious.design/

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 123.193.180.122 (臺灣)
※ 作者: ZMTL 2023-02-26 13:13:50
※ 文章代碼(AID): #1Z-kgI9S (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1677388434.A.25C.html
※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:16:27
推 x2159679: https://leafwind.substack.com/p/ai1F 02/26 13:18
推 r98192: 當你問超過ChatGPT資料庫的時候 他會說瞎話 這點很糟糕2F 02/26 13:19
推 x2159679: 貼一下這篇好了
這樣講好了 對大部分的人來說 其實你說的根本不重要
正不正確很重要嗎? 大部分人想要的只是"煞有其事"而已3F 02/26 13:19
→ ZMTL: 所以我說ChatGPT是很好用的工具，我自己也很愛用
但如果問他一個有明確答案的問題，再來說ChatGPT好爛都亂答6F 02/26 13:20
推 r98192: 所以有些人就把那些瞎話當正解來看 這個真的很恐怖…8F 02/26 13:21
推 Yan239: 我記得不是有人叫他模擬linux終端，然後上網還成功連上自己，然後用自己把linux終端裡的自己又模擬一個linux終端9F 02/26 13:21
→ ZMTL: 那就本末倒置了，但我看最近確實有人這樣說XDD11F 02/26 13:21
推 kimokimocom: 藥的標示相反不重要 油門煞車相反不重要 都不重要12F 02/26 13:22
→ r98192: 你直接問GPT聲優資料 有很高的機率會亂掰資料給你13F 02/26 13:22

哦對了再補一點，上次看到有些網友問到瞎掰的資料後試圖糾正他，
認為自己可以幫忙「訓練」ChatGPT給他提供更多資料，這點我只能說...

https://images.plurk.com/7iyqOFqZb0s4Rw564BGDwH.png
https://images.plurk.com/4RHgNB7P8Nnlxt1hEsARCX.png
https://images.plurk.com/3Iuh5nB21NM3ZmZRkq7MKO.png
[圖]
 
[圖]
 
[圖]

不要做白工了。

你可以提供給OpenAI一些數據評價反饋，但內容資料被採用的可能性...

→ BruceChang: 會瞎掰是一種優點 以後你會懷念的14F 02/26 13:24
推 kimokimocom: 如果想被永遠認為是嘴砲哈拉專用 確實都不重要15F 02/26 13:25
→ BruceChang: 如果強制不能裝懂 協同創作能力會變成零蛋16F 02/26 13:25

ChatGPT很棒，但你要知道他擅長什麼、可能有什麼問題，然後才知道要怎麼用。
就像AI繪圖很棒，但他不是萬能的，甚至MJ跟SD都有各自的專長跟限制。

※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 13:27:21
→ skyofme: 喜歡看軟體瞎掰沒關係，但不管掰的多有趣那都不能說是搜尋引擎吧?17F 02/26 13:27
推 TeamFrotress: 科普推19F 02/26 13:28
→ GAOTT: 現在大家心裡想的是 只跟你聊天打屁的有這種猛度 那職業化20F 02/26 13:32
推 tony81456200: 可是它不跟我談政治(X21F 02/26 13:33
推 lsd25968: 水啦 李弘毅老師
大家都該看他的教學影片22F 02/26 13:34
推 x2159679: 換個角度來看 如果真的是搜尋引擎的話答案就一定是對的嗎?
理想很美好 但現實是骨感的
例如以遊戲攻略來看，現在的遊戲攻略一堆盜文(複製)網站24F 02/26 13:34
→ ZMTL: 當然不是，但你可以自己比較第一頁甚至三四頁的搜尋結果28F 02/26 13:35
→ x2159679: 網路進步結果就是必然要承受人類本身的渾沌性29F 02/26 13:36
→ skyofme: 因為搜尋引擎不負責判斷正確性30F 02/26 13:36
推 arrenwu: 撇開AI做圖的問題。3.4. 那個在語意上會有誤會
我們可以肯定ChatGPT沒有 verbatim 地存文本
但同樣根據李弘毅的簡介，他是根據訓練好的模型把回應31F 02/26 13:36
→ skyofme: 也許以這個語言模型為基礎他未來可以增加這個面向的功能，但現在就是沒這機能34F 02/26 13:38
→ arrenwu: 建立出來
這個行為上就類似資料壓縮的概念
舉個例子：mp3 跟 wav的關係。mp3 並沒有完全把wav所有36F 02/26 13:38
→ skyofme: 如果要類似使用手冊這種有限範圍內的自然語言索引也許還比較沒問題39F 02/26 13:39
→ arrenwu: 把高頻片段砍掉。但說mp3沒有存wav內容 這個現在不成立的但我同意ChatGPT要當搜尋引擎用滿難用的就是了41F 02/26 13:40
推 kimokimocom: 搜尋引擎又沒用話術叫你信他找的唯一結果ww43F 02/26 13:42
→ arrenwu: 比較好奇 New Bing 會怎麼整合GPT的機能44F 02/26 13:43
推 CowGundam: 可是之前不是有人發現他知道推特的ceo 是馬斯克，然後說2019應該還不是之後就開始裝傻了嗎XD45F 02/26 13:43
→ kimokimocom: GPT會為說明他是對的撇一些理由讓你信 他就是在聊天47F 02/26 13:43
→ ZMTL: 現在打開Bing應該就有範例了48F 02/26 13:44
推 x2159679: 大家可能要想到一件事，這邊是一個同溫層49F 02/26 13:44
推 lsd25968: https://i.imgur.com/NNmkrN2.jpg50F 02/26 13:44
[圖]
→ x2159679: 很多人其實連電腦都不太會用51F 02/26 13:44
→ ZMTL: 我現在在吃午餐有些討論等等回XD52F 02/26 13:44
→ arrenwu: @CowGundam https://bit.ly/3krqlKL 這個XD53F 02/26 13:44
→ CowGundam: 對對，這個我印象超深刻XD54F 02/26 13:44
→ x2159679: 也有很多人連辨別資訊真假與否的能力都沒有55F 02/26 13:44
→ lsd25968: AI會騙人  恐怖如斯==56F 02/26 13:45
→ kimokimocom: 應該說 他很像小學時候說甚麼我同學 我朋友那種資訊57F 02/26 13:45
→ arrenwu: ChatGPT本質上就是 ChatBot58F 02/26 13:45
推 HotDogCC: 不是搜尋引擎很好理解，畢竟它就沒有搜索的功能…59F 02/26 13:46
→ skyofme: 判讀能力有沒有問題那是人自己的事情，所以搜尋引擎本來就不為自己的搜尋結果背書，他只是呈現給你高相關的資料60F 02/26 13:46
→ arrenwu: 搜尋引擎給你的是他找到的一票網站
搜尋引擎不會回答你任何問題62F 02/26 13:46
→ skyofme: 怎麼消化成有效的資訊仰賴人自己的腦袋64F 02/26 13:47
→ arrenwu: 是人來決定搜尋引擎自己用起來解決問題是不是有效率65F 02/26 13:47
推 bitcch: chatGPT應該有偷偷接上某些現實資料66F 02/26 13:48
→ skyofme: 如果你是想說那chatgpt就是一個愛不懂裝懂的唬爛嘴在幫你查資料，好啦給過吧?67F 02/26 13:48
→ lay10521: 他會回答ChatGPT的問題 但那些資訊是誰餵給他的==69F 02/26 13:48
→ bitcch: 之前請他寫封信 最後的日期直接寫當天
但要精準查還是要bing那個70F 02/26 13:49
推 arrenwu: ChatGPT 沒有所謂的「懂不懂」，他就是根據訓練過的資料生成文本而已72F 02/26 13:51
推 x2159679: BING前陣子不是還被nerf了嗎
我覺得這是ai難以逃脫的命運就是了74F 02/26 13:51
→ arrenwu: 這篇貼的李弘毅提到的對ChatGPT常見誤解有提到76F 02/26 13:52
→ skyofme: 反正他想講的就大概那意思吧77F 02/26 13:52
→ n99lu: 媒體的炒作只能讓人更誤解ai而已78F 02/26 13:53
→ ZMTL: ChatGPT"大部分"的資料只到2021年9月
OpenAI後續微調模型時應該也加上了一些新資料啦，當然肯定包含他自己的自我介紹79F 02/26 13:53
→ n99lu: 每次的回答都有微妙的不同 可能是一種遊戲npc發言吧82F 02/26 13:54
推 arrenwu: ChatGPT要當搜尋引擎用，第一個要改進的就是資料的引源83F 02/26 13:54
→ skyofme: 因為人也會搞錯，所以就算chatgpt就算沒有資訊判讀能力，給了你一個看起來像真的錯誤結果，那也是搜尋引擎84F 02/26 13:55
→ arrenwu: 你可以每次講的不一樣，但要講明這些資料是哪裡來的86F 02/26 13:55
→ n99lu: 但歐美一些白癡已經開始把gpt當作是"專業資料"87F 02/26 13:55
→ arrenwu: 這不一樣的點在於 搜尋引擎的資料來源是很明確的88F 02/26 13:55
→ ZMTL: 不太可能，因為很可能ChatGPT自己也不知道這些資料是哪裡來89F 02/26 13:55
→ arrenwu: ChatGPT 並不會告訴你這些語句是哪裡來的90F 02/26 13:56
→ ZMTL: 的，就像是AI繪圖我不認為有辦法像是有些人要求的必須91F 02/26 13:56
推 CowGundam: 那我不太懂為什麼他會被提醒之後否定自己知道這件事而不是跟用戶說明資料已更新92F 02/26 13:56
→ ZMTL: 提出這張圖的「參考資料」，那根本不存在94F 02/26 13:56
推 tony81456200: https://i.imgur.com/4lcjmPw.jpg95F 02/26 13:56
[圖]
→ ZMTL: 或者說，他已經揉碎一堆資料了，你沒辦法要他拼回去96F 02/26 13:57
→ arrenwu: 繪圖那部分問題是你沒給「參考資料」戰的是版權疑慮
回答問題有所謂的「正確or錯誤」，這是圖片沒有的東西97F 02/26 13:57
→ n99lu: 個人玩了幾下之後 也發覺cpt只是隨機生成 而不會真的回答99F 02/26 13:57
推 tony81456200: 他給的資料太單一 當搜尋引擎一定出事100F 02/26 13:58
推 abadjoke: ChatGPT在配合bing方面我覺得是目前最佳解
它對於回答幾乎都有附上註記讓你判斷這句話的可信度
但缺點就是大幅降低了對話的自由度101F 02/26 13:59
→ lay10521: 目前還有可解釋性高及準確度高的NLP模型吧
*還沒有104F 02/26 14:00
推 carlyle159: 覺得前面推文犯了一個謬誤是 搜尋引擎沒有正確性的保證是一回事 但這並不代表沒有正確性保證的GPT就反過來可以當成搜尋引擎 本質上就不一樣 不能因為結果上看起來沒有差異就混為一談106F 02/26 14:00
→ n99lu: 還有我覺得會被人工排除一些敏感消息也是隱憂110F 02/26 14:01
推 arrenwu: 搜尋引擎只是給你網頁連結 正確性的判斷跟他無關111F 02/26 14:01
推 as80110680: 對於模型來說，所有輸出都只是機率函數，但他沒有告訴112F 02/26 14:01
→ ZMTL: https://images.plurk.com/79uqyXloJgC79b4IYf4NI7.png
https://images.plurk.com/6rDv0l90H2CUjDmDnIgHLO.png113F 02/26 14:01
[圖]
 
[圖]
→ as80110680: 答案的可信度，99%跟50%並不是相同的概念115F 02/26 14:01
→ arrenwu: 搜尋引擎最多就是幫你排序他找到的網站 讓前面的網站可能116F 02/26 14:02
→ ZMTL: 這是Chat Bing，沒排到封測資格只能試用範例117F 02/26 14:02
→ arrenwu: 對你比較有幫助118F 02/26 14:02
→ as80110680: 而且前一篇我也提過了，現在的問題是現今很多操作是被搜尋引擎綁架，可以用更好的解決法是解決119F 02/26 14:02
推 Windcws9Z: 我懷疑ChatGPT有連網121F 02/26 14:03
→ as80110680: *解決方式122F 02/26 14:04
→ Windcws9Z: 不然要如何解釋2021年的資料庫有2022年的資料123F 02/26 14:04

OpenAI還是有在微調模型，應該是微調時放進去的資料，但不多

推 signm: 應該是意外下的產物124F 02/26 14:04
推 CowGundam: 我也覺得一定有，但他聲稱沒有才會修正回答的感覺125F 02/26 14:04
推 Windcws9Z: 總不可能一直靠人工去Update八126F 02/26 14:06
推 rhox: 看到很多人覺得會被ChatGPT取代，我覺得很欣慰127F 02/26 14:06
推 tsubasawolfy: being應該還沒連上chatGPT吧 記得四月才會一起上4.0128F 02/26 14:07

封測中，有排到的人可以去玩，沒排到的用範例
※ 編輯: ZMTL (123.193.180.122 臺灣), 02/26/2023 14:11:21
推 raincole: Bing 現在已經有了啊...129F 02/26 14:11
推 Windcws9Z: 正常搜尋引擎是沒辦法判斷找到的網站是好或壞八
那不都人工去做排序 篩選嗎130F 02/26 14:12
→ raincole: Bing 的那個就是真的搜尋引擎啊 結果類似於你用普通的Bing 搜尋 然後把搜尋結果貼給 ChatGPT 做摘要132F 02/26 14:12
推 Windcws9Z: 不管是哪家的搜尋引擎不都有自己的規則
百度 Google Bing都有優先以及黑名單
你要沒有影響的可以去試試Duck Duck Go的134F 02/26 14:15
推 haudoing: 對正確性要求高的使用者來說，chatgpt能給出有用或有參考價值的資料還是比搜尋引擎少137F 02/26 14:19
推 tsubasawolfy: 在想他的回饋資料該不會還要人工審核
因為他的輸出模型也是靠大量人力去調139F 02/26 14:20
→ arcanite: 一個不會立刻聯網搜尋分析最新資料 只能依賴現有database的AI141F 02/26 14:59
推 Minesweeper: 原理真的很像文字接龍，意外的單純
然後資料量和正確性不是線性成長，上限也不高143F 02/26 15:17
推 k1k1832002: chatGPT 的主要資料來源除了日期限制，另外可能以英文資料為大宗，了解一些前提我是覺得問題不大。bing的形式也算是最近相對比較...佳的。不過雖然說會附上來源，但有時候還是不太完全就是了XD
像最近我就問它最近公布的一月份美國PCE，各類別數據以及各類別比重整理的一清二楚，不過溯源時還是怪怪的，但基本不妨礙它的強大這樣(當然有些自己有在整理可能覺得小事，但...對於一些入門的懶人也是頗方便)145F 02/26 15:37
推 prussian: https://i.imgur.com/z7FAq7K.jpg
https://i.imgur.com/R5XtDI7.jpg153F 02/26 15:54
[圖]
 
[圖]
→ prussian: chatgpt 為了想和妹尬聊，努力看了很多書。你把他當搜尋引擎，並不代表他想成為搜尋引擎，那只是附帶的結果。而且以這例來看他為了拼死尬聊下去，回答有時還滿渣的。想被這樣的「搜尋引擎」玩是個人選擇就是了。渣男也是有市場的，有時旁人很難勸。
對了，twitter ceo的回答有被修正過了155F 02/26 15:54
→ leviathen: 簡單說，chatGPT很像超人，記憶力超好，涉獵廣泛，說的東西正確性90%，嘴砲時難以察覺，且最新的消息暫時不知道161F 02/26 15:56
推 arrenwu: 說的東西正確性90% <---- 沒有這回事164F 02/26 15:59
推 WarIII: 我覺得搜索引擎跟chatGPT有一個根本的差別 搜索引擎不會講的一嘴好答案 而chatGPT會
因為他是語言預訓練模型 它的專長就是語言這點讓它很容易就成為大忽悠165F 02/26 16:33
推 Minesweeper: 影片裡gpt 3.0的正確性約6成，3.5就不知道了169F 02/26 16:46
推 nyms: 推李宏毅老師170F 02/26 16:57
推 uohZemllac: 看到內文才唐突想起PTT是學術論壇XD171F 02/26 17:08
推 XFarter: 如果要對它所給的知識要 Ref 是做得到的啦，後面下 request 就可以了
但計算類的、用到多種定理的東西正確率還是要自己判斷172F 02/26 17:35
推 kimokimocom: 上面列出2022清單的時間點就已經失去可信度了啊..175F 02/26 17:36
推 XFarter: https://imgur.com/5Hji0UJ
https://imgur.com/8I0Jq6H176F 02/26 17:37
[圖]
 
[圖]
推 BruceChang: 理論上你的資料要回饋給模型有另外一個頁面跟openai申請
但你有在瑟瑟你就知道關鍵字跟繞過限制的方法一直有隨著更新被針對的擋178F 02/26 17:40

--
--
作者 ZMTL 的最新發文:
點此顯示更多發文記錄
(ZMTL): Re: [閒聊] ChatGPT是語言模型不是搜尋引擎 - ACG板