顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 850
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文轉寄自 ptt.cc 更新時間: 2024-02-15 23:01:17
看板 Stock
作者 MA40433 (Masa)
標題 [新聞] NV推出個人版Chat With RTX 開放下載
時間 Thu Feb 15 08:34:56 2024

原文標題：
NVIDIA 推出個人 AI 聊天機器人 Chat With RTX 開放下載

原文連結：
https://reurl.cc/zlOepV

發布時間：
2024-02-14

記者署名：
SINCHEN

原文內容：
聊天機器人在各種領域中被廣泛使用，並且不少採用 NVIDIA GPU 的雲端伺服器提供服務
，但對於個人的敏感資料或者企業內部使用的狀況下，NVIDIA 推出 Chat with RTX 基於
本機的 RTX GPU 提供生成 AI 的聊天機器人服務。


Chat with RTX 採用檢索增強生成（Retrieval-Augmented Generation, RAG）、NVIDIA
TensorRT-LLM 軟體與 NVIDIA RTX 加速的本地端生成 AI，玩家可依據本地的資料連結至
開源的大型語言模型庫：Mistral、Llama 2，達到快速的查詢並獲得相關答案。



此外，Chat with RTX 工具支援著 .txt、.pdf、.doc、.docx 與 .xml 等文檔格式，能
將這些本地資料加入資料庫中，並且可加入 YouTube  影片、播放清單，讓聊天機器人可
根據喜愛的影片清單提供相關的整理資訊。


Chat with RTX 基於 PC 或者工作站電腦提供本地快速的生成 AI 聊天互動功能，使用者
的資料只會儲存在本地端的資料庫中，只要使用 GeForce RTX 30、RTX 40 系列 GPU 並
有著 8GB VRAM 以上的規格，在 Windows 10、11 等作業系統都可運行。


Chat with RTX 工具基於 TensorRT-LLM RAG 開發人員參考專案所建立並於 GitHub 中開
源釋出，開發者可依據此專案自行研發自有的 RAG 應用程式，並採用 RTX 加速的
TensorRT-LLM 語言模型。

Chat With RTX 下載：nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

安裝完畢後 Chat with RTX 必須要指定文件、資料，才能依據這些資料透過 AI 模型生
成相關的對話，像是我指定有關於 RTX 40 Super 的資料後，就可以詢問關於 NVIDIA、
RTX 40 等問題。


換句話說若個人或企業的資料夠龐大時，可讓 Chat with RTX 的 AI 模型有著更好的資
料比對產生出關連度更高的結果；有興趣的玩家不妨下載安裝並提供資料，如此一來個人
的本地端生成 AI 聊天機器人就開始上工囉。



心得/評論：
已經有很多部落客對此有評論了
1. 整個下載包預計35G  非常大 要先把硬碟空間清出來
   只支援RTX30或40系列顯卡 而且至少要8G VRAM
2. 及時運行速度很快 而且採用RAG可以很快校正答案
3. 跟GPT一樣 有些答案根本是胡扯 所以使用者還是要自己小心

感覺NV想給PC產業做個示範
以前有搭載GTX1050以上的 才叫做 Gaming PC，
現在刀客直接示範甚麼叫做 AI PC
先讓使用者有感覺
然後各大PC品牌就會自己放入符合規範的產品

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.31.215 (臺灣)
※ 作者: MA40433 2024-02-15 08:34:56
※ 文章代碼(AID): #1bpLmoQN (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1707957298.A.697.html
→ knives      : 沒用，準備泡沫破裂1F 02/15 08:35
推 CaTkinGG    : 去年買4080很值得2F 02/15 08:39
→ jc761128    : !!!!3F 02/15 08:44
→ jc761128    : 3060 12G可以用惹吧
→ piece1      : 繼續加賣顯卡...真的不會輸!5F 02/15 08:44
→ losage      : 35g叫非常大？？6F 02/15 08:44
→ Alwen       : 就本來啥的ai pc 有裝中高階顯卡的就是惹7F 02/15 08:47
→ Alwen       : 牙膏在那講啥npu 真的笑死
推 dulldog     : AI PC是Intel不甘寂寞跑出來的名詞9F 02/15 08:49
推 seemoon2000 : 我還以為是VRAM要35G10F 02/15 08:55
噓 a000000000  : 8G ram能跑的不會是太大的model所以蠢很正常11F 02/15 09:01
推 xm3u4vmp6   : Ai pc 最強的就MacBook 啊12F 02/15 09:06
→ fedona …
推 fedona      : amd 崩潰13F 02/15 09:08
推 AMDsucks    : 是在hello?14F 02/15 09:23
推 supereva    : 35g哪裡大….   有在用rtx顯卡玩遊戲的  隨便也1t15F 02/15 09:23
→ supereva    :  2t
→ supereva    : 現在隨便一個大作都80-100g +
推 jeff22aa22  : 2024年35G絕對不算大18F 02/15 09:26
推 strlen      : G叔：乾！你居然敢陰我？19F 02/15 09:27
推 Retangle    : 會買RTX8G顯卡的哪個硬碟沒2T20F 02/15 09:28
推 wacoal      : 35G放到2024 根本3.5G而已，現在隨便個大作都80起跳21F 02/15 09:29
→ TomChu      : 隨便一個遊戲都超過35G了22F 02/15 09:30
推 wujiarong   : 才10個A片的容量…23F 02/15 09:33
推 DMW         : 應該標榜說可以跟你家的顯卡聊天，像Hololive生成一24F 02/15 09:34
→ DMW         : 個虛擬圖像
推 zoze        : RTX準備賣爆26F 02/15 09:36
推 simpson083  : 35g大？遊戲都80多g以上了 筆者是脫節多久了27F 02/15 09:40
推 stlinman    : 有Tensor加速就是爽!28F 02/15 09:40
推 GooglePixel : 跟虛擬老婆聊天 滿足阿宅幻想29F 02/15 09:42
→ strlen      : 以後人人都可以自己做一隻neruo-sama30F 02/15 09:43
→ howzming    : 可能我很落伍,覺得用文字搜尋比較有效率.31F 02/15 09:45
推 SRNOB       : 你是一隻可愛的貓娘 我說什麼都要聽令32F 02/15 09:56
推 horseorange : 等快一個月終於開放了33F 02/15 10:00
推 ALiGoo      : 應該是竟然只要35g吧34F 02/15 10:07
推 k862479k    : 提早下班回家陪rtx老婆指日可待35F 02/15 10:27
推 mike8469    : 35G 很小吧…..36F 02/15 10:27
推 chrischiu   : AIPC對生活有幫助嗎？37F 02/15 10:34
推 yinaser     : 體驗比Chatgpt差很多38F 02/15 11:03
推 bitcch      : 50系列該給多一點ram了吧39F 02/15 11:12
推 SYUAN0301   : 用30.40系顯卡的，有幾個沒7.80g以上的單機大作，40F 02/15 11:26
→ SYUAN0301   : 30多g真的還好
→ fatb        : 電腦很小 手機很大42F 02/15 11:28
推 hcwang1126  : 這超屌 不會說事後發現有些東西偷偷上傳給偉哥吧？43F 02/15 11:30
推 maxty       : 完了NV怕不是要1000了44F 02/15 11:52
推 Hettt5655   : 35G超小45F 02/15 11:58
→ Zepho       : 有網頁版chatgpt 幹嘛自己裝地端版的？46F 02/15 13:49
→ LDPC        : 樓上 因為今年流行priviate data本地端跑47F 02/15 14:00
→ LDPC        : 且本地端對做Reg有優勢
→ patrickptt  : 可以麻煩AI機器人 做一件事 嗎？把未來10年內，每49F 02/15 14:23
→ patrickptt  : 日，AI的新聞，都先列出來嗎？
推 chrischiu   : Nvidia 自己開發的不行吧51F 02/15 17:08

--
※ 看板: Stock　文章推薦值: 0 目前人氣: 0 累積人氣: 94　
作者 MA40433 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
→
guest
x)推文 r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇