回看板
Disp BBS
看板 MobileComm
作者 k9120303 (月昇王國)
標題 [心得] 舊手機也能輕鬆的跑本地生成式AI模型！
時間 Sat May  3 01:14:14 2025


AI揭露：本文有部分段落使用ChatGPT生成，再經筆者潤稿，若有錯誤請再告知。

小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3（12GB+128GB），高通驍龍865，
今天主要是要介紹兩個開源AI APP，讓舊手機也能輕鬆在本地佈署AI模型，無需連網！


1. PocketPal AI

https://github.com/a-ghorbani/pocketpal-ai
GitHub - a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.
[圖]
An app that brings language models directly to your phone. - a-ghorbani/pocketpal-ai ...

 

PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式，
支援載入 GGUF 格式的小型語言模型（SLMs），如 Qwen、Gemma、Phi 等，
讓使用者在無網路連線的情況下也能與 AI 互動。
所有推理運算皆在本機執行，確保資料隱私。
應用程式提供模型下載、切換、性能測試、個性化 AI 助手（Pals）等功能，
並可透過 Hugging Face 直接搜尋與管理模型，適合開發者與 AI 愛好者使用。

這邊推薦使用Q8量化過的Google Gemma 3 1B，
繁體中文使用友善，是個人覺得最聰明的小語言模型，沒有之一。

https://i.imgur.com/6CBwxJk.png
[圖]


2. Stable Diffusion AI (SDAI)

https://github.com/ShiftHackZ/Stable-Diffusion-Android
GitHub - ShiftHackZ/Stable-Diffusion-Android: Stable Diffusion AI client app for Android
[圖]
Stable Diffusion AI client app for Android. Contribute to ShiftHackZ/Stable-Diffusion-Android development by creating an account on GitHub. ...

 
（F-Droid上的SDAI FOSS版本沒有廣告）

SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。
支援完整原生 Python 環境與 Web UI，
可本地生成 AI 圖像，支援模型自訂與提示詞輸入。
最新版更整合 Microsoft ONNX Runtime（Beta），
可透過 ONNX 模型加速推論，提升效能與相容性，

讓用戶在手機上體驗 AI 圖像生成，無需依賴雲端或電腦。


發現這APP的時候滿驚豔的，有稍微研究過的人就知道，
圖像生成模型不只佈署上麻煩，更需要較強的算力（尤其很吃VRAM），
這APP直接幫你弄好8種環境，還有提供編譯過的ONNX模型供離線使用，非常友善！

https://i.imgur.com/CXEkqav.png
[圖]


本篇僅是拋磚引玉，雖然距離實用性還有一段不小的距離，
但可以無限生成且不會被卡Prompt限制！也歡迎各位分享使用心得～

--

[問卦] 睡醒身上常有不知名的瘀青    
→ ewjfd: 我家的香蕉放久也會這樣 你會不會是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.154.200 (臺灣)
※ 作者: k9120303 2025-05-03 01:14:14
※ 文章代碼(AID): #1e5Fs_0O (MobileComm)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1746206143.A.018.html
推 gaiaesque: 推1F 05/03 01:52
→ leopika: 所以這兩個不能潤稿嗎？最後還不是要用chatgpt2F 05/03 02:13
推 issemn: 可以畫色色圖嗎3F 05/03 03:22
可以XD

推 rei196: 簽名檔香蕉實在是太好笑XD4F 05/03 03:53
※ 編輯: k9120303 (42.72.15.201 臺灣), 05/03/2025 04:02:06
→ Ahhhhaaaa: S865生成一張圖要不要五分鐘？5F 05/03 05:30
推 p40403: 可以通話翻譯嗎6F 05/03 05:39
推 Abababa: 幫助不少 謝大哥7F 05/03 05:51
推 athraugh: 先推，在研究看看8F 05/03 06:41
推 Ahhhhaaaa: 8gen2生成一張圖要160秒 中途吃掉9GB記憶體
那用雲端生成不是比較好嗎?9F 05/03 06:57
推 gt99: 新知get11F 05/03 07:03
→ grantchiue: 可以取得google助理做一些操作手機的事情嗎12F 05/03 07:07
推 avans: 推心得與介紹13F 05/03 07:52
推 Jokering5566: 太好了 我的24g ram 8g3終於有用途了14F 05/03 08:21
推 f396761440: 推，心得分享15F 05/03 08:35
推 xoy: 心得推，有這種對照組才容易體現本地AI堆多少料會有多少的效果16F 05/03 09:06
推 pttlon: 感謝分享18F 05/03 09:12
推 Two4: 有趣推，有空來玩19F 05/03 10:13
推 kamir: 不用太期待速度20F 05/03 10:45
推 NX9999: 好東西!!推推21F 05/03 11:04
推 gaiaesque: SDAI有人覺得哪個模組比較好用呢 如果只是要生成簡潔的桌面?22F 05/03 11:05
推 p40403: 8G2開始就有INT4，理論上會快一點24F 05/03 11:08
推 gaiaesque: 試了一下 用8gen3生成一張簡單的桌面 大概要兩分鐘以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找桌面 那我還是自己去找現有的會比較快跟漂亮XD25F 05/03 11:21
推 grantchiue: 嘗試詢問它苗栗縣鄉鎮劃分，結果是錯的，另外詢問S24U的規格好像也回答錯，可能需要再改善28F 05/03 11:24
推 TPEcat: 有趣 推推30F 05/03 11:33
推 flyaway1030: 速度真的慢得可以 電腦大概2秒跑出來手機可能畫超久31F 05/03 11:38
推 sid3: 謝謝分享33F 05/03 11:52
→ Ceferino: 一點也不輕鬆好嗎，之前就玩幾分鐘就砍了34F 05/03 12:02
推 Ahhhhaaaa: stable diffusion可能手機arm要轉譯（？）
電腦一堆人用n卡a卡在玩35F 05/03 12:03
推 keigowei: 結論：還是連線跑各家AI就好 哈37F 05/03 13:03
→ DrTech: 一分錢，一分貨。這種小模型如果真的堪用，大家早就拿來local用了。
真的堪用，NV早就倒了。38F 05/03 13:20
推 dias7812: 電腦好棒 但是你要那麼多桌布幹嘛- -?41F 05/03 13:40
推 asmiocv: 我電腦跑的模型都不怎麼樣了，手機再發展個10年吧42F 05/03 14:10
推 simplytony: 電腦跑本地模型我覺得至少14b等級 Q4量化才比較堪用而已...手機的真的...43F 05/03 15:01
推 wujet09100: 感謝分享資訊 來去玩玩看1分鐘可以輸出幾個字哈哈哈45F 05/03 15:19
推 Yuwuen: 感謝分享47F 05/03 17:09

--
作者 k9120303 的最新發文:
點此顯示更多發文記錄