※ 本文轉寄自 ptt.cc 更新時間: 2025-05-03 17:42:06
看板 MobileComm
作者 標題 [心得] 舊手機也能輕鬆的跑本地生成式AI模型！
時間 Sat May 3 01:14:14 2025
AI揭露：本文有部分段落使用ChatGPT生成，再經筆者潤稿，若有錯誤請再告知。
小弟現在使用的是五年前的舊手機 VIVO iQOO Neo3（12GB+128GB），高通驍龍865，
今天主要是要介紹兩個開源AI APP，讓舊手機也能輕鬆在本地佈署AI模型，無需連網！
1. PocketPal AI
https://github.com/a-ghorbani/pocketpal-ai
GitHub - a-ghorbani/pocketpal-ai: An app that brings language models directly to your phone.
![[圖]]()
An app that brings language models directly to your phone. - a-ghorbani/pocketpal-ai ...
PocketPal AI 是一款專為 Android 裝置設計的離線 AI 助手應用程式，
支援載入 GGUF 格式的小型語言模型（SLMs），如 Qwen、Gemma、Phi 等，
讓使用者在無網路連線的情況下也能與 AI 互動。
所有推理運算皆在本機執行，確保資料隱私。
應用程式提供模型下載、切換、性能測試、個性化 AI 助手（Pals）等功能，
並可透過 Hugging Face 直接搜尋與管理模型，適合開發者與 AI 愛好者使用。
這邊推薦使用Q8量化過的Google Gemma 3 1B，
繁體中文使用友善，是個人覺得最聰明的小語言模型，沒有之一。
https://i.imgur.com/6CBwxJk.png
![[圖]](https://i.imgur.com/6CBwxJkh.png)
2. Stable Diffusion AI (SDAI)
https://github.com/ShiftHackZ/Stable-Diffusion-Android
GitHub - ShiftHackZ/Stable-Diffusion-Android: Stable Diffusion AI client app for Android
![[圖]]()
Stable Diffusion AI client app for Android. Contribute to ShiftHackZ/Stable-Diffusion-Android development by creating an account on GitHub. ...
SDAI是一款讓 Android 裝置可離線執行 Stable Diffusion 的應用程式。
支援完整原生 Python 環境與 Web UI，
可本地生成 AI 圖像，支援模型自訂與提示詞輸入。
最新版更整合 Microsoft ONNX Runtime（Beta），
可透過 ONNX 模型加速推論，提升效能與相容性，
最新版更整合 Microsoft ONNX Runtime（Beta），
可透過 ONNX 模型加速推論，提升效能與相容性，
讓用戶在手機上體驗 AI 圖像生成，無需依賴雲端或電腦。
發現這APP的時候滿驚豔的，有稍微研究過的人就知道，
圖像生成模型不只佈署上麻煩，更需要較強的算力（尤其很吃VRAM），
這APP直接幫你弄好8種環境，還有提供編譯過的ONNX模型供離線使用，非常友善！
https://i.imgur.com/CXEkqav.png
![[圖]](https://i.imgur.com/CXEkqavh.png)
本篇僅是拋磚引玉，雖然距離實用性還有一段不小的距離，
但可以無限生成且不會被卡Prompt限制！也歡迎各位分享使用心得～
--
[問卦] 睡醒身上常有不知名的瘀青
→ : 我家的香蕉放久也會這樣 你會不會是香蕉?12/12 02:20
你才是香蕉 你全家都香蕉--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.160.154.200 (臺灣)
※ 作者: k9120303 2025-05-03 01:14:14
※ 文章代碼(AID): #1e5Fs_0O (MobileComm)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1746206143.A.018.html
推 : 推1F 05/03 01:52
→ : 所以這兩個不能潤稿嗎？最後還不是要用chatgpt2F 05/03 02:13
推 : 可以畫色色圖嗎3F 05/03 03:22
可以XD推 : 簽名檔香蕉實在是太好笑XD4F 05/03 03:53
※ 編輯: k9120303 (42.72.15.201 臺灣), 05/03/2025 04:02:06→ : S865生成一張圖要不要五分鐘？5F 05/03 05:30
推 : 可以通話翻譯嗎6F 05/03 05:39
推 : 幫助不少 謝大哥7F 05/03 05:51
推 : 先推，在研究看看8F 05/03 06:41
推 : 8gen2生成一張圖要160秒 中途吃掉9GB記憶體9F 05/03 06:57
→ : 那用雲端生成不是比較好嗎?
→ : 那用雲端生成不是比較好嗎?
推 : 新知get11F 05/03 07:03
→ : 可以取得google助理做一些操作手機的事情嗎12F 05/03 07:07
推 : 推心得與介紹13F 05/03 07:52
推 : 太好了 我的24g ram 8g3終於有用途了14F 05/03 08:21
推 : 推，心得分享15F 05/03 08:35
推 : 心得推，有這種對照組才容易體現本地AI堆多少料會16F 05/03 09:06
→ : 有多少的效果
→ : 有多少的效果
推 : 感謝分享18F 05/03 09:12
推 : 有趣推，有空來玩19F 05/03 10:13
推 : 不用太期待速度20F 05/03 10:45
推 : 好東西!!推推21F 05/03 11:04
推 : SDAI有人覺得哪個模組比較好用呢 如果只是要生成簡22F 05/03 11:05
→ : 潔的桌面?
→ : 潔的桌面?
推 : 8G2開始就有INT4，理論上會快一點24F 05/03 11:08
推 : 試了一下 用8gen3生成一張簡單的桌面 大概要兩分鐘25F 05/03 11:21
→ : 以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找
→ : 桌面 那我還是自己去找現有的會比較快跟漂亮XD
→ : 以上 手機會很明顯變熱 我覺得玩玩就好 如果真要找
→ : 桌面 那我還是自己去找現有的會比較快跟漂亮XD
推 : 嘗試詢問它苗栗縣鄉鎮劃分，結果是錯的，另外詢問28F 05/03 11:24
→ : S24U的規格好像也回答錯，可能需要再改善
→ : S24U的規格好像也回答錯，可能需要再改善
推 : 有趣 推推30F 05/03 11:33
推 : 速度真的慢得可以 電腦大概2秒跑出來手機可能畫超31F 05/03 11:38
→ : 久
→ : 久
推 : 謝謝分享33F 05/03 11:52
→ : 一點也不輕鬆好嗎，之前就玩幾分鐘就砍了34F 05/03 12:02
推 : stable diffusion可能手機arm要轉譯（？）35F 05/03 12:03
→ : 電腦一堆人用n卡a卡在玩
→ : 電腦一堆人用n卡a卡在玩
推 : 結論：還是連線跑各家AI就好 哈37F 05/03 13:03
→ : 一分錢，一分貨。這種小模型如果真的堪用，大家早就38F 05/03 13:20
→ : 拿來local用了。
→ : 真的堪用，NV早就倒了。
→ : 拿來local用了。
→ : 真的堪用，NV早就倒了。
推 : 電腦好棒 但是你要那麼多桌布幹嘛- -?41F 05/03 13:40
推 : 我電腦跑的模型都不怎麼樣了，手機再發展個10年吧42F 05/03 14:10
推 : 電腦跑本地模型我覺得至少14b等級 Q4量化才比較堪43F 05/03 15:01
→ : 用而已...手機的真的...
→ : 用而已...手機的真的...
推 : 感謝分享資訊 來去玩玩看1分鐘可以輸出幾個字哈哈45F 05/03 15:19
→ : 哈
→ : 哈
推 : 感謝分享47F 05/03 17:09
--
※ 看板: MobileComm 文章推薦值: 0 目前人氣: 0 累積人氣: 35
回列表(←)
分享