看板 C_Chat
作者
標題 [Vtub] 目前是不是還不能精確辨識臉部表情？
時間 Fri Oct 15 10:09:00 2021
作者
標題 [Vtub] 目前是不是還不能精確辨識臉部表情？
時間 Fri Oct 15 10:09:00 2021
回顧哈洽馬初配信
心心的五官兩隻眼睛跟眉毛可以別開動
但也發現常常眼睛跟眉毛會不同步
有時眼睛或眉毛會亂動 表情也會很怪
https://i.imgur.com/NHZr62e.jpg
但後來好像有修正
後來哈洽馬的眼睛跟眉毛連動表情也比較自然
https://i.imgur.com/FsnZyMP.jpg
不過後來好像就再也沒出現過舊的臉部辨識系統
就跟Miko 的3D手一樣
所有說目前VT所使用的系統
是不是還不能精確的辨識臉部表情？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.239.186.120 (臺灣)
※ 文章代碼(AID): #1XQEA-aJ (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1634263742.A.913.html
→ : 看設備1F 10/15 10:10
推 : 太精準其實也是壞事就是，可能會產生不必要的誤會2F 10/15 10:11
推 : 看設備的捕捉如何判斷啊 眼睛大小 光影 眼鏡都會影響吧3F 10/15 10:13
→ : 如果你要單指Holo是，純論技術不是5F 10/15 10:13
→ : 單純hololive技術不到家6F 10/15 10:15
推 : 之前不是有出過能非常精準判別表情的設備 只是鄉民說太過7F 10/15 10:15
→ : 恐怖谷 然後後來就沒消息了嗎?9F 10/15 10:16
推 : 看遊戲一堆精準的動態捕捉就知道這問題是錢砸的夠不夠多，需不需要用到的問題10F 10/15 10:18
推 : 太好的設備貴 頭戴式設備則是累 戴著長期使用不好12F 10/15 10:19
推 : 先不提其他企業勢 有些個人勢的捕捉技術超猛的14F 10/15 10:22
推 : 可以是可以 但是真的也沒必要太精準15F 10/15 10:22
→ : 個人勢只需要顧自己所以可以使用最新技術
企業勢有時會遇到向下相容的問題16F 10/15 10:22
企業勢有時會遇到向下相容的問題16F 10/15 10:22
推 : 鯊鯊初期也會抖眼皮 然後羽衣媽媽的是有強制雙眼同步眨眼功能 有一次念棉花糖觀眾問能不能眨眼wink她說目前在用的LIVE2D有同步雙眼眨眼所以沒辦法閉單眼
應該不只是只有羽衣有這功能 所以這是可以選掛的18F 10/15 10:22
應該不只是只有羽衣有這功能 所以這是可以選掛的18F 10/15 10:22
推 : 眼皮會抖應該是開闔的曲線沒拉好 L2D可以設定好幾個開闔比例的節點 要怎麼跟皮對應完全是可以自己拉的22F 10/15 10:25
推 : 你在討論「捕捉技術」前 要先講清楚你的設備24F 10/15 10:26
推 : 未來明的捕捉系統連舌頭都捕捉的到 雖然超級用不到的25F 10/15 10:26
推 : 有些規模比較小的V還是會眨眼不同步或是抖眼皮 就是調整的細節有差別26F 10/15 10:26
→ : Hololive就我所知道是一支手機放得遠遠的28F 10/15 10:27
推 : 過度精準反而沒必要29F 10/15 10:28
推 : 如果是3d對3d可能會簡單一點 目前2d基本都是live2d
live2d的運作模式不管捕捉的再準要再現都是很困難的30F 10/15 10:29
live2d的運作模式不管捕捉的再準要再現都是很困難的30F 10/15 10:29
推 : 不自然眨眼有些是她們戴眼鏡抓不到眼睛造成的32F 10/15 10:29
推 : 目前的技術只要花錢就可以絕對精準，就看你要多複雜而已33F 10/15 10:30
推 : Hololive是用自家軟體捕捉鏡頭畫面來運算的
所以還有手動控制的部份34F 10/15 10:31
所以還有手動控制的部份34F 10/15 10:31
推 : 還有就是設備對中之人的負擔吧36F 10/15 10:31
→ : 因此Hololive的v加入都會發工作機iPhone一台37F 10/15 10:31
推 : Holo是手機捕捉吧 我記得38F 10/15 10:31
推 : 那就是iphone內建的face detection 虹ho都是39F 10/15 10:32
推 : Fps都很低40F 10/15 10:32
→ : 算是最容易上手的解決方案41F 10/15 10:32
推 : 為什麼手都不出來玩了，有手超好笑的42F 10/15 10:32
推 : 現在用ToF或結構光技術可以把面部動作偵測到超精細的肌肉隨便動一下都看的出來43F 10/15 10:33
→ : 用iphone的原因是iphone有3D cam
android有3d cam的手機單手都數得出來
而且大多是對岸牌(華為)45F 10/15 10:33
android有3d cam的手機單手都數得出來
而且大多是對岸牌(華為)45F 10/15 10:33
推 : 目前其實不是抓不到就是了 而是做到100%跟真人同步
會很不二次元 在臉上定位後怎麼準換成二次元風格才是重點她們那些表情要讓真人做會做到臉部抽筋的48F 10/15 10:35
會很不二次元 在臉上定位後怎麼準換成二次元風格才是重點她們那些表情要讓真人做會做到臉部抽筋的48F 10/15 10:35
噓 : 3d才行 2d大部分要切表情 只抓眉毛跟嘴巴51F 10/15 10:36
推 : 我記得齁的2D有做表情鍵能切換表情52F 10/15 10:38
推 : 2d目前是因為主流是live2d 其實變化是在一個軸上移動53F 10/15 10:38
推 : face detecion其實各種model的準確度都差不多了
主要的差別是在live2d的調教上
例如反饋調太高就會像舞龍舞獅54F 10/15 10:39
主要的差別是在live2d的調教上
例如反饋調太高就會像舞龍舞獅54F 10/15 10:39
→ : 目前主流讓你覺得表情豐富的2d基本上都有做表情切換57F 10/15 10:40
→ : 太精準就沒有why is she angry這種meme了58F 10/15 10:40
→ : iphone沒有內建人臉情緒辨識的model api
所以變成這就要v這邊去做 有人覺得他們會為了這個
去搞個ai team專門train 情緒model嗎 應該是不會59F 10/15 10:41
所以變成這就要v這邊去做 有人覺得他們會為了這個
去搞個ai team專門train 情緒model嗎 應該是不會59F 10/15 10:41
推 : 我也很懷念miko的手手= =62F 10/15 10:41
→ : 更別提情緒類的model目前來說準確度實在低63F 10/15 10:42
推 : 你要想情緒model有了又如何，直播中有什麼特殊的情緒？64F 10/15 10:42
推 : 設備有技術也有，但還要考慮長時間直播舒適度吧65F 10/15 10:42
→ : 敏感度低全吐netural 敏感度高一秒從anger變happy66F 10/15 10:42
→ : 現在L2D最簡單就一隻手機搞定，就算外出連動也方便如果像推文的追蹤設備，能連續戴著多久
外出好不好帶等等問題，只能說這是要取捨的67F 10/15 10:42
外出好不好帶等等問題，只能說這是要取捨的67F 10/15 10:42
→ : 所以目前情況 表情按鈕還是比較好上手的解決方案70F 10/15 10:43
推 : 眼鏡差蠻多的，因為光點會影響mapping71F 10/15 10:43
推 : 你把臉部貼滿偵測裝備應該就可以惹72F 10/15 10:43
推 : 靠北 舞龍舞獅害我嗆到wwww73F 10/15 10:43
→ : 有哪個V會一直又哭又生氣又笑的，90%都只有普通&笑而已74F 10/15 10:44
→ : 這就有被V拿去玩梗 "我們再怎麼難過 也還是帶著笑容"75F 10/15 10:44
推 : 不要說ai 人都不一定能精準判斷別人情緒了76F 10/15 10:44
推 : 單純是holo技術不足 技術純熟的公司連掉根睫毛都可以捕捉77F 10/15 10:45
→ : 這就看你用哪種face detection,基於ai的solution
眼鏡沒什麼影響 基於結構光的mapping可能會有78F 10/15 10:45
眼鏡沒什麼影響 基於結構光的mapping可能會有78F 10/15 10:45
推 : 建模師的手法好像也有影響的樣子80F 10/15 10:45
→ : 個人覺得live2d方的調教影響遠大於detection端81F 10/15 10:46
推 : 我是建議可以去玩玩看免費的live2d啦 就會懂問題在哪了82F 10/15 10:47
→ : 要讓情緒類model完全反饋需要作出很浮誇的動作就是
現階段是不如一個表情按鈕83F 10/15 10:48
現階段是不如一個表情按鈕83F 10/15 10:48
→ : live2d產生的限制其實比捕捉端大非常多85F 10/15 10:49
推 : 一個哀鳳而已是要捕捉多精確，更專業的捕捉設備戴著打遊戲是在自虐吧86F 10/15 11:12
推 : 人的表情沒有皮這麼大88F 10/15 11:12
--