看板 C_Chat作者 cybermeow (北歐組一生推)標題 [閒聊] 訓練了一個生成凱留頭的模型時間 Mon May 25 20:33:47 2020
廢話不說先直接上結果
使用範例:
https://i.imgur.com/I4xNU6A.jpg
https://i.imgur.com/eiag3pK.jpg
https://i.imgur.com/oOHB7aF.jpg
https://i.imgur.com/BBR81CN.jpg
隨機生成的圖 (沒有挑選過而且模型還沒訓練到收斂所以並沒到非常好
https://i.imgur.com/dM3QZFC.jpg
研究動機:
近年凱留接頭日益盛行,然而接頭本身耗費人力,不僅僅要求操作者的PS技巧
而且接頭素材有限,對於一張給定的圖,不一定擁有適當的頭來接
如果想要上網尋找最合適的頭又需要額外的付出
同時以凱留的角度而言,雖然有很多身體,可是頭卻是固定幾個,相當的不平衡
我們希望此研究能夠拋磚引玉,引起更多人對於凱留接頭全自動化這個問題的重視
方法:
先跳過,有人有問再說
基本上都是拿現成的程式碼直接使用
這只是一個極短時間娛樂性質的 Project
接下來有空會考慮做一些比較實用而且效果也比較好的(一樣是動畫相關的)東西
真的有成品的話應該也會 release source code 和訓練好的模型甚至架設網站等等
歡迎有興趣的人來討論
另外推薦幾個個人覺得「實用」的深度學習應用到動畫上的模型
Tagger:
https://www.reddit.com/r/MachineLearning/comments/edzqp8/p_deep_danbooru_girl_
image_tag_estimation_source/
Decensor:
https://github.com/natethegreate/hent-AI
一般而言 reddit/animeresearch 上面有很多東西 大家可以試著去挖寶
置底
https://imgur.com/pbBiSGu.jpg
--
北歐組一生推
https://imgur.com/ydMoryp.jpg
https://imgur.com/njHa0OA.jpg
https://imgur.com/KVrWmNb.jpg
https://imgur.com/leUc4jP.jpg
https://imgur.com/2UN6JMx.jpg
--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.225.166.20 (臺灣)
※ 文章代碼(AID): #1UoxitUN (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1590410039.A.797.html
→ waitan: 接頭霸王產生器2.03F 05/25 20:34
推 DDM76: 我覺得我應該推一下8F 05/25 20:36
推 melzard: 你會不會是人類史上第一個用凱留發論文的人類R9F 05/25 20:36
推 guogu: 殺小w13F 05/25 20:38
推 highwayshih: 浪費才能欸XDDDDDDDDDDDDDDDDDDDD16F 05/25 20:39
推 ryohgi: 浪費才能系列XDD17F 05/25 20:40
推 Ttei: 再不推就準備被凱留換頭啦18F 05/25 20:40
推 nahsnib: 這就是傳說中的scp-k,自動將識別到的人型生物頭部替換19F 05/25 20:41
推 a2470abc: 有沒有模型架構能看啊 好像有點屌23F 05/25 20:41
這個就stylegan2直接train而已
換頭的部分encode回latent space找生成裡面接近的
最後接頭還是自己P
因為幾乎都用現成的code所以髮色跟貓耳換的時候效果常常不好
接下來應該會考慮改成image to image translation的系列來做
先translate一次頭再自動處理artifact搞不好就能整張自動換了?
推 tw15: 靠凹XD25F 05/25 20:43
推 a1l12: ???!!!!!XDDDDD28F 05/25 20:44
※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:50:42
推 LANJAY: 你是要寫論文嗎?不要浪費才能啦XD32F 05/25 20:48
推 Reshiram: 這是用卷積做的嗎 好酷www35F 05/25 20:49
推 efkfkp: 這三小,博士快回去寫論文好嗎XD38F 05/25 20:49
真的NeurIPS deadline快到了
可以圖片直接換但因為目前沒有segmentation mask效果不好(就正方形換掉)
希望有人可以訓練一個不然自己要試著weak supervise一個
推 Zerogos: 這個太強了,不推不行48F 05/25 20:53
※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 20:55:11
推 uuhao: 你是把接好頭的照片跟原本的照片一組來當訓練資料?
讓他學習接頭的方式?56F 05/25 20:56
因為頭是生成的所以可以想像成生成的頭自己的角度之類的就自己對了
推 ikaros35: 類似cycle GAN的模型嗎XD59F 05/25 20:59
這是我下一步打算做的抱歉讓你失望了
推 aOwOa: 之前學稀疏矩陣的時候就覺得影像處理這塊的發展比我想像中強大很多60F 05/25 21:01
※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:05:15
推 Sacral: 浪費才能啦XDDDD65F 05/25 21:04
推 twosheep0603: 有沒有想過利用類似凱留MMD模型大量生成不同角度的sample呢 感覺可以更快收斂66F 05/25 21:04
怕會有嚴重的distribution shift而且個人沒使用mmd的經驗
不過應該可以特別設計模型來處理
※ 編輯: cybermeow (36.225.166.20 臺灣), 05/25/2020 21:11:13
推 e2167471: what are you doing68F 05/25 21:09
推 Derriclc: 幹 笑死 我沒看也沒玩公連 都快變凱流粉了82F 05/25 21:40
推 QT1020: 這三小XDDD91F 05/25 21:54
推 bomb1000: 太神啦 最近也在做機器學習專題 是個菜鳥 踩了好多坑XD94F 05/25 21:58
推 DeaGoo: 我看了三小100F 05/25 22:03
推 direct: 接頭霸王產生器in凱留104F 05/25 22:11
推 ga652206: 昔日有自動功德機 現在有自動接頭機105F 05/25 22:12
推 iam60805: 可以再發一篇文詳細解說訓練過程嗎,想瞭解110F 05/25 22:21
推 pepro: 哈哈哈哈 動機有了,接下來該寫文獻回顧了吧116F 05/25 22:25
推 DMGA: yolo學一個掃含頭髮延伸的頭切出來再gan回去呢?125F 05/25 22:39
推 ewqxz: 接頭博士126F 05/25 22:42
推 max410286: meeting的時候跟老闆報告一下這周進度(接頭)129F 05/25 22:51
推 tobbaco: 全自動街頭霸王產生器 指日可待
人被逼急了總是會做一些奇怪的東西130F 05/25 22:55
推 QB5566: 高…高手132F 05/25 22:57
推 WLR: 科技接頭XD133F 05/25 22:57
推 RLH: 這是什麼?135F 05/25 23:01
推 seatan: 我的天w138F 05/25 23:08
推 sophigo: 論文卡住時會開始做其他有的沒的 我懂XD144F 05/25 23:23
推 rabbithouse: 1970:未來的人一定會發明出飛天車 2020:145F 05/25 23:38
推 rabbithouse: 話說多人那張圖 模型有認出凱留本人 莫名好笑XD148F 05/25 23:45
推 Merman19: 封你為 接 接 接頭霸王149F 05/25 23:47
推 zx8967: 不愧是PTT (感嘆152F 05/25 23:58
推 ad0101: ????154F 05/26 00:06
推 anna89: 淦,有夠浪費才能,接頭霸王XDDDD158F 05/26 00:19
噓 Tr3vyy: 中國爛梗還一直用159F 05/26 00:23
推 zmcx16: 推街頭霸王XDD160F 05/26 00:26
推 cicini: 1970:AI會消滅人類! 2020:163F 05/26 00:51
推 Noxus: 麻美夏桀笑死
學姐164F 05/26 00:59
推 et310: 我覺得我應該推166F 05/26 01:02
推 ack0011: 做成病毒去把別人電腦裡的照片都換頭167F 05/26 01:02
推 Lucas0806: 閣下您是不是本家論文生不出來才會想要靠這個生成器轉換思路刺激靈感啊?171F 05/26 01:21
推 starian: 靠 我到底看了三小178F 05/26 02:51
推 Deparic: 浪費才能wwww182F 05/26 03:31
推 greed3819: 想到上學期訓練一個手寫辨識的Ai 弄到快暴斃185F 05/26 04:31
→ jerry123: details/70215732 把人臉提取的方法,提取後做 image-to-imag translation 再貼回原本圖片上,最後再接幾層ConvLayer 讓接頭處合理化。CycleGAN 要較多的 unpaired data訓練資料才能做的好,數量過少會有 mode collapse 的問題,臉部五官因變動參數較少,建議做 data augmentation 及往遷移學習的方向考慮。187F 05/26 05:13
大方向是打算這樣做
可能試試看用few shot的方式能不能做出動畫的deepfake
不過我很缺resources更缺時間就是
到時候先跑跑看deepcreampy的inpainting能不能處理接頭銜接問題
雖然平常都拿來解碼 (逃
噓 togs: 我覺得是時候我該下跪了193F 05/26 06:16
推 ggyyhippo: 兄弟 你是多喪心病狂想要做這東西出來啊XDD198F 05/26 08:13
推 cool9203: 有沒有dataset可以open QQ,想拿實驗室2080ti來玩玩看207F 05/26 11:30
兩千張臉crop完的 過一陣子刪連結 主要p網爬的
https://drive.google.com/file/d/1iPlBNOBIee1JZV6S22sBWUzavG2OLZ07/view?usp=drivesdk
我是用gwern pretrain好的anime portrait stylegan2來fine tune
https://mega.nz/file/CRtiDI7S#xo4zm3n7pkq1Lsfmuio1O8QPpUwHrtFTHjNJ8_XxSJs
2080ti 應該幾個小時就有我上面的成果了
個人平常做理論的視覺就隨便看隨便寫
如果大大是專門視覺背景的歡迎來幫忙改善模型
推 fatedate: ...你再幹嘛 浪費才能208F 05/26 12:11
→ took: 深度學習作業212F 05/26 14:18
※ 編輯: cybermeow (36.225.161.55 臺灣), 05/26/2020 14:54:09
推 A1pha: 讓我猜猜,論文寫到起笑了對吧?XD214F 05/26 15:47
--