ZENKEI AI FORUM (2022/04/27)

...♦...

ZAF ２０２２年４月２７日

＜本日のテーマ＞

ゴールデンウィークも AI

...♦...

ちょっと、魔が差して、
- 完全に個人的な、
- 趣味１００％の
新しいポッドキャストをはじめました。
その名も、

音楽と数理 🎼 ♾ ポッドキャスト
Anchor: https://anchor.fm/music-and-math
Spotify
これは何か？
- Anchor の Music + Talk というサービスを使ってみた、というもの。
- 分かりやすく言うと、
  合法的に、
  個人が音楽番組を作って、
  配信できる仕組み。
ということで、作ってみたものの、
いろいろと思うことが出てくる...
- Spotify でしか聞けない
- Spotify Premium でしか、音楽をフルで聞けない
ということで、
- YouTube も活用してみたり、
あと、コンテンツ的には、
- 「表」回 - Music + Talk 使って音楽をフィーチャーする
- 〈裏〉回 - 音楽抜きで、しゃべりのみの、普通のポッドキャストも混ぜたり、
- （ショート）回 - ボイス・ダイアリー（音声日記）的なコンテンツも混ぜたり、
あれこれ、試行錯誤中です。

...♦...

ところで、新曲、リリースしました！

みなさんご承知の通り (ZAF2202) （５年前に、作曲が盛り上がってた頃）
音楽と数理のテーマ
LA LA LA in F
こいつの発展版も準備中！

...♦...

ZENKEI AI ポッドキャスト復活

前回の ZAF (ZAF2203)

と言っていましたが

ジャーン！ (https://zenkei.seesaa.net/)
現在、 ZAF2109 の途中
- 2022年4月6日 S21E01 （前座）ポッドキャスト復活
- 2022年4月13日 S21E02 （前座）ところで YouTube
- 2022年4月21日 S21E03 「秋の夜長は読書」NLP の Attention の最初の論文を精読しよう（前半）
- 2022年4月27日 S21E04 「秋の夜長は読書」NLP の Attention の最初の論文を精読しよう（後半）
- 残り２エピソードの予定
YouTube の ZENKEI AI FORUM SELECTIONS の方も、（少し遅れましたが）更新しました！
約半年前（７ヶ月遅れ）で、ほぼ同じペースで、進行中

...♦...

そういえば、一年前……

似たようなテーマを叫んでましたね。
ゴールデンウィークも AI
ZAF2104
ってことで、
２０２２年のゴールデンウィークも AI ！

...♦...

DualStyleGAN

こんなツイートを見かけた
arxiv: 2203.13248 (local copy)
project page
github: williamyang1991/DualStyleGAN
ということで、いちきさんにアニメ顔になってもらった
まず最初は、 Colab ノートブックでやってみた
その１
その２
その３
その４
その５
その６
HuggingFace Spaces: hysts/DualStyleGAN
HuggingFace Spaces、cartoon
HuggingFace Spaces、スラムダンク
HuggingFace Spaces、caricature （風刺画風）
HuggingFace Spaces、comic （アメコミ風）
HuggingFace Spaces、Pixar
HuggingFace Spaces、arcane
HuggingFace Spaces、anime （アニメ風）
まとめ

...♦...

そのほか

Panini (https://twitter.com/ak92501/status/1518046281192595457)
- ```
Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation
for Face Restoration
	  
```
- arxiv: 2203.08444
- github: jianzhangcs/panini
- 実験 (Colab ノートブックがシェアされてる)
  - ZAF2203 のビデオに写ってる、右上の自分の画像を、超解像してみよう！
    
    切り抜いて
    
    切り抜いて
    
    こいつが 125x125
  - Colab
  - 結果その１、 512x512 Face Image Restoration 　⇨　
  - 結果その２、 64x64 Face Image Super Resolution 　⇨　
FocusOnDepth (https://twitter.com/ak92501/status/1512485806228717573)
- ```
Demo for FocusOnDepth - A single DPT encoder for Dense Prediction Tasks
on @huggingface Spaces
	  
```
- arxiv: 2103.13413
- github: antocad/FocusOnDepth
- demo: https://huggingface.co/spaces/ybelkada/FocusOnDepth
- やってみた、モンちゃんで
JIFF (https://twitter.com/ak92501/status/1518395877378953217)
- ```
JIFF: Jointly-aligned Implicit Face Function
for High Quality Single View Clothed Human Reconstruction
	  
```
- arxiv: 2204.10549
- github page: https://yukangcao.github.io/JIFF/
  - ... code は coming soon
PHORHUM (https://twitter.com/XRandrew/status/1517565098788896768)
- ```
This new 2D image -> 3D object reconstruction work from Google Research is 🤯
	  
```
- paper: https://phorhum.github.io/static/assets/alldieck2022phorhum.pdf
- https://phorhum.github.io/
- コードは（まだ）ない
DaGAN (https://twitter.com/ak92501/status/1516703112156917765)
- ```
Depth-Aware Generative Adversarial Network for Talking Head Video Generation
	  
```
- arxiv: 2203.06605
- github: https://github.com/harlanhong/CVPR2022-DaGAN
https://twitter.com/ak92501/status/1518770499534397441
- ```
Generalizable Neural Performer:
Learning Robust Radiance Fields for Human Novel View Synthesis
	  
```
- arxiv: 2204.11798
- project page
  - Code (Coming Soon) でした

...♦...

Kaggle 🐳🐬コンペ
気づいたら終わってた……

振り返り

ZAF2202

...♦...

わたしの結果は……

Leaderboard
結局、時間取れませんでした（時間取りませんでした、が正しい）
スコアは 0.43602 （１位のスコアは 0.87579）
順位は 1153 位 / 1589 チーム（トップから 72.6% くらいの位置）

...♦...

上位の人たちの解法について

kaggleクジラコンペ2022　上位者解法まとめ (2022.04.23に公開)

https://twitter.com/yume_neko92/status/1517831386371043328

クジラコンペも終わって、上位陣の解法ディスカッションを一通り読んでみた。
新しい発見がたくさんあって、本当に勉強になりました！

せっかく読んだので、備忘録も兼ねてまとめも書いてみました。
拙い内容ですが、興味ある方いましたらご覧ください😀

Leaderboard
- solutions: 1 2 3 4 6 7 8 10 11 14 18 19 22 29 30 36

第１位

1st Place Solution (knshnb)

https://twitter.com/knshnb/status/1516206929294819332

Kaggle初参加でしたが、並み居る強豪を倒してなんと優勝してしまいました！！！！！！！！！！
チーム組んでくださった @charmq00  さんには圧倒的感謝です！！！！
うおおおおおおおおおおおおおおおおおおおおおお、
鯨の個体検出が世界で一番うまいぜ！！！！！！！！！！！！！！！！！！！！！！！

https://twitter.com/charmq00/status/1516760880842608640

1st place solutionです！2人それぞれのシングルベストをアンサンブルするだけで優勝スコアでした！

https://twitter.com/PreferredNetJP/status/1516958995130445824

クジラとイルカ🐳🐬の個体識別精度を競うKaggle Happywhaleで、
1588組中charmq、knshnbによるPreferred Dolphinが優勝🥇、
Yiemon773が10位で金メダルを獲得しました🏅

PFNのスパコンMN-2を使って開発したモデルは、今後、
海洋生物・環境の保全と研究に活用される予定です🌏

第２位
- 2nd place solution (ishikei)
- https://twitter.com/takuoko1/status/1517318260894887936
第３位
- 3rd solution (lafe)
- 3rd solution【Part】 (老肥)
- 3rd solution - supplement to the post-processing section (tik_boa)
第４位
- 4th place solution (Bo)
- Congratulations to All (Qishen Ha)
６位
- 6th place solution (YujiAriyasu)
７位
- DOLG Army: 7th Place Solution Summary (Ayushman Buragohain)
８位
- 8th place solution [My part] (Oleg Shapovalov)
- 8th place solution [My part] (Aleksey Alekseev)
- 8th place solution [part] (Ilya Dobrynin)

１０位

10th place solution (Yiemon773)

https://twitter.com/yiemon773/status/1516217593136582656

クジラコンペ11位でソロ金獲得できました！
題材も面白くて序盤からかなり力を入れて取り組んだので、無事ソロ金取れて本当に嬉しいです。

彼、多分、繰り上がったんだね

１１位

11th Place Solution (tereka)
https://twitter.com/tereka114/status/1516382513400524804

https://twitter.com/tereka114/status/1516210379692466181

5000画像ほど手動アノテーション YOLOV5 + WBF
EfficienetNet B5-B7, V2 XL L + ArcFace
最終的に、32000次元ぐらいのベクトルを類似度計算
Siamese NetでTop20をRescore

で13位です。

１４位

14th place solution (nk35jk)

https://twitter.com/nk35jk/status/1516275167407730691

自分の解法：
fullbody/backfinそれぞれのdetectorを複数学習し
それぞれのcrop画像でarcfaceモデルを学習（species分類のfocal lossも付加）。
モデルはeffnet-b7とconvnext-lを使用（もっと試せばよかった）。
effnetのfeature mapにはGAP後のfeatureをqueryとするattention weightを掛けてからGAP。