ZENKEI AI FORUM 2022/06/29

目次

• [6:30 - 7:00] 前座
  • 最近の私（いちき）はどこに向かっているのか？
  • 踊ってみた-その後
• [7:00 - 8:00] パート１ 最近の AI は本当すごいね
  • （前座）令和時代のコミュニティ志向な生き方
  • 顔の 3D 再構成
  • 3D 再構成、 NeRF 関係
  • フォトグラメトリ、LiDAR 関係
  • Text to Image など
  • 超解像など
  • デモ
  • 姿勢推定
  • その他
• [8:00 - 9:00] パート２ 技術書典１３企画会議！
  • 技術書典（イベント）へのお誘い
  • ZENKEI AI FORUM の Mission Statement
  • 同人誌活動は今のビジネスの最先端！
  • これまでのラインナップ
  • いちきのソロ企画
  • ZAF のサークル企画
  • 企画会議！
• 今日のおわりに
• 総合目次

YouTube のアーカイブ・ビデオはこちら

( https://youtube.com/live/3BmmpshE2eI)

• これまでの、「最近、どこに向かっていたのか？」
• 今年の ZAF の前座を振り返ってみると、
  • ZAF-2201 同人の方向、芭蕉とかに引っかかったり
  • ZAF-2202 アーティストの方向、 AUDIUS デビュー
    • （2016~2017 あたりに一度、作曲ブーム来てた）
  • ZAF-2203 ジャズは、きちんとみると、緻密だった（ピアノの方向）
  • ZAF-2204 音楽と数理ポッドキャスト - 自分自身をまな板の上にのせる
  • ZAF-2205 音楽と数理ポッドキャスト - 自分の可能性を模索、 ピアノを晒し、英語で語りかけた で、踊った
  • そして、先日、歌ってみた (https://youtube.com/shorts/LuK4loO4ffM)
• まとめると、
  • コミュニティ志向（一人でできること、みんなでできること）
  • 自分自身を晒す（世間に問う、と同時に、信頼してもらう）
  • 自分を高める（成長する、楽しむ）
  • 自分の限界を超える
• この流れの、ある意味、当然の帰結として、
  いちき、 Twitch をはじめました！
• https://www.twitch.tv/kengoichiki

• ってことで、

• 前回 (ZAF-2205)
• 踊ったビデオを YouTube にアップ
• その後、すごいことになりました
  （あくまで、当社比ってことなんですが）
• 

• 先日まで、ちょうど CVPR 2022 (computer vision and pattern recognition) が New Orleans で開催されていた

• と、その前に、ちょっと（これは、前座ネタかな？）

• 最近、注目している（注目されている）人物が２人
• その１： AK さん
  • この人 AI の研究者の界隈で、これまでも Twitter でいろいろ話題になってた
    • ほぼ毎日のように、大量のある arxiv に投稿される AI のプレプリントに目を通していて、
      重要そうな論文をピックアップしてツイートしていた。
    • それが、くる日も来る日もなので、 一部に「あれは AI で作られた bot に違いない」とか、
      「AK って Andrej Karpathy じゃね？」とか、
      そんな話題があがってた。（ネタ、ですね）
  • その人が、今回、 covid 明けの CVPR のリアルのカンファレンスに行く、 というので、話題になってた、と。
  • 会場での反応 - 「本物だった！」「ボットじゃなかった！」と
  • 会場での反応、その２ - どうも何らかのフィールドが発生しているようだ
• その２： iwama さん
  • https://twitter.com/iwamah1/status/1540223070321152001

    登壇DONE
    NianticのLightship Summit Tokyo 2022にiPhone 3Dスキャンで登壇した男の実績解除です
    登壇中ずっと手が震えていました
    皆さんありがとうございます！！！
    #Lightship #Niantic
    	  

  • https://twitter.com/ShogoNu/status/1540248857551917056

    iPhone LiDARを叫んだ男がテック業界のど真ん中にきてるの控えめに言ってスゴイ。叫び続けるの大事！
    	  

• ということで、本題に戻りましょう

• プレプリやコードの時代は終わって、
  
  デモを発表しないと注目されない時代
  
  
  になった（みたい）
  • https://twitter.com/abidlabs/status/1539618131139772416

    Slides for my @CVPR 2022 talk: 
    
    "Papers and Code Aren't Enough: Why Demos are Critical to ML Research and How to Build Them"
    
    Thank you to @humphrey_shi and #CVPR2022 for organizing!
    https://docs.google.com/presentation/d/1TXw...
    	  

  • ということで、今日は、すぐ動くデモを中心に、紹介していきましょう

• Thin-Plate Spline Motion Model for Image Animation (https://twitter.com/ak92501/status/1539066735965380608)

  a @Gradio Demo for Thin-Plate Spline Motion Model for Image Animation
   on @huggingface Spaces for @CVPR 2022 
  
  demo: https://huggingface.co/spaces/CVPR/Image-Animation-using-Thin-Plate-Spline-Motion-Model
        

  • https://huggingface.co/spaces/CVPR/Image-Animation-using-Thin-Plate-Spline-Motion-Model
  • やってみよう！
    • 準備
      
    • 結果
• DaGAN (https://twitter.com/danxuhk/status/1537785692201177088)

  Please check our paper and project for talking head video generation at the incoming CVPR 22 😃😃😃
  @harlan_hong
   
  You may also try our model on the hugging face:
  https://huggingface.co/spaces/HarlanHong/DaGAN
  
  Depth-Aware Generative Adversarial Network for Talking Head Video Generation
  abs: https://arxiv.org/abs/2203.06605
  github: https://github.com/harlanhong/CVPR2022-DaGAN
        

  • DEMO: https://huggingface.co/spaces/HarlanHong/DaGAN
• 付記：イベント時に、その場で
  
  やってみた
  • DaGAN のデモに、前に知ってた（浮世絵の顔のデモで使われてた） 変顔の女の子のビデオがあったので、
    
    急遽、企画
    いちき、変顔してみた
  • driving video
  • 結果

    DaGAN の結果	ThinPlateSpline

• LIA (and FOMM) (https://twitter.com/kym384/status/1540957782505320449)

  コード公開されたので動かしてみた
  https://github.com/wyhsirius/LIA
  
  比較としてFirst Order Motion Modelの出力
  Driving videoの動きが激しいサンプルに対してはFOMMよりも自然な動きをしてるように感じる
  
  https://github.com/AliaksandrSiarohin/first-order-model
        

  • https://github.com/wyhsirius/LIA
  • https://github.com/AliaksandrSiarohin/first-order-model
• GRAM-HD (https://twitter.com/Buntworthy/status/1537810017449041920)

  A horrible nightmare of infinite people shaking their head at me:
  
  GRAM-HD: 3D-Consistent Image Generation at High Resolution
  with Generative Radiance Manifolds
  abs: https://arxiv.org/abs/2206.07255
  project page: https://jeffreyxiang.github.io/GRAM-HD/
  
  3D-aware GAN that can generate high resolution images
  while keeping strict 3D consistency as in volume rendering
        

• RigNeRF (https://twitter.com/shahrukh_athar/status/1540218740461142022)

  Really excited to present RigNeRF today at Poster Session 4.2 of #CVPR2022 (@CVPR)!!
  Drop by PosterID 161b to discuss RigNeRF, human face modeling,
  facial expressions and the future of human avatars!
  
  RigNeRF: Fully Controllable Neural 3D Portraits
  abs: https://arxiv.org/abs/2206.06481
  project page: http://shahrukhathar.github.io/2022/06/06/RigNeRF.html
  
  Using only a smartphone-captured short video of a subject for training,
  demonstrate the effectiveness of method on free view synthesis
  of a portrait scene
        

• I M Avatar (https://twitter.com/ak92501/status/1470971332062031880)

  I M Avatar: Implicit Morphable Head Avatars from Videos
  abs: https://arxiv.org/abs/2112.07471
  
  github: https://github.com/zhengyuf/IMavatar
        

• 以下は、コードがまだ公開されていない
• GAN2X (https://twitter.com/ak92501/status/1539442569733718016)

  GAN2X: Non-Lambertian Inverse Rendering of Image GANs
  abs: https://arxiv.org/abs/2206.09244
  project page: https://people.mpi-inf.mpg.de/~xpan/GAN2X/
        

  • コード、デモは、未公開
• EpiGRAF (https://twitter.com/ak92501/status/1539459120667021312)

  EpiGRAF: Rethinking training of 3D GANs
  abs: https://arxiv.org/abs/2206.10535
  project page: https://universome.github.io/epigraf
        

  • コードは近日公開（リファクタ前のコードはあるみたい）
• ROME (https://twitter.com/ak92501/status/1537639309888610305)

  Realistic One-shot Mesh-based Head Avatars
  abs: https://arxiv.org/abs/2206.08343
  project page: https://samsunglabs.github.io/rome/
        

  
  • コードはまだ
• VoxGRAF (https://twitter.com/K_S_Schwarz/status/1537442208982237193)

  Sparse voxel grids have proven super useful for speeding up novel view synthesis.
  Inspired by this, our latest work uses a sparse voxel grid representation
  for fast and 3D-consistent generative modeling.
  
  Paper: https://arxiv.org/abs/2206.07695
  Project page: https://katjaschwarz.github.io/voxgraf/
  
  
  VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids
  abs: https://arxiv.org/abs/2206.07695
        

  
  • コードは coming soon...

• Instant NGP (https://twitter.com/smallfly/status/1540795797142372353)

  Series of NeRF trained using drone-selfie datasets.
  I've a bunch of those - one of the side effects of the social distancing
  we went through. Synthesized using @NVIDIAAIDev 's Instant-ngp.⁣⁣⁣⁣⁣⁣⁣⁣
  
  #selfportrait #AI #NeRF #nerfies #synthesis #neuralrendering #volumetric
        

  • https://twitter.com/jonstephens85/status/1540384170412634112

    Ferraris are cool, but there is something about American muscle
    that always draws me in. I would LOVE to drive a car like this one day...
    This was created with @NVIDIAAIDev 's instant NeRF!
    Who's watching the @NASCAR Ally 400 this weekend?
    #NeuralNetworks #3D
    	  

  • https://twitter.com/gradeeterna/status/1540380257634631680

    Trying out the 360 video to AnimeGAN to @NVIDIAAIDev
    Instant NeRF workflow on a nature scene.
    Turned out a bit fuzzy, but look at those trees and reflections😍
    #InstantNeRFSweepstakes #NeRF #instantNGP #volumetric #synthesis
    #AI #neuralrendering #neuralradiancefields
    	  

  • https://twitter.com/jonstephens85/status/1539840525670354944

    I think I just walked down a path I cannot come back from. 
    @Luxottica / @RealityLabs Ray-Ban Stories plus @NVIDIAAIDev Instant-NeRFs.
    
    Imagine me running around a @NASCAR event with these one @Scobleizer 😎
    
    Notice the bounce is gone without cropping the scene. Get it now?
    
    #3D #AI
    	  

  • https://twitter.com/van_eng622/status/1540148501887488000

    Facebookのスマートグラス「Ray-Ban Stories」で撮影した移動中の動画を
    Instant NeRFで3D化したもの
    
    この動画から、ここまでの3Dを生成できるのか...
    Instant NeRFやばいな
    
    時代が動画から3Dに移行していくことが肌で感じられる事例
    	  

  • https://github.com/NVlabs/instant-ngp
  • Getting Started with NVIDIA Instant NeRFs (By Jonathan Stephens May 12, 2022)
  • https://youtu.be/z3-fjYzd0BA
  • Run Instant NeRF on Docker (masa-ita April 26, 2022)
• EyeNeRF (https://twitter.com/ak92501/status/1538689482534309890)

  EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes
  abs: https://arxiv.org/abs/2206.08428
        

• IRON (https://twitter.com/Jimantha/status/1539599469305643011)

  To all the CVPR-heads out there -- check out @KaiZhang9546 's work on
  inverse rendering in this morning's oral session!
  Relightable 3D meshes from photos, with really beautiful results.
  
  IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from Photometric Images
  abs: https://arxiv.org/abs/2204.02232
  project page: https://kai-46.github.io/IRON-website/
        

  • github: https://github.com/Kai-46/IRON
• EventNeRF (https://twitter.com/ak92501/status/1540134704057294848)

  EventNeRF: Neural Radiance Fields from a Single Colour Event Camera
  abs: https://arxiv.org/abs/2206.11896
  project page: https://4dqv.mpi-inf.mpg.de/EventNeRF/
        

• VBA (https://twitter.com/ronnieclark__/status/1537789877265252352)

  Looking for super fast neural volume reconstruction and rendering? 
  
  At #CVPR2022 I'll be presenting Volumetric Bundle Adjustment (VBA).
  VBA enables fast and clean reconstruction for live 3D capture
  while a video is being recorded.
  
  Project page: https://r0nn13.github.io/volumetric-bundle-adjustment/
        

• Multimodal Colored Point Cloud to Image Alignment (https://twitter.com/ak92501/status/1539820424376320000)

  Multimodal Colored Point Cloud to Image Alignment
  paper: pdf
  colab: https://colab.research.google.com/...
        

• https://twitter.com/DuckbillStudio/status/1537723495370858496

  愛媛松山の重要文化財「萬翠荘」の3DCG動画です。
  実写ではありません！！フォトグラメトリで制作した3Dモデルです。
  是非YouTubeの4K動画も見てください～。
  #EHIME3D #photogrammetry
        

• https://twitter.com/view0608/status/1540557654262632448

  JR三ノ宮駅の北口から南口を散歩しながらiPhoneでスキャン。
  高架下は飲食店が並び、南口の広場ではキッチンカーやパークエリアが
  広がりにぎわいのあるまちづくりが進められている。
  アプリは @EveryPointIO を使用。
        

  • https://twitter.com/jonstephens85/status/1540106031665033216

    What is you could produce a 3d flythrough of a #concrete production plant
    every 15 minutes, every hour, on demand?
    No need to deploy cameras, they are already there.
    When it happens, expect @EveryPointIO and @stockpilereport
    to be blazing that trail!
    #Mining #ComputerVision
    	  

  • https://everypoint.io/

• CogView2
  • https://twitter.com/gclue_akira/status/1540088475113754624

    CogView2のWebデモ
    https://huggingface.co/spaces/THUDM/CogView2
    	  

  • https://twitter.com/ak92501/status/1540033980128436226

    a @Gradio Demo for CogView2: Faster and Better Text-to-Image Generation
    via Hierarchical Transformers on @huggingface Spaces by
    https://huggingface.co/hysts
    
    demo: https://huggingface.co/spaces/THUDM/CogView2
    	  

  • https://huggingface.co/spaces/THUDM/CogView2
    
• RegionCLIP (https://twitter.com/YiwuZhong/status/1540253720377667584)

  #CVPR2022 We just released a web demo for RegionCLIP
  (https://huggingface.co/spaces/CVPR/regionclip-demo).
  The pre-trained RegionCLIP demonstrates interesting results in zero-shot object detection.
  Check it out!
  If you’re interested in our work, please stop by
  our poster 77a on Friday morning!
  
  a @Gradio Demo for RegionCLIP: Region-based Language-Image Pretraining
  on @huggingface Spaces for @CVPR 2022 by @jw2yang4ai
        

  • https://huggingface.co/spaces/CVPR/regionclip-demo
• FLAVA (https://twitter.com/ak92501/status/1539749459915149313)

  a @Gradio Demo for FLAVA: A Foundation Language And Vision Alignment Model on 
  @huggingface Spaces for @CVPR 2022 by @apsdehal
  
  demo: https://huggingface.co/spaces/CVPR/flava-multimodal-zero-shot
        

  • https://huggingface.co/spaces/CVPR/flava-multimodal-zero-shot
• Parti (https://twitter.com/ak92501/status/1539672920456298498)

  Scaling Autoregressive Models for Content-Rich Text-to-Image Generation
  paper: https://gweb-research-parti.web.app/parti_paper.pdf
  project page: https://parti.research.google
  github: https://github.com/google-research/parti
  
  sota zero-shot FID score of 7.23 and finetuned FID score of 3.22 on MS-COCO
        

• VideoINR (https://twitter.com/xiaolonw/status/1537508196557811713)

  We are presenting VideoINR in #CVPR2022 ,
  a new continuous Video Implicit Neural Representation,
  that allows any scale super-resolution / interpolation in both space and time.
  
  Paper: https://arxiv.org/abs/2206.04647
  Project page: http://zeyuan-chen.com/VideoINR/
        

  
  • https://github.com/Picsart-AI-Research/VideoINR-Continuous-Space-Time-Super-Resolution
• Come-Closer-Diffuse-Faster (https://twitter.com/hyungjin_chung/status/1539983653186543616)

  For those interested diffusion models and inverse problems,
  come check out our poster on 174a #CVPR2022 ! Joint work with 
  @Byeongsu9
  
  Come-Closer-Diffuse-Faster:
  Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction
  abs: https://arxiv.org/abs/2112.05146
  
  method can achieve sota reconstruction performance at significantly reduced sampling steps
        

• Megapixel Image Generation... (https://twitter.com/ak92501/status/1541219433259175937)

  Megapixel Image Generation with Step-Unrolled Denoising Autoencoders
  abs: https://arxiv.org/abs/2206.12351
  
  obtain FID scores of 10.56 on FFHQ256—close to the original VQ-GAN
  in less than half the sampling steps—and 21.85 on FFHQ1024
  in only 100 sampling steps
        

• SketchEdit (https://twitter.com/zengxianyu18/status/1539471341266542593)

  Thanks for sharing our work😀 I will be presenting SketchEdit @CVPR 2022.
  If you are interested in our work or just want to discuss with me,
  don’t hesitate to come by on Wednesday to talk and play the demo,
  I am happy to discuss with anyone and make new connections #CVPR2022
  
  SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches
  abs: https://arxiv.org/abs/2111.15078
  project page: https://zengxianyu.github.io/sketchedit/
  github: https://github.com/zengxianyu/sketchedit
        

  • https://github.com/zengxianyu/sketchedit
  • interactive demo (http://47.57.135.203:8001/)
• Analog Clock Reading in the Wild (https://twitter.com/ak92501/status/1537989713256099848)

  a @Gradio Demo for It's About Time: Analog Clock Reading in the Wild
  on @huggingface Spaces for @CVPR 2022
   
  demo: https://huggingface.co/spaces/CVPR/time
        

  • https://twitter.com/chaaarig/status/1537586593279909888

    Also have a try at our demo on @Gradio/@huggingface !
    
    Demo: https://huggingface.co/spaces/CVPR/time
    
    and do join the CVPR 2022 organization page to check out other demos
    / make one https://huggingface.co/CVPR
    	  

  • 実験
    https://twitter.com/DearWatchLover/status/1541673141507829761
    

• https://twitter.com/goto_yuta_/status/1539472619585830912

  NVIDIAが姿勢推定でブレークスルーを起こした理由を簡潔にまとめてる記事。
  既存の技術だと物理法則を無視した推定結果が多かったことを踏まえて
  損失に物理制約を盛り込んで定式化して精度を跳ね上げたらしい。
  https://medium.com/aiguys/pose-estimation-and-nvidias-breakthrough-16fb6263bd48
        

  • Pose estimation and NVIDIA’s breakthrough (Vishal Rajput Jan 2)
• Strided Transformer for Pose 3D (https://twitter.com/PINTO03091/status/1540937546792075264)

  実際に動かしてかなりキレイに三次元推定できたのだけど、処理に時間掛かりすぎｗ
  https://github.com/Vegetebird/StridedTransformer-Pose3D
        

  • https://github.com/Vegetebird/StridedTransformer-Pose3D
• TAVA (https://twitter.com/ak92501/status/1538719219818409994)

  TAVA: Template-free Animatable Volumetric Actors
  abs: https://arxiv.org/abs/2206.08929
  project page: https://liruilong.cn/projects/tava/
        

• MediaPipe (https://twitter.com/yeemachine/status/1539639359657447424)

  It still feels like a dream. 
  Yes, I am working on #Vtuber tech at Google AI! 
  💪😎💪
  Our new BlazePose GHUM Holistic model predicts full body
  and hand joint rotations for 3D avatars.
  Available soon at http://mediapipe.dev. 🐎💃🎵
  
  Paper and live demo at @CVPR for #CVPR2022.
        

• ShapeFormer (https://twitter.com/yan_xg/status/1539109905743101952)

  Code/pretained model is released, please have a try! 😁
  https://github.com/QhelDIV/ShapeFormer
  
  ShapeFormer: Transformer-based Shape Completion via Sparse Representation
  abs: https://arxiv.org/abs/2201.10326
  project page: https://shapeformer.github.io
        

  • https://github.com/QhelDIV/ShapeFormer
• iSEE (https://twitter.com/ak92501/status/1538706936211951617)

  What do navigation agents learn about their environment?
  abs: https://arxiv.org/abs/2206.08500
  github: https://github.com/allenai/iSEE
        

• PlanarRecon (https://twitter.com/gadelha_m/status/1537546360622157824)

  Always nice to see the work in AK’s feed! Congrats, @YimingXie4!
  
  PlanarRecon: Real-time 3D Plane Detection and Reconstruction from Posed Monocular Videos
  abs: https://arxiv.org/abs/2206.07710
  project page: https://neu-vi.github.io/planarrecon/
        

• NU-Wave 2 (https://twitter.com/ak92501/status/1538686489491648514)

  NU-Wave 2: A General Neural Audio Upsampling Model for Various Sampling Rates
  abs: https://arxiv.org/abs/2206.08545
  
  a diffusion model for neural audio upsampling that enables the generation of
  48 kHz audio signals from inputs of various sampling rates with a single model
        

• AI Song Contest 2022 - the finalists (https://twitter.com/keunwoochoi/status/1537825500864839683)

  https://aisongcontest.com/the-2022-finalists
  
  AI Song Contest 2022 - the finalists 🔥🔥🔥
        

  • https://aisongcontest.com/the-2022-finalists
• Virtual Correspondences (https://twitter.com/ShenlongWang/status/1537904063127224320)

  Excited to share our #CVPR2022 work on
  associating images with extreme viewpoint differences!
  We propose to find "virtual correspondences"
  and use them to reason relative camera poses. 
  
  Please check the project website for more details: 
  https://virtual-correspondence.github.io
        

  • https://twitter.com/weichiuma/status/1537875561745223680

    Can you match images with little or no overlaps?
     
    Humans can🧠but most existing methods fail😰
     
    Our #CVPR2022 paper shoots camera rays through the scene to form
    “virtual correspondences” & uses epipolar geometry.
     
    w/ @ajyang99 @ShenlongWang @RaquelUrtasun Antonio Torralba
    	  

• BYOL-Explore (https://twitter.com/ak92501/status/1537621348339572736)

  BYOL-Explore: Exploration by Bootstrapped Prediction
  abs: https://arxiv.org/abs/2206.08332
  
  BYOL-Explore achieves superhuman performance on
  the ten hardest exploration games in Atari
  while having a much simpler design than other competitive agents
        

• HuggingFace Hub Client Library (https://twitter.com/mervenoyann/status/1540470328111030274)

  automate your workflows with @huggingface Hub client library 😏
        

• Open-source large language models (https://twitter.com/awnihannun/status/1540055549156372480)

  Open-source large language models is moving fast.
  Just today, three big releases:
  * Google's UL2 20B on HuggingFace https://huggingface.co/google/ul2
  * Meta's OPT 65B https://github.com/facebookresearch/metaseq/tree/main/projects/OPT
  * Yandex 100B (!) LM https://github.com/yandex/YaLM-100B
        

• https://twitter.com/AlexandreDevaux/status/1539946052824055808

  Push your walls à la Spike Jonze in #MixedReality 🙂
  In #WebXR (hololens) :
    Detect Wall (Hit-Test)
  + Capture and project (UserMediaAPI)
  + Vertex displacement
  @NYTimesRD #AR
        

• https://twitter.com/jaguring1/status/1539913772063543296

  2021年
  1月：DALL-E、CLIP
  5月：LaMDA
  6月：Codex
  8月：Jurassic-1
  9月：FLAN
  10月：MT-NLG
  11月：Florence、ExT5
  12月：Gopher、GaLM、GLIDE
  
  2022年
  2月：AlphaCode、Perceiver AR
  3月：Chinchilla
  4月：PaLM、DALL-E2、Flamingo
  5月：OPT-175B、CoCa、UL2、Gato、Imagen
  6月：Unified-IO、Parti
        

• https://twitter.com/ogawa_yutaro_22/status/1538661505000173568

  Google全体として、TensorFlowからJAXへと移行する気配です。
  今後のTFのメンテはどうなるんだろう
  
  確かにJAXは使いやすい部分もあり、PyTorchもJAXの機能を取り込んでいます
  （FUNCTORCH：https://pytorch.org/functorch/stable/）
  
  2階微分のヘシアンの計算とか不便なので
  
  今後はPyTorchかJAXかになりそうです
  
  
  After losing out to PyTorch, Google is quietly moving
  to roll out a new AI framework internally called JAX.
  It's expected to become the underpinning of Google's products,
  fixing some of TensorFlow's biggest pain points
  that frustrate Googlers internally
        

• Project Aria (https://twitter.com/TweetEdMiller/status/1537495397509349378)

  Ahead of #CVPR2022 ,
  I’m excited to share the open dataset of Project Aria data
  from Meta Reality Labs,
  along with accompanying open research tools
  designed to accelerate AI and ML research.
  https://about.facebook.com/realitylabs/projectaria/datasets
  A little about the dataset and why I think it’s so exciting…
        

  • Project Aria Pilot Dataset
• https://twitter.com/psi_ni_phi/status/1537784531553353729

  MeshDeformで顔のパース補正できるか検証したらあっさりと上手くいってビックリ。
  カメラの視線に合うよう立方体をスクショのように手前側を絞るだけ。
  要は、平行投影で設定画から3D起こすと、
  パースがかかった時に不自然な顔になる現象を補正する手法です。
  お試しあれ。
  #b3d #blender3d #ゆるキャンΔ
        

• 参加申し込みをしました！ (https://twitter.com/zenkeiaif/status/1542038873936924672)
• これまで参加した技術書典

• コロナで ZOOM 化した後の
  「ZENKEI AI FORUM とは何か？」
  について思索に耽っていた頃
  • ZAF-2006 - 瀧本哲史
  • ZAF-2008「ZAF のミッション・ステートメント」
  

• 若林恵の本『はりぼて王国年代記 【週刊だえん問答 第2集】』から
• この話は、多分、以下の本『ファンダムエコノミー入門』の内容に続いていくんだと思う

• これまでのラインナップ

• 自分の企画
  • 三部作の前日譚としてのナンバー・ゼロ
    • まずは表紙からツイート (https://twitter.com/ichiki_k/status/1386981834223886339)
    • 宣言ツイート (https://twitter.com/ichiki_k/status/1388740363091726338)
    • 進んでない進捗の懺悔ツイート (https://twitter.com/ichiki_k/status/1487400479110082560)

• サークルの企画
  • ZAM 構想（既刊 - 印刷版は BOOTH で頒布中）
  • 未完の月刊 ZAM どうなってるのか？ (cf. ZAF-2205)

• 付記：当日の企画会議の模様

……

今後の予定

• 次回 ZAF は 2022 年７月２７日開催の予定です。
• ZAF 講演者、 ZAM 執筆者、絶賛、大募集中です！
  お気軽にお問い合わせください！

総合目次

• 前座
  • 最近の私（いちき）はどこに向かっているのか？
  • 踊ってみた-その後
• 第１部 最近の AI は本当すごいねLet's Dance!
  • （前座）令和時代のコミュニティ志向な生き方
  • 顔の 3D 再構成
  • 3D 再構成、 NeRF 関係
  • フォトグラメトリ、LiDAR 関係
  • Text to Image など
  • 超解像など
  • デモ
  • 姿勢推定
  • その他
• 第２部 技術書典１３企画会議！
  • 技術書典（イベント）へのお誘い
  • ZENKEI AI FORUM の Mission Statement
  • 同人誌活動は今のビジネスの最先端！
  • これまでのラインナップ
  • いちきのソロ企画
  • ZAF のサークル企画
  • 企画会議！
• 今日のおわりに