CG kyoto 2022のチャンピオンスポンサーを務めます

株式会社サイバーエージェント AI事業本部は2022年10月5日(水)～8日(土)にかけて開催される「CG kyoto 2022」のチャンピオンスポンサーを務め、スキャンカー・ブース展示を行うほか、論文・ポスター発表を行うことをお知らせいたします。

スキャンカー展示では、3DCGコンテンツの企画・制作を行う株式会社CyberHuman Productionsが保有する3DCGスキャンカー「THE AVATAR TRUCK」の車内見学や撮影体験を行います。
ブース展示では、サイバーエージェントAI Labのリサーチサイエンティストが産学連携先と進めている研究内容も含めた発表を行います。

民間企業の研究組織がどのようなデータで、どのような研究開発を行っているのか、興味をお持ちの方はぜひブースまでお越しください。
参加希望の方はこちらからご登録下さい。
 
 

CG kyoto 2022について

今年は「CG kyoto 2022」として、それぞれ開催第30回目となるPacific Graphics 2022とVC＋VCC 2022が国立京都国際会館にて併催されます。オンサイト・オンラインでのハイブリット形式での実施を予定しています。各業界の技術者やクリエイティブなプロフェッショナルが国内外から一堂に会する、コンピュータ・グラフィックス関連のカンファレンスです。

Pacific Graphics 2022について

Pacific Graphicsはアジア太平洋地域の国々で開催されるコンピュータ・グラフィックスと画像処理に関する権威ある国際学会です。

VC＋VCC 2022について

産学の垣根を超えて技術者・研究者・クリエイターが交流する、コンピュータ・グラフィックスおよび周辺分野における国内最大規模のシンポジウムです。

【スキャンカー展示】

日時	10月5日(水)-8日(土)
場所	国立京都国際会館 アネックスホール前
展示内容	■3DCGスキャンカー「AVATRA（アバトラ）」 ESPER社の「ESPER LightCage」とソニー α7R IIIをトラックに搭載した、高精細なデータ取得が可能なフェイシャルスキャンカーです。ブースにて撮影体験が可能です。事前予約も受け付けておりますので、ご希望の方はこちらからお申込み下さい。車内見学のみご希望の方はご予約不要です。撮影時間外に車内見学の対応をしております。 撮影日時 ①10月5日(水) 14:00-17:00 ②10月6日(木) 、7日(金)：11:00-13:00、14:00-17:20 ③10月8日(土) 11:00-13:00 ※注意事項※ ・データを社内開発用にご提供頂ける方を対象としています。 ・研究データの保存期間を原則10年とします。削除のお申し出があった場合にはデータを削除いたします。 ・各時間帯の定員は3名、先着順でのご案内となります。 ・予約が確定した方は別途メールでご連絡をいたします。 ・当日撮影前にデータの取り扱いに関する同意書へのご記入をブースでしていただきます。 ・撮影時間は20分程を想定しています。 ・ご希望の方には後日、データをお渡しします。

【ブース展示】

日時	10月6日(木)-8日(土)
場所	国立京都国際会館 2F RoomA前
展示内容	■発表 弊社展示ブース内で、武富 貴史(AI Lab リサーチサイエンティスト)が下記時間で「デジタルヒューマンの研究開発」について発表を行います。 AVATRAで撮影したデータをどのように研究開発に活用をしているかについてご紹介します。 日時 ①10月6日(木) 、7日(金) 17:30-18:00 ②10月8日(土) 14:30-15:00 ■3DCGスキャンカーデータについて アネックスホール前に展示しているスキャンカー「AVATRA」でどのようなデータを取得できるかについてご説明します。また、リサーチサイエンティスト、エンジニア、クリエイター、人事がブースにおりますので、業務や採用についてご質問がある方はお気軽にブースまでお越しください。

【スポンサー講演】

日時	10月6日(木) 11:30-11:50 RoomA
発表者	高山 健志 (AI Lab CG リサーチサイエンティスト)
タイトル	インターネット広告への3DCGの活用
概要	デジタルツインレーベルやメタバース等の事例を紹介しながら、最新の3DCG技術をどのようにインターネット広告ビジネスに活用しているかご紹介します。

 

＜Pacific Graphics 2022＞
 

【Pacific Graphics 2022 採択論文】

日時	10月8日(土) 13:50 - 15:20 Digital Human
著者	(AI Lab CG リサーチサイエンティスト) 楊 興超(ヨウ コウチョウ)、武富 貴史
タイトル	BareSkinNet: De-makeup and De-lighting via 3D Face Reconstruction
概要	1枚の顔画像からメイクと照明の影響を除去し三次元の顔モデルを復元する手法について発表します。入力画像に濃いメイクや極端なライティングが含まれた場合、ベースとなる肌の色を推定することが難しく復元される顔モデルの見た目の品質を低下させる原因となります。そこで、本研究では、顔画像へ3D Morphable Model(三次元顔変形モデル)をフィッティングする際に、メイクや照明の影響を同時に除去することでベースとなる肌の色をロバストに推定します。
論文リンク	https://arxiv.org/abs/2209.09029

 

＜VC＋VCC2022＞
 

【VC+VCC2022国際論文誌・学会採択論文招待セッション】

日時	10月7日(金) 13:30 - 14:45 SIGGRAPH招待講演セッション2
著者	高山 健志(AI Lab CG リサーチサイエンティスト)
タイトル	Compatible Intrinsic Triangulations
概要	共通の種数を持つ二つの3D サーフェス形状の間で、歪みの小さい同相写像を求める問題は、3DCG において基盤的に重要です。本研究では、平面や球面などの中間的なドメインを介することなく、入力のサーフェス上で直接写像を定義でき、直感的でシンプルな方法を提案します。提案法は、二つの入力三角形メッシュA とBに対して、Compatible Intrinsic Triangulation(CIT)というものを構築します。これはA とB の上にそれぞれ定義されたIntrinsic Triangulation と呼ばれる特殊な三角形分割で、頂点・エッジ・面の全てが厳密に一対一で対応しており、これをもって同相写像が自明に定義されます。提案するCIT 構築アルゴリズムは経験則のみに基づいて設計されており、成功の保証は無いものの、実用上は十分ロバストに動作し、既存法と同様の修正ニュートン法を使い、歪みの最適化が可能です。
論文リンク	https://dl.acm.org/doi/10.1145/3528223.3530175

 

日時	10月7日(金) 13:30 - 14:45 SIGGRAPH招待講演セッション2
著者	栗山 繁(サイバーエージェント／豊橋技術科学大学 教授) 向井 智彦(東京都立大学 システムデザイン学部インダストリアルアート学科 准教授) 武富 貴史、武笠 知幸(AI Lab CG リサーチサイエンティスト)
タイトル	Context-based Style Transfer of Tokenized Gesture
概要	動的に複雑な身振りに対しても安定な変換を実現するために、身振りの文脈に基づくスタイルの転移手法を提案します。身振りの内容とスタイルの特徴を時分割して潜在変数空間でトークンとして構成し、Vision Transformerを導入して、内容とスタイルのトークンを文脈的な情報に基づいて入れ替えます。本手法では、同一のスタイルでの転移、あるいは周期的にスタイル転移された身振りの復元誤差によって与えられる損失関数と、Transformer内での特徴量によって計算される内容とスタイルの類似度に基づく損失関数を導入し、さらに身振り動作の機能的側面を考慮した精度指標を考案しました。
論文リンク	https://diglib.eg.org/handle/10.1111/cgf14645

【VC+VCC2022 ポスター発表】

日時	10月6日(木) 17:15-18:25 ポスターセッション1
著者	曹 旭(ソウ キョク) (大阪大学 大学院情報科学研究科 特任助教) 武富 貴史(AI Lab CG リサーチサイエンティスト)
タイトル	ヘルムホルツの相反性を利用した多視点ステレオ
概要	ヘルムホルツの相反性を利用した多視点ステレオによる形状復元手法を提案します。提案手法では、フラッシュライトを搭載した２台のカメラを利用し、一方のカメラがライトを点灯した状態で他方が撮影することでヘルムホルツ画像ペアの取得を行います。このような撮影を多視点で行った後、形状の復元を行います。本アプローチにより、等方性の反射特性を持つ表面であれば、反射特性に依存しない形状の復元が期待できます。また、形状復元は、陰関数表現を用いたニューラルネットワークの最適化によって実現します。

   

日時	10月6日(木) 17:15-18:25 ポスターセッション1
著者	山口 周悟 (早稲田大学) 武富 貴史(AI Lab CG リサーチサイエンティスト) 森島 繁生(早稲田大学 大学院先進理工学研究科 物理学及応用物理学専攻 教授)
タイトル	HyperNeRF を用いた任意視点・表情コントロール可能な発話動画生成
概要	表情・動きのコントロールが可能な任意視点の発話動画の生成を行います。発話動画生成は、口元や表情の合成や転写・生成したアバターのレンダリングといった手法が提案されてきたが、任意視点動画の生成が可能ではなかったり、生成結果にリアルさや本人らしさが欠けていたりしていました。また、近年はニューラル輝度場 (NeRF) を用いることによって任意視点が可能なリアルな三次元表現を行える手法が提案されていますが、表情等の顔の動きをコントロールできていません。本研究では、顔の3Dモデルの表情パラメータとNeRFの変形場を対応付けることによって、任意視点で描画可能な顔のモデルの生成および表情パラメータによるコントロールを可能としました。

 

日時	10月6日(木) 17:15-18:25 ポスターセッション1
著者	楊 興超(AI Lab CG リサーチサイエンティスト) 曾 陽(ソウ ヨウ) (デジタルツインレーベル事業部 MLエンジニア) 武富 貴史(AI Lab CG リサーチサイエンティスト)
タイトル	音声からの表情生成技術を活用した広告動画作成パイプライン
概要	本発表では、NVIDIA社のOmniverse Audio2Faceと表情転写技術を組み合わせて、多様な広告動画を効率的に作成するシステムを紹介します。インターネット広告では、ユーザに合わせた多様な広告動画を制作する必要があります。そのため、撮影と編集に関するコストや工数が課題となっています。既存の表情転写技術を利用することで、複数回の撮影を必要とせず広告動画の制作が可能となるが、表情を制御するための演者が別途必要でした。そこで本研究では、Audio2Faceといった音声から表情を生成する技術を活用することで、演者を必要としない人物動画生成を実現することによって、広告動画制作フローの加速を目指します。

 

日時	10月7日(金) 17:15-18:25 ポスターセッション2
著者	石飛 晶啓 (慶應義塾大学 藤代研究室 博士後期課程3年) (AI Lab CG リサーチサイエンティスト) 高 琪琪(ガオ チーチー)、楊 興超、武富 貴史
タイトル	人物画像に対する仮想試着における三次元変形の考慮
概要	人物画像や映像に対して異なる衣服を着せた際の見た目をシミュレートする仮想試着技術は、アパレル用途のみでなく、再撮影することなく元の画像・動画コンテンツに様々な変化を与えることができる。既存の仮想試着手法の多くは、衣服画像を二次元平面上で変形させることで試着後の衣服画像を生成しているが、その際に各パーツの前後関係が無視される、不自然なテクスチャの歪が生じる、などの問題点がある。そこで本研究では、入力となる人物映像および衣服画像から三次元情報を復元し衣服画像の変形に利用することによって、より高品質な仮想試着映像の生成を目指す。

 

日時	10月8日(土) 14:10-15:20 ポスターセッション3
著者	武笠 知幸(AI Lab CG リサーチサイエンティスト) 富樫 陸(AI Lab Creative Algorithms リサーチサイエンティスト) 武富 貴史(AI Lab CG リサーチサイエンティスト)
タイトル	モーションスタイル転移のためのコンテント-スタイル分離
概要	画像のスタイル転移は参照絵画のスタイルを実写画像に適用するが、動作のスタイル転移では、スタイルを参照する動作とスタイル適用対象の動作は同一ドメインの骨格姿勢の系列とみなせます。このような状況で、コンテントとスタイルを分離することは困難であり、既存手法では参照動作のコンテントの影響で元々のコンテントが毀損されていました。この問題を解決するため、動作もつれ損失を導入し、スタイル転移された動作から参照動作のコンテンツの影響を抑制します。更に、これにより生成動作の品質も敵対的生成の枠組みのもとで向上させます。

   

＜関連リンク＞

CG kyoto 2022公式サイト：https://cgkyoto.org/
AI Lab公式サイト：https://cyberagent.ai/ailab/
株式会社CyberHuman Productions公式サイト：https://www.cyberhuman-productions.co.jp/
株式会社CyberMetaverse Productions公式サイト：https://www.cybermetaverse-productions.co.jp/