SIGGRAPH 2022 研究プレゼンテーションリスト
最優秀論文賞
多重解像度ハッシュ エンコーディングを使用したインスタント ニューラル グラフィックス プリミティブ
複数のタスクに対して単一の GPU でニューラル グラフィックス プリミティブをほぼ瞬時にトレーニングする方法を示します。ギガピクセル画像では、ニューラル ネットワークによって画像を表現します。SDFは、ゼロ レベル セットが 2D サーフェスを表す 3D 空間で符号付き距離関数を学習します。
NeRF [ミルデンホールら。2020]は、2D 画像とそのカメラ ポーズを使用して、レイ マーチングを使用して視覚化されるボリューム放射輝度と密度フィールドを再構築します。最後にニューラルボリュームノイズ除去された放射輝度と密度フィールドをボリューム パス トレーサーから直接学習します。すべてのタスクにおいて、当社のエンコーディングとその効率的な実装により、即時のトレーニング、高品質、シンプルさという明確な利点が得られます。私たちのエンコーディングはタスクに依存しません。すべてのタスクで同じ実装とハイパーパラメータを使用し、品質とパフォーマンスをトレードオフするハッシュ テーブル サイズのみを変更します。真珠の耳飾りの少女 ©Koorosh Orooj ( CC BY-SA 4.0 )
可変ビットレート ニューラル フィールド
Variable Bitrate Neural Fields – SIGGRAPH 2022 Fast Forward – YouTube
Variable Bitrate Neural Fields
[2206.07707] Variable Bitrate Neural Fields
符号付き距離関数や放射輝度場などのスカラーおよびベクトル場のニューラル近似は、正確で高品質な表現として登場しました。最先端の結果は、学習タスクの一部を担い、より小さくより効率的なニューラル ネットワークを可能にする、トレーニング可能な特徴グリッドからのルックアップでニューラル近似を調整することによって得られます。残念ながら、これらの機能グリッドは通常、スタンドアロンのニューラル ネットワーク モデルと比較してメモリ消費量が大幅に増加します。このような特徴グリッドを圧縮し、メモリ消費を最大 100 分の 1 に削減し、アウトオブコア ストリーミングに役立つマルチ解像度表現を可能にする辞書メソッドを提示します。辞書の最適化をベクトル量子化された自動デコーダー問題として定式化します。これにより、直接的な監視が利用できず、動的なトポロジと構造を備えた空間でエンドツーエンドの離散ニューラル表現を学習できます。ソースコードは次の場所で入手できます。
SPAGHETTI: パーツ認識生成による暗黙的形状の編集
ニューラル暗黙フィールドは、学習ベースの手法の魅力的な表現として急速に浮上しています。ただし、3D 形状のモデリングと編集にそれらを採用することは困難です。方法を紹介しますと編集中 私暗黙SハペスT通り抜けるP美術 あウェアGエネラTイオン、略して SPAGHETTI として並べ替えられます。私たちのアーキテクチャは、明示的な部分の監視を必要とせずに、形状セグメントを変換、補間、結合することにより、暗黙的な形状の操作を可能にします。SPAGHETTI は、形状パーツの表現を外因性および内因性の幾何学的情報に分解します。この特性により、部分レベルの制御を備えた生成フレームワークが可能になります。SPAGHETTI のモデリング機能は、対話型のグラフィカル インターフェイスを使用して実証され、ユーザーはニューラル インプリシット シェイプを直接編集できます。
最優秀論文賞
画像の特徴が反応時間に影響を与える- サッケード遅延の学習済み確率的知覚モデル – Immersive Computing Lab
私たちは、「表示された視覚的ターゲットを観察した後、どのくらいの速さで反応するか」という本質的な質問をして答えることを目指しています。
この目的のために、人間のサッケード行動と空間視力の間の顕著な断絶を特徴付ける心理物理学的研究を提示します。私たちの研究の結果に基づいて、表示された画像の統計の関数として、時間的な注視行動、特にサッカードの待ち時間を予測するための知覚モデルを開発します。具体的には、知覚的決定につながる信頼の蓄積を模倣する、神経学的に着想を得た確率モデルを実装します。アイトラッキングVRディスプレイを使用した一連の客観的な測定とユーザー研究でモデルを検証します。結果は、私たちのモデル予測が実際の人間の行動と統計的に一致していることを示しています。さらに遠く、グラフィックス パイプラインで一般的に導入される多くのサブスレッショルド画像変更は、違いが視覚的に検出できない場合でも、人間の反応タイミングを大幅に変更する可能性があることを確立します。
最後に、私たちのモデルが、インタラクティブなコンピューター グラフィックス アプリケーションでユーザーの反応遅延を予測および変更するためのメトリックとして機能し、視線条件付きレンダリング、仮想体験の設計、および e スポーツでのプレーヤーのパフォーマンスを向上させる可能性があることを示します。これを 2 つの例で説明します。2 つの異なるチーム カラーを使用したビデオ ゲームで競争の公平性を推定することと、ディスプレイの表示距離を調整してプレーヤーの反応時間を最小限に抑えることです。
私たちのモデルは、インタラクティブなコンピューター グラフィックス アプリケーションでユーザーの反応遅延を予測および変更するためのメトリックとして機能できることを示しています。これにより、e スポーツでの視線条件付きレンダリング、仮想体験の設計、およびプレーヤーのパフォーマンスが向上する可能性があります。これを 2 つの例で説明します。2 つの異なるチーム カラーを使用したビデオ ゲームで競争の公平性を推定することと、ディスプレイの表示距離を調整してプレーヤーの反応時間を最小限に抑えることです。私たちのモデルは、インタラクティブなコンピューター グラフィックス アプリケーションでユーザーの反応遅延を予測および変更するためのメトリックとして機能できることを示しています。
これにより、e スポーツでの視線条件付きレンダリング、仮想体験の設計、およびプレーヤーのパフォーマンスが向上する可能性があります。これを 2 つの例で説明します。2 つの異なるチーム カラーを使用したビデオ ゲームで競争の公平性を推定することと、ディスプレイの表示距離を調整してプレーヤーの反応時間を最小限に抑えることです。
ASE- 物理的にシミュレートされたキャラクターのための大規模な再利用可能な敵対的スキルの埋め込み
SIGGRAPH 2022- Adversarial Skill Embeddings – YouTube
一般化されたリサンプリング重要度サンプリング: ReSTIR の基礎 – SIGGRAPH 2022
一般化されたリサンプリング重要度サンプリング- ReSTIR の基礎 リサーチ
視聴者が知覚する意図したベクター スケッチの接続性の検出 – グラフィックスでの ACM トランザクション
バンクーバーで開催される SIGGRAPH 2022 に 6 つの UBC コンピュータ グラフィックス ペーパーが登場します。 UBC でのコンピューター サイエンス
タイムラプス シーケンスにおけるランダム効果と循環効果のもつれを解く
GitHub – harskish-tlgan- Time-Lapse Disentanglement With Conditional GANs [SIGGRAPH 2022]
研究者は NVIDIA と共に、GAN ベースのアプローチを発表しました。これは、天気、循環効果、またはオブジェクトの流動性を破壊する可能性のあるその他の効果など、全体的な効果を事後的に個別に制御できるようにする方法で、タイムラプス シーケンスのもつれを解くことを導入します。タイムラプス。
このモデルにより、入力画像だけでは不可能な方法でシーケンスを再レンダリングできます。選択可能な一貫した天候の下で、オブジェクトに焦点を合わせるために長いシーケンスを安定させることができます。
GAN (Generative Adversarial Networks) は、タイムラプス シーケンスの時間座標によって調整されます。
StyleGAN-NADA- 画像ジェネレーターの CLIP ガイドによるドメイン適応
GitHub – rinongal-StyleGAN-nada
StyleGAN-NADAは、テキスト プロンプトのみを使用し、トレーニング データを使用せずに、事前トレーニング済みのジェネレーターを新しいドメインに変換します。
生成モデルをトレーニングして、特定のドメインから画像を生成するようにトレーニングできますか?テキスト プロンプトのみによって誘導され、画像は表示されませんか? 言い換えれば、イメージ ジェネレーターをやみくもにトレーニングできますか?
大規模な Contrastive-Language-Image-Pre-training (CLIP) モデルのセマンティック パワーを活用して、生成モデルを新しいドメインに移行できるテキスト駆動型の方法を提示します。これらのドメインから画像を 1 つも収集する必要はありません。
自然言語プロンプトと数分間のトレーニングを通じて、私たちの方法は、多様なスタイルと形状によって特徴付けられる多数のドメインにわたってジェネレーターを適応させることができることを示しています。特に、これらの変更の多くは、既存の方法では達成が困難または完全に不可能です。
幅広い分野で広範な実験と比較を行っています。これらは、私たちのアプローチの有効性を実証し、シフトされたモデルが潜在空間の特性を維持していることを示しています。これにより、生成モデルが下流のタスクにとって魅力的になります。
As-Locally-Uniform-As-Possible Reshaping of Vector Clip-Art
ベクタークリップアートの可能な限り局所的に均一な再形成
As-Locally-Uniform-As-Possible Reshaping of Vector Clip-Art – YouTube
ニューラルネットワークによってパラメータ化された関数でスムーズな解を促進する方法を提示します。これは、部分的な点群から形状を再構築するなど、幾何学的なアプリケーションにとって重要です。滑らかでないニューラル ネットワークは、悪い極小値に簡単に陥る可能性があります (上)。滑らかなニューラル ネットワークは、より良い再構成をもたらします
MatBuilder- プロジェクションでのサンプリングの均一性の習得、SIGGRAPH 2022
このプロジェクトの動機は、積分の値を推定するために、被積分関数をランダムにサンプリングして値を合計できるということです。これがモンテカルロ積分です。
ここでは、点の総数と比較して、円盤に入る赤のランダムな点の数を数えることによって、円盤の面積 (つまり、円盤の表面上の定数関数の積分) を計算します (赤+青)。
バーチャル リアリティのためのホログラフィック グラス – リサーチ
バーチャル リアリティ用のホログラフィック グラス – YouTube
コンピューテーショナル イメージング時分割ニューラル ホログラフィー – シググラフ 2022
時分割ニューラル ホログラフィー – SIGGRAPH 2022 – YouTube
偏りのある推定量を使用した偏りのない一貫したレンダリング – リサーチ
簡単に言えば、偏りのないレンダリングは、近道をすることなく、現実の世界をできるだけ忠実に模倣しようとします。パス トレーシングとその派生物は偏りがありませんが、レイ トレーシングはもともと偏っていました。
差分トラッカーを使用した偏りのない逆ボリューム レンダリング。 リサーチ
RGL – 差分トラッカーを使用した偏りのない逆ボリューム レンダリング
既知のカメラ ポーズを使用したRGB画像からの体積散乱パラメーターの高品質な再構成を示します(左)。これは、最適化に直接使用できる放射伝達方程式の偏りのない低分散勾配を生成する、当社の新しい微分比追跡定式化によって可能になります。
Research, Publications & Journals – NVIDIA
