概要
RenderFormer は三角形メッシュから直接画像を生成するニューラルレンダリングパイプライングローバルイルミネーション 効果を持ち、各シーンごとの学習やファインチューニングが不要Transformerアーキテクチャ をベースにした2段階構成ラスタライズやレイトレーシング を使わずにレンダリングを実現多様なシーンや物理シミュレーションにも対応
RenderFormer: Transformerベースのニューラルレンダリング
RenderFormer は三角形ベースのシーン表現から直接画像を生成するニューラルレンダリングパイプライン物理ベースの手法 ではなく、シーケンス変換問題としてレンダリングを再定義三角形とその反射特性を表すトークン列を、ピクセルパッチを表す出力トークン列へ変換
シーンごとの追加学習やファインチューニングが不要 な点が特徴
シンプルなTransformerアーキテクチャ
2段階パイプライン構成
ビュー非依存ステージ ：三角形間の光輸送をモデル化ビュー依存ステージ ：レイ束を表すトークンをピクセル値へ変換
両ステージとも Transformerアーキテクチャ を採用
事前知識や制約を最小限 に抑えた学習設計ラスタライズ処理やレイトレーシングを一切使用しない レンダリング方式
レンダリングギャラリー
RenderFormerによる多様なシーンのレンダリング事例
照明条件・マテリアル・幾何学的複雑性 の異なるシーンへの対応追加学習・ファインチューニング不要 で高品質画像生成代表的なレンダリング例
Cornell Box
Stanford Bunny in Cornell Box
Lucy Statue
Utah Teapot
Composed Scene
Constant Width Bodies
Crystals
Fox in the Wild
Horse and Heart
Interior Room
Shader Ball
Tree
Veach MIS
動画・アニメーションデモ
オブジェクト回転・照明変化・マテリアル調整 などのダイナミックなデモ動画代表的なシーン
Cornell Box Roughness Adjustment
Bunny Roughness Adjustment
Tree Light Change
Tree Object Rotation
Fancy Scene Rotation
Composed Scene View Change
アニメーションレンダリング の例
Cascade Cube Animation
Animated Crab
Gyroscope Motion
Animated Character
Marching Cubes Animation
Robot Animation
物理ベースシミュレーション対応
複雑な動的シーンや物理シミュレーション も高品質にレンダリング可能代表的な物理シミュレーション例
Bowling Ball Physics Simulation
Rotating Box Dynamics
Constant Width Body Simulation
論文情報
タイトル : RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination著者 : Chong Zeng, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong学会 : ACM SIGGRAPH 2025 Conference Papers発表年 : 2025
参考文献（BibTeX）
@inproceedings {zeng2025renderformer,
title = {RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination},
author = {Chong Zeng and Yue Dong and Pieter Peers and Hongzhi Wu and Xin Tong},
booktitle = {ACM SIGGRAPH 2025 Conference Papers},
year = {2025}
}
提供: ハクソク · 要約更新: 2025年6月1日
AIによる日本語要約です。内容は原文とあわせてご確認ください。
Hacker Newsの議論を読む
すごい。これでGPUでループが閉じたってことだね。レンダリングから計算、またレンダリングへ。