清华、上海交大等谈判东谈主员提倡首个可渲染 HDR 场景的 3DGS：速率进步 1000 倍，终结还全面碾压
谈判东谈主员提倡首个不错渲染高动态范围（High Dynamic Range, HDR）天然光的 3DGaussian Splatting 模子 HDR-GS，以用于新视角合成（Novel View Synthesis, NVS）。
该手脚不错确认用户输入的曝光技术来篡改渲染场景的光照强度，同期还不错平直渲染高动态范围场景。比刻下最佳的算法 HDR-NeRF 速率上要快 1000 倍。
常见的 RGB 图像多数为低动态范围（Low Dynamic Range, LDR），亮度的取值范围在 [0,255] 之间。
可是东谈主眼对亮度的感知范围要比 RGB 图像弥远得多，一般为 [0,+∞]，导致 LDR 图像很难反应信得过场景的亮度范围，使得一些较暗或者较亮的区域的细节难以被捕捉，高动态范围（High Dynamic Range，HDR）图像应时而生，具有更广的亮度范围。
新视角合成（Novel View Synthesis，NVS）任务是在给定「一个场景的几张不同视角图像，何况相机位置已知」的情况下，合成其他新视角的场景图像。
同比于 LDR NVS，HDR NVS 能更好地拟合东谈主类视觉，拿获更多的场景细节，渲染更高质地、视觉终结更好的图片，在自动驾驶、图像剪辑、数字东谈主等方面有着相配夙昔的左右。
刻下主流的 HDR NVS 设檀越要基于神经辐照场（Neural Radiance Fields, NeRF），可是，NeRF 的 ray tracing 加 volume rendering 机制皆相配耗时，时常需要相配密集地收罗射线，然后在每一条射线上收罗多个 3D 点，对每一个 3D 点过一遍 MLP 来计较体密度和表情，严重拖慢了测验技术和推理速率。刻下最佳的 NeRF 算法 HDR-NeRF 需要浪掷 9 小时来测验一个场景，8.2 秒来渲染一张尺寸为 400x400 的图像。
为了贬责上述问题，清华大学、上海交通大学、香港科技大学、约翰霍普金斯大学的谈判东谈主员提倡了首个基于 3DGS 的手脚 HDR-GS，用于三维 HDR 成像；打算了一种有着双动态范围的三维高斯点云模子，同期搭配两条平行的光栅化处理管线以用于渲染 HDR 图像和光照强度可控的 LDR 图像。
论文连合：https://arxiv.org/ abs / 2405.15125
代码连合：https://github.com/ caiyuanhao1998 / HDR-GSgithub.com/ caiyuanhao1998 / HDR-GS
Youtube 视频教化：https://www.youtube.com/ watch?v=wtU7Kcwe7ck
谈判东谈主员还再行校正了一个 HDR 多视角图像数据集，计较赢得的相机参数和开动化点云大要救助 3DGS 类算法的谈判。HDR-GS 算法在特等刻下最佳手脚 1.91 dB PSNR 的同期仅使用 6.3% 的测验技术并罢了了 1000 倍的渲染速率。
图 1 HDR-GS 与 HDR-NeRF 各项性能对比图一大波演示如下：
对比近期出现的 3D Gaussian Splatting（3DGS），天然能在保证图像质地的同期也大幅进步了测验和渲染速率，但却很难平直左右到 HDR NVS 上，仍然存在三个主要问题：
1. 渲染的图片的动态范围依旧是 [0,255]，仍旧属于 LDR；
2. 平直使用不同光照的图片来测验 3DGS 容易导致模子不敛迹，因为 3DGS 的球谐函数（Spherical Harmonics，SH）无法相宜光照的变化，时常会导致伪影、无极、表情畸变等问题；
3. 老例的 3DGS 无法篡改渲染场景的亮度，极大截至了左右场景，尤其是在 AR / VR、电影、游戏等范畴，常常需要篡改光照条目来反应东谈主物的神气与环境氛围。
图 2 老例 3DGS 对比 HDR-GS手脚架构
图 3 HDR-GS 的举座算法历程谈判东谈主员率先使用 Structure-from-Motion（SfM 算法来再行校正场景的相机参数并开动化高斯点云，然后将数据喂入到双动态范围（Dual Dynamic Range，DDR）的高斯点云模子来同期拟合 HDR 和 LDR 表情，使用 SH 来平直拟合 HDR 表情。
再使用三个寂然的 MLP 来折柳对 RGB 三通谈作念 tone-mapping 操作，确认用户输入的曝光技术将 HDR 表情转为 LDR 表情，然后将 3D 点的 LDR 和 HDR 表情喂入到平行光栅化（Parallel Differentiable Rasterization, PDR）处理管线来渲染出 HDR 和 LDR 图像。
履行终结
定量终结
表 1 合成履行对比终结
表 2 信得过履行对比终结合成履行和信得过履行的定量对比终结折柳如表 1 和表 2 所示，HDR-GS 在性能上显耀特等之前手脚的同期，测验和推理也折柳达到了 16 倍速和 1000 倍速。
视觉终结
图 4 合成场景的 LDR NVS 视觉对比
图 5 信得过场景的 LDR NVS 视觉对比
图 6 HDR NVS 视觉对比LDR NVS 的视觉对比终结如图 4 和图 5 所示，HDR NVS 的视觉对比终结如图 6 所示。HDR-GS 大要渲染出更丰富更明晰的图像细节，更好地拿获 HDR 场景并能天真地篡改 LDR 场景的光照强度。
参考贵寓：
https://arxiv.org/abs/2405.15125
告白声明：文内含有的对外跳转连合（包括不限于超连合、二维码、口令等格局），用于传递更多信息，从简甄选技术，终结仅供参考，IT之家扫数著作均包含本声明。
声明：新浪网独家稿件，未经授权谢却转载。 -->上一篇：雷军：小米YU7正进行大边界路测 下一篇：这几天，欧洲的电价飞天了
