EGGS: Exchangeable 2D/3D Gaussian Splatting for Geometry-Appearance Balanced Novel View Synthesis

class: center, middle, inverse, title-slide

.title[
# EGGS: Exchangeable 2D/3D Gaussian Splatting for Geometry-Appearance Balanced Novel View Synthesis
]
.subtitle[
## 2025 NeurIPS Spotlight Poster
]
.author[
### <p>Yancheng Zhang , Guangyu Sun , and Chen Chen
Institute of Artificial Intelligence, University of Central Florida</p>
]
.date[
### 2025.12.12
]

---

.contents-list {
  font-size: 30px;
  font-family: 'Trebuchet MS', sans-serif;
  line-height: 1.5;
}

.main-text {
  font-size: 30px;
  font-family: 'Trebuchet MS', sans-serif;
  line-height: 1.5;
}

.remark-slide-content ul {
  font-size: 20px;
}

.remark-slide-content ul ul {
  font-size: 18px;
}

.remark-slide-content ul ul ul {
  font-size: 15px;
}

.remark-slide-number {
  font-size: 16px;
  bottom: 40px;
  right: 10px;
}

.remark-slide-content:not(.title-slide)::before {
  content: "";
  position: absolute;
  bottom: 8px;
  right: 10px;
  width: 80px;
  height: 30px;
  background: url('fig/lab_logo.jpg') no-repeat center;
  background-size: contain;
}

.bottom-center-img {
  position: absolute;
  bottom: 60px;
  left: 50%;
  transform: translateX(-50%);
  max-width: 80%;
}

.bottom-right-img {
  position: absolute;
  bottom: 60px;
  right: 20px;
  max-width: 40%;
}

.pull-left, .pull-right {
  width: 48%;
}

.pull-left {
  margin-top: 30px;
}

.pull-left img, .pull-right img {
  display: block;
  width: 100%;
}

.caption-left {
  position: absolute;
  bottom: 50px;
  left: 25%;
  transform: translateX(-50%);
  font-size: 16px;
  font-style: italic;
}

.caption-right {
  position: absolute;
  bottom: 50px;
  right: 25%;
  transform: translateX(50%);
  font-size: 16px;
  font-style: italic;
}

/* .title-slide::after {
  content: "Computer Vision and Robotics Laboratory, Minsu Kim";
  position: absolute;
  bottom: 30px;
  left: 50%;
  transform: translateX(-50%);
  font-size: 22px;
  color: #ffffff;
  font-weight: bold;
} */
</style>

# Contents

.contents-list[
1. Introduction
2. Method
3. Experiments
4. Conclusion
]

---

# Introduction

- Photo-realistic한 NVS(Novel View Synthesis)를 위해 NeRF, 3DGS 등 다양한 방법들이 제안
- NeRF는 느렸고, 3DGS는 빨랐으나, 정밀한 3D geometry 표현하는 데 어려움
    - 3D Gaussian은 anisotropic한데, 이는 view에 따라 모양이 달라져서 정확한 기하학적 표현이 어려움
- 그래서 Surfel을 사용하는 2DGS가 제안되었으나, 디테일 표현이 부족
    - 2D surfel의 특성을 이용해 ray-splat-intersection으로 view가 달라져도 정확한 geometry를 표현하였지만, high-frequency한 디테일 표현이 부족

---

# Introduction

- 기존에 이런 문제들 해결하기 위해 다양한 방법들이 제안(regularization, 2D surfel, hybrid)되었으나, 여전히 한계 존재
    - Regularization을 사용해도, 결국 3D gaussian이기에 표면은 울퉁불퉁하고, 2D에 depth를 정확히 표현해 surface를 정밀히 표현해도,
      high-frequency한 디테일 표현이 부족
    - 움직여서 사라지는 물체(transient object는 2D disc로)처리를 위한 방법, 또는 수직방향으로의 고도가 급격히 변하는 것을 대응하기 위한 방식들도 제안되었으나,
      상황에 따라 2D, 3D를 각각 생성하도록 함

.center[
<img src="fig/fig.2.png" width="100%"/>
]
---
# Introduction
  - 따라서, 본 논문에서는 2D와 3D Gaussian Splatting의 장점을 모두 활용하는 EGGS(Exchangeable 2D/3D Gaussian Splatting) 제안
    - 2가지의 rasterizer를 통합하여 하나의 프레임워크에서 2D/3D Gaussian을 모두 활용
    - Gaussian의 형태(2D/3D)를 자동으로 선택하는 모듈 도입
    - DWT(Discrete Wavelet Transform) 기반의 loss로 geometry와 high-frequency 디테일 표현
    <img src="fig/fig.3.png" class="bottom-center-img"/>
---

# Method
### Hybrid Rasterization
 - 2가지 방식(2D/3D Gaussian Splatting)의 장점, 단점임 명확하였음. 
 - 각 방식의 장점만을 결합해야 하는데, rasterizer가 달라서 단순 결합이 어려움
      - 따라서, 두 rasterizer를 통합하는 hybrid rasterization 제안

- 우선, Gaussian Primitives 정의
  - Center: `$\boldsymbol{\mu} \in \mathbb{R}^3$` ; Scale: `$\mathbf{s} \in \mathbb{R}^3$`; Rotation: `$\mathbf{r} \in \mathbb{R}^4$` ;Opacity: `$\alpha \in \mathbb{R}$`
  - Spherical harmonic (SH) color coefficients: `$\mathbf{f} \in \mathbb{R}^{3 \times (l+1)^2}$` (where `$l$` is the degree) ; View-dependent RGB color: `$\mathbf{c}$` is decoded from `$\mathbf{f}$`

- Covariance matrix:
`$$\boldsymbol{\Sigma} = \mathbf{R}\mathbf{S}\mathbf{S}^T\mathbf{R}^T$$`

where `$\mathbf{R} \in \mathbb{R}^{3 \times 3}$` is the rotation matrix from `$\mathbf{r}$`, and `$\mathbf{S} = \text{diag}(s_x, s_y, s_z) \in \mathbb{R}^{3 \times 3}$`

Type specifier: `$t \in \{0, 1\}$` indicates 2D (`$t=0$`, `$s_z = 0$`) or 3D (`$t=1$`) Gaussian

---
# Method

- 각 frame에 rendering되는 Gaussian을, `$d_i$`라는 하나의 거리값으로 통일하여 2D/3D를 각각 tangent frame, image frame에 rasterization
  - 여기서 `$x_p$`는 픽셀의 한 좌표
      `$$d_i = \begin{cases} u_i(x_p)^2 + v_i(x_p)^2 & \text{if } t_i = 0 \text{ (2D일 때)} \\ (x_p - \mu'_{3d,i})^T \Sigma'^{-1}_i (x_p - \mu'_{3d,i}) & \text{otherwise (3D일 때)} \end{cases}$$`
  - 원의 방정식 같지만, 사실은 ray-splat intersection식 내부에 scale로 나눠지기 때문에 타원
  - 이 값이 결국 opacity를 결정(`$s_z$`의 크기에 따라 달라짐)

`$\tilde{\alpha}_i = \alpha_i \exp(-\frac{d_i}{2})$`
  - 이후 한꺼번에 Alpha blending 
      - sorting은 기존 방식대로(tile based)

`$C(x_p) = \sum_{i \in \mathcal{N}} c_i \tilde{\alpha}_i \prod_{j=1}^{i-1} (1 - \tilde{\alpha}_j)$`

---
# Method
### Adaptive Type Exchange  
- Initialization은 3D Gaussian Splatting과 동일하고, `$t$` (type specifier)는 랜덤하게 초기화
- 여기서, 기존에 scene을 잘 표현하고 있다면 initialization 된 대로, 아니라면 type 을 2D ↔ 3D로 바꾸는 것이 필요
- 이를 Adaptive Type Exchange로 해결할 수 있음
   - Surface는 2D Gaussian이, high-frequency한 디테일 표현은 3D Gaussian이 더 적합
- Effective Rank는 Shannon entropy로 정의

`$$\text{erank}(\mathcal{G}) = \exp\left(-\sum_{i=0}^{2} \frac{q_i}{\|\mathbf{q}\|_1} \log \frac{q_i}{\|\mathbf{q}\|_1}\right), \quad \text{where } \mathbf{q} = (s_x^2, s_y^2, s_z^2)$$`

.pull-left[
`$$s = (10, 10, 10) \text{, }\mathbf{q} = (s_x^2, s_y^2, s_z^2) = (100, 100, 100)$$`

`$$\|\mathbf{q}\|_1 = 300 \text{,   } p_i = \frac{q_i}{\|\mathbf{q}\|_1} = \frac{1}{3}$$`
]

.pull-right[

`$$\mathbf{E} = -\sum_{i=0}^{2} \frac{q_i}{\|\mathbf{q}\|_1} \ln \frac{q_i}{\|\mathbf{q}\|_1} = -3 \times \left(\frac{1}{3} \ln \frac{1}{3}\right) = -\ln\left(\frac{1}{3}\right)$$`

`$$\therefore \text{erank}(\mathcal{G}) = \exp(\mathbf{E}) = e^{\ln 3} = 3$$`
]
---
# Method
.pull-left[
- Reparameterization(3D to 2D)
  - Covariance는 Permutation 해도 똑같아야 함(제일 작은 축이 z축이 되도록)
    `$$\Sigma = \Sigma^*$$`
  
    `$$\Sigma = R S S^T R^T$$`
    `$$\Sigma = R \cdot \underbrace{(P^T P)}_{I} \cdot S \cdot \underbrace{(P^T P)}_{I} \cdot S^T \cdot \underbrace{(P^T P)}_{I} \cdot R^T$$`
    `$$\Sigma = \underbrace{(R P^T)}_{R^*} \cdot \underbrace{(P S P^T)}_{S^*} \cdot \underbrace{(P S^T P^T)}_{(S^*)^T} \cdot \underbrace{(P R^T)}_{(R^*)^T}$$`
    `$$S^* = P S P^T$$`
    `$$\Sigma^* = R S S^T R^T$$`

]

.pull-right[
`$$s = (10, 4, 2), \quad \mathbf{q} = (100, 16, 4) \quad \therefore \|\mathbf{q}\|_1 = 120$$`

$$p_x = \frac{100}{120} \approx 0.83,\quad p_y = \frac{16}{120} \approx 0.13, $$
`$$p_z = \frac{4}{120} \approx 0.03$$`
`$$H = -(0.833 \ln 0.833 + 0.133 \ln 0.133 + 0.033 \ln 0.033)$$`
`$$H \approx -(-0.152 - 0.268 - 0.113) \approx 0.534$$`

`$$\text{erank} = e^{0.534} \approx \mathbf{1.71}$$`

**판정**: `$1.71 < \theta_e (=2.05)$` → 2D로 변환(`$s_z = 0$`)
]

---
# Method
.pull-left[
- Scale Modulation(2D to 3D)
    - 2D Gassian은 `$s_z=0$`
    - 이렇게 되면, z값은 아무리 미분해도 0이라 학습이 안 됨
    - 근데, 2D로 initialization된 gaussian이 3D가 되어야하는 경우가 있다면...?(예: 연기, 투명한 물체)
    - 
    - 강제로 scale을 작게라도 넣어줘서 학습이 가능하도록 유도
    - 앞서 위치계산할 땐 0으로 썼지만, 학습할 땐 `$s_z$`를 그대로 씀(여기선 `$\theta_z = 1.05 , \quad T_z = 0.1, \quad \lambda_z = 0.5$`)
      `$$s_z^* = \text{sigmoid}\left(\frac{s_z - \theta_z}{T_z}\right) s_z$$`
      `$$\alpha_i^* = \alpha_i \cdot \exp(-\lambda_z \times s_z^*)$$`

]

.pull-right[
- **Case A**: `$s_z = 1.04$` (기준보다 작음)
  - `$\frac{1.04 - 1.05}{0.001} = -10$`
  - `$\text{sigmoid}(-10) \approx 0.000045 \rightarrow s_z^* \approx 0$`
  - 투명도에 영향 없음 (2D 유지)

- **Case B**: `$s_z = 1.06$` (기준보다 큼)
  - `$\frac{1.06 - 1.05}{0.001} = +10$`
  - `$\text{sigmoid}(+10) \approx 0.99995 \rightarrow s_z^* \approx s_z$`
  - `$\alpha^*$`가 감소하여 **점점 투명해짐 (3D로 전환 시작)**
  - 이 과정들은 매 500iter마다 수행(너무 자주하면 scene이 불안정해짐)
]

---
# Method
### 정리해보면...
- Initialization: 3D Gaussian Splatting과 동일하게 초기화, `$t$`는 랜덤
- 매 500iter마다 Adaptive Type Exchange 수행
  - Effective Rank로 2D/3D 판정
  - Reparameterization으로 축 교환
  - Scale Modulation으로 2D→3D 전환 시 학습 가능하도록 유도
  - 즉, 기존의 3DGS와 2DGS의 장점은 그대로 유지하면서, 단점을 상황에 따라 보완하도록 함
  - 벽, 바닥 등 평면에 생성된 3D Gaussian은 2D로 바꾸고, 연기, 투명한 물체 등은 3D Gaussian으로 유지하여 디테일 표현 가능
      - 2D인 경우에도 3D로 바뀌면서 잔디, 나뭇잎 등 디테일 표현 가능
  - 따라서, geometry와 appearance의 균형 잡힌 표현 가능
  - 마지막 loss..

---
# Method
### Frequency-Decoupled Optimization
 - 앞서 언급했듯이, 2D gaussian은 Geometry를, 3D gaussian은 high-frequency appearance를 표현하는 데 유리
 - 저주파 성분(Geometry)는 학습의 초반부에, 고주파 성분(appearance)은 후반부에 학습되는 경향
 - 학습이 끝나고 나면, 2D gaussian이 고주파 성분을 표현하려고 하고, 3D gaussian이 저주파 성분을 표현하려 하기도 함
 - 이를 방지하기 위해, DWT(Discrete Wavelet Transform) 기반의 loss 제안
 - 고주파, 저주파 성분으로 나누어 각각 다른 weight로 loss 계산
 - Rendered image와 GT image에 각각 DWT를 적용

.pull-left[
   `$\mathcal{I}_l, \mathcal{I}_h = \text{DWT}(\mathcal{I}) , \quad \hat{\mathcal{I}}_l, \hat{\mathcal{I}}_h = \text{DWT}(\hat{\mathcal{I}})$`

`$\mathcal{L}_i = \|\hat{\mathcal{I}}_i - \mathcal{I}_i\|_2^2 \quad \text{for } i \in \{\text{low}, \text{high}\}$`

`$\mathcal{L}_{\text{color}} = (1 - \lambda)\mathcal{L}_1 + \lambda \mathcal{L}_{\text{D-SSIM}}$`

`$\mathcal{L} = \mathcal{L}_{\text{color}} + \lambda_{\text{low}}\mathcal{L}_{\text{low}} + \lambda_{\text{high}}\mathcal{L}_{\text{high}}$`
]

<div style="position: absolute; right: 20px; top: 370px; width: 40%;">
  <img src="fig/fig.6.jpeg" width="90%"/>
</div>
---
# Method
 - 이렇게 이상적이면 좋겠지만, 각각의 gradient가 서로 충돌(내적했을 때 음수)하는 경우 발생
 - Pseudo code를 보면, 2D/3D 상관없이 모든 Gaussian과, 각각의 loss가 있을 때, 각각의 gradient가 서로 충돌하는지 확인
 - Projection해서 충돌성분 제거;법선벡터 방향이면, 서로 아예 간섭이 없다는 뜻
    -즉, if문으로 인해 2D만 업데이트하는게 아니라, 방해받지 않는 filter를 만들어 상반되는 frequency도 함께 학습하도록  
<div style="position: absolute; left: 10px; top: 400px; width: 50%;">
  <img src="fig/fig.7.jpeg" width="90%"/>
</div>
<div style="position: absolute; right: 10px; top: 300px; width: 50%;">
  <img src="fig/algo.1.jpeg" width="70%"/>
</div>

---
# Experiments
### Qualitative Results

.center[
<img src="fig/fig.8.jpeg" width="70%"/>
]

---
# Experiments
### Quantitative Results

.center[
<img src="fig/tab.1.jpeg" width="80%"/>
]

.center[
<img src="fig/tab3_4.jpeg" width="80%"/>
]

---
# Experiments
### Geometry Evaluation

.center[
<img src="fig/champer_d.jpeg" width="80%"/>
]

---

# Conclusion

1. **Hybrid Rasterization**: 2D/3D Gaussian Splatting을 하나의 프레임워크로 통합
   - 통일된 `$d_i$`로 두 방식을 결합

2. **Adaptive Type Exchange**: Gaussian의 형태를 자동으로 전환
   - Effective Rank 기반 판정으로 2D ↔ 3D 바꿔가벼 type change
   - Reparameterization으로 형태 보존하며 축 교환
   - Scale Modulation으로 2D→3D 전환 시 추가 학습 가능성 확보

3. **Frequency-Decoupled Optimization**: DWT 기반 loss로 주파수별 최적화
   - 저주파(geometry)와 고주파(appearance)를 분리하여 학습
   - 2D Gaussian은 geometry, 3D Gaussian은 디테일 표현에 집중

---
# Conclusion

- Hybrid 방식은 좋은 아이디어 같음👍
- 다만, 기하급수적으로 늘어나는 Gaussian 수에 대한 처리는 어쩌지
- 2D, 3D로 나누었다 하더라도, Gaussian이 needle처럼 얇아지면 결국 3DGS와 비슷한 문제가 발생하지 않을까?
- Geometry도 문제지만, Gaussian 자체부터 관리를 잘 해야함!
- SLAM에 활용한다면, surfel을 사용하는 녀석들과 결합하기 좋을 듯!