NeRF란 무엇인가요?
신경 방사장(NeRF)은 2차원 이미지의 부분적인 세트에서 복잡한 3차원 장면을 재구성할 수 있는 신경망입니다. 다양한 시뮬레이션, 게임, 미디어 및 사물 인터넷(IoT) 애플리케이션에서 보다 현실적이고 정확한 디지털 상호 작용이 이루어지도록 하기 위해서는 3차원 이미지가 필요합니다. NeRF는 특정 장면의 장면 지오메트리, 물체 및 각도를 학습합니다. 그런 다음 새로운 관점에서 사실적인 3D 뷰를 렌더링하고 자동으로 합성 데이터를 생성하여 허점을 메웁니다.
신경 방사 필드의 사용 사례는 어떤 것들이 있나요?
NeRF는 복잡한 장면을 렌더링하고 다양한 사용 사례에 맞는 이미지를 생성할 수 있습니다.
컴퓨터 그래픽 및 애니메이션
컴퓨터 그래픽에서는 NeRF를 사용하여 사실적인 시각 효과, 시뮬레이션 및 장면을 만들 수 있습니다. NeRF는 실제와 같은 환경, 캐릭터 및 기타 이미지를 캡처하고 렌더링하고 투사합니다. NeRF는 일반적으로 비디오 게임 그래픽과 VX 영상 애니메이션을 개선하는 데 사용됩니다.
의료 이미징
NeRF는 MRI와 같은 2D 스캔을 통해 포괄적인 해부학적 구조를 쉽게 만들어낼 수 있습니다. 이 기술은 신체 조직과 장기의 사실적인 표현을 재구성하여 의사와 의료 기술자에게 유용한 시각적 컨텍스트를 제공할 수 있습니다.
가상 현실
NeRF는 가상 현실 및 증강 현실 시뮬레이션에 필수적인 기술입니다. 3D 장면을 정확하게 모델링할 수 있으므로, 사실적인 가상 환경을 만들고 탐색하는 데 도움이 됩니다. NeRF는 보는 방향에 따라 새로운 시각 정보를 표시하고, 실제 공간에 가상 물체를 렌더링할 수도 있습니다.
위성 이미지 및 계획
위성 이미지는 NeRF가 지구 표면의 포괄적인 모델을 생성하는 데 사용할 수 있는 다양한 이미지를 제공합니다. 공간 위치 데이터를 매우 상세한 3D 모델로 변환할 수 있으므로, 실제 환경을 디지털화해야 하는 리얼리티 캡처(RC) 사용 사례에 유용합니다. 예를 들어 항공 이미지를 풍경 렌더링으로 재구성하는 것은 해당 지역의 실제 레이아웃에 대한 유용한 참조 정보를 제공하기 때문에, 도시 계획에서 일반적으로 사용됩니다.
다음 이미지는 3D 건물 모델의 예를 보여줍니다.
신경 복사 필드는 어떻게 작동하나요?
다양한 디지털 그래픽 기법을 통해 만든 컴퓨터 렌더링 3D 이미지에는 품질과 사실성을 결정하는 몇 가지 고유한 속성이 있습니다. 예:
- 장면에 등장하는 3D 모델의 위치, 방향 및 스케일과 같은 기하학적 측면
- 그림자, 밝기, 색상 및 반사와 같은 조명 측면
- 빛이 유리나 안개와 같은 재료를 통과하는 방식을 보여주는 투명도 및 반투명도
- 부피 및 밀도(예: 연기 또는 구름의 밀도)
- 천, 나무 또는 금속과 같은 재질을 시뮬레이션하는 텍스처
색상 선택과 색상 분포도 이미지의 시각적 효과에 중요한 역할을 합니다. 음영은 다양한 표면 영역의 조명 방식을 결정하여 깊이감과 형태감을 연출합니다.
NeRF는 컴퓨터 그래픽 기술을 신경망 아키텍처와 결합하여 앞서 설명한 모든 측면을 처리합니다.
다음 이미지는 컴퓨터로 렌더링된 3D 이미지의 예입니다.
신경 복사 필드의 아키텍처
NeRF는 완전히 연결된 신경망 아키텍처인 다층 퍼셉트론(MLP)이라는 신경망 측면을 사용하여 3D 장면을 표현합니다. MLP는 신경망과 딥 러닝의 파운데이션 모델로, 공간 좌표와 시야 방향을 색상 및 밀도 값에 매핑하도록 훈련됩니다. MLP는 3D 공간에서의 위치 또는 2D 시야 방향과 같은 입력을 구성하는 일련의 수학적 구조를 사용하여, 3D 이미지에서 각 지점의 색상 및 밀도 값을 결정합니다.
또한 이 신경망은 장면에 등장하는 광선의 밝기와 색상을 변경하는 방법을 학습합니다. 래디언스 모델링이라고 하는 이러한 광선에 대한 이해도를 높이면 다양한 시각에서 다양한 색상과 밀도를 표시할 수 있습니다.
신경 복사 필드의 유형
초기 버전의 NeRF는 최적화하기 어렵고 속도가 느렸으며, 동일한 카메라 광선을 사용하여 조명을 매칭하려면 사진을 통한 입력이 필요했습니다. 그 이후로 초기 기술에서 개선된 몇 가지 변형 기술이 탄생했습니다.
PixelNeRF
가장 초기에 새로 등장한 NeRF 중 하나는 PixelNeRF(CPVR 2021)였습니다. 이 배포판에서는 단일 이미지 입력에 대해 조건을 지정할 수 있는 완전 컨벌루션 아키텍처가 도입되었습니다. 이 방식을 사용하면 보정되고 정리된 여러 뷰가 필요하지 않으므로, 필요한 총 계산 리소스가 줄어듭니다. 이 새로운 방식은 NeRF를 생성하고 최적화하는 프로세스를 간소화했습니다.
Mega-NeRD
Mega-NeRD(CVPR 2022)는 대규모 장면을 작업할 때 특히 유용한 또 다른 NeRF 프레임워크로, 다양한 조명 조건의 이미지를 처리할 수 있는 대체 기하학적 클러스터링 알고리즘과 희소 네트워크 구조를 제공합니다. 이 최적화된 NeRF는 희소 신경 복사 그리드(SNeRG)를 사용하여 실제 환경을 효과적으로 캡처하고 렌더링합니다.
NSVF
신경 희소 복셀 필드(NSVF)는 렌더링 단계에서 빈 픽셀을 건너뛰어 렌더링 속도를 높일 수 있는 NeRF입니다. 이 기법은 네트워크 셀의 픽셀 구조를 학습하여 특정 뷰포인트 없이도 고품질 이미지를 생성할 수 있습니다.
플레옵틱 복셀
혁신적인 플레옵틱 복셀(2021) 기술에서는 다층 퍼셉트론 신경망을 사용하는 대신, 희소 3D 그리드를 사용합니다. 이 그리드를 사용하면 복셀 보간을 통해 시각적 충실도를 유지하면서 새 시뮬레이션의 렌더링 속도를 높일 수 있습니다.
신경 복사 필드는 이미지를 어떻게 렌더링하나요?
뉴럴 렌더링은 NeRF의 이미지 생성 프로세스를 가리키는 용어입니다. NeRF는 다양한 기법을 사용하여 원시 데이터를 상세한 3D 표현으로 변환합니다.
그래픽 렌더링
NeRF 모델은 컴퓨터 그래픽 분야의 렌더링 기법을 사용하여 장면을 기하학적으로 투영하고 조작할 수 있습니다. 예:
- 레이 캐스팅은 사용자의 관점을 시뮬레이션하여 물체의 가시성을 계산하는 기법입니다.
- 레이 트레이싱은 반사, 굴절, 그림자를 포함한 빛의 물리적 동작을 시뮬레이션하여 이 개념을 확장하는 기법입니다.
- 래스터화는 3D 벡터 정보를 2D 화면의 픽셀로 변환하고 다양한 알고리즘을 사용하여 조명 및 텍스처 효과를 효율적으로 시뮬레이션하는 기법입니다.
볼륨 렌더링
볼륨 렌더링은 또 다른 필수 전략입니다. 알고리즘은 3D 공간 또는 이미지의 각 픽셀별로 빨간색, 녹색, 파란색 및 알파(볼륨 밀도) 값을 결정합니다. 이 수치는 2D 이미지의 해당 위치에 매핑됩니다.
또 다른 기법으로는 볼륨 렌더링과 반대로 작동하는 뷰 합성이 있습니다. 이 기법은 일련의 2D 이미지로 3D 뷰를 구성합니다. 뷰 합성은 다양한 각도에서 촬영한 다양한 이미지를 사용하여 물체를 표현하는 반구형 레이아웃을 만듭니다. 이 프로세스는 각 2D 이미지를 객체 주위의 해당 위치에 맞추어 3D로 재구성합니다.
AWS는 신경 방사장 요구 사항을 어떻게 지원하나요?
Amazon Web Services(AWS)는 NeRF 요구 사항을 지원하는 두 가지 서비스를 제공합니다.
AWS RoboMaker는 인프라를 관리하지 않고도 시뮬레이션을 실행, 크기 조정 및 자동화할 수 있는 클라우드 기반 시뮬레이션 서비스입니다. AWS RoboMaker는 시뮬레이션 월드와 다양한 3D 자산을 제공하여 시뮬레이션 환경을 더 빠르고 저렴하게 구축할 수 있게 합니다. 이러한 시뮬레이션 자산을 사용하여 요구되는 충실도 수준에 맞는 시뮬레이션 환경을 구축할 수 있습니다. AWS RoboMaker WorldForge를 사용하면 몇 분 만에 수백 개의 다양한 사용자 정의 3D 실내 주거 시뮬레이션 월드를 생성할 수 있습니다.
AWS IoT TwinMaker는 건물, 공장, 산업용 장비 및 생산 라인과 같은 실제 시스템의 디지털 트윈을 생성하는 서비스입니다. 여러 소스의 기존 데이터를 사용하고, 모든 물리적 환경을 가상으로 표현하며, 기존 3D 모델을 실제 데이터와 결합하는 기능을 제공합니다. AWS IoT TwinMaker를 사용하면 디지털 트윈을 활용하여 전반적인 운영 상태를 보여주는 뷰를 더 쉽고 빠르게 생성할 수 있습니다.
지금 계정을 만들어 AWS에서 신경 방사장을 시작하세요.
