Pollux Logo

Omniverse 구동을 위한 NVIDIA GPU 인프라

1. Omniverse가 요구하는 GPU 구조

Image

Omniverse는 NVIDIA RTX 기술을 기반으로 동작한다.

따라서 GPU에 RT Core와 Tensor Core가 모두 있어야 실시간 렌더링, 센서 시뮬레이션, Path Tracing 등의 기능이 정상적으로 작동한다.

Omniverse 주요 기능 중 RT Core 없이 수행이 불가능하거나 성능이 심각히 저하되는 기능은 다음과 같다.

  • RTX 실시간 렌더링
  • Path Tracing
  • RTX Lidar, RTX Camera
  • USD 기반 대규모 씬 가속
  • GPU PhysX 기반 물리 시뮬레이션
  • Sensor RTX 기반 로봇 환경 시뮬레이션 전반

결론적으로, Omniverse는 RT Core 없는 GPU에서는 성능과 기능 모두 제대로 작동하지 않는다.

2. AI 전용 GPU가 Omniverse에 적합하지 않은 이유

Image

AI 전용 GPU(B300, B200, H100, H200, A100, V100)는 RT Core가 없다.

이로 인해 다음과 같은 문제가 발생한다.

  • Omniverse 렌더링 성능이 극도로 낮아짐
  • RTX 기반 센서 시뮬레이션 불가
  • Path Tracing 불가
  • 실시간 시각화 렌더링이 사실상 불가능
  • Isaac Sim의 그래픽 기반 시각화 불가
  • 대규모 USD 씬 로딩 시 GPU 가속을 거의 활용하지 못함

실행 자체는 되지만, 실무에서는 사용할 수 없는 수준이다.

AI 학습에는 매우 뛰어나지만 디지털트윈, 시뮬레이션 분야에는 적합하지 않다.

3. RTX 기반 GPU가 Omniverse에 최적화된 이유

Image

RTX 계열 GPU(L40S, RTX PRO 6000, RTX 6000 Ada 등)는 RT Core와 Tensor Core를 포함하고 있으며,

다음 기능이 하드웨어 수준에서 가속된다.

  • 실시간 RTX 레이트레이싱
  • RTX 센서 시뮬레이션
  • 대규모 USD 씬 렌더링
  • 딥러닝 기반 노이즈 처리
  • GPU PhysX 기반 물리 시뮬레이션
  • AMR, 휴머노이드 로봇, 로봇팔 등 환경에서의 실시간 반응형 시뮬레이션

결론적으로 Omniverse, Isaac Sim, 디지털트윈, 산업용 시각화, 센서 시뮬레이션 업무는 RTX 계열 GPU를 반드시 요구한다.

4. GPU 제품군 구분 (RT Core 기반 여부)

구분GPU 모델RT CoreOmniverse 가능 여부Isaac Sim (시각화/센서)Isaac Lab (Headless 학습)주요 특징
AI 학습 전용 GPUB300없음불가불가가능Blackwell AI 전용, 초고속 LLM,RL,DL 학습, 270GB HBM3e (B300 Ultra 기준)
B200없음불가불가가능고성능 AI 학습용, 192GB HBM3e
H200없음불가불가가능H100 대비 VRAM 증가(141GB HBM3e), AI 학습 최적
H100없음불가불가가능대규모 AI 학습용, 80GB HBM3
A100없음불가불가가능AI 학습용 대표 모델, 80GB HBM2e
V100없음불가불가가능구세대 AI 가속기, 32GB HBM2
RTX 기반 GPURTX PRO 6000 (Blackwell)있음 (4세대)가능완전 가능가능Omniverse/로봇 시뮬레이션 최적, 96GB GDDR7 ECC, 24,064 CUDA Cores
L40S (Ada)있음 (3세대)가능완전 가능가능데이터센터급 RTX 시뮬레이션/그래픽 최강, 48GB GDDR6
L40 (Ada)있음 (3세대)가능가능가능Omniverse 가능한 워크스테이션/서버용, 48GB GDDR6
RTX 6000 Ada있음 (3세대)가능가능가능엔터프라이즈 워크스테이션용, 48GB GDDR6
A6000있음 (2세대)가능가능가능Ampere 세대 워크스테이션 강자, 48GB GDDR6
A40있음 (2세대)가능가능가능서버용 RTX GPU, 48GB GDDR6
A5000있음 (2세대)가능가능가능중급 RTX 기반 그래픽/시뮬 수행 가능, 24GB GDDR6

5. RTX PRO 6000 (Blackwell Server Edition)

Image

RTX PRO 6000은 NVIDIA의 최신 Blackwell 기반 전문가용 GPU로,

AI, 시뮬레이션, 그래픽, 디지털트윈 워크로드를 모두 처리할 수 있는 범용 고성능 GPU이다.

특히 Omniverse 및 Isaac 시뮬레이션에 필요한 4세대 RT Core + 5세대 Tensor Core를 모두 갖추고 있어 RTX 기반 시뮬레이션에 최적화되어 있다.

주요 특징

  • Blackwell 아키텍처 기반
  • 24,064 CUDA Cores
  • 5세대 Tensor Cores (AI·시뮬레이션 가속)
  • 4세대 RT Cores (실시간 레이트레이싱·RTX 센서 시뮬레이션)
  • 96GB ECC GDDR7 메모리
  • PCIe Gen5 x16
  • 멀티 GPU 구성 및 데이터센터 서버 환경 지원
  • AI + 그래픽 + 시뮬레이션을 모두 처리하는 범용 전문가 GPU

왜 Omniverse/Isaac에 적합한가

  • RT Core 기반의 실시간 RTX 렌더링 및 RTX Lidar/Camera 지원
  • 대규모 USD 씬 렌더링 가속
  • 대용량 VRAM(GDDR7 96GB)으로 복잡한 디지털트윈 환경 처리
  • 로봇 시뮬레이션, AMR 센서 재현, 물리 기반 환경 구성이 빠르게 가능
  • 그래픽/AI/시뮬레이션이 혼합된 복합 워크로드에 최적화

6. 로봇 학습(Isaac Sim & Isaac Lab) 기준 GPU 선택

로봇 관련 NVIDIA 툴의 GPU 요구사항은 “렌더링/센서 포함 여부”에 따라 크게 달라진다.

1) Isaac Sim (시각화 + RTX 센서 + 물리 포함)

Image

필수 조건

  • GPU 가속 PhysX
  • RTX 기반 센서 시뮬레이션 (RTX Lidar, RTX Camera 등)
  • 실시간 렌더링(RTX 기반 비주얼 컴퓨팅)

필수 GPU

  • RTX PRO 6000
  • L40S
  • RTX 6000 Ada
  • A6000/A40

AI 전용 GPU(B200/B300/H100/H200/A100/V100)는

시각화, 센서 시뮬레이션, RTX 기반 렌더링이 불가능하거나 극도로 비효율적이므로 Isaac Sim “시뮬레이션 실행”에는 적합하지 않다.


2) 합성데이터(Synthetic Data) 생성

Image

합성데이터 생성은 카메라 및 LiDAR 등 센서 기반 AI 모델을 학습시키기 위해 현실을 시뮬레이션으로 대체하여 대량의 레이블된 데이터를 자동 생성하는 과정이다.

Image

NVIDIA Isaac Sim은 이 합성데이터 파이프라인 전용 기능을 포함한다.

특징적으로, 합성데이터는 수동 라벨링 없이도 다음 데이터를 자동 생성할 수 있다.

  • RGB 이미지
  • Semantic Segmentation
  • Instance Segmentation
  • Bounding Boxes
  • Depth
  • Point Cloud
  • LiDAR returns
  • 2D/3D Keypoints
  • Occlusion 정보
  • Material/Lighting 변화가 반영된 Multi-view 데이터

합성데이터 생성이 필요한 이유

  • 현실에서 데이터 수집이 어려움(비용·환경 위험·시간 문제)
  • 라벨링 자동화
  • 현실에서는 드물게 발생하는 edge case를 의도적으로 대량 생성 가능
  • 다양한 조명, 재질, 위치 등을 통제된 방식으로 무한 생성 가능
  • 카메라/LiDAR 센서 파이프라인을 실제와 동일하게 모델링 가능

즉, 합성데이터는 로봇 Perception 학습에서 데이터 다양성, 규모, 난이도를 자유롭게 조절할 수 있는 핵심 기술이다.

https://developer.nvidia.com/blog/build-synthetic-data-pipelines-to-train-smarter-robots-with-nvidia-isaac-sim

3) Isaac Lab (Headless 학습 — 렌더링 없음)

Image

Isaac Lab은 강화학습 및 로봇학습을 위해 Headless(비시각화) 실행이 가능하다.

  • RTX 필요 없음
  • RT Core 없어도 됨
  • 센서 시뮬레이션을 끄고, GPU PhysX만 사용하면 됨

따라서 아래 AI 전용 GPU도 Isaac Lab 학습에는 사용 가능하다.

  • B300
  • B200
  • H200
  • H100
  • A100
  • V100
Image

Headless에서는 오직

  • PhysX
  • 병렬 시뮬레이션
  • 정책 학습
  • 모델 업데이트가 중요하기 때문에 AI 가속기 GPU가 더 효율적일 수도 있다.

플랫폼 고려사항: Isaac Lab의 JAX 기반 SKRL 학습은 aarch64 아키텍처(예: DGX Spark)에서 기본적으로 CPU-only로 실행되지만, JAX를 소스에서 빌드하면 GPU 지원이 가능합니다(현재 Isaac Lab에서 검증되지 않음).

7. AI 학습 + Omniverse를 동시에 운영하는 구성 전략

Omniverse 기반의 디지털트윈/센서 시뮬레이션과 대규모 AI 학습은 사용하는 GPU 아키텍처가 서로 다르기 때문에 한 대의 GPU만으로 모든 워크로드를 해결하기는 어렵다.

단, 목적, 규모, 예산에 따라 다음 3가지 구성이 일반적으로 사용된다.


1) 소규모 테스트 및 개발 단계

“단일 RTX GPU 워크스테이션 구성”

RTX 기반 GPU(예: RTX PRO 6000, RTX 6000 Ada)는 다음을 하나의 워크스테이션에서 동시에 수행할 수 있다.

  • Omniverse / Isaac Sim 실행
  • RTX Lidar, RTX Camera 등 센서 시뮬레이션
  • 로봇 행동 시각화
  • 경량 AI 학습 또는 추론 (중, 소형 모델 수준)

특징

  • 테스트, PoC, 초기 개발에 적합
  • 디지털트윈과 AI 모델을 같은 장비에서 확인하기 쉬움
  • 하드웨어 구성 비용이 상대적으로 낮음
  • 렌더링/시각화 기반 워크로드가 중심인 경우 충분함

한계

  • LLM, 대규모 강화학습, 수천 환경 병렬 학습 등의 고부하 AI 학습은 비효율적
  • VRAM 용량이 충분해도 AI 전용 GPU 대비 학습 속도가 크게 떨어짐

이 구성에 적합한 GPU

  • RTX PRO 6000
  • RTX 6000 Ada
  • L40S
  • A6000

결론

Omniverse + 중간 규모 AI 작업까지 가능한 범용 개발 워크스테이션


2) 중~대규모 로봇/RL(AI) 학습 + 시뮬레이션 운영

“RTX GPU + AI GPU 혼합 서버 구성”

이 구조는 실제 연구소, 기업에서 가장 많이 사용된다.

용도 분리

  • RTX GPU → Omniverse / Isaac Sim / 센서 시뮬레이션
  • AI GPU → Isaac Lab 강화학습 / LLM / 딥러닝 학습

장점

  • Omniverse의 RTX 시각화와
  • Isaac Lab의 headless 병렬 학습을

서로 다른 GPU에서 최적 성능으로 실행

  • AI GPU(B100/B200/H100/H200/A100)가 학습 병렬화 속도 극대화
  • RTX GPU는 그래픽/센서/물리 시뮬레이션을 전담하므로 지연이 감소

구성 예시

  • GPU0: RTX PRO 6000 → Omniverse/시뮬레이션
  • GPU1~8: H100 또는 B200 → 강화학습/AI 기반 제어/모델 학습

결론

AI 학습 속도 + Omniverse 그래픽 성능을 모두 보장하는 가장 이상적인 아키텍처


3) 대규모 프로젝트 운영 단계

“서버 이원화(전용 서버 분리)”

완전히 분리하여 운영하는 방식.

  1. Omniverse 전용 서버 (RTX GPU)
  • RTX 기반 센서
  • 대규모 USD 렌더링
  • AMR, 휴머노이드 로봇 등 시각화
  • 실시간 Twin Viewer
  1. AI 학습 전용 서버 (AI GPU)
  • Isaac Lab headless 병렬 학습
  • 정책 학습, PPO/SAC 등
  • LLM, 대규모 perception 모델 학습

장점

  • 작업 간섭 없음 (GPU contention 0%)
  • 확장성 최고
  • 기업 프로젝트/프로덕션 환경에서 안정적
  • 디지털트윈은 Low Latency 유지
  • AI 학습은 최대 병렬성 유지

이 구성은 NVIDIA가 실제 기업·로봇고객에게 권장하는 공식 구조와 동일하다.

결론

대규모 디지털트윈 + 로봇 AI 학습을 운영하는 엔터프라이즈 표준 구성

8. NVIDIA Brev: GPU 구매 전 테스트 및 시뮬레이션 검증을 위한 최적의 선택

NVIDIA Brev(Brev.dev)는 다양한 GPU 서버를 시간 단위로 대여하여 즉시 사용할 수 있는 클라우드 GPU 플랫폼이다.

GPU를 실제로 구매하기 전에, Omniverse/Isaac Sim/Isaac Lab이 어느 GPU에서 가장 잘 돌아가는지 실환경에 가깝게 테스트해야 할 때 매우 유용하다.

Brev는 특히 다음과 같은 케이스에 강점이 있다.

  • RTX 기반 Omniverse가 실제로 잘 구동되는지 미리 검증
  • RTX PRO 6000, RTX 6000 Ada 등 고급 GPU를 구매 전 테스트
  • Isaac Sim/Isaac Lab의 설정을 클라우드에서 바로 실험
  • AI 전용 GPU(H100/A100)를 활용한 강화학습 속도 체험
  • GPU 스케일링/서버 구성 실험
  • 큰 지출 없이 빠르게 GPU 벤치마크 확인

Brev에서 제공되는 대표 GPU (2025 기준)

Image

Brev는 공급자별로 제공되는 GPU가 달라지지만, 일반적으로 다음 GPU를 사용할 수 있다.

RTX 기반 (Omniverse 사용 가능)

  • RTX PRO 6000
  • RTX 6000 Ada
  • RTX A6000
  • L40S
  • L40

AI 학습 전용 (Headless Isaac Lab 및 LLM 학습 가능)

  • A100
  • H100
  • H200(일부 리전)
  • B200/B300(순차 확대 중)

즉, Brev는 “RTX 계열 + AI 계열”을 모두 제공하기 때문에 실제 로컬에서 구축하려는 서버 아키텍처를 클라우드에서 먼저 완전히 동일하게 실험할 수 있다.

이 글 공유하기:

Copyright 2025. POLLUX All rights reserved.