머신러닝 및 실시간 렌더링

이전 절에서는 언리얼 엔진 AI 시스템, 특히 행동 트리를 깊게 다뤘습니다.

이번에는 게임 개발의 최전선 주제인 머신러닝(Machine Learning, ML)과 실시간 렌더링(Real-time Rendering)의 최신 동향, 그리고 언리얼 엔진 활용 방안을 살펴봅니다.

두 분야는 게임 지능과 시각 품질을 크게 끌어올릴 잠재력을 가지고 있습니다.

게임 개발과 머신러닝

머신러닝은 데이터로부터 학습하고 패턴을 인식하여 예측 또는 의사 결정을 수행하는 기술입니다.

게임 개발에서는 NPC 행동 제어뿐 아니라 콘텐츠 생성, 테스팅, 최적화 같은 분야에도 적용할 수 있습니다.

게임 AI (강화 학습)

강화 학습(Reinforcement Learning, RL): AI 에이전트가 특정 환경에서 시행착오를 통해 최적의 행동 정책을 학습하는 머신러닝 분야입니다. 게임에서는 NPC가 복잡한 전략을 스스로 학습하거나, 플레이어의 행동에 더욱 자연스럽게 반응하도록 훈련시키는 데 사용됩니다.
- Learning Agents: UE의 Learning Agents는 강화 학습과 모방 학습을 위한 플러그인입니다. 5.8 공식 문서에서는 Experimental로 분류됩니다. 일반적인 Reinforcement Learning이라는 플러그인 이름이나 임의의 학습 프레임워크와 자동 연동된다고 가정하지 말고 사용하는 버전의 학습 환경·의존성을 확인합니다.
- 활용 예시
  - 적 AI 행동: 플레이어의 패턴을 학습하여 더욱 도전적인 적을 만듭니다.
  - NPC 대화/반응: 플레이어의 선택에 따라 유동적으로 변하는 대화 시스템을 구축합니다.
  - 자율 주행/비행: 게임 내 탈것의 자율 주행 능력을 학습시킵니다.
행동 트리의 한계 보완: 행동 트리가 규칙 기반으로 명확한 행동을 정의하는 데 뛰어나다면, 강화 학습은 예측 불가능하고 유동적인 상황에 대한 AI의 적응력을 높일 수 있습니다. 두 기술을 조합하여 AI를 설계하는 하이브리드 접근 방식도 많이 사용됩니다.

절차적 콘텐츠 생성과 ML의 구분

GAN (Generative Adversarial Networks): 새로운 이미지, 텍스처, 3D 모델 등을 생성하는 데 사용될 수 있습니다. (예: 스타일 전이, 텍스처 생성, 환경 에셋 변형)
PCG 프레임워크: 언리얼 엔진 5.2에서 실험적으로 소개된 PCG 프레임워크는 프로시저럴 콘텐츠 생성을 위한 강력한 시각적 도구를 제공합니다. PCG 자체가 머신러닝은 아닙니다. 규칙 기반 그래프만으로 배치할 수 있으며 ML 모델을 결합한다면 별도의 입력·추론·검증 경로를 구현해야 합니다.
- 활용 예시
  - 지형, 식생, 오브젝트의 자동 배치 및 변형.
  - 건물, 던전 등의 구조 자동 생성.
  - NPC 얼굴, 의상 등 캐릭터 요소의 무작위 생성.

게임 테스팅 및 최적화

자동화된 QA: ML 에이전트가 게임을 자동으로 플레이하며 버그를 탐지하거나, 특정 시나리오를 반복적으로 테스트하여 안정성을 검증할 수 있습니다.
성능 최적화: ML 모델을 사용하여 게임 내 병목 현상을 예측하거나, 실시간으로 그래픽 설정을 조절하여 최적의 성능을 끌어내는 동적 스케일링 시스템을 구현할 수 있습니다.
밸런싱: ML이 게임 데이터를 분석하여 게임 밸런스 문제를 식별하고, 최적의 밸런스 값을 제안할 수 있습니다.

언리얼 엔진과 ML 통합

Python 스크립팅: Python Editor Script는 에디터 자동화를 위한 경로이며 패키지 게임에서 일반 Python 게임플레이를 실행하는 경로가 아닙니다. 외부 학습 환경이나 지원되는 플러그인의 패키지를 별도로 맞춥니다.
ONNX (Open Neural Network Exchange): ONNX는 모델 교환 형식입니다. 선택한 런타임이 연산자·opset·텐서 형식·대상 플랫폼을 지원해야 추론할 수 있습니다. 내보내기에 성공한 것과 게임에서 동작하는 것은 별개입니다.
NNE (Neural Network Engine): 현재 공통 추론 API를 제공하는 경로입니다. 5.8 문서에서는 Beta로 분류되며, 모델과 CPU/GPU 런타임 지원·데이터 전송·추론 지연을 확인합니다. 구형 NNI 설명을 현재 API로 그대로 사용하지 않습니다.

실시간 렌더링의 최신 기술 (UE5 중심)

언리얼 엔진 5는 대규모 지오메트리와 동적 전역 조명을 다루기 위한 두 가지 핵심 렌더링 기술인 나나이트(Nanite)와 루멘(Lumen)을 도입했습니다.

나나이트 (Nanite)

가상화된 지오메트리(Virtualized Geometry): 나나이트는 높은 지오메트리 디테일을 화면에 필요한 수준으로 처리하는 가상화된 지오메트리 시스템입니다.
- 핵심 개념
  - 마이크로폴리곤(Micropolygons): 메시를 매우 작은 삼각형 클러스터로 분할합니다.
  - 온디맨드 스트리밍: 카메라에 가까운 영역에 필요한 디테일만 실시간으로 로드하고 스트리밍합니다.
  - 자동 LOD: 화면 크기에 맞춰 지오메트리 디테일을 선택해 수동 LOD 제작 부담을 줄입니다. 오차·오버드로우·메모리·스트리밍 비용까지 없어지는 것은 아닙니다.
  - 클러스터 컬링: 화면에 보이지 않거나 너무 작게 보이는 마이크로폴리곤 클러스터는 렌더링에서 자동으로 제외됩니다.
이점
- 아티스트 자유도: 아티스트가 높은 디테일의 에셋을 사용할 수 있지만 인스턴스 수·머티리얼·스트리밍·저장 공간 예산을 확인해야 합니다. (예: 스캔 데이터, CAD 데이터)
- 시각적 품질 향상: 극도로 높은 디테일의 환경과 오브젝트를 실시간으로 구현하여 비주얼의 현실감을 극대화합니다.
- 성능 최적화: 전통적인 LOD 시스템의 한계를 극복하고, 수동 최적화 부담을 줄입니다.
활용 예시
- 오픈 월드 게임의 지형, 건축물, 바위 등 환경 에셋.
- 고품질의 캐릭터, 무기, 차량 모델.
제한 사항: 지원 범위는 버전에 따라 바뀝니다. 5.8 문서는 Nanite Skeletal Mesh 경로도 설명하므로 스켈레탈 메시를 일괄 미지원으로 분류하지 않습니다. Translucent 머티리얼·변형 방식·목표 RHI 등은 해당 버전의 지원 표에서 확인합니다.

루멘 (Lumen)

완전 동적인 전역 조명 및 반사(Fully Dynamic Global Illumination and Reflections): 루멘은 언리얼 엔진 5의 실시간 전역 조명(Global Illumination, GI) 및 리플렉션 시스템입니다.
- 핵심 개념
  - 소프트웨어 레이 트레이싱: GPU의 레이 트레이싱 하드웨어에 의존하지 않고, 소프트웨어 기반으로 씬을 추적하여 GI 및 반사를 계산합니다. (하드웨어 레이 트레이싱과 공존 가능)
  - 실시간 반응: 씬 변화에 따라 전역 조명과 반사를 갱신하지만 캐시·추적 범위·품질 설정 때문에 반응 지연이나 아티팩트가 생길 수 있습니다. (예: 손전등 빛, 문 열림에 따른 빛 변화)
  - 다양한 광원 지원: 직접광·하늘광·발광 표면의 기여를 처리하지만 광원·머티리얼·추적 방식마다 지원과 한계가 다릅니다. 작은 발광 물체나 화면 밖 정보는 별도로 확인합니다.
- 이점
  - 극대화된 현실감: 빛이 환경에 자연스럽게 반사되고 확산되어 실제와 같은 조명 효과를 구현합니다.
  - 아티스트 워크플로우 개선: 라이트맵 베이킹(Baking)이나 수동 GI 설정의 필요성을 줄여 아티스트가 조명 설계에 더 집중할 수 있게 합니다.
  - 동적인 환경: 실시간으로 변화하는 씬에서도 일관된 조명 품질을 유지합니다.
활용 예시
- 낮/밤 사이클, 날씨 변화에 따른 조명 변화.
- 파괴 가능한 환경, 이동하는 오브젝트에 의한 그림자 및 GI 변화.
- 실내/실외 환경의 부드러운 전환.
성능 고려 사항: 높은 품질의 루멘은 여전히 상당한 GPU 자원을 요구하므로, 타겟 플랫폼의 성능에 맞춰 품질 설정을 조정해야 합니다.

Virtual Texturing

거대한 텍스처 관리: Nanite와 별개의 텍스처 가상화 기술로, 매우 큰 텍스처(기가텍셀 규모)를 효율적으로 스트리밍하고 관리하여 텍스처 메모리 사용량을 최적화합니다.
- 필요한 부분만 메모리에 로드하여 GPU 메모리 부담을 줄입니다.

게임 개발의 미래와 융합

머신러닝과 최신 실시간 렌더링 기술은 서로 보완하며 게임 개발의 새로운 지평을 열고 있습니다.

ML 기반 아트 파이프라인: ML을 사용하여 에셋을 자동 생성하거나, 저해상도 에셋을 고해상도로 업스케일링하여 나나이트가 처리할 수 있는 높은 품질의 데이터를 제공할 수 있습니다.
ML 기반 렌더링 최적화: ML 모델이 게임의 현재 상태를 분석하여 루멘의 품질 설정이나 렌더링 해상도를 동적으로 조절함으로써, 최적의 성능과 시각적 품질 균형을 실시간으로 유지할 수 있습니다.
현실적인 NPC 행동과 환경: ML 기반 AI가 나나이트와 루멘으로 구현된 극도로 사실적인 환경에서 상호작용하여 플레이어에게 더욱 몰입감 있는 경험을 제공합니다.

머신러닝과 언리얼 엔진 5의 나나이트, 루멘과 같은 최신 실시간 렌더링 기술은 게임 개발의 한계를 끊임없이 확장하고 있습니다.

머신러닝, 나나이트, 루멘은 AI, 콘텐츠 생성, 렌더링 품질에 영향을 주는 고급 기술입니다.

적용 전 런타임 비용과 검증 절차를 먼저 정해야 합니다.

머신러닝과 실시간 렌더링은 목표 플랫폼, 추론 비용, 렌더링 예산, 폴백 경로를 함께 점검해야 합니다.

도입 판단을 나누기

경로	준비할 것	별도로 측정할 것
ML 학습	관측·행동·데이터·평가 기준	규칙 기반 기준선 대비 품질
런타임 추론	지원 모델·런타임·입출력 형식	전송·추론·결과 적용의 지연
Nanite	지원 메시·머티리얼·플랫폼	지오메트리·스트리밍·메모리
Lumen	장면·추적 방식·조명 설정	GPU 시간·변화 반응·아티팩트

위의 자동 QA·밸런싱·그래픽 설정 예측은 적용 가능한 설계 예시이며 이 교재에서 구현·실행한 결과가 아닙니다. ML과 렌더링은 하나의 자동 연동 기능이 아니므로 각 입력·결과 적용 경로를 구현하고 지원되지 않는 환경의 기본 동작도 정합니다.

기능 상태는 Learning Agents, NNE, Nanite 지원 콘텐츠의 해당 엔진 버전을 확인합니다.

이 페이지의 목차