Last updated on 3월 31st, 2025 at 01:34 오후
🎙️ <What’s Next in AI: 엔비디아’s Jensen Huang Talks With WIRED’s Lauren Goode, SIGGRAPH 2024>
지난 7월에 있었던 SIGGRAPH 2024 젠슨 황 – 로렌 구드 대담을 정리했습니다.
‘그래픽 회사였던 엔비디아가 어떻게 AI와 가속 컴퓨팅까지 확장된 기업으로 거듭날 수 있었는지’는 물론, 인공지능으로 대전환 시대를 맞은 현시점에 대한 풍부한 이야기까지, 유익한 내용이 가득합니다. AI가 모든 산업과 직무, 창작 방식에 통합될 시대. 엔비디아는 어떤 역할을 계획하고 있을까요? 1시간 분량의 젠슨황 – 로렌 구드 대담 스크립트를 보기 좋게 정리했으니, 읽으며 확인해보세요.
LAUREN
SIGGRAPH에 오신 걸 환영합니다! 저는 WIRED의 시니어 에디터 로렌 구드예요. 오늘은 엔비디아의 창립자이자 CEO인 젠슨 황과 함께하게 되어 매우 기쁩니다.
JENSON
SIGGRAPH에 오신 걸 환영해요, 로렌. 여기는 거의 제 집 같은 곳이죠. 이번에도 새로운 가죽 재킷을 입고 왔어요. 제 아내가 SIGGRAPH 기념으로 선물해줬답니다.
LAUREN
엔비디아는 1990년대부터 그래픽 업계의 중심에 있었죠. SIGGRAPH도 1974년부터 시작된 유서 깊은 컨퍼런스인데요, 지금 이 시점에서 엔비디아가 여기에 있는 건 어떤 의미인가요?
JENSON
원래 SIGGRAPH는 ‘컴퓨터 그래픽’을 위한 행사였지만, 이제는 ‘그래픽 + 생성형 AI + 시뮬레이션’의 종합 장입니다. 엔비디아는 그래픽 기술로 시작했지만, 그 기반은 ‘가속 컴퓨팅’이었어요. 이 개념은 일반적인 컴퓨팅을 보완해서, 일반 컴퓨터로는 풀 수 없는 문제를 해결하는 거예요.
LAUREN
오, 직접 만든 만화도 준비하셨다면서요?
JENSON
(웃으며) 직접은 아니고요, “만화 하나 만들어줘!” 했더니 3시간 만에 완성됐어요. 이 만화는 컴퓨터 산업의 주요 이정표와 엔비디아의 여정을 보여줘요. IBM의 시스템 360, 유타 티팟, 레이 트레이싱, 프로그래머블 셰이딩 기술, 그리고 1993년 엔비디아 설립까지요. 1995년 윈도우 PC의 등장으로 개인용 컴퓨터가 대중화됐고, 2001년에는 세계 최초의 프로그래머블 GPU를 만들었죠. 이때부터 엔비디아는 본격적으로 가속 컴퓨팅에 집중하게 됩니다. 그리고 2012년, ‘알렉스넷(AlexNet)’과 함께 딥러닝의 새로운 가능성을 목격했어요. 그때부터 엔비디아는 하드웨어부터 알고리즘, 소프트웨어까지 전면적으로 AI에 집중하기 시작했죠.
LAUREN
그 다음 단계는?
JENSON
2016년, 우리가 만든 딥러닝용 슈퍼컴퓨터 DGX-1을 첫 외부 고객인 오픈AI(OpenAI)에 전달했어요. 그리고 2018년 SIGGRAPH에서 ‘RTX’를 발표했죠. 이것은 세계 최초의 실시간 레이 트레이싱 플랫폼이었습니다. 오늘날 우리가 영화처럼 생생한 그래픽을 실시간으로 구현할 수 있는 기술의 시작이었어요.
LAUREN
RTX를 발표하셨던 2018년이 생성형 AI와 그래픽의 전환점이었다고 하셨죠. 당시 어떤 기술적 변화가 있었나요?
JENSON
그 당시엔 레이 트레이싱을 병렬 처리로 가속할 수 있었지만, 여전히 초당 5~10프레임 정도밖에 안 나왔어요. 실시간 그래픽에는 한참 부족했죠. 그래서 AI 기술인 DLSS(딥러닝 슈퍼 샘플링)를 개발했어요. 이건 일부 픽셀만 실제로 렌더링하고 나머지는 AI가 예측해서 채우는 기술이에요.
덕분에 지금은 4K 해상도에서 초당 300프레임의 풀 레이 트레이싱도 가능해졌죠.
LAUREN
그 이후 2022년, ChatGPT가 나오면서 AI는 더 많은 변화를 이끌었죠.
JENSON
맞아요. ChatGPT 이후, AI는 단어의 의미뿐 아니라 이미지, 영상, 3D, 단백질, 화학 구조, 물리 법칙 등 다양한 데이터를 ‘이해’하고 ‘생성’할 수 있게 되었어요. 예를 들어, 텍스트에서 3D 오브젝트를 만들고, 3D에서 설명을 생성하거나, 텍스트에서 단백질 구조를 만드는 게 가능해졌죠. 이게 바로 생성형 AI의 시대예요. 거의 모든 산업이 영향을 받게 될 거예요.
기후 예측, 창작, 산업 시뮬레이션, 로보틱스, 자율주행까지지—all generative AI로 바뀌고 있어요.
LAUREN
이제는 소프트웨어가 엔지니어가 일일이 짜지 않아도 되는 시대인 거네요?
JENSON
정확히 그래요. 과거에는 사람이 소프트웨어를 짰다면, 지금은 AI가 예시(입력과 출력)를 보고 스스로 중간 로직을 만드는 소프트웨어 2.0 시대죠.
그리고 앞으로는 여러 AI가 협력해서 문제를 푸는 소프트웨어 3.0 시대가 도래할 거예요.
미리 학습된 ‘기초 모델'(foundation model)들을 조합해 마치 팀처럼 문제를 해결하게 될 겁니다.
LAUREN
그렇다면 생성형 AI의 정확도나 통제가 앞으로 더 나아질까요?
JENSON
물론이죠. 이미 많은 발전이 있었어요:
- RLHF(강화학습+인간 피드백): 인간의 피드백을 받아 AI의 출력을 더 나은 방향으로 조정
- 가드레일링(Guardrailing): AI의 반응 범위를 특정 주제에 한정
- RAG(Retrieval Augmented Generation): 신뢰도 높은 외부 지식과 결합해 보다 정확한 생성
이 기술들은 텍스트에만 적용되는 게 아니라, 이제 이미지와 비주얼 데이터에도 적용되고 있어요.
JENSON
우리는 이미지 생성도 더 정밀하게 제어할 수 있는 새로운 방법들을 개발했어요.기존에는 텍스트만으로 이미지를 생성했는데, 텍스트는 정보량이 적고 모호하니까 원하는 결과를 얻기 어려웠어요. 그래서 엔비디아는 Edify라는 멀티모달 모델을 만들었어요. Getty 이미지 데이터를 기반으로 학습된 텍스트-이미지 생성 모델이죠.
JENSON
하지만 여기서 멈추지 않았어요. 이제는 텍스트에서 3D 오브젝트를 만들 수 있는 Edify 3D도 개발했어요. 이 데이터를 Omniverse에서 조합하면, 자세, 위치, 질감까지 원하는 대로 조정할 수 있고, 이걸 기반으로 더 정밀한 이미지를 만들 수 있어요.
LAUREN
그래서 이제는 생성형 AI가 단순히 이미지를 “그리는” 수준을 넘어서서, 디지털 세계를 “구성”할 수 있게 된 거군요.
JENSON
정확해요! 이 과정을 우리는 3D 기반 생성형 AI라고 부르고 있어요. Omniverse는 3D, 애니메이션, 물성 정보 등 다양한 데이터를 조합할 수 있게 해줘요. 이걸 통해 우리는 ‘컨트롤 가능한 이미지 생성’이 가능해졌고, AI를 진정한 협업 파트너로 쓸 수 있게 됐죠.
LAUREN
그런데 이런 기술이 로보틱스 같은 실제 세계에는 어떻게 적용되나요?
JENSON
좋은 질문이에요. 우리가 만든 데모 영상이 하나 있어요. WPP, Shutterstock과 함께 유명 브랜드들을 활용한 AI 생성 예시인데요, 이 영상에서는 “단어”로 장면을 만드는 것을 보여줘요.
“의자에 둘러싸인 테이블”이라 말하면, 그 장면이 바로 구성되죠.
이게 가능한 이유는 AI가 OpenUSD라는 3D 표준 언어를 “이해”하고 있기 때문이에요.
즉, 사람의 음성을 OpenUSD로 바꾸고, 거기서 3D 오브젝트를 찾아 조합한 뒤, 최종 이미지를 생성하는 방식이에요.
LAUREN
와… 그럼 진짜 협업도 가능하겠네요?
JENSON
맞아요. 특히 2D보다 3D는 협업이 훨씬 쉬워요. Omniverse 안에서 여러 사람이 동시에 작업하고, 생성형 AI가 중간중간 도와주는 구조예요.
LAUREN
예술가 입장에서는 한편으론 위협적일 수도 있을 것 같아요. 내 일을 AI가 대체할까 봐요.
JENSON
그건 아주 자연스러운 질문이에요. 하지만 저는 AI는 도구일 뿐이라고 봐요. 도구는 사람의 일을 더 빠르게, 더 잘, 더 확장되게 만들어주는 역할을 하죠. 우리는 지금 AI를 더 잘 통제하고 활용할 수 있는 도구로 발전시키고 있는 중이고, 예술가들도 이 도구를 빨리 익히고 자신만의 스토리를 더 자유롭게 펼칠 수 있을 거예요.
LAUREN
앞서 Omniverse 이야기를 하셨는데, 여기에 더 많은 생성형 AI가 접목되고 있는 거죠?
JENSON
맞아요. 이번 SIGGRAPH에서 우리가 발표한 것 중 하나가 “Omniverse의 텍스트-USD 이해 기능”이에요. 즉, Omniverse가 사람의 말(텍스트)을 이해하고, 그에 맞는 3D 오브젝트를 찾아 장면을 구성할 수 있게 된 거죠.
예를 들어 누군가 “들판에 나무를 가득 채워줘”라고 말하면, AI는 나무 오브젝트들을 찾아서 실제로 장면에 배치해줘요. 그다음엔 포토리얼리스틱 렌더링 기술로 진짜처럼 보이게 만들죠. 그리고 브랜드 로고 같은 요소도 실제 기업의 지침에 맞춰 정확하게 구현할 수 있어요.
LAUREN
이렇게 되면 모든 회사와 부서가 AI를 보조 도구로 가지게 될 수도 있겠네요.
JENSON
정확해요. 우리가 발표한 또 하나의 큰 주제가 바로 그거예요.
바로 “디지털 에이전트(Digital Agents)”죠.
각 부서가 자기만의 AI를 갖게 되는 시대가 오고 있어요. 특히 고객 서비스 분야는 가장 빠르게 변할 영역 중 하나죠. 현재 대부분 사람이 고객 상담을 하지만, 앞으로는 AI가 대화에 함께 참여하는 구조가 될 거예요. 그러면 고객 상담 직원의 경험과 지식을 AI가 축적하고, 나중에는 이걸 분석해 더 나은 서비스를 제공할 수 있죠.
예를 들어, 우리가 만든 새로운 AI 시스템은 클라우드 상에서 작동하는 마이크로서비스 형태예요.여기에 디지털 휴먼이라는 인터페이스를 붙이면, 감정 표현도 가능한 가상의 상담사처럼 쓸 수 있어요.사용자는 자신이 가진 챗봇이나 RAG 시스템을 이 디지털 휴먼에 연결하면 됩니다.
그리고 이 디지털 캐릭터들은 RTX 패스 트레이싱 기술로 사실적으로 렌더링되고, 텍스트 → 음성 → 표정 애니메이션까지 전부 자동으로 이루어져요.
LAUREN
그런데 이렇게 현실 같은 AI 챗봇이 등장하면, 윤리적인 고민도 생기지 않을까요?
사람들이 AI를 진짜 사람처럼 믿거나, 감정적으로 의존하게 되는 건 위험할 수도 있으니까요.
JENSON
그건 정말 중요한 질문이에요. 지금의 디지털 휴먼은 아직은 로봇처럼 느껴져요.
하지만 “사람 같은 형태”가 주는 긍정적인 영향도 있어요. 예를 들어 혼자 있는 노인이나 병원에서 회복 중인 환자, 어린이 교육 같은 분야에서는 단순한 텍스트 챗봇보다 훨씬 따뜻한 연결감을 줄 수 있죠.
이건 결국 도구를 어디에, 어떻게 쓰느냐의 문제예요. 우리의 목표는 사람과 함께 협력하고, 인간 중심의 기술을 만드는 것이니까요.
LAUREN
오늘 얘기 대부분이 사실 소프트웨어에 관한 내용이었어요. 그런데 요즘은 반대로, 소프트웨어 회사들이 하드웨어까지 개발하려는 움직임도 보이거든요. 엔비디아의 소프트웨어 전략은 앞으로도 핵심 경쟁력이 될까요?
JENSON
그럼요. 사실 엔비디아는 처음부터 소프트웨어 중심 회사였어요. 가속 컴퓨팅은 일반적인 컴퓨터처럼 “그냥 돌리면 되는” 방식이 아니거든요. 예를 들어 유체 역학 시뮬레이션을 가속하려면, 그 알고리즘을 정확히 이해해서 GPU에 맞게 다시 설계해야 해요.
그래서 우리는 새로운 프로세서, 시스템, 알고리즘, 라이브러리를 전부 직접 개발해요.
이 덕분에 일반 컴퓨팅보다 50~100배 빠르게 처리할 수 있는 거죠.예를 들어 Pandas라는 데이터 분석 툴을 엔비디아의 GCP 서버에서 돌렸더니, 최대 100배 가속되기도 했어요.
JENSON
딥러닝도 마찬가지예요. 지난 10년간 딥러닝 처리 속도를 100만 배 향상시켰어요.
이렇게 엄청난 성능 향상이 있었기에, 지금의 생성형 AI가 가능해진 거예요.
LAUREN
그럼 엔비디아의 미래에 있어 가장 중요한 소프트웨어 요소는 뭘까요?
JENSON
우리는 각 산업마다 ‘도메인 특화 라이브러리’를 만들어요.
그걸 DSL(Domain Specific Library)이라고 해요.
- 딥러닝엔 cuDNN
- 데이터 분석엔 cuDF
- 양자 시뮬레이션엔 QQuantum
- 반도체 공정 시뮬레이션엔 QLitho
이런 식으로, 각 영역마다 필요한 핵심 라이브러리를 만들어서, 엔비디아의 가속 컴퓨팅이 더 많은 시장으로 확장될 수 있게 하는 거예요.하지만 이건 정말 어려운 일이에요. 우리가 새로운 분야에 진입할 때마다, 그 산업 전체를 다시 배워야 하거든요.로보틱스, 자율주행차, 헬스케어, 디지털 바이오—전부 마찬가지예요. 기술만 만드는 게 아니라, 그 산업을 이해하고, 전용 도구를 만들고, 생태계를 구축하는 것까지 다 해야 해요.
LAUREN
그러면 요즘 뜨거운 이슈 중 하나, AI의 에너지 사용량은 어떻게 보세요?
AI는 전기를 너무 많이 먹는다는 우려도 있는데요.
JENSON
맞아요. 훈련(training)할 땐 에너지를 많이 쓰죠. 하지만 AI의 궁극적인 목적은 ‘추론’(inference) 이고, 이건 오히려 에너지를 줄이는 쪽이에요. 예를 들어 날씨 예측, 물류 최적화, 생산성 향상 같은 데 AI를 쓰면, 기존 시스템보다 훨씬 적은 에너지로 더 나은 결과를 만들 수 있어요.
JENSON
게다가 기존 CPU 기반 시스템에서 가속 컴퓨팅으로 전환하면, 같은 작업을 하면서 전력 소비는 20~50배 줄일 수 있어요. 그러니까 중요한 건 이거예요: “AI가 에너지를 더 쓰느냐”가 아니라,
“AI가 사회 전체의 에너지 소비를 얼마나 줄이느냐”예요.
LAUREN
그럼 앞으로 AI가 점점 더 실물 세계에 영향을 주는 방향,
예를 들어 로보틱스 같은 분야는 어떻게 보세요?
JENSON
우리가 지금 집중하고 있는 게 바로 그거예요.
우리는 이걸 “피지컬 AI(Physical AI)”, 즉 실제 세계와 상호작용할 수 있는 AI라고 부르고 있어요.
이건 굉장히 복잡해서 세 가지 컴퓨터가 필요해요:
- AI를 학습시키는 컴퓨터 (DGX 클라우드 등)
- AI를 시뮬레이션하는 컴퓨터 (Omniverse 시뮬레이터)
- AI가 실제로 구동되는 컴퓨터 (Jetson Thor 등)
이렇게 3가지가 유기적으로 연결돼야 로봇이 학습 → 테스트 → 실전 배치까지 가능해져요.
JENSON
우리가 개발 중인 Project GR00T는 범용 휴머노이드 로봇을 위한 AI 모델이에요.
사람의 손 동작을 시각적으로 캡처해서, 그것을 로봇이 학습할 수 있도록 하죠.
실제 데이터와 함께 시뮬레이션을 통해 생성된 합성 데이터를 대규모로 활용하고 있어요.
이후 학습된 모델을 Omniverse에서 테스트하고, 마지막으로 실제 로봇에 탑재합니다.
LAUREN
SIGGRAPH가 진짜 모든 기술의 집합체네요.
그래픽, AI, 시뮬레이션, 로보틱스—all in one.
JENSON
그래서 제가 로렌, 당신에게 말하는 거예요.앞으로 매년 SIGGRAPH 오셔야 합니다! 😄
그리고 전 세계 테크 기자들도 다 와야 해요. 왜냐하면 여기가 기술의 최전선이니까요.
LAUREN
맞아요. 그런데 한 가지 더 궁금해요. 이렇게 빠르게 변하는 기술 속에서, 우리가 지금 만드는 이 디지털 콘텐츠들이 과연 오래 살아남을 수 있을까요?
JENSON
좋은 질문이에요. 우리는 이 문제를 OpenUSD라는 형식으로 접근하고 있어요. 이건 다양한 툴과 포맷을 하나로 묶는 통합 3D 포맷이에요. 앞으로 모든 디자인 툴이 OpenUSD와 호환될 거고,
이를 통해 3D 콘텐츠를 언제든지 불러오고 공유하고 수정할 수 있게 될 거예요. 웹의 HTML처럼, OpenUSD는 가상 세계의 표준 언어가 될 겁니다.
LAUREN
그럼 혹시… 젠슨 AI도 만들 계획이신가요? 😆
JENSON
물론이죠. 제가 지금까지 했던 말, 글, 인터뷰를 다 벡터화해서 언젠가 누군가가 프롬프트를 입력하면, “젠슨 스타일의 대답”이 나오는 거죠. 아마 수익 발표도 AI가 대신 해줄 날이 올 거예요! 그거 제일 먼저 넘길 거예요! 😂
LAUREN
하하, 오늘 정말 멋진 대화였어요.
SIGGRAPH에 오신 걸 다시 한 번 환영합니다!
더 많은 AI 강의가 궁금하다면? ↓
