안녕 파리, 봉쥬르! NVIDIA의 첫 번째 파리 GTC입니다. 정말 놀라워요. 함께해준 모든 파트너들에게 감사드립니다. 우리는 수년간 함께 일해온 많은 사람들이 있어요. 사실 이번이 제 첫 번째 파리 GTC이지만, 우리는 유럽에 아주 오랫동안 있어왔습니다. 여러분께 말씀드릴 것이 많아요.
바쁘신 분들은 스크롤을 쭉 – 내려서 요약을 읽어보세요 🙂
NVIDIA의 초기 목표와 가속 컴퓨팅
NVIDIA는 한때 일반 컴퓨터로는 할 수 없는 일들을 하기 위해 새로운 컴퓨팅 플랫폼을 만들고 싶어했습니다. 우리는 CPU를 가속화하고, 가속 컴퓨팅이라고 불리는 새로운 유형의 컴퓨팅을 만들었어요. 우리의 첫 번째 응용 프로그램 중 하나는 분자 역학이었습니다.
그 이후로 우리는 정말 먼 길을 걸어왔고, 많은 다양한 라이브러리들을 만들었습니다. 사실 가속 컴퓨팅을 특별하게 만드는 것은 단순히 소프트웨어를 컴파일하는 새로운 프로세서가 아니라는 점이에요. 컴퓨팅 방식을 다시 공식화해야 하고, 알고리즘을 다시 공식화해야 합니다. 사람들이 소프트웨어와 알고리즘을 고도로 병렬화하도록 다시 공식화하는 것이 매우 어렵다는 것이 밝혀졌습니다. 그래서 우리는 각 시장, 각 응용 분야가 가속화될 수 있도록 도와주는 라이브러리들을 만들었어요.
반도체 및 산업 분야
- Computational lithography: 오늘날 반도체 설계에서 가장 중요한 응용 프로그램 중 하나로, TSMC, 삼성, 대형 반도체 팹의 공장에서 실행됩니다
- CU litho: 칩이 만들어지기 전에 실행되는 역물리학 알고리즘
- Co-opt: 방금 오픈소스로 공개한 매우 흥미로운 응용 라이브러리로, 수백만 개의 변수와 수백만 개의 제약 조건이 있는 문제들을 최적화하는 의사결정을 가속화합니다
AI 및 머신러닝 분야
- QDNN: NVIDIA가 만든 가장 중요한 라이브러리로, 딥 뉴럴 네트워크의 기본 요소들을 가속화합니다
- Dynamo: 전체 AI 팩토리에서 극도로 복잡한 추론 워크로드를 발송하고, 조정하고, 분산시킬 수 있게 해주는 새로운 라이브러리입니다
- QDF: Spark를 가속화하며, 코드 변경 없이 작동합니다
- QML: Scikit-learn을 가속화하며, 코드 변경 없이 작동합니다
과학 및 시뮬레이션 분야
- Earth 2: 날씨와 기후 모델의 파운데이션 모델을 위한 시뮬레이션 환경
- Monai: 의료 영상을 위한 프레임워크
- Parabicks: 유전체학 분석을 위한 솔버
- Warp: 기하학과 물리학 솔버를 표현하기 위한 파이썬 프레임워크
이들은 400개가 넘는 라이브러리 중 일부 예시일 뿐입니다. 각각의 라이브러리는 응용 분야를 가속화하고, 새로운 기회를 열어줍니다.
양자 컴퓨팅: CUDA-Q
CUDA-Q는 CUDA 위에서 애플리케이션과 알고리즘을 가속화하기 위한 라이브러리 모음입니다. 우리는 이제 CUDA-Q를 가지고 있어요. CUDA-Q는 GPU 기반의 고전적 양자, 양자 고전적 컴퓨팅을 위한 것입니다.
양자 컴퓨팅의 전환점
우리는 수년간 CUDA-Q를 개발해왔고, 오늘 양자 컴퓨팅에서 전환점이 일어나고 있다고 말씀드릴 수 있습니다. 첫 번째 물리적 큐비트는 거의 30년 전에 시연되었고, 오류 수정 알고리즘은 1995년에 발명되었으며, 2023년, 거의 30년 후에 구글이 세계 최초의 논리적 큐비트를 시연했습니다.
그 이후 몇 년 동안, 오류 수정이 적용된 많은 물리적 큐비트로 표현되는 논리적 큐비트의 수가 증가하기 시작했습니다. 무어의 법칙처럼, 5년마다 10배 더 많은 논리적 큐비트, 10년마다 100배 더 많은 논리적 큐비트를 완전히 기대할 수 있어요.
앞으로 몇 년 동안, 또는 적어도 다음 세대의 슈퍼컴퓨터에서는 모든 슈퍼컴퓨터가 QPU를 할당받고 GPU에 연결될 것이 매우 분명합니다. QPU는 양자 컴퓨팅을 담당하고, GPU는 전처리, 제어, 오류 수정, 후처리에 사용될 것입니다.
오늘 우리는 전체 양자 알고리즘 스택이 이제 Grace Blackwell 200에서 가속화되었다고 발표하고 있으며, 속도 향상은 정말 놀라워요.
AI의 발전과 새로운 물결
같은 GPU가 제가 언급한 모든 애플리케이션들을 실행하고 가능하게 했듯이, 그 같은 GPU가 인공지능이 세상에 등장할 수 있게 했습니다. 우리의 첫 접촉은 2012년이었고, 그 직전에 딥러닝이라고 불리는 새로운 유형의 알고리즘을 연구하는 개발자들과 함께 작업했습니다. 이것이 2012년 AlexNet AI의 빅뱅을 가능하게 했어요.
AI의 세 가지 물결
- 첫 번째 물결 – 인식: 컴퓨터가 정보를 인식하고 이해하는 것
- 두 번째 물결 – 생성형 AI: 멀티모달 특성으로 이미지와 언어를 모두 학습할 수 있어, 언어로 프롬프트하면 이미지를 생성할 수 있습니다
- 세 번째 물결 – 에이전틱 AI: 인텔리전스의 기본은 인식, 추론, 계획, 작업 실행에 관한 것입니다. 이전에 학습한 규칙을 적용해 전에 본 적 없는 문제를 해결하는 능력이죠.
시뮬레이션과 디지털 트윈
제가 오늘 보여드릴 모든 것은 컴퓨터 시뮬레이션이지, 애니메이션이 아닙니다. 광자 시뮬레이션, 물리학 시뮬레이션, 입자 시뮬레이션이에요. 모든 것이 근본적으로 시뮬레이션이지, 애니메이션이나 아트가 아닙니다.
우리가 이제 거의 모든 것을 시뮬레이션할 수 있는 규모와 속도 때문에, 모든 것을 디지털 트윈으로 바꿀 수 있습니다. 모든 것이 디지털 트윈이 될 수 있기 때문에, 물리적 세계에 넣기 전에 완전히 디지털 방식으로 설계하고, 계획하고, 최적화하고, 운영할 수 있어요.
Grace Blackwell: 차세대 컴퓨팅 시스템
GeForce에서 GB200까지의 진화
GeForce 그래픽 카드로 시작된 것이 이제 이런 모습이에요. 이것이 새로운 GeForce입니다. 2톤 반, 120만 개 부품, 약 120킬로와트. 150개 공장에서 제조되고, 200개 기술 파트너가 함께 작업하며, 약 400억 달러의 R&D 예산으로 GB200을 만들었고, 이제 GB300으로 넘어가고 있습니다.
이 기계는 사고하는 기계로 설계되었습니다. 추론하고, 계획하고, 자기 자신과 많은 시간을 대화하는 기계죠. 우리가 생각을 표현하기 전에 마음속에서 단어와 이미지를 생성하는 것처럼요.
Hopper에서 Blackwell로의 도약
무어의 법칙 반도체 물리학은 3-5년마다 약 2배의 성능 향상만 제공합니다. 우리가 어떻게 한 세대에서 30-40배 더 많은 성능을 달성할 수 있었을까요?
추론 모델들이 원샷 ChatGPT 대신 자기 자신과 대화하기 때문에 30-40배 더 많은 성능이 필요했습니다. 생각할 때 문제를 단계별로 분해하고, 추론하고, 다양한 경로를 시도하며, 자신의 답변을 반성하기도 해요.
NVLink 기술의 혁신
NVLink는 메모리 의미론적 상호연결로, 네트워크가 아닌 컴퓨팅 패브릭입니다. 이 백플레인의 대역폭은 약 130테라바이트/초입니다. 이는 전 세계 인터넷의 최대 트래픽 데이터 속도보다 많아요. 이것이 인터넷을 60파운드로 축소하는 방법입니다.
에이전틱 AI의 실제 사례
Perplexity와 함께 파리에서 푸드 트럭을 시작하는 예시를 보여드렸습니다. 하나의 간단한 프롬프트가 시장 조사자, 컨셉 디자이너, 재무 기획자, 운영 기획자, 마케팅 전문가 등 여러 에이전트들을 호출해서 종합적인 사업 제안서를 만들어냈어요.
원래 챗봇에서 이런 프롬프트 하나는 몇 백 개의 토큰을 생성했을 텐데, 이제 에이전트를 통해 문제를 해결하는 하나의 프롬프트는 1만 배 더 많은 토큰을 생성했을 거예요. 이것이 Grace Blackwell이 필요한 이유입니다.
에이전트 구축을 위한 플랫폼
NVIDIA Nemo와 도구들
우리는 여러분이 사용할 수 있는 프레임워크와 도구 세트를 만들었습니다:
- Nemo Neotron: 세계적 수준의 추론 대형 언어 모델
- Nemo Retriever: 멀티모달 검색 엔진, 의미론적 검색 엔진
- AIQ: 일반적인 에이전트의 청사진이자 시연
에이전트를 온보딩하고, 데이터를 큐레이션해서 가르치고, 평가하고, 가드레일을 설정하고, 감독하고, 훈련시키고, 강화 학습을 사용해서 배포까지 하는 도구 모음이 있습니다.
DGX Lepton: 클라우드의 클라우드
DGX Lepton은 여러 클라우드에 걸쳐 모델을 배포할 수 있게 해주는 시스템입니다. Lambda 클라우드, AWS 클라우드, 여러분 자신의 개발자 머신, DGX 스테이션 등 어디든 실행할 수 있어요. 하나의 모델 아키텍처, 하나의 배포로 어디든 실행할 수 있습니다.
산업용 AI와 디지털 트윈
시멘스와의 파트너십
시멘스의 Roland Busch CEO와 파트너십을 맺고 있습니다. 1992년 시멘스가 만든 Synapse One은 그 당시 CPU보다 8,000배 빠르게 신경망을 실행했던 세계 최초의 AI 컴퓨터였어요.
산업용 AI 클라우드 발표
오늘 우리는 유럽에서 세계 최초의 산업용 AI 클라우드를 구축할 것이라고 발표합니다. 이 산업용 클라우드는 설계와 시뮬레이션, 가상 풍동에 사용될 것입니다. 실시간으로 설계하고, 디지털 풍동에서 시뮬레이션하고, 디지털 팩토리에서 구축하는 모든 것이 가능해질 거예요.
자율주행과 NVIDIA Drive
NVIDIA Drive는 Halo 안전 시스템을 기반으로 구축되어, 개발자들이 다양한 소프트웨어 스택과 센서, 중복 컴퓨터로 안전한 자율주행차를 만들 수 있게 해줍니다.
우리의 AV 팀은 CVPR에서 2년 연속 end-to-end 자율주행차 챌린지에서 우승한 유일한 팀입니다. 이 컴퓨터는 세계 최초의 소프트웨어 정의, 100% 소프트웨어 정의, AI 기반 소프트웨어, AI 기반 AV 스택이었어요.
휴머노이드 로봇의 등장
오늘의 로봇들은 프로그래밍하기가 너무 어려워요. 대기업만이 로봇을 설치하고, 가르치고, 프로그래밍할 여력이 있습니다. 이제 우리는 여러분이 가르칠 수 있는 로봇을 제공할 거예요. 에이전틱 AI에서 이야기했던 것처럼, 이제 우리는 여러분의 가르침으로 학습할 수 있는 휴머노이드 AI를 갖게 되었습니다.
로봇 시연: Grok
실제로 Grok이라는 로봇을 시연했습니다. Grok은 Omniverse 안에서 물리 법칙을 준수하며 걷는 법을 배웠어요. Omniverse에서 수십만 개의 시나리오를 만들었고, 모래 위에서, 자갈 위에서, 미끄러운 바닥에서, 콘크리트에서, 카펫에서 작동하고 걷고 조작하는 법을 배웠습니다. 물리적 세계에 나왔을 때, 물리적 세계는 그냥 100,001번째 버전의 세계일 뿐이에요.
새로운 산업 혁명의 시작
AI 팩토리의 개념
이러한 AI 데이터센터는 전혀 데이터센터가 아닙니다. 파일을 저장하고 검색하는 고전적인 의미의 데이터센터가 아니에요. 한 가지 일만 하는 곳입니다: 지능적인 토큰을 생산하는 것, AI의 생성이죠.
아무도 자신의 데이터센터를 수익 창출 시설로 생각하지 않지만, 공장은 수익 창출 시설로 생각합니다. 공장을 하나 더 지을 때마다 매출이 곧 증가하죠. 이런 아이디어가 AI 팩토리와 정확히 같은 아이디어입니다.
유럽의 AI 인프라 확장
유럽에서 AI 팩토리의 중요성에 깨어났고, 여기서 많은 활동을 보게 되어 기쁩니다. 20개 이상의 AI 팩토리가 계획되고 있고, 몇 개는 기가와트 급 기가팩토리입니다. 총 2년 안에 유럽의 AI 컴퓨팅 용량을 10배 늘릴 것입니다.
AI 기술 센터
우리는 7개 다른 국가에서 AI 기술 센터를 구축하고 있습니다. 이 센터들의 목표는 협력 연구를 수행하고, 스타트업과 함께 일하며, 생태계를 구축하는 것입니다.
파트너십과 생태계
유럽 내 파트너십
- 영국: 연구자부터 개발자, 파트너, 기업, 클라우드 서비스 제공업체까지
- 독일: 놀라운 파트너십들
- 이탈리아: 훌륭한 파트너십들
- 프랑스: 멋진 파트너십들
Mistral과의 파트너십 발표
오늘 Mistral과 함께 AI 클라우드를 구축한다고 발표합니다. 그들의 모델뿐만 아니라 다른 AI 스타트업 생태계를 위한 AI 애플리케이션도 제공할 것입니다. 상당한 규모의 AI 클라우드를 여기서 구축할 예정이에요.
Neotron: 오픈 모델의 향상
우리는 오픈소스 모델들을 가져와서 포스트 트레이닝, 신경 아키텍처 검색, 더 나은 데이터 제공, 강화 학습 기법을 사용해 모델을 향상시킵니다. 추론 능력을 부여하고, 컨텍스트를 확장해서 상호작용하기 전에 더 많이 학습하고 읽을 수 있게 합니다.
이 모든 능력이 다운로드 가능한 NIM으로 패키지화됩니다. NVIDIA 웹사이트에 와서 API, 최첨단 AI 모델을 말 그대로 다운로드해서 원하는 곳 어디든 넣을 수 있어요.
Perplexity와의 파트너십
Perplexity는 추론 검색 엔진입니다. 오늘 Perplexity가 이러한 지역 모델들을 가져와서 Perplexity에 직접 연결할 것이라고 발표합니다. 이제 여러분 나라의 언어, 문화, 감성으로 질문하고 답변을 받을 수 있어요.
데이터 소유권과 지역 모델
여러분의 데이터는 여러분 것입니다. 여러분 민족의 역사, 지식, 문화이고, 여러분 것이에요. NVIDIA의 경우 우리 데이터는 대부분 33년간의 데이터 안에 있습니다. 시멘스는 180년의 데이터가 있고, 일부는 파피루스에 쓰여 있어요.
데이터는 여러분 것이므로, 그 데이터를 사용해야 하고, LlamaTron과 같은 오픈 모델과 우리가 제공하는 모든 도구 모음을 사용해서 여러분만의 용도로 향상시킬 수 있습니다.
마무리: 새로운 시대의 시작
산업 혁명이 시작되었다는 것이 매우 분명합니다. AI의 다음 물결이 시작되었어요. Grok은 지금 로봇공학으로 가능한 것의 완벽한 예시입니다. 로봇을 조작하고, 시뮬레이션하고, 가르치는 데 필요한 기술과 물론 놀라운 로봇의 구현이 지금 우리 앞에 있습니다.
우리는 물리적 로봇과 정보 로봇(에이전트)을 가지고 있어요. AI의 다음 물결이 시작되었고, 추론 워크로드가 폭발적으로 증가할 것입니다. 기본적으로 기하급수적으로 증가할 거예요.
추론을 사용하는 사람의 수가 800만 명에서 8억 명으로, 불과 몇 년 만에 100배 증가했습니다. 앞서 언급했듯이 토큰이 생성하는 프롬프트의 수가 몇 백 개의 토큰에서 수천 개의 토큰으로 늘어났고, 우리는 오늘날 그 어느 때보다 AI를 더 많이 사용하고 있어요.
유럽이 AI에 올인하는 것을 보게 되어 정말 기쁩니다. 여기서 구축되는 AI 인프라의 양이 앞으로 몇 년 안에 한 자릿수 늘어날 것입니다. 모든 파트너십에 감사드리고, 앞으로 더 멋진 VivaTech가 되길 바랍니다.
요약
NVIDIA CEO 젠슨 황은 파리 GTC에서 AI가 인식과 생성을 넘어 추론과 계획이 가능한 ‘에이전틱 AI’ 시대로 진입했다고 선언했습니다. 하나의 프롬프트로 수만 개의 토큰을 생성하며 복잡한 문제를 단계별로 해결하는 AI 에이전트들을 위해 기존보다 30-40배 빠른 Grace Blackwell 시스템을 개발했고, 130테라바이트/초의 NVLink 기술로 전 세계 인터넷 트래픽을 능가하는 처리 성능을 구현했다고 발표했어요. 특히 Omniverse에서 물리 법칙을 학습한 휴머노이드 로봇 ‘Grok’을 실제 시연하며, 가상 세계에서 훈련받은 로봇이 현실에서도 완벽하게 작동한다는 것을 보여주었습니다. 또한 전통적인 데이터센터를 넘어 지능적 토큰을 생산하는 ‘AI 팩토리’ 개념을 제시하며, 유럽에서 2년 내 AI 컴퓨팅 용량을 10배 확장하고 Mistral과의 파트너십을 통해 지역 특화 AI 모델을 구축할 계획이라고 밝혔어요. 이는 단순한 기술 발전을 넘어 AI가 국가 인프라가 되고 새로운 산업혁명을 이끌어갈 전환점임을 강조한 연설이었습니다.
