AI 가속기의 사실상 표준, GPU+CUDA 생태계의 절대 강자
NVIDIA는 데이터센터용 GPU를 설계해 직접 생산하지 않고 TSMC에 위탁하는 팹리스다. 그러나 이 회사의 진짜 해자는 실리콘이 아니라 소프트웨어다. 15년 넘게 쌓아 올린 CUDA 생태계와 cuDNN·TensorRT 같은 라이브러리, 그리고 NVLink·InfiniBand로 수만 장의 GPU를 한 덩어리처럼 묶는 시스템 역량이 결합되면서, AI 학습 인프라는 사실상 NVIDIA를 전제로 설계된다.
수익 구조도 단일 칩 판매에서 GB200 같은 랙 단위 시스템 판매로 옮겨가며 객단가가 수직 상승했다. 경쟁 구도에서 AMD가 MI 시리즈로, 구글·아마존이 자체 ASIC(TPU·Trainium)으로 추격하지만, 소프트웨어 전환 비용과 공급망 장악력 때문에 데이터센터 학습 시장 점유율은 여전히 압도적이다. 관건은 추론(inference) 시장이 커지며 가격 대비 성능 경쟁이 본격화될 때 이 프리미엄이 유지되느냐다.