[한장TECH] 멈출 줄 모르는 AI 반도체 호황, 갈수록 커지는 엔비디아 아성

[테크월드뉴스=박예송 기자] 현재 GPU 시장은 엔비디아가 주도하고 있다. GPU 설계 기술뿐 아니라 엔비디아 제품을 사용할 수밖에 없는 생태계를 조성해 왔다. AI 칩의 수요가 늘고 GPU의 공급 부족으로 가격이 오르면서 엔비디아는 호황기를 이어갈 것으로 전망된다.

▶엔비디아, GPU 절대 강자

생성 AI의 등장과 함께 GPU의 수요는 폭발적으로 증가했다. 현재 오픈AI를 비롯한 마이크로소프트, 구글, 아마존, 메타 등 AI 관련 기업은 엔비디아 GPU를 사용해 AI를 개발, 서비스하고 있다.

업계에 따르면 전체 GPU 시장에서 엔비디아의 사장 점유율은 69% 정도지만 AI 개발에 이용되는 GPU는 90% 이상을 차지하고 있다. 엔비디아 GPU가 생성 AI 개발의 필수재로 여겨지는 건 성능 때문이다.

엔비디아의 H100 GPU는 전용 트랜스포머 엔진으로 조 단위 매개변수를 가진 대규모언어모델(LLM)을 처리하는 역할을 한다. LLM을 학습하고 추론하는데 고사양 GPU일수록 짧은 기간에 AI 학습을 마치고 더 빠르게 추론할 수 있다. 고가의 GPU를 확보해야 경쟁력을 가질 수 있어 AI 기업들은 엔비디아의 GPU를 선호하고 있다.

엔비디아 H100 GPU의 수요는 앞으로 더 늘어날 것으로 전망된다. H100은 전세대인 A100 GPU보다 최대 4배 더 높은 성능을 제공한다.

AI 인프라는 AI 모델을 만드는 학습 인프라와 개발한 AI 모델을 실제로 운영하는 추론 인프라로 나뉜다. 지금까지는 학습에 H100을 투입하고 추론에 A100을 투입했지만 LLM은 학습 인프라와 추론 인프라의 연산량이 크게 차이가 없어 거의 동일한 수준의 성능을 필요로 한다. 이로 인해 학습 인프라와 더불어 추론 인프라를 위한 H100 구매가 늘어날 전망이다.

▶벗어나기 어려운 엔비디아 생태계

생성 AI 개발과 서비스 운영에서 엔비디아 GPU의 대체재 활용에 대한 이야기도 나온다. 그러나 엔비디아는 GPU 프로세서 개발뿐 아니라 엔비디아 GPU를 기반으로 하는 쿠다(CUDA) 소프트웨어 생태계를 조성해 왔다.

쿠다는 엔비디아에서 개발한 GPU용 병렬 프로그래밍 아키텍처다. 딥러닝 모델을 구동할 수 있는 DNN(Deep Neural Network) 라이브러리 덕분에 AI 시장에서 주도권을 잡았다. 쿠다를 활용한 cuDNN 라이브러리가 딥러닝 모델을 가장 빠르게 구동해 많은 AI 개발자가 이 라이브러리 위에 AI 모델을 쌓아올렸다. 쿠다의 DNN 라이브러리는 엔비디아 GPU만 사용할 수 있기에 엔비디아 GPU가 기본 하드웨어로 자리잡았다.

프레임워크 개발사조차 직접 DNN 라이브러리를 만들지 않고 쿠다를 채택한다. 엔비디아가 DNN 라이브러리를 비롯한 여러 쿠다 기반 소프트웨어 생태계에 막대한 자본을 계속 투입하면서 의존성은 더 커졌다. 현재 널리 쓰이는 AI 개발 프레임워크와 각종 라이브러리, 도구 등은 엔비디아 GPU에 최적화돼 있어 엔비디아 GPU 대체는 사실상 불가능한 상황이다.

▶최대 성장 산업으로 자리매김한 AI 반도체

생성AI를 개발하는 기업이 안고 있는 문제는 엔비디아 GPU의 가격이다. 수요는 늘어가는데 공급이 부족해 막대한 비용이 요구된다. 현재 엔비디아의 최고 사양 GPU인 H100 텐서코어 GPU를 탑재한 서버는 한 대당 수억 원에 판매된다.

투자 전문 매체 배런스(Barron’s)의 수석 작가 태 킴은 엔비디아가 판매하는 H100 GPU 가속기마다 823~1000%의 수익률을 올리고 있다고 추정했다. 엔비디아가 H100을 만드는데 필요한 비용은 3320달러(약 446만 원)다. 하지만 고객에게 2만 5000~3만 달러(약 4000만 원)에 판매하고 있다. 연구 개발 비용을 고려하더라도 엔비디아가 GPU 판매로 벌어들이는 수익은 상당하다.

엔비디아는 2024 회계연도 2분기(5~7월) 실적 발표를 통해 135억 1000만 달러의 매출과 61억 8800만 달러의 순이익을 기록했다고 밝혔다. 매출은 전분기 대비 88%, 전년동기 대비 101% 증가했다. 순이익은 전분기 대비 203%, 전년동기 대비로는 843%나 올랐다.

엔비디아의 데이터센터 부문 2024 회계연도 2분기 매출은 103억 2000만 달러로 전분기 대비 141%, 전년동기 대비 171% 성장하면서 AI용 GPU는 엔비디아 최대 성장 산업으로 자리매김했다.

실제 엔비디아의 AI 반도체 주문은 2024년까지 이미 완료된 것으로 알려졌다. 시장조사기관 가트너에 따르면 AI 반도체 시장 규모는 2022년 326억 달러(약 43조 8000억 원)에서 2030년 1179억 달러(약 158조 4000억 원)로 예상되는 만큼 엔비디아의 호황기는 계속될 것으로 전망된다.