美 엔비디아, 최신 AI 칩 H200 공개"출력 속도 H100 두 배"

인공지능(AI) 반도체 부문 선두 주자인 미국의 엔비디아가 최신 AI 칩을 내놓았다.

엔비디아는 13일(현지시간) 생성형 AI 모델의 기반이 되는 대규모 언어 모델(LLM)에 적용해 이를 훈련하도록 설계된 그래픽처리장치(GPU) H200을 공개했다.

H200은 챗GPT 개발사 오픈AI의 최신 LLM인 GPT-4 훈련에 적용되는 등 전 세계 기업들이 확보하기 위해 경쟁을 벌이는
H100의 업그레이드 버전이다.

현재 H100 칩 1개당 가격은 2만5천달러∼4만달러로 추정되고 있으며,
LLM을 구동하는 데에는 수천 개의 칩이 필요하다.

H200에는 141기가바이트(GB)의 차세대 메모리 'HBM3'가 탑재됐다.

고대역폭 메모리를 뜻하는
HBM(High Bandwidth Memory)은 여러 개의 D램을 수직으로 연결해 데이터 처리 속도를 혁신적으로 끌어올린 고성능 제품이다.

HBM3은 HBM의 4세대 제품으로 칩이 텍스트와 이미지 등을 생성하기 위해 훈련된 LLM이 추론하는 데에도 도움을 준다.

H200의 가격은 알려지지 않았고, 내년 2분기 본격적으로 출시될 전망입니다.

엔비디아는 H200 칩으로 구동되는 시스템이 아마존, 구글, 마이크로소프트 등 주요 클라우드 서비스 제공업체와 엔비디아의 하드웨어 파트너에게 2024년 2분기부터 이용가능해질 것이라고 밝혔다.

한편 또다른 AI칩 생산업체인 AMD(AMD)가 곧 출시할 MI300X GPU 칩 역시 추론 애플리케이션 시장을 겨냥해 기존 AI칩보다 업그레이드된 성능을 표방하고 있다.
엔비디아의 H200 과 비교한 스펙은 아직 알려지지 않았다.

엔비디아는 H200을 메타의 LLM인 라마2에 사용한 테스트를 근거로
H100보다 2배 빠른 출력을 낸다고 설명했다.

이 칩은 H200 GPU와 암(Arm) 기반 프로세서를 결합한 'GH200'이라는 칩과 엔비디아의 컴퓨팅 플랫폼인 HGX의 서버 구성에 사용될 수 있다고 전했다.