그래프코어-허깅페이스, IPU에 최적화된 SOTA 트랜스포머 개발 협력

[테크월드뉴스=서유덕 기자] 그래프코어(Graphcore)가 허깅페이스(Hugging Face)의 ‘하드웨어 파트너 프로그램(Hardware Partner Program)’에 참여한다고 17일 밝혔다. 이로써, 최소한의 코딩으로 그래프코어 IPU(지능처리장치)에 적합한 SOTA(State-of-the-Art) 트랜스포머 모델을 생산 규모로 구현할 수 있게 될 전망이다.

그래프코어 IPU는 머신러닝(ML)에 적합한 세분화된 병렬 처리, 저정밀도 연산, 희소성 처리 능력에 특화된 프로세서다. GPU의 SIMD/SIMT 아키텍처 대신, 실리콘 다이(die) 바로 위 프로세서 코어에 인접한 초고대역폭 메모리와 대규모 병렬 MIMD 아키텍처를 사용함으로써 BERT나 이피션트넷(EfficientNet) 같은 AI 모델과 차세대 AI 응용처에서 효율적인 AI 처리 성능을 제공한다.

그래프코어 IPU 개발자들은 BERT 같은 모델을 자연어 처리(NLP) 이상의 다양한 애플리케이션에 폭넓게 사용하고 있다. 이런 모델들은 특징 추출, 텍스트 생성, 감정 분석, 번역 등 다양한 영역에 활용되고 있다.

한편, 허깅페이스는 프랑스어 언어 CamemBERT(까망베르)를 비롯해, NLP 노하우를 컴퓨터 비전에 적용하는 ViT 등 수백 개의 트랜스포머를 보유하고 있다. 허깅페이스의 트랜스포머 라이브러리는 월 평균 200만 다운로드를 기록하고 있다. 그 수요가 계속해서 증가하는 가운데, 양사는 허깅페이스의 트랜스포머 툴세트를 그래프코어의 AI 하드웨어와 결합시킬 방침이다.

개발자들은 새로운 오픈소스 라이브러리·툴킷 옵티머스(Optimus)를 사용, 허깅페이스 인증을 거친 하드웨어 최적화 모델을 활용할 수 있게 된다. 양사는 긴밀한 협업을 통해 해당 모델을 공동 개발 중으로, 2021년 말 그래프코어 IPU에 최적화된 첫 모델을 선보일 예정이다. 또한, 개발 중인 모델은 시각, 음성, 번역, 텍스트 생성 등 응용 분야에 활용 가능할 것으로 기대된다.