데이터브릭스, LLM ‘DBRX’ 출시…“모든 오픈소스 모델 능가”

[테크월드뉴스=양승갑 기자] 데이터브릭스가 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) ‘DBRX’를 출시했다고 28일 밝혔다.

DBRX는 모든 기업을 위해 맞춤형 고성능 LLM의 학습과 튜닝을 보편화한다. 조직은 DBRX를 통해 더 이상 소수의 폐쇄형 모델에 의존하지 않아도 된다. DBRX는 28일부터 바로 사용 가능하며 전 세계 조직은 비용 효율적으로 자체 맞춤형 LLM을 구축해 교육 및 서비스할 수 있다.

데이터브릭스에 따르면 DBRX는 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 라마2 70B 및 믹스트랄-8x7B와 같은 기존 오픈소스 LLM보다 뛰어난 성능을 제공한다. 언어 이해(MMLU), 프로그래밍(HumanEval) 및 수학(GSM8K) 벤치마크에서도 GPT-3.5의 성능을 능가한다.

데이터브릭스는 효율성을 위해 메가블록스 오픈소스 프로젝트에 기반한 전문가 혼합(MoE) 아키텍처로 DBRX를 최적화했다. 이로 인해 DBRX는 다른 주요 LLM 대비 최대 2배 높은 컴퓨팅 효율을 갖추고 있다.

DBRX는 데이터브릭스 모자이크 AI의 통합 툴링과 결합돼 고객이 데이터와 지적 재산에 대한 제어권을 유지하면서도 안전하고 정확하며 관리 가능한 생산 품질의 생성형 AI 애플리케이션을 신속하게 구축 및 배포할 수 있도록 지원한다. 고객은 데이터 관리, 거버넌스, 리니지 및 모니터링 기능이 내장된 데이터브릭스의 데이터 인텔리전스 플랫폼의 다양한 이점을 누릴 수 있다.

데이터브릭스 알리 고드시(Ali Ghodsi) 공동창립자 겸 CEO는 “DBRX는 최신 업계 벤치마크에서 오픈소스 모델을 능가한다”며 “대부분의 벤치마크에서 GPT-3.5를 뛰어넘는 수준으로 우리는 독점 모델을 오픈소스 모델로 대체하는 추세가 고객 기반 전반에 걸쳐 가속화될 것으로 기대하고 있다.

이어 “DBRX는 전문가 혼합 아키텍처를 사용하기 때문에 초당 토큰 전송 속도가 매우 빠르며 비용 효율적이다”며 “이런 점에서 DBRX는 오픈소스 LLM의 새로운 기준을 제시하며 기업이 자체 데이터를 기반으로 맞춤형 추론 기능을 구축할 수 있는 플랫폼을 제공해 준다”고 덧붙였다.