LLM 아키텍처 개발하는 중국, AI 생태계에 새로운 도전장 던졌다

[테크월드뉴스=박예송 기자] PC 및 스마트폰에 AI가 적용되면서 AI 성장이 더 높아질 것으로 예상되는 가운데 중국 기업들은 대규모 언어 모델(LLM)에 대한 높은 수요를 염두에 두고 다른 접근 방식을 취하고 있다. 이들은 자체적으로 LLM에 사용되는 아키텍처를 개발해 기존 트랜스포머 아키텍처의 대체 솔루션을 찾고 있다.

▶중국, 기존과 다른 언어모델 공개

차이나스타마켓, IT타임즈 등 중국 언론의 보도에 따르면 최근 중국 AI 스타트업 RockAI가 언어 모델 얀(Yan)을 공개했다. 이 모델은 기존의 언어모델에서 사용하는 트랜스포머 아키텍처가 아닌 자체 개발한 얀 아키텍처를 채택하고 있다.

현재 대표적인 LLM인 오픈 AI의 GPT, 메타의 라마(Llama), 구글의 팜(PaLM) 등은 모두 트랜스포머 아키텍처를 사용하고 있다.

그러나 RockAI의 CEO인 리우 판핑(Liu Fanping)은 “트랜스포머 모델의 지속적인 연구와 개선 과정에서 LLM을 재설계해야 할 필요성을 느꼈다”며 “기존의 아키텍처는 병목현상에 도달했다”고 지적했다.

이와 관련해 UST-ETRI 캠퍼스 신익수 UST학생연구원은 “트랜스포머 아키텍처는 연산량이 상당히 많다는 특징이 있다. 데이터가 입력되면 연산량은 n제곱 이상으로 급격히 증가한다”며 “트랜스포머의 성능은 좋은 평가를 받지만 단점의 영향력도 크다”고 설명했다.

▶기업들의 진입장벽 낮춰

AI 모델 개발의 경우 파라미터(매개변수) 수가 많아질수록 추론 서버도 그만큼의 수가 필요해 비용이 증가하는 문제가 있다. 이는 기업들의 진입 장벽을 높이는 원인이 되기도 한다. 이런 진입장벽을 낮추기 위해서는 더 적은 데이터와 더 낮은 낮은 연산 능력으로도 강력한 성능을 발휘할 수 있는 LLM이 필요하다. 

RockAI에 따르면 얀 아키텍처는 기존의 LLM과 다른 메커니즘을 사용하며 1000억 개에 달하는 파라미터 규모를 가진 기존 LLM과 달리 얀의 파라미터는 100억 개 수준이다. 그러나 트랜스포머 아키텍처와 비교했을 때 모델 학습 효율성은 7배, 추론 처리량은 5배, 메모리 용량은 3배 더 높다며 이는 수백억 개의 파라미터로 대형 모델에 도달한 성능이라고 설명했다.

리우 판핑 CEO는 “이를 통해 기업의 LLM 사용의 진입 장벽을 낮춰 더 다양한 비즈니스에 적용하고자 한다”며 “얀 아키텍처가 AI 분야의 인프라 역할을 해 개발자 생태계를 구축할 수 있기를 기대하고 있다”고 말했다.

이어 “모든 기기에서 누구나 LLM을 사용해 경제적이고 편리하며 안전한 AI 서비스에 접근할 수 있을 것으로 기대하고 있다”고 덧붙였다.

▶트랜스포머의 우위 깨기 위한 시도

물론 실제 애플리케이션에서 얀 모델의 성능은 아직 시장에서의 검증이 필요하다. 또한 기존의 에코시스템을 깨는 것도 어려운 일이다. 대부분의 LLM에서 볼 수 있듯이 현재로서는 트랜스포머 아키텍처가 전 세계적으로 LLM을 트레이닝하는 데 가장 쉽게 사용할 수 있는 효과적인 솔루션이다.

그러나 미국의 견제로 AI 칩 부족에 직면하고 있는 중국이 더 적은 자원으로 AI를 개발하기 위한 돌파구로 RockAI의 얀 아키텍처를 선택할 가능성은 있어 보인다.

RockAI의 첸 다이첸 회장은 “얀 모델의 적용을 통해 향후 로봇 공학, 임베디드 장치, IOT 장치 및 기타 분야에 필요한 지능형 기능을 제공해 기업과 사용자에게 더 많은 가치를 창출할 것”이라고 말했다.

엔비디아의 하이엔드 AI GPU가 AI 연산을 위한 유일한 솔루션이 아닌 것처럼 트랜스포머 아키텍처가 LLM을 위한 유일한 솔루션은 아니다. 인텔이나 텐스토렌트와 같은 기업들도 ASIC 설계를 진행하고 GPU AI 하드웨어를 사용하지 않으면서 AI 연산 솔루션을 제공하기 위해 시도하고 있다. 트랜스포머 논문의 저자 중 한 명인 라이온 존스(Llion Jones)마저도 트랜스포머 아키텍처를 넘어 더 많은 가능성을 모색하고 있다고 전했다.

신익수 연구원은 “최근 트랜스포머의 단점을 개선하려는 시도가 계속되고 있다. 트랜스포머의 단점을 보완하는 것과 대체안을 모색하는 노력이 병행되고 있다”며 “중국이 완전히 새로운 시도를 한 것은 아니며 현재 진행 중인 다양한 연구 중 하나인 것”이라고 말했다.