[TECH한주] AI에 쓰이는 데이터, 어디서 만드나?…‘크라우드웍스’

[편집자주] 모든 산업군의 디지털전환이 빨라지면서 주식시장에서도 관련 기업에 대한 관심이 높아지고 있습니다. 개인의 투자도 확대되고 있지만 바쁜 일상에 최근의 이슈를 살펴보기는 쉽지 않습니다. [TECH한주]에서는 개인 투자자의 입장에서 글로벌 매크로 이슈와 국내 코스피, 코스닥 유망기업을 공유하고자 합니다.

정보통신(IT) 업계에서는 생성형 인공지능(AI)을 기술 혁신이라고 평가하며 인터넷, 스마트폰에 이은 새로운 패러다임으로 자리매김할 것으로 예상합니다. 이는 생성형 AI가 산업 분야와 관계없이 광범위한 영향력을 행사할 수 있는 잠재력을 가지고 있기 때문입니다.

AI 성능에 가장 중요한 영향을 미치는 것은 바로 언어학습 모델에 사용되는 가공된 데이터입니다. 양질의 데이터는 AI 품질을 결정하고 개발 프로젝트에 투입되는 시간·비용의 효율성과 직결되기 때문인데요. 텍스트, 이미지, 음성, 영상 등 정보를 기능과 목적에 부합하는 원천 데이터에 부착하는 작업을 ‘데이터 라벨링’이라고 부릅니다.

그러나 매번 기업 내부 인력으로 데이터를 직접 수집하고 가공하는 것은 비용과 시간이 많이 들기 때문에 종종 기업들은 가공된 데이터를 제공하는 업체를 찾기도 합니다. 시장조사기관 그랜드뷰리서치에 따르면 글로벌 AI 데이터 라벨링 시장 규모는 지난해 49억 달러로 평가되며 2030년 576억 달러(약 76조 원)에 도달할 것으로 전망됩니다.

이런 기회 요인과 변화 속에서 AI 개발에 필요한 데이터 솔루션을 제공하는 기업이 있습니다. 바로 AI 학습 데이터 플랫폼 기업 크라우드웍스입니다. 크라우드웍스는 IT, 금융, 에듀테크, 자율주행 등 산업 분야 500개 기업의 파트너로서 데이터 구축 경험을 쌓고 있는데요. 이에 테크월드 뉴스에서는 크라우드웍스의 성장 전략을 정리해 봤습니다.

▶ AI 개발 전 단계 걸친 서비스 지원

2017년 설립된 크라우드웍스는 크라우드소싱 기반의 AI 학습 데이터 플랫폼을 운영하고 있습니다. 크라우드소싱은 특정 작업을 불특정 다수의 외부에 위탁해 해결책을 찾는 방법을 의미하는데요.

크라우드웍스는 “다양한 특성을 가진 인력으로 구성된 작업자 집단을 기반으로 데이터 수집 및 가공 작업별 더욱 적합한 인력을 선별·투입할 수 있어 고객 요구사항에 정확하게 부합하는 고품질 데이터를 구축할 수 있다”고 설명합니다.

AI 개발 전 단계에 걸쳐 맞춤형 서비스를 제공하는 것도 특징입니다. 회사에 따르면 ▲데이터 및 요구사항 정의 ▲AI 데이터 구축 ▲알고리즘 개발 ▲AI 서비스 개발 ▲모델 및 서비스 검증, 성능 향상 등이 포함됐는데요. 이를 두고 크라우드웍스는 “AI 데이터 구축 서비스부터 통합 솔루션, 인력 매칭/파견 및 교육 서비스 등 AI 학습 데이터의 전후방 산업을 모두 아우르고 있다”고 전합니다.

금융정보업체 에프앤가이드는 “(크라우드웍스는) 빅데이터와 AI 인프라 기반의 ‘지능형 AI 데이터 플랫폼’과 이와 관련한 서비스를 종합적으로 제공하고 있다”며 “국내 최대 규모 데이터 라벨러 풀을 운영하고 AI 개발 가치사슬 모든 단계에 맞춤형 서비스를 제공하고 있다”고 밝혔습니다.

▶ 우수 데이터 확보 위한 프로세스 구축

앞서 언급했던 것처럼 크라우드웍스는 크라우드소싱 플랫폼을 보유하고 있습니다. 크라우드웍스에 따르면 국내 대부분의 데이터 공급 기업은 크라우드소싱 플랫폼을 운영하고 있지 않은 상황인데요. 플랫폼 없이는 대규모 프로젝트를 수행하기 어려울 뿐만 아니라 고객사에게 빠른 납품이 어렵기 때문에 프로젝트 수주가 불리하다는 것이 회사 측의 설명입니다.

특히 불특정 다수를 통해 데이터 수집 및 가공을 진행하는 크라우드소싱 플랫폼을 운영하는 만큼 까다로운 고객 요구사항을 만족시키기 위해서는 엄격한 품질 관리체계가 요구됩니다.

이에 우수한 데이터 확보를 위한 크라우드웍스의 노력은 현재도 이뤄지고 있습니다. 크라우드웍스 플랫폼에서 활동하는 데이터 라벨러의 수만 하더라도 58만명으로 다수의 작업자가 프로젝트에 참여해 AI 데이터를 구축하고 있으며 전문 프로젝트 매니저가 전수 검수 시스템으로 품질 기준에 맞는 최종 결과 데이터를 고객에게 전달합니다.

크라우드웍스 관계자는 “AI는 데이터 품질이 가장 중요하다. 다만 고품질의 데이터를 만들기 위해서는 사람이 작업을 해야 하는 데 해당 분야에 전문성을 가진 작업자가 필요하다”며 “크라우드웍스는 경쟁사들과는 달리 교육, 국방, 마케팅, 의료, 자율주행, CS 등 분야와 텍스트, 이미지, 오디오, 비디오, 3D의 데이터 수집, 가공을 지원한다”고 강조했습니다.

이어 “AI 데이터뿐만 아니라 기업 맞춤형 LLM 도입을 위한 컨설팅부터 데이터 구축, 모델·애플리케이션 개발까지 AI 전 과정에 대한 서비스를 제공하고 있다”고 덧붙였습니다.

▶ AI 대한 ‘A부터 Z까지’ 제공 목표

크라우드웍스는 기업 맞춤형 LLM 도입을 위한 솔루션 ‘크라우드웍스 LLM 플랫폼’도 선보이고 있습니다. 기업들이 하이퍼클로바X, 제미나이 등 베이스가 되는 LLM을 파인튜닝(특정 작업에 높은 정확성을 부여하는 미세조정 방법)해서 자체적으로 도입하고자 할 때 도움을 주는 일종의 솔루션으로, LLM 도입을 컨설팅하고 실행하는 전체 프로세스를 제공하는데요.

크라우드웍스 관계자는 “챗GPT 등장 이후 AI 기술에 대한 인식이 긍정적으로 바뀌는 분위기다”며 “기업들도 AI 도입에 대한 인식이 변화하면서 업무에 AI 도입을 위한 기술실증(PoC)에 적극적인 태도로 바뀌었다”고 말했습니다.

이어 “이런 수요가 크라우드웍스의 솔루션 확산으로 이어지고 있다”며 “많은 대기업을 중심으로 생성형 AI를 적극 도입하고 있는 가운데 올해 크라우드웍스 LLM 플랫폼 매출 비중은 14%까지 확대될 것으로 기대한다”고 언급했습니다.

아울러 AI를 활용하는 전 단계에 필요한 솔루션을 제공하는 것은 주요 장점으로 부각될 전망입니다.

크라우드웍스 관계자는 “크라우드웍스를 데이터 라벨링 회사라고만 인식하는 경우가 있는데 사실은 데이터 라벨링과 자체 LLM까지 제공하는 AI 기술 파트너라고 봐야 한다”며 “단순히 라벨링 서비스만 제공하는 것이 아니라 ‘매니지드 LLM 프로바이더’를 목표하고 있다”고 말했습니다.

그러면서 “이제는 AI의 A부터 Z까지 계획을 수립하고 컨설팅하는 것에 방향성을 정했다”며 “빠르게 증가하는 LLM 도입 수요에 적극 대응하고 국내에서 쌓은 역량을 바탕으로 일본·유럽·미국 시장에서 성과를 거두는 게 목표”라고 덧붙였습니다.

▶ 증권업계, 기업용 챗GPT·GPT 스토어 시장에 따른 긍정적 전망

한편 증권업계에서는 올해 크라우드웍스의 성장을 긍정적으로 평가했습니다. 더군다나 챗GPT 엔터프라이즈 및 GPT 스토어 시장 개화에 따른 수혜를 직접적으로 받을 것으로 예상하는데요.

현재 GPT 스토어는 글쓰기, 생산성, 프로그래밍, 교육, 라이프 스타일 등 다양한 카테고리로 구성됐는데 여기서 개인화된 커스텀 챗봇을 이용할 수 있습니다. 커스텀 챗봇은 한 분야에 최적화된 AI로, 저마다 파인튜닝을 거치게 되는데요.

오픈AI의 GPT-3.5 터보는 파인튜닝을 지원하기 시작하면서 기업들의 생성형 AI 도입을 가속화시켰다는 평가를 받는 데, 크라우드웍스 역시 ‘크라우드웍스 LLM 플랫폼’으로 비슷한 역할을 할 것이라는 설명입니다.

하나증권 조정현 연구원은 “2024년 크라우드웍스의 대형언어모델(LLM) 플랫폼 사업은 엔터프라이즈용 챗GPT 도입 가속화 및 GPT 스토어 시장 개화에 따른 파인튜닝 수요 증대로 구조적 성장을 이룰 전망이다”고 밝혔습니다.

이어 “GPT 스토어에도 파인튜닝이 핵심 역할을 할 전망인데, 국내 고품질 데이터 부문에서 독보적 지위를 보유한 크라우드웍스는 프로젝트 수요가 본격화될 것으로 기대된다”고 설명했습니다.

한편 하나증권은 크라우드웍스의 올해 매출액을 전년 대비 54.8% 증가한 353억 원, 영업이익 71억 원의 흑자전환을 전망했습니다.