“딥러닝 모델 압축, 단순히 엣지만을 위한 기술 아냐”

[테크월드=이건한 기자] 인공지능(AI)에 있어 ‘딥러닝(Deep learning)’의 등장은 거대한 전환점이다. 데이터를 스스로 분석하고, 특징을 찾아내 학습과 판단에 적용하는 딥러닝은 이제 현존하는 거의 모든 AI의 표준처럼 쓰이고 있다. 하지만 이를 더 작은 기기에 적용하기 시작했을 때, 예컨대 스마트폰 같은 엣지(Edge) 디바이스까지 AI 적용 범위가 넓어지면서 업계는 한 가지 딜레마에 빠지게 된다.

먼저 고성능 AI를 구동하려면 그만한 컴퓨팅 파워가 뒷받침돼야 한다. 그러나 일반 소비자용 기기의 낮은 하드웨어 스펙으론 한계가 명확하다. 이 때문에 초기엔 AI 연산을 클라우드 서버에 일임하고 기기는 그것을 받아쓰는 방식이 활용되곤 했지만 이마저도 사생활 침해 가능성이 있다는 이용자 반발에 놓이게 됐다. 진퇴양난의 상황, 결국 남은 답은 하나다. 개별 기기에서 직접 AI를 구동하는 것. 이른바 온디바이스 AI(On-Device AI) 개념이 등장하게 된 배경이다.

문제는 온디바이스 AI를 효율적으로 구현하려면 한정된 하드웨어 스펙 내에서 AI가 충분히 제 성능을 발휘할 수 있도록 모델을 끝없이 최적화하는 과정이 요구된다는 점이다. 그러나 관련 기술력을 지닌 기업은 아직 세계적으로도 흔치 않은 편이다. ‘딥러닝 모델 압축’ 기술을 보유한 국내 스타트업 노타(Nota)가 주목받는 이유다. 서울 강남구 노타 기업부설연구소에서 채명수 대표를 만나 그간의 이야기를 들어봤다.

노타 채명수 대표

좋은 발명은 필요에 의해 이뤄진다

AI 기술은 지금도 현재발전형이다. 많이 알려졌지만 아직 갈 길은 멀다. 있는 것을 다듬기보단 신기술 개발이 더 눈길을 끄는 시기다. 이런 상황에서 노타는 어떻게 딥러닝 모델 압축이란 다소 보수적인 기술 개발에 선제적으로 뛰어든 걸까?

채명수 대표는 노타의 앞선 경험이 지금의 새로운 노타를 만들었다고 말한다. 노타는 원래 ‘노타 키보드’라는 오타 보정용 AI 애플리케이션을 개발하던 팀이다. 초기엔 그 가치를 인정받아 네이버 D2SF(액셀러레이터)의 첫 투자팀으로 선정된 이력도 있다. 하지만 키보드 앱은 수익 창출이란 측면에서 다소 아쉬운 아이템이다.

이용자 터치포인트 분석을 기반으로 오타를 보정하다 보니 개인정보 유출에 대한 이용자들의 걱정도 따랐다. 이에 외부 서버를 통하지 않고 자체적으로 구동되는 AI를 적용하려 했지만 2014년 스마트폰 스펙은 AI 연산에 필요한 충분한 컴퓨팅 파워를 제공하지 못했다. 결국 자연스레 한정된 리소스 안에서 효율적인 AI 구동을 위한 고민과 연구가 따르기 시작했고, 그것이 지금의 딥러닝 압축 기술로 발전하게 된 것이다.

때마침 학계에서도 딥러닝 모델 압축 기술에 대한 첫 연구들이 나오기 시작했다. 당시 노타에서 자체적으로 비교해본 결과, 학계에 공개된 기술보다 수치상으로 노타 압축 기술의 효율이 훨씬 더 높았다. 시장성이 있다는 판단이 들었다. 이에 2016년 사업 피봇(Pivot, 아이템 전환)을 결정하고 본격적인 딥러닝 모델 압축 기술 개발에 나섰다.

채명수 대표는 “당시 비전분야의 AI의 정확도는 어느 정도 검증된 단계였고, 이제 도입 비용이나 인터넷 연결 필요성, 프라이버시 문제 같은 현실적인 제약들을 해결할 기술이 필요한 시기였다. 여기에 우리가 지닌 모델 압축 기술이 반드시 도움이 될 거라 확신했다”고 말했다.

피봇 이후 연구 인력도 충분히 보강했다. 현재 노타에는 31명의 직원이 근무 중이며 그중 25명이 R&D 인력이다. 한국과학영재학교를 졸업한 창업자들, 카이스트 석박사 출신도 10명 이상이다. 원래 채명수 대표도 직접 개발에 참여했지만 사업이 궤도에 오른 뒤 노타에 관심을 가진 기업들과의 미팅, 내부 운영업무 등이 잦아지며 직접 개발보다는 거시적인 개발 방향 조정과 이슈 컨트롤에 전념하고 있다고 한다.

 

압축이란 다양한 관점에서 설명될 수 있다

딥러닝 모델 압축이란 대체 어떻게 이뤄지는 걸까? 기자도 처음엔 일반적인 컴퓨터 파일 압축 정도를 생각했다. 반면, 채 대표는 압축이란 기술에 대한 관점을 좀 더 넓힐 필요가 있다고 말한다.

그는 “모델 사이즈를 줄이는 것도 압축이지만, AI 구동에 필요한 연산량을 줄이는 것도 압축이 될 수 있고, 동일한 연산량이라도 훨씬 빠르게 연산할 수 있는 방법으로 변환하면 연산 속도가 크게 달라질 수 있다”며, “충분한 메모리와 GPU 가속성 등을 갖춘 클라우드와 달리 소비자 단의 저사양/저비용 엣지(Edge) 디바이스는 많아야 4GB 정도의 메모리를 탑재하고 있을 뿐이다. 여기에 고성능 AI 모델이 효율적으로 동작하려면 압축을 통해 비트 수를 줄이는 것도 하나의 해결법”이라고 설명했다.

노타의 압축 기술은 이미 상당한 수준에 이르러 있다. 인텔과의 기술 검증에서는 모델 사이즈를 최대 90%까지 줄여본 경험이 있다고 한다. 그러나 압축에 따른 연산 정확도 감소치는 1% 미만에 그쳤다. 예를 들어 메모리 200MB가 필요하던 작업이 단 20MB만 있어도 가능하게 된 것이다.

이는 나아가 엣지뿐 아니라 대규모 서버나 클라우드 서비스 등에서도 제공자와 사용자 모두에게 혜택을 줄 수 있다. 대부분의 클라우드 서비스는 사용량에 따라 비용을 지불한다. 따라서 네트워킹에 필요한 데이터가 줄어들면 그만큼 지불 비용이 절감되며, 사업자 입장에서도 리소스를 아낄 수 있다는 점에서 그렇다. 현재 노타의 비즈니스 경쟁력 또한 수요기업이 인공지능 서비스 제공에 필요한 비용을 최소화, 최적화해주는 것에 있다.

 

맨땅에 헤딩? 꼭 나쁜 것만은 아냐

누구도 나아가지 않은 땅을 개척하는 일에는 많은 부담이 따른다. ‘맨땅에 헤딩’하는 격으로 사업을 진행해 온 노타도 많은 고생을 했다. 하지만 좋은 점도 있었다고 한다. 아직 관련 분야에 정보가 적은만큼 노타가 조금만 성과를 내도 많은 조명을 받게 되는 점이다.

채명수 대표의 설명에 따르면 전시회 등에 나가 엔지니어들의 고정관념을 깬 시제품을 내놓으면 이를 보고 많은 협력 요청이 들어온다고 한다. 이후 이들과 함께 기술검증, 파트너십을 체결하다 보면 대기업 비즈니스와도 연결되는 선순환이 이뤄진다는 것이다. 채 대표는 “대기업 사업팀들은 아직 모델 압축 기술의 중요성을 잘 모르는 경우가 많지만, 현장의 엔지니어들은 다르다. 지금은 그들이 우리의 기술을 먼저 접하고 그것을 기업 내부에 전파하는 징검다리 역할을 해주고 있다”고 말했다.

 

압축 기술의 향방, 엣지를 넘어 전 산업으로

노타의 딥러닝 모델 압축 기술, 앞으로의 향방은 어떨까? 이 기술은 현재 CCTV 모니터링이나 불량검출, 재고 파악, 얼굴인식 기반 출입제어 AI 등에 사용되고 있다. 하지만 여기서 끝이 아니다. 채 대표는 “지금은 비전 기술에 집중하고 있지만 하반기엔 스피치(Speech) 분야, 그 다음엔 텍스트(Text), 나아가 이 모두를 결합해 경량화된 통합 AI 시스템을 만들어가는 방향을 구상하고 있다”고 밝혔다.

시장을 넓게 보고 있는 만큼 그에 대비한 준비도 마쳤다. 노타의 ‘넷스프레소(NetsPresso)’는 파트너 기업의 모델링 압축·최적화 요구를 AI로 대응할 수 있도록 설계된 플랫폼이다. 기존에 기업별 모델 분석에 필요한 시간이 짧으면 2주일 길게는 수개월까지 필요했다면, 넷스프레소 플랫폼에선 짧으면 하루, 길어야 일주일이면 가능하다고 한다.

이를 통해 엔지니어 인력 충원을 대규모로 하지 않고도 많은 수요에 효과적으로 대응할 수 있고, 현재는 넷스프레소 개선 연구에 박차를 가해 향후 더 많은 영역에 이 플랫폼을 적용하는 것이 목표라고 한다.

인간과 인공지능이 상생하는 삶을 꿈꾸며

노타가 그리는 그림은 단순히 엣지 디바이스, 온디바이스AI에만 그치지 않는다. 딥러닝 모델 최적화 효율을 극대화해 어느 규모에서든 최상의 효율을 낼 수 있도록 하겠다는 것이다. 노타는 지금의 압축 기술이 성장할수록 전체 AI 산업의 질도 지금보다 나아질 수 있다고 보고 있다. 그렇다면 그 끝에, 채명수 대표가 바라는 이상적인 AI의 역할이란 무엇일까? 그는 인터뷰를 마무리하며 다음과 같이 말했다.

“AI가 모든 것을 대체할 필욘 없다. AI가 사람의 일을 보다 수월하게 할 수 있도록 도와주는 데 쓰이는 것이 적절한 발전 방향이라고 본다. 개인적으로 인간과 공존하는 AI가 만드는 세상에 대해 꿈꾼다. 궁극적으론 영화 ‘HER’처럼 일상의 작은 문제 하나하나에도 AI를 적용해 모두의 생활이 더욱 윤택해지길 바란다. 노타의 다른 모든 구성원들도 ‘우리 AI 기술로 세상 발전에 기여하자’는 생각을 품고 있다. 그것을 위해 어떤 일이라도 할 생각이다.”

이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지