디지털화 가속화.. 산업 전반에서 ‘하둡(Hadoop)' 영향력 커질 것

“시대가 빠르게 변하고 있는 현재 IT 솔루션 또한 근본적인 변화를 겪고 있으며 이 트렌드는 장기적으로 지속될 것으로 본다. 기업은 데이터를 활용한 새로운 가치를 찾을 것이며 오픈소스 기반의 하둡(Hadoop)을 이용하는 기업도 늘어날 것이다.”

지난 14일 방한한 비정형 데이터 분석 플랫폼 ‘하둡(Hadoop)’의 개발자인 더그 커팅(Doug Cutting)은 최근 기자와 만난 자리에서 이처럼 밝혔다. 기업의 비즈니스가 디지털로 전환되면서 인터넷(웹)은 물론 보험산업, 리테일, 국가기관과 농업분야 등 다양한 산업에서 데이터를 활용하고 있으며 오픈소스 기반 플랫폼인 하둡 또한 영향력이 커질 것이라고 강조했다.

하둡은 비정형 데이터 분석을 위한 오픈소스 플랫폼이다. 하둡이라는 이름은 그의 아들이 가지고 놀던 코끼리 장난감 이름에서 따왔다. 그는 지난 2006년 야후에 근무할 당시 하둡을 만들고 다른 개발자도 자유롭게 사용할 수 있도록 소스코드를 공개했다. 다수의 기업들이 저렴한 장비를 통해서도 대용량 데이터 분석이 가능한 하둡 기반의 솔루션을 시장에 공급하고 있다. 

그는 오픈소스 기반의 하둡이 기업(엔터프라이즈) 시장에서 이렇게까지 성공할 줄은 몰랐다고 설명했다. 개발자들이 선호하는 오픈소스 기반 소프트웨어인 장점은 있지만 당시(2006년)에만 해도 엔터프라이즈 시장에서의 성공은 예상하지 못했다는 설명이다. 포춘500대 기업의 경우 대부분의 기업에서 하둡 기반의 데이터 분석 솔루션을 사용하고 있다. 최근에는 BI, 머신러닝 분야에서도 하둡이 활용되고 있다.

2009년 클라우데라에 합류한 그는 “오픈소스 프로젝트에서의 많은 기술들을 하둡 위에 도입할 수 있었다”며 “현재 많은 개인과 기업들이 하둡의 기술적 혜택을 보고 있다”고 설명했다. 저렴한 비용으로 운영 가능하고 오픈소스 기반이라 유연한 하둡의 경우 영향력은 더욱 커질 것이라고 덧붙였따.

실제로 하둡 기반의 솔루션을 공급하고 있는 클라우데라의 경우 매년 두 배 정도씩 성장하고 있다. 2년 전 설립된 싱가폴 지사의 경우 현재 32명의 직원이 근무할 만큼 아태지역은 그 성장속도가 더 가파르다. 

하둡을 이용한 분석 데이터를 비즈니스에 활용하는 기업도 크게 늘고 있다. 중장비업체 ‘캐터필러(Caterpillar)’는 모든 중장비에 센서를 장착하고 수집된 데이터는 데이터센터에서 하둡을 통한 분석 결과를 이용한 예측적유지보수 기능을 비즈니스에 활용하면서 효율성을 높이고 있다.

‘오파워(Opower)’의 경우에도 각 가정에 설치된 전력미터기를 활용해 사용량을 측정하고 전력사용량 분석과 전력사용패턴을 예측해 에너지 효율화를 위한 정보를 제공하고 있다.

기업의 빅데이터 분석 솔루션 도입에 대한 조언도 덧붙였다. 그는 “작은 프로젝트부터 시작하고 가시적인 목표를 설정하는 것이 중요하다”고 말했다. 모든 것을 한 번에 대체하지 말고 하나씩 작게 시작한 뒤에 향후 하둡을 활용한 결합으로 비용을 절감할 수 있다고 조언했다.

더그 커팅은 약 1년 전부터 소프트웨어 개발에 나서고 있지 않지만 건강한 오픈소스 생태계와 지원 부분에 관심을 갖고 있다고 전했다. 특히 “개발자를 키우는 컴퓨팅 교육에 있어 윤리에 대한 체계가 잡혀 있지 않다고 생각한다”며 “개발자가 지켜야할 윤리, 프라이버시 보호 및 신뢰 구축에 대해서도 신중히 생각해봐야 할 때”라고 말했다.

그는 “가장 우려되는 부분은 개인 프라이버시 침해에 대한 부분인데, 이를 지키지 못한다면 사람들의 신뢰를 잃게 될 것이고 헬스케어 등 가능성이 무궁무진한 다양한 기술들도 설자리를 잃게 될 것”이라며 “산업을 성장을 촉진하기 위해서는 개발자의 책임 있는 자세와 사용자 신뢰 구축이 필요하다”고 강조했다.