접근성 높여주는 셀프 서비스 도구에 대한 요구 증대될 것

태블로 소프트웨어(이하 태블로)는 지난 1월9일 빅데이터 업계 분석에 기반해 2017년 빅데이터 분야의 주요 분석 및 솔루션 동향에 대해 예측한 ‘2017년 상위 10대 빅데이터 트렌드’ 보고서를 발표했다.

태블로는 이번 보고서를 통해 사물인터넷(IoT) 및 클라우드 환경으로부터 생성되는 모든 유형의 데이터 형식에 대한 분석을 지원하는 시스템이 계속 증가할 것이라고 전망했다. 특히 기업들의 머신러닝 및 스마트 시스템 도입이 증가함에 따라 이런 데이터에 대한 최종 사용자의 접근성을 높여주는 셀프 서비스 도구에 대한 요구가 증대될 것이라고 분석했다.

 
1) 빠르고 접근성이 높아진 빅 데이터 활용을 위한 하둡 옵션 확장
비즈니스 사용자들은 하둡에서 더 빠르고 반복적으로 KPI 대시보드 및 탐색적 분석을 사용하기 위해 더 빠른 속도의 SQL을 요구하고 있다.

이로 인해 엑사솔(Exasol) 및 멤SQL(MemSQL) 같은 고속의 데이터베이스와 쿠두(Kudu) 같은 하둡 기반 저장소, 더 빨리 쿼리할 수 있는 기술의 채택이 촉진됐다.  이러한 쿼리 가속기는 하둡 상에서 SQL 및 OLAP와 함께 사용됨으로써 기존 웨어하우스와 빅데이터의 경계를 모호하게 만들고 있다.

2) 하둡 이상의 빅데이터를 위한 분석 플랫폼 활성화
2017년에 복잡하고 이질적인 환경을 가진 기업에서는 다양한 플랫폼상의 구조화된 데이터와 구조화되지 않은 데이터에서 분석을 요구할 것이다.

기업이 해답을 찾을 수 있는 데이터는 다양한 환경의 수많은 데이터 원본에 분산되어 있다. 이에 모든 데이터 형식을 지원하고 다양한 사용 사례를 확보하는 데 실패한 분석 플랫폼은 사라질 것이다.

3) 더 빠른 해답 도출을 위한 데이터 레이크의 반복적이고 민첩한 사용 강화
데이터 레이크에 대한 데이터 공급을 중요하게 여겼던 지금까지와 달리, 내년엔 하둡에 대한 비즈니스 요구사항이 증대됨에 따라 데이터 레이크의 활용 양상이 점차 달라질 것이다.

기업에선 데이터 레이크를 반복적이고 빠르게 사용함으로써 더욱 민첩하게 데이터 분석 결과를 확보하고자 할 것이다. 또한 데이터 레이크 투자 전 비즈니스 성과를 보다 신중히 고려할 것이다.

4) 하둡에 대한 하이브리드 요구에 부응한 최신 참조 아키텍처 등장
하둡은 더 이상 데이터 사이언스를 위한 일괄 처리 플랫폼이 아닌 애드혹 분석 및 일상 워크로드에 대한 운영 보고에도 사용되고 있다. 이에 따라 사용 사례별 아키텍처 디자인을 통해 유연성을 제공하는 아키텍처가 부상할 것이다.

최신 참조 아키텍처는 사용자 특성, 질문, 양, 액세스 빈도, 데이터 속도 등 다양한 요소를 반영한 데이터 전략에 기반하며, 요구 변화에 따라 재구성되는 방식으로 셀프 서비스 데이터 준비 도구 및 최종 사용자 분석 플랫폼이 결합될 것이다.

5) 빅데이터의 다양성이 기업들의 빅데이터 분야 투자에 가장 큰 영향을 미치는 요소
시장조사업체 가트너의 최근 설문조사에 따르면, 빅데이터의 많은 양, 빠른 속도 및 고다양성 정보 자산의 3가지 속성 중 기업들의 빅데이터 투자에 가장 큰 영향을 미치는 요소는 다양성인 것으로 나타났다.

데이터의 형식은 스키마가 없는 JSON, 데이터베이스의 중첩 유형 및 비플랫 데이터까지 크게 증가하고 있으며, 이런 데이터들에 대한 연결을 제공하는 커넥터의 중요성이 커지고 있다.

6) 아파치 스파크(Apache Spark) 및 머신러닝이 빅데이터의 가치를 제고
글로벌 빅데이터 소프트웨어 전문 업체 싱크소트(Syncsort)의 최근 설문조사 결과에 따르면, 설문에 참여한 데이터 설계자, IT 관리자 및 BI 분석가 중 약 70%가 이미 사용중인 맵리듀스(MapReduce)보다 아파치 스파크를 자사의 빅데이터 플랫폼으로 선호한다고 응답했다.

또한 머신러닝과 스마트 시스템이 증가함에 따라 이러한 데이터에 대한 최종 사용자의 접근성을 높여주는 셀프 서비스 소프트웨어에 이목이 집중될 것이다.

7) IoT, 클라우드 및 빅데이터가 셀프 서비스 분석에 대한 새로운 기회 창출
이질적인 시스템상에 저장되는 IoT 센서 데이터에 대한 수집 프로세스의 속도는 데이터 저장 및 관리 서비스 혁신으로 개선된 반면, 데이터에 대한 접근성 및 파악은 기업들에게 여전히 숙제로 남아있다.

이에 클라우드에 호스팅 된 광범위한 데이터 원본에 원활하게 연결 및 결합하는 분석 도구에 대한 요구가 증가하고 있으며, 기업들은 이런 도구를 사용해 모든 유형의 데이터를 탐색 및 분석하여 IoT 분야에서 숨겨진 투자 기회 발견할 수 있다.

8) 빅데이터용 최종 사용자 데이터 준비 도구 활용의 지속
비즈니스 사용자들은 다양한 데이터 유형과 형식을 처리하는 경우에 대비해 데이터 준비에 소요되는 시간과 복잡성을 더욱 줄이려는 요구를 하고 있다.

이에 대응한 민첩한 셀프 서비스 데이터 준비 도구는 하둡 데이터 원본을 준비할 수 있을 뿐 아니라 스냅샷 형태의 데이터로 더욱 빠르고 쉽게 탐색할 수 있게 한다. 알테릭스(Alteryx), 트리팍타(Trivacta), 팍사타(Paxata) 등 빅데이터용 최종 사용자 데이터 준비에 집중한 기업들은 많은 혁신을 달성했으며, 이러한 도구는 내년에도 이어질 전망이다.

9) 하둡이 엔터프라이즈 표준으로 자리매김
하둡은 엔터프라이즈 시스템 관련 보안 및 거버넌스 구성 요소에 대한 기업들의 투자가 늘어나면서 IT 환경의 핵심 부분으로 자리매김할 것이다. 아파치 센트리(Apache Sentry)는 하둡 클러스터에 대한 역할 기반 인증을 시행할 수 있는 시스템을 제공하며, 아파치 아틀라스(Apache Atlas)는 조직의 전체 데이터 환경에서 일관성 있게 데이터를 분류하도록 지원한다.

아파치 레인저(Apache Ranger)는 하둡에 대한 중앙 집중화된 보안 관리 기능을 제공한다. 이런 유형의 기능들은 기업들이 엔터프라이즈급 RDBMS 플랫폼에서 도입을 기대하기 시작했으며, 점차 핵심적인 빅데이터 기술이 되어 도입 장벽이 사라질 것이다.

10) 사용자가 분석 가치 있는 빅데이터를 찾을 수 있도록 지원하는 셀프 서비스 도구를 통한 분석 지속 확대
셀프 서비스 도구는 정리돼 있지 않은 빅데이터에서 분석 가치가 있는 관련 데이터를 탐색하고 이해할 수 있게 지원함으로써, 기업의 데이터 관리 및 처리 효율성을 높인다. 예를 들어, 아레이션(Alation) 및 워터라인(Waterline) 등의 기계학습 솔루션은 데이터 검색 작업을 자동화하며 쿼리 제안도 제공한다.

이를 통해 데이터의 사용자와 관리자가 모두 신뢰할 수 있는 데이터를 찾고 정확하게 쿼리하는 데 걸리는 시간을 줄여준다. 내년엔 셀프 서비스 탐색에 대한 기업들의 인식 및 요구가 증가하여 셀프 서비스 분석이 더욱 확대될 것이다.

이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지