스마트 비전 시스템을 위한 Zynq SoC에 대한 고찰
글: 마이크 산타리니(Mike Santarini),
자일링스 Xcell 저널 발행인 자일링스 / www.xilinx.com
새로운 자일링스의 툴 및 IP와 함께 Zynq 올 프로그래머블 SoC는 차세대 임베디드 비전 제품의 기반이 되고 있다. 자일링스(Xilinx)의 스마트 비전을 위한 올 프로그래머블 솔루션은 이러한 혁명을 주도하고 있다. 자일링스는 기본 토대로서, ARM 듀얼-코어 Cortex- A9 MPCore와 프로그래머블 로직, 그리고 주요 주변기기를 단일 칩 상에 결합한 최초의 올 프로그래머블 SoC인 Zynq-7000과 더불어 이러한 혁신적인 비전 시스템을 보다 빠르게 실현하고 개발하는데 있어 중추 역할을 수행하게 될 툴 및 IP를 결합해 지원 인프라를 구축했다.
자동차가 운전자 없이 스스로 주차 공간을 찾아 주차를 하는 아우디의 자동주차 기술 시연을 본 적이 있는가? 혹은 Kinect 컨트롤러를 이용하는 Xbox 360 게임을 해 본적이 있는가? 아니면 식료품점에서 상처가 하나도 없는 과일을 먹어본 적이 있는가? 그렇다면 여러분은 스마트 비전 시스템 시대의 도래를 목격한 주인공이다. 가장 복잡한 전자 시스템에서 아주 소소한 사과에 이르기까지 모든 종류의 제품은 스마트 비전 기술의 혜택을 받고 있다. 이러한 오늘날의 시스템들 또한 충분히 뛰어나지만, 일부 전문가들은 10년 후에는 자동차에서 공장 자동화, 의료기기는 물론, 감시장치 및 컨수머, 우주항공, 방위 분야의 대부분의 전자 시스템들은 보다 탁월한 성능을 갖춘 스마트 비전 기술을 갖추게 될 것으로 전망하고 있다.
스마트 비전 시스템의 복잡도가 높아짐에 따라, 우리는 네트워크로 연결된 고속도로를 주행하고 있는 자율운전 자동차의 승객이 될 수도 있을 것이다. 인튜이티브 서지컬(Intuitive Surgical)의 로봇이 지원하는 놀라운 외과 시스템과 같은 의료장비는 앞으로도 더욱 발전할 것이며, 외과 전문의가 원격지에서 수술 절차를 수행할 수 있게 될지도 모른다. 원격 비전 및 원격 영상은 이머전 및 인터랙티브의 새로운 차원에 도달하게 될 것이며, 영화관, 홈, 스토어의 스크린 콘텐트는 각각의 개별 고객들의 관심은 물론 심지어 기분까지도 충족시키게 될 것이다.
자일링스(Xilinx)의 스마트 비전을 위한 올 프로그래머블 솔루션은 이러한 혁명을 주도하고 있다. 자일링스는 기본 토대로서, ARM 듀얼-코어 Cortex™- A9 MPCore™와 프로그래머블 로직, 그리고 주요 주변기기를 단일 칩 상에 결합한 최초의 올 프로그래머블 SoC인 Zynq™-7000과 더불어 이러한 혁신적인 비전 시스템을 보다 빠르게 실현하고 개발하는데 있어 중추 역할을 수행하게 될 툴 및 IP를 결합해 지원 인프라를 구축했다. 이 지원 인프라에는 비바도(Vivado™) HLS(High-Level Synthesis)와 새로운 IP Integrator 툴, OpenCV(Computer Vision) 라이브러리, SmartCORE™ IP, 특화된 개발 키트 등이 포함되어 있다.
자일링스의 기업 전략 및 마케팅을 담당하고 있는 스티브 글래서(Steve Glaser) 수석 부사장은 "자일링스의 올 프로그래머블 스마트 비전 기술을 통해 우리의 고객들은 차세대 스마트 비전 시스템의 선구주자가 될 수 있을 것"이라며, "지난 10년 동안 고객들은 자사 시스템에 사용했던 프로세서에서 충분히 빠르게 구동하지 못했던 기능들의 성능을 높이기 위해 FPGA를 활용해 왔다. Zynq-7000 올 프로그래머블 SoC는 프로세서와 FPGA 로직을 동일 칩에 구현한 것으로 이는 스마트 비전 애플리케이션 개발자들에게 매우 적합한 실리콘 플랫폼이다."고 밝혔다.
이 글에서는 "이 디바이스를 지원함에 있어, 우리는 비바도 HLS 및 새로운 IP Integrator 툴, OpenCV 라이브러리, SmartCORE IP, 개발 키트 등으로 구성된 견고한 개발 환경으로 Zynq-7000 올 프로그래머블 SoC를 지원하고 있다. 이러한 스마트 비전 기술로 우리의 고객들은 차세대 디자인으로 한발 앞서 나갈 수 있으며, 새로운 차원의 효율 및 낮은 시스템 전력, 시스템 성능 향상, 탁월한 BoM 절감을 달성하는 것은 물론, 이러한 혁신을 보다 빠르게 출시함으로써 수익을 높이고, 심지어 경쟁에서의 생존 또한 가능하게 한다."고 덧붙였다.
일반 카메라에서 스마트 비전까지
스마트 비전 시스템의 근간은 임베디드 비전이다. 빠르게 성장하고 있는 업계그룹인 임베디드 비전 얼라이언스(Embedded Vision Alliance, www.embedded-vision.com)가 정의한 바에 따르면, 임베디드 비전은 임베디드 시스템(프로세서를 사용하는 컴퓨터 이외의 모든 전자 시스템)과 컴퓨터 비전(머신 비전으로 불리기도 함), 두 기술을 통합한 것이다.
임베디드 비전 얼라이언스의 창립자이자 컨설팅 회사인 BDTI의 CEO인 제프 비에르(Jeff Bier)는 임베디드 비전 기술은 모터 방식의 팬-틸트-줌(pan-tilt-zoom) 아날로그 카메라 기반 시스템을 넘어 그 기술이 발전하면서 여러 산업분야에 상당한 영향을 미쳤다고 말하고, "지금까지 우리 모두 상당한 시간 동안 디지털 시대를 살아왔으며, 초기 디지털 시스템에서 빠르게 진화하고 있는 임베디드 비전 시스템을 목격하고 있다. 이러한 시스템은 오늘날의 스마트 임베디드 비전 시스템에서 카메라가 관찰하는 영상을 향상시키거나, 카메라가 보는 것을 확인할 수도 있으며, 압축 및 저장 기능도 탁월하다."고 설명했다.
첨단 임베디드 비전 시스템은 이미지를 향상시키거나 분석하는 것은 물론 이러한 분석에 기반한 트리거 동작도 가능하다. 이러한 이유로 프로세싱 및 연산 성능, 그리고 복잡한 알고리즘의 규모는 급격하게 증가하고 있다. 이러한 사례로 빠르게 진화하고 있는 감시장치 시장을 들 수 있다.
20년 전, 감시 시스템 공급업체들은 보다 선명하고 넓은 시야각을 위해 자동초점 및 틸팅을 수행하는 기계적 시스템으로 강화된 최상의 렌즈를 공급하는데 전력을 다했다. 이러한 시스템은 안전요원들에 의해 모니터링되는 비디오 리코딩 디바이스와 결합된 아날로그 모니터와 기본적으로 동축 케이블을 통해 연결되어 있는 아날로그 비디오 카메라였다. 따라서 이러한 시스템의 명확성, 안정성, 유효성은 광학 및 렌즈 품질이 얼마나 양호한지, 그리고 카메라가 디스플레이하는 내용을 모니터링을 하는 보안요원들의 성실성에 의해 좌우되었다. 감시 장비 업체들은 임베디드 비전 기술을 이용해 디지털 기술에 기반 한 보다 저렴한 카메라를 사용하기 시작했다. 이러한 디지털 프로세싱을 통해 아날로그 및 렌즈 기반 보안 시스템 보다 뛰어나고 저렴한 획기적인 기능들을 구현할 수 있게 되었다.
다양한 비전-기반 알고리즘을 갖춘 어안 렌즈와 임베디드 프로세싱 시스템은 카메라가 만들어내는 이미지를 극적으로 향상시켰다. 또한 조명 조건을 보정하고, 초점을 개선하고, 컬러를 향상시키고, 관심 영역을 디지털 방식으로 줌할 수 있는 기법은 팬, 틸트, 줌을 수행하는 기계적인 모터 제어의 필요성을 제거하고, 시스템의 안정성을 향상시켰다. 디지털 시그널 프로세싱은 1080p 이상의 비디오 해상도를 처리할 수 있다.
하지만 디지털 시그널 프로세싱을 통해 처리할 수 있는 보다 선명한 이미지는 시작에 불과했다. 대폭 향상된 픽셀 프로세싱으로 감시 시스템 제조업체들은 디지털 시스템에서 캡처하는 고품질 이미지의 실시간 분석을 수행하는 보다 정교한 임베디드 비전 시스템을 개발하기 시작했다. 이러한 임베디드 비전 시스템의 초기 제품은 특정 컬러 및 모양, 움직임을 감지하는 능력을 갖추고 있었다. 이러한 성능은 카메라의 시야각 내에서 가상 차단장치를 지나는 것이 있는지, 없는지를 감지할 수 있는 알고리즘으로 빠르게 진화했다. 이러한 알고리즘은 이미지 내 객체가 실제 사람인지를 판단하고, 데이터베이스와의 연결을 통해 개인을 식별하기도 한다.
의심스러운 행동
최첨단 감시 시스템은 관심대상이 하나의 카메라 시야각을 벗어나 사각지대로 이동한 다음, 감시 네트워크의 또 다른 카메라의 시야각으로 들어오는 순간에 보안 네트워크의 시야 범위 내에서 이 움직이는 각각의 관심대상을 추적하는 분석 기능을 포함하고 있다. 비전 디자이너는 비정상적이고 의심스러운 움직임조차 감지할 수 있도록 이러한 시스템의 일부를 프로그램한다. 자일링스의 ISM(Industrial, Scientific and Medical) 그룹의 시스템 설계자인 마크 티몬스(Mark Timmons)는 "분석 기능은 오늘날 감시 시장에서 가장 중요한 트렌드"라고 말하고 "이는 사람의 오류를 해결할 수 있고, 확인 및 결정 작업에 있어 성실한 직원이 굳이 필요하지 않다. 짐작할 수 있듯이, 기차역이나 스포츠 경기와 같이 사람들이 붐비는 환경에서의 감시는 극도로 어려운 작업이기 때문에 위험하게 사람이 너무 많이 밀집된 곳을 찾아내거나 과격한 움직임처럼 의심스러운 행동을 보이는 개인들을 추적하는 분석기능을 갖추는 것은 매우 유의미하다."고 설명했다.
이러한 분석 기능을 보다 더 향상시키고 시스템의 유효성을 증대시키기 위해 스마트 비전 기술을 활용하는 감시 및 여러 다른 마켓에서는 열상 비전 및 레이더, 음파, LIDAR(Light/Laser Detection and Ranging) 등과 같은 다른 센싱 기술과 카메라를 결합한 '퓨전' 아키텍처 이용이 갈수록 증가하고 있다. 이러한 방법으로 시스템은 열/열적 신호를 감지하거나 카메라 만으로 보이지 않고, 캡처되지 않는 객체를 픽업하는 나이트 비전을 처리할 수 있다. 이러한 능력은 오류 검출을 획기적으로 줄여주고, 결국 보다 높은 정확도의 분석이 가능하도록 해준다. 말할 필요도 없이, 융합 기술은 복잡도를 증대시키고, 더 많은 분석 프로세싱 파워를 필요로 하는 데이터를 분석하게 된다.
티몬스는 이러한 마켓의 또 다른 주요 트렌드는 감시 시스템 네트워크의 '가장자리(at the edge)', 즉 각 카메라 내부에서 이러한 모든 형태의 복잡한 분석을 수행하는 제품이라고 언급했다. 이는 각 카메라가 중앙 메인프레임 시스템으로 데이터를 전송하는 것이 아니라 이러한 다중 피드에서 보다 세밀한 분석을 수행하는 것이다.
로컬 분석은 전반적인 보안 시스템에 장애가 발생했을 때 이를 복구할 수 있는 회복력을 제공하고, 시스템의 각 지점에서 보다 빠르고 보다 정확하게 감지가 가능하기 때문에 실제로 카메라가 유효한 위협을 찾아내면 곧바로 보안 작업자에게 경고할 수 있다.
로컬 분석은 각 유닛이 보는 것을 분석하고 개선시키기 위해 보다 뛰어난 프로세싱 파워를 요구할 뿐만 아니라 소형화가 가능해 고도로 집적된 전자장치를 통합할 수 있다. 또한 각 유닛이 안정적으로 네트워크의 남은 부분과 통신할 수 있어야 하기 때문에 전자 통신 기능을 반드시 통합해야 하며, 연산 복잡도가 부가된다. 이러한 감시 유닛은 갈수록 무선 네트워크를 통해 대형 감시 시스템의 일부분으로 연결된다. 이러한 감시 시스템은 대형 엔터프라이즈 네트워크나 이보다 더 규모가 큰, 즉 미군의 GIS(Global Information Grid)와 같은 글로벌 네트워크의 일부분이 되기도 한다.(Xcell 저널 69호 커버 스토리 참조, www.xilinx.com/publications/archives/xcell/Xcell69.pdf).
이러한 높은 수준의 정교한 기술들은 중앙 명령 센터와 네트워크로 연결된 보병의 헬멧에서 방위 위성에 이르기까지 군사 및 방위 산업의 모든 분야에 채택되고 있다. 아마도 보다 주목할 만한 것은 스마트 비전 기술이 삶의 질과 안전을 향상시키기 위해 얼마다 빨리 다른 마켓으로 이동할 것인가 이다.
상처없는 사과를 위한 스마트 비전
예를 들어, 사과를 보자. 사과가 어떻게 식료품점에서 그렇게 좋은 상태를 유지할 수 있는지 궁금하지 않은가? 자일링스의 ISM 그룹 설계자인 기울리오 코라디(Giulio Corradi)는 식품 회사들은 합격품에서 불량 사과를 골라내기 위해 식품 검사 라인에 스마트 비전 시스템을 이용하고 있다고 설명했다. 코라디는 1세대 임베디드 비전 시스템이 고속 식품 검사 라인에 배치되어 있으며, 일반적으로 사과나 다른 생산물의 표면 결함을 찾아내기 위해 하나 혹은 여러 대의 카메라를 사용한다고 말했다. 임베디드 비전 시스템이 비정상적인 컬러를 찾아내면, 사과는 추가 검사나 혹은 제거되도록 마킹 및 분류된다.
피하 내 손상 확인
하지만 만약 이 이전에 일부 지점에서 과일이 떨어지는 일이 발생했지만 손상부위가 보이지 않는다면? 코라디는 "일부 경우 떨어져서 발생한 손상은 카메라로 쉽게 식별되지 않을 수 있어, 사람의 눈으로만 가능하다."고 말하고 "이러한 손상은 사과를 실물로 보는 것이 정확할 것이다. 따라서 일부 스마트 비전 시스템은 사과 껍질 아래 표면 손상을 검출하기 위해 카메라에 적외선 센서를 결합시켰다. 멍든 과일이 확인되면 식료품용으로 포장되기 전에 이 사과를 라인에서 빼내어 기계 분류기로 트리거한다."고 설명했다. 손상된 사과가 스마트 퓨전 비전 시스템을 거치지 않고 통과되었다면, 이 손상은 식료품점 선반에 진열될 즈음 드러나게 되었을 것이고, 이 과일은 아마도 버려져야만 했을 것이다.
당연히 썩은 사과 하나가 박스 내 모든 사과를 망치게 될 것이다.
또한 분석은 식품 업체가 또 다른 스마트 비전 시스템으로 다른 용도, 즉 사과 소스나 말린 과일을 만들거나, 혹은 너무 상해서 비료로 사용할 것인지를 결정할 수 있도록 이 사과를 새로운 라인으로 이송하기에 충분히 양호한 상태인지를 결정하는데 도움이 된다.
생산 현장은 스마트 비전을 위한 또 다른 영역이라고 코라디는 언급했다. 제조업체들은 서로 다른 작업을 위해 설비를 교체할 수 있는 로봇 지원 기술이나 완전 자동화 로봇을 사용하는 라인 수를 증대시키고 있는데, 로봇을 둘러싸고 있는 전통적인 안전 케이지는 제품 라인을 변경하여 생산하는데 필요한 충분한 행동 반경을 제공하기에 너무 제한적(너무 작다)이다.
자동화된 공장 라인의 모션 범주를 제한하지 않으면서도 작업자를 보호할 수 있도록 업체들은 안전한 시스템을 만들기 위해 스마트 비전을 채택하고 있다. 카메라와 레이저는 만약 누군가가 제품이 생산되고 있는 생산라인에 너무 가까이 다가서면, 작업자들(혹은 안전 모니터 요원)이 들을 수 있도록 경보를 보내는 '가상의 차단장치나 방벽'을 만든다. 일부 설비들은 다중 위상의 가상 차단방벽 시스템을 포함하고 있으며, 누군가 방벽 외곽 쪽을 지나가면 소리로 경보를 보내거나, 어떤 사람이 로봇에 더 근접해 있는 두 번째 방벽을 지나게 되면 사고를 방지하기 위해 자동으로 전체 라인을 중단시킨다. 임베디드 비전 얼라이언스의 비에르는 이러한 종류의 가상 차단방벽 기술은 폭넓게 적용될 수 있다고 언급하고 "공장 내 사고 수를 줄이는데 엄청난 영향을 미칠 수 있는데, 왜 놀이공원이나 가정, 수영장, 혹은 자동차에 가상 차단방벽을 만들지 않겠는가? 아마 빠른 시일 내에 우리의 일상생활에서 훨씬 더 많은 가상 차단방벽 시스템을 보게 될 것으로 생각한다."고 밝혔다.
향상된 드라이빙을 위한 스마트 비전
오토모티브 마켓 또한 스트레스를 줄이고 보다 안전한 드라이빙이 가능하도록 완벽하게 스마트 비전 기술을 활용할 수 있는 분야 중 하나다. 자일링스 오토모티브 부문 시스템 설계자인 폴 조라티(Paul Zoratti)는 ADAS(Advanced Driver Assistance Systems)는 운전자를 지원하기 위해 스마트 비전을 비롯한 원격 센싱 기술의 대표적인 수혜처라고 언급했다.(Xcell 저널 66호 커버 스토리 참조, www.xilinx.com/publications/archives/xcell/Xcell66.pdf)
지난 10년 동안 해마다 자동차 제조업체들은 고급차종에서 더욱 더 뛰어난 DA 기능을 선보여 왔으며, 스포츠 카 및 표준 제품라인에서도 운전자 지원 기능을 계속해서 늘려가고 있다. 사각지대 감지, 차선변경 지원, 보행자 및 표지판 감지 등과 같은 대부분의 이러한 기능은 잠재적인 위험 상황을 감지했을 때 운전자에게 경보를 보낸다. 자동차 제조업체들이 최근 제공하는 기능에는 자동 비상제동 및 차선 유지 등과 같은 훨씬 더 뛰어난 첨단 시스템이 포함되고 있으며, 차량 환경의 잠재적인 문제를 모니터하는 것은 물론, 사고를 피하고 피해수위를 줄이기 위해 운전자가 적절한 행동을 취하도록 지원하기도 한다.
조라티는 오늘날 새로운 모델의 차량 중 일부는 차량의 주변을 계속해서 360도로 확인할 수 있도록 차량의 측면, 전면, 후면에 위치한 4대의 카메라를 갖추고 있다고 말했다. 1세대 서라운드-뷰(Surround-View) 시스템은 운전자에게 이미지를 제공하기 위해 이러한 카메라를 사용하는 반면, 미래의 시스템은 추가적인 DA 기능을 번들로 제공하게 된다. 동일한 4대의 카메라와 이미지 프로세싱 분석 기능을 사용함으로써 이러한 차세대 시스템은 차량의 버드아이(Bird's Eye) 뷰는 물론, 보행자 유무여부 확인과 같은 잠재적인 위험에 대한 경보를 동시에 생성하게 된다. 또한 차량이 빠른 속도로 주행하고 있더라도, 사각지대 감지 및 차선변경 지원, 차선이탈 경보 제공하기 위해 자동차는 차량의 측면 및 후면에 카메라를 사용하게 된다. 또 다른 추가 기능으로 윈드실드(Windsheild) 뒤의 전방감시 카메라는 교통 표지판 인식 및 전방 충돌 경보 기능을 지원한다. 마지막으로 운전자가 목적지에 도달하면, 자동 주차 기능이 활성화되며, 이 시스템은 주차공간에 차량의 반자율 조작을 돕기 위해 다른 센서와 함께 이러한 동일 카메라를 이용한다.
조라티는 이러한 모든 작업을 실시간으로 처리하기 위해서는 병렬 하드웨어 연산에 적합한 상당한 규모의 프로세싱 파워가 필요하다고 지적했다. 이 때문에 대부분의 초기 DA 시스템들은 FPGA와 함께 스탠드얼론 마이크로프로세서를 함께 사용했으며, FPGA로 대부분의 병렬 연산을 처리하고 마이크로프로세서는 시리얼 작업을 수행한다.
자동차 업계의 가격 압박으로 인해 감시장비와 같은 다른 마켓의 경우처럼 각 카메라로 처리하지 않고 중앙 연산 허브에서 분석 기능이 수행되도록 하고 있다. 이러한 방법은 차량 제조업체들이 각 카메라 센서의 비용을 최소화할 수 있어 결과적으로 전체 시스템 비용을 줄일 수 있다. 이를 위해서는 중앙 유닛의 프로세싱 플랫폼이 4개, 5개, 심지어 6개의 실시간 비디오 입력을 동시에 프로세싱할 수 있도록 매우 높은 성능과 대역폭을 제공할 수 있어야 한다.
수명 연장을 위한 스마트 비전
스마트 비전이 적용되는 또 다른 분야는 극적인 변화가 일어나고 있는 의료 전자장비 산업으로, 내시경이나 이미징 스캐너(CT, MRI 등)에서 인튜이티브 서지컬의 다빈치(Da Vinci)와 같은 로봇-외과 시스템에 이르기까지 다양한 의료 이미징 시스템에 스마트 비전 기술이 사용되고 있다.(Xcell 저널 77호 참조, www.xilinx.com/publications/archives/xcell/Xcell77.pdf)
다빈치의 정교한 3D 비전 시스템은 외과의사가 수많은 섬세하면서도 복잡한 수술절차를 수행하기 위해 매우 정밀하고 부드럽게 촉각으로 로봇 수술 장비를 가이드할 수 있도록 해준다. 매 세대의 시스템으로 외과의사는 환자의 수술결과를 좋게 하고, 보다 빠르게 회복할 수 있도록 도와주는 보다 많은 다양한 수술을 수행할 수 있다.
이러한 절차를 제어하고 조정하는 기술적인 정교함의 수준은 매우 탁월하며, 프로세싱 및 로직의 통합 파워에 대한 의존도가 높아지고 있다. 따라서 각 세대마다 새로운 기술은 프로세서와 로직 간의 탁월한 통합으로 혜택을 얻고 있다.
실감나는 체험을 위한 스마트 비전
또한 스마트 비전은 우리를 연결하는데 상당한 전진을 이뤄내고 있다. 여러분이 최신 오피스 빌딩에서 근무하고 있다면, 여러분의 회사는 첨단 영상회의가 가능한 컨퍼런스 시스템을 갖춘 최소한 하나의 컨퍼런스 룸을 갖추고 있을 것이며, 이는 전 세계의 다른 사람들과 대화를 하는 것은 물론 현장에 있는 것처럼 그들을 볼 수 있도록 해줄 것이다. 이러한 비디오 컨퍼런스 시스템은 테이블에 있는 사람이나 컨퍼런스에서 발표하는 사람을 감지할 수 있는 것은 물론, 자동으로 돌려서 해당 사람을 줌하여 고품질 실감 비디오로 디스플레이하는 등 그 정교함이 높아지고 있다.
자일링스의 방송 및 컨수머 부문 마케팅 디렉터인 벤 루냔(Ben Runyan)은 영상회의 기술을 개발하는 기업들은 이용자들이 보다 실감나는 체험을 할 수 있는 방법을 찾고 있다고 설명했다. 벤 루냔은 "목표는 이용자들이 실제로는 서로 지구 반대편에 있더라도 같은 룸에 있다고 느끼도록 하는 것이다."며, "이를 위해서는 최신 카메라와 디스플레이 기술이 필요하며, 첨단 이미지 프로세싱이 요구된다. 이러한 기술이 보다 진화하고, 보다 실감나는 체험을 제공함에 따라 공동 작업을 보다 쉽게 만들어주고, 비용 및 출장이 줄어들면서 보다 생산적인 기업으로 만들어 준다."고 설명했다.
자일링스 : 스마트 비전을 위한 올 - 프로그래머블
스마트 비전이 모든 면에서 빠르게 발전하고 새로운 마켓에 진입하기 위해서는 매우 유연한 프로세싱 플랫폼과 풍부한 리소스, 그리고 스마트 비전 전용의 성공적인 에코시스템이 필요하다. 자일링스 디바이스는 지난 10년 동안 기업들이 이러한 비전 시스템을 혁신하는데 도움이 되는 핵심적인 역할을 수행해 왔다. 5년의 개발기간이 지난 지금, 자일링스는 스마트 비전 애플리케이션 개발자들이 빠르게 차세대 혁신을 달성할 수 있도록 도와주는 총체적인 솔루션을 출시했다.
10년 이상 임베디드 비전 디자이너는 대부분의 임베디드 비전 시스템에서 자일링스 FPGA의 프로그램 가능 및 병렬 연산, 고속 I/O 성능을 활용해 왔다. 전통적으로 디자이너들은 시스템에서 메인 프로세서의 속도가 떨어지는 기능들의 속도를 높이기 위해 FPGA를 이용했으며, 또는 프로세서로는 간단히 수행할 수 없는 병렬 연산 작업을 구동하기 위해 FPGA를 사용했다. 이제 Zynq-7000 올 프로그래머블 SoC를 통해 임베디드 비전 개발자들은 차세대 스마트 비전 애플리케이션 개발에 완벽하게 적합한 완전한 프로그래머블 디바이스를 갖게 되었다.
자일링스의 비디오 기술 부문 엔지니어링 디렉터인 호세 앨버레즈(Jose Alvarez)는 "스마트 비전은 동일한 보드 상에서 통신하는 프로세서와 FPGA를 분리해서 구현할 수 있지만, Zynq SoC는 전자산업에서 지금까지 달성하지 못한 통합 레벨을 제공한다."고 말하고 "이제 메인 인텔리전트 프로세서와 FPGA 로직 간의 정보를 보드 속도로 교환하는 대신, 동일한 칩 상에서 프로세서와 로직 간의 3,000개에 이르는 고성능 커넥션을 통해 실리콘 속도로 수행할 수 있게 되었다."고 밝혔다.
그림 1.
운전자 지원 시스템에서 Zynq 올 프로그래머블 SoC와 다중 칩, 다중 카메라 시스템 비교
그림 1은 다중 기능의 ADAS를 개발하는데 있어 기존의 다중 카메라, 다중 칩 아키텍처 대비 Zynq SoC의 장점을 보여주고 있다. 하나의 Zynq SoC와 연결된 하나의 카메라 세트를 이용하는 자일링스 아키텍처(그래픽의 하단 좌측)는 사각지대 감지, 360도 서라운드 뷰, 차선 이탈 경고, 보행자 감지 등과 같은 기능을 번들로 구현할 수 있다. 다중 칩과 다중 카메라를 필요로 하는 기존의 다중 기능 DA 시스템과 비교하면, 이는 통합이 어렵고, 성능 및 시스템 전력소모에는 부정적인 영향을 미치며, BOM 비용도 높아진다.
일부 실리콘 벤더들은 ARM 프로세서와 DSP 혹은 GPU를 결합한 ASSP를 제공하고 있지만, 이러한 디바이스는 너무 융통성이 없는데다 대부분의 최신 스마트 비전 애플리케이션에 적합한 충분한 연산성능을 제공하지 못한다. 종종 이러한 디바이스에 기반 한 솔루션은 부족한 부분을 채우기 위해 스탠드얼론 FPGA를 추가로 필요로 한다.
프로그래머빌리티 및 성능
Zynq SoC의 프로그래머빌리티 및 성능은 GPU 및 DSP 기반 SoC에 비해 중요한 혜택을 제공한다. ARM 프로세싱 시스템은 소프트웨어로 프로그램이 가능하고, FPGA 로직은 HDL이나 C++로 프로그램이 가능하며, 심지어 I/O도 완벽하게 프로그램이 가능하다. 이를 통해 고객들은 특정 애플리케이션에 적합한 매우 높은 성능의 스마트 비전 시스템을 개발할 수 있으며, 경쟁사와는 차별화된 시스템을 구현할 수 있다. 그림 2는 스마트 비전 시스템의 일반적인 시그널 플로우를 상세하게 보여주고 있으며, Zynq SoC가 ARM과 DSP, 혹은 ARM과 GPU가 결합된 ASSP 대비 어떻게 뛰어난지를 보여주고 있다.
플로우 상의 첫 번째 시그널 프로세싱 블록(녹색 부분)은 디바이스와 카메라 센서를 연결하는 입력이다. Zynq SoC에서 개발자는 고객이 요구하는 카메라의 커넥티비티가 무엇이든 이에 부응할 수 있도록 광범위한 I/O 신호를 수용할 수 있다. 이 옆의 시그널 프로세싱 블록은 픽셀 레벨 프로세싱이나 비디오 프로세싱을 수행한다.(애플리케이션이 이미지 프로세싱인지 디스플레이인지에 따라 달라진다.) 그 다음 블록은 FPGA 로직에서 구현된 최상의 병렬 컴퓨팅이 요구되는 연산 집약적 프로세스인 이미지 상의 분석을 수행한다. 그 다음의 3개의 블록(빨강)은 프로세싱 시스템이 분석을 통해 얻은 메타데이터를 유도하는 지점으로, 결과에 대한 그래픽 표현이 가능하고 전송을 위해 결과를 인코딩한다.
Zynq SoC에서 프로세싱 서브 시스템 및 FPGA 로직은 함께 동작한다. 압축이 필요하면, 적절한 코덱을 FPGA 로직에 손쉽게 구현할 수 있다. 그런 다음, 최종 시그널 프로세싱 블록에서('출력'으로 분류) Zynq SoC의 프로그래머블 I/O는 개발자들이 저작권이 있거나 마켓에 특화된 것이거나 산업 표준 IP 프로토콜이든 상관없이 대부분의 통신 프로토콜 및 비디오 전송 표준을 처리할 수 있도록 해준다.
그림 2.
일반적인 비디오 및 이미지 프로세싱 시스템 플로우
Zynq SoC는 스마트 비전 시스템을 위한 최상의 실리콘 솔루션임이 분명하며, 자일링스는 이 디바이스의 개발 초기부터 능률적이고, 특히 C 및 C++ 기반 비전 알고리즘 개발에 더욱 익숙한 디자이너들을 위한 프로그래밍이 필요하다는 점을 인식하고 있었다. 마침내 2012년 6월에 자일링스는 지난 2011년 1월에 합병한 AutoESL의 최상의 하이-레벨 합성 기술을 갖춘 비바도(Vivado) 디자인 수트라 불리는 최신 소프트웨어 개발환경을 고객들에게 제공했다. 비바도 HLS는 특히 임베디드 비전 애플리케이션에 적합하다. 예를 들어, Zynq SoC를 사용하는 비전 개발자가 C나 C++로 개발한 알고리즘이 프로세싱 시스템에 과중한 부담을 주거나 충분히 빠르게 구동되지 않는다면, 이 C 알고리즘을 비바도 HLS로 보내면 디바이스의 FPGA 로직에서 구동되도록 Verilog나 VHDL로 알고리즘이 합성된다. 이는 작업을 처리하는데 있어 보다 잘 구동되도록 Zynq SoC의 프로세싱 서브 시스템의 부담을 덜어주기 때문에 전반적인 시스템 성능이 향상된다.
OPENCV 라이브러리
또한 자일링스는 자체 OpenCV(Computer Vision) 라이브러리를 제공함으로써 스마트 비전 기술을 더욱 강화시켰다. OpenCV는 임베디드 비전 개발자들이 비전 시스템을 신속하게 개발하는데 사용할 수 있는 OpenCV.org의 업계 표준, 개방형 소스의 알고리즘 라이브러리이다. 전 세계의 임베디드 개발자들이 새로운 알고리즘 라이브러리 개발에 적극적으로 기여하고 있으며, 현재 C, C++, 자바, Python으로 작성된 2,500개 이상의 알고리즘이 포함되어 있다. 라이브러리의 알고리즘은 이미지 필터와 같은 간단한 기능에서부터 모션 감지와 같은 분석을 위한 보다 진보된 기능들에 이르기까지 매우 다양하다. 앨버레즈는 이러한 OpenCV 알고리즘은 거의 모든 상용 마이크로프로세서나 DSP에 적합하도록 구현된 것이라고 말했다. Zynq SoC는 ARM 프로세싱 시스템을 사용하기 때문에 사용자들은 C++로 쓰여진 이러한 알고리즘을 프로세서 영역에 구현할 수 있다.
비바도 HLS 덕분에 사용자들은 C나 C++로 쓰여진 이러한 알고리즘을 이용할 수 있으며, OpenCV에서 HLS로 불러와 기능을 수정한 다음, 비바도 HLS를 이용해 이 알고리즘을 Zynq-7000 SoC의 로직 영역에 구현할 수 있도록 최적화된 RTL 코드로 합성 및 컴파일한다. 비바도 환경에서 OpenCV를 갖춤으로써 스마트 비전 설계자는 쉽게 해당 디자인에서 특정 알고리즘이 Zynq-7000 올 프로그래머블 SoC의 프로세서 및 FPGA 로직 영역에서 가장 최적으로 동작하는지 비교하고 확인할 수 있다. 자일링스의 개방형 소스의 라이브러리가 발표됨으로써 자일링스는 고객들이 보다 유리한 고지에서 시작하도록 해주었다. 비바도 HLS를 이용하여 자일링스는 OpenCV 라이브러리에서 가장 많이 사용되는 30개 이상의 임베디드 비전 알고리즘을 이미 컴파일했다. 고객들은 신속하게 시스템 레벨에서 프로세서 대 로직 간의 트레이드-오프를 결정할 수 있으며, 특정 애플리케이션을 위한 최적의 시스템을 얻기 위해 Zynq-7000 올 프로그래머블 SoC에서 즉시 구동할 수 있다.
자일링스 및 자일링스 얼라이언스 멤버들은 OpenCV 라이브러리에서 더 많은 기능을 계속해서 전환해 나갈 예정이며, 분기별로 자일링스 유저들이 이용할 수 있도록 할 것이다. 개발자들이 OpenCV 라이브러리를 거의 모든 상용 프로세서에서 구동할 수 있기 때문에 비전 디자이너는 다양한 실리콘 디바이스 상에서 구동하는 알고리즘의 성능 벤치마크는 물론 비교 또한 가능하다. 스마트 비전 전략의 일환으로 자일링스는 SmartCORE IP라고 불리는 IP(Intellectual Property) 수트를 만들었으며, 이는 차세대 제품에 스마트 비전을 설계하는 여러 마켓 영역에서 요구되는 스마트 비전 요건을 해결한다. 고객들은 OpenCV의 라이브러리와 SmartCORE IP 수트의 코어를 자일링스의 새로 발표된 IP Integrator 툴을 이용해 해당 디자인에 신속하게 구현할 수 있다. 이 새로운 툴은 최신 플러그&플레이 IP 환경으로 사용자들이 원한다면 명령어-라인 환경이나 회로도로 작업할 수 있도록 해준다.
타겟 플랫폼 인식
앨버레즈는 비바도 디자인 수트의 개발 초기부터 자일링스는 각 디바이스 성능을 완벽하게 활용할 수 있도록 디바이스를 인식할 수 있는 수트를 설계했다고 말했다. 그는 또한 IP Integrator 덕분에 비바도 디자인 수트는 디바이스 인식뿐만 아니라 이제는 타겟 플랫폼 인식 또한 가능하며, 모든 Zynq SoC 및 7 시리즈 FPGA 보드 및 키트도 지원된다고 언급했다. 타겟 플랫폼 인식은 비바도 디자인 수트가 보드에 특화된 DRC(Design Rule Checks)를 컨피규레이션하고 적용할 수 있음을 의미하며, 빠르게 동작 시스템을 구현할 수 있다.
예를 들어, 디자이너가 자일링스 Zynq-7000 SoC 비디오 및 이미징 키트를 선택했다면, IP Integrator 내에서 Zynq SoC 프로세싱 시스템을 예시화하고, 비바도 디자인 수트는 이 보드를 지원하는 적절한 주변기기와 드라이버, 메모리 맵으로 프로세싱 시스템을 사전 컨피규레이션한다. 이제 임베디드 디자인 팀은 듀얼-코어 ARM 프로세싱 시스템 및 고성능 FPGA 로직을 겨냥한 소프트웨어 및 하드웨어 IP를 모두 보다 빠르게 식별하고, 재사용하고, 통합할 수 있게 되었다. 사용자는 일련의 대화상자로 프로세싱 시스템과 로직 간의 인터페이스를 구체적으로 명시한다. 그런 다음 IP Integrator가 자동으로 RTL을 생성하고, 성능이나 면적을 최적화한다.
사용자는 여기에서 디자인을 완성하기 위해 자체 커스텀 로직을 추가하거나 비바도 IP 카탈로그를 이용할 수 있다. 자일링스 고객들이 최신 자일링스 FPGA로 개발한 스마트 비전 시스템을 보면 놀라울 정도다. Zynq-7000 올 프로그래머블 SoC 및 강력한 스마트 비전 환경의 등장으로 차세대 제품이 그 어떤 때보다 놀랄 만한 것이 될 것임을 입증하고 있다.
회원가입 후 이용바랍니다.
개의 댓글
댓글 정렬
BEST댓글
BEST 댓글
답글과 추천수를 합산하여 자동으로 노출됩니다.
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
그래도 삭제하시겠습니까?
댓글수정
댓글 수정은 작성 후 1분내에만 가능합니다.
내 댓글 모음
신윤오 기자
(yoshin@techworld.co.kr)