비디오 촬영 가능한 '드론 저레이턴시' 설계 연구

향후 10년간 전세계적으로 공중 드론과 기타 무인 비행기에 약 980억달러가 쓰일 것이다. 드론은 취미용이나 정부용뿐만 아니라 1270억달러 이상의 가치를 갖는 신흥 글로벌 시장을 이끌 것으로 예상되는 상업용 애플리케이션이다. 드론에 의해 큰 변화가 있을 것으로 예상되는 산업에는 인프라, 농업, 운송, 보안, 엔터테인먼트와 미디어, 보험, 이동통신, 광산 등이 있다.

드론이 흔해짐에 따라 구체적인 사용 사례와 산업에 맞춰 드론 제작이 점점 늘어나고 있다. 주요 공중 기능들과 비행 요건들을 바탕으로 자연스러운 분류나 범주화가 일어나고 있고 시야선(visual line of sight, VLOS)을 넘은 비행모드 작동의 요구도 분명해지고 있다.

비행 작동 모드에서 드론이 안전하게 비행할 수 있는 핵심 요건은 저레이턴시 비디오 전송이다. 본 글에서는 엔지니어들이 이러한 시스템을 개발할 때 고려해야 할 설계 요소들에 대해 다뤄보고자 한다.

다양한 동작 범위에서 비행하는 드론
드론은 다양한 방식으로 분류할 수 있다. 이번 백서에서는 원격조종과 드론의 동작 범위를 바탕으로 한다.

시야선(Visual line-of-sight, VLOS) 동작 = 지상의 조종사는 항상 시각적 보조수단(쌍안경, 망원경 등) 없이도 드론을 볼 수 있다. 드론은 나무 뒤, 짙은 연기, 안개 속에서 움직이는 경우 항상 조종사의 시야를 방해하지 않는 곳에 있어야 한다. 어떤 나라들은 VLOS 동작에서 고려해야 할 실제거리에 대해 추가적인 제한을 두기도 한다.

연장시야선(Extended visual line-of-sight, EVLOS) 동작 = 드론 조종사는 드론의 시야선상에 있는 다른 원거리 관찰자에 의존할 수 있다. 이 원거리 관찰자는 조종사에게 중요한 비행정보를 실시간으로 중계해야 한다.

초월시야선(Beyond visual line-of-sight, BVLOS) 동작 = 드론은 공중 드론과 원거리 조종기지국 사이의 계기, 제어, 통신을 바탕으로 원격 동작한다. 드론은 시야 범위 너머로 이동이 가능하다. 온보드 카메라 기반 시스템(1인칭 시점 동작)이 보통 사용되지만 BVLOS 동작에는 충분하지 않다.

안전을 위해 이러한 시스템에는 ‘감지 및 회피’ 기술과 같은 추가 등급의 자율성이 사용된다. 또 조작자나 조종사에게 더 많은 자격과 경험을 요구한다.

1인칭시점(First-person view, FPV) 동작 = 원격 조종사는 온보드 비디오 카메라를 이용해 무인시스템으로부터 실시간 시야를 받고 이 비디오를 기반으로 작동한다. FPV 동작은 놀이용으로 인기가 많다. 또 이런 종류의 드론은 비행 중 센서 및 화상 데이터를 수집하는데 쓰인다.

비디오 촬영이 가능한 드론의 요건

드론을 직접 시야가 닿는 곳 너머까지 동작하게 하는 핵심 기능은 비디오를 원거리 조작자에게 실시간으로 전송하는 온보드 카메라이다. 무인 드론 시스템에는 다음과 같은 중요한 요건들이 있다.

저전력 소모 = 드론이 공중에 계속 떠있을 수 있는 시간은 그 시스템이 소모하는 전력량에 달려 있다. 그래서 모든 온보드 컴포넌트에 의한 저전력 소모가 필수적이다. 전력소비율은 드론이 비행할 수 있는 시간에 직접적인 영향을 미친다. 어떤 드론은 시스템 전력이 떨어질 때 배터리가 완전히 고갈돼 땅으로 떨어지는 것을 방지하기 위해 ‘안전 착륙’ 기능을 탑재하고 있다.

저레이턴시 = 드론을 제어하기 위해 원격 조작자는 드론 주변에서 발생하는 상황에 재빨리 반응해야 한다. 즉, 드론의 데이터 수집을 시작으로 원격 조작자가 이를 수신할 때까지의 레이턴시를 최소화해야 한다는 것이다. 이것은 특히 비디오가 가능한 드론에서 더 그렇다. 효과적인 전송과 대역폭 감소를 위해서 개발자는 비디오 압축 기술을 자주 사용한다. 그러므로 설계자는 저레이턴시 비디오 압축 및 전송이 가능한 컴포넌트들을 선택해야 한다.

무선 링크의 견고함 = 컨트롤러와 드론 사이의 무선 링크는 정확하고 즉각적인 드론 제어의 바탕이다. 무선 링크는 가장 혼잡스러운 RF 환경에서도 프레임 전달을 보장해야 한다. 이것은 ‘클린’ 채널(예를 들어 덜 혼잡스러운 5㎓ 대역) 또는 향상된 레이트 제어 및 리시버 알고리즘을 이용해 최소한의 패킷 손실로 제때에 전달을 하면 가능하다.

범위 = 유연성과 미션 수행을 위해서 드론의 동작 범위를 극대화할 수 있는 것이 좋다. 시야선 및 비디오 기능 드론에서 무선 통신 링크는 장거리 송수신이 가능해야 한다. 한편으로 드론은 초저감도 쓰레스홀드를, 다른 한편으로는 높은 전파력을 활용한 커넥티비티 솔루션으로 이용된다.

자율성 = 드론은 자율성 수준을 높이기 위해 추가 센서들을 장착하고 있다. 센서는 현재 드론의 경로 내 장애물을 파악할 뿐 아니라 장애물까지의 거리도 파악할 수 있다. 이러한 센서들에는 초음파, 밀리미터 웨이브 센싱, 비전 기반 스테레오 카메라 등이 포함돼 있다. 이러한 감지 양상들은 물체를 확인하고 이를 피하기 위한 적절한 조치로 컴퓨터 비전 기반 알고리듬를 이용한다. 이 메커니즘은 보통 ‘감지 및 회피’로 알려져 있다.

저레이턴시 비디오 압축 전송

개발자가 드론에 사용된 비디오 압축 및 전송 시스템에 레이턴시를 도입할 수 있는 방법에는 몇 가지가 있다.

비디오 캡처 = 프레임 레이트가 높을수록, 캡처 시간, T캡(Tcap)은 낮아진다. 예를 들어 30fps 카메라는 비디오의 각 프레임을 캡처하는데 33㎳가 소요된다. 60fps 비디오 캡처에서는 이 수치가 16.5㎳로 줄어든다.

압축 또는 인코딩 = 비디오 프레임을 전송하는데 필요한 데이터 레이트를 줄이는데 압축기술이 이용된다. H.264 압축 표준은 드론의 비디오를 녹화 및 압축하는데 매우 흔한 기술이다. 일반적으로 압축은 계산 집약적인 작업이다. 인코딩에 필요한 시간인 Tenc는 인코딩 엔진과 사용되는 기능에 따라 다르다.

전송 = 드론은 와이파이(Wi-Fi)와 같은 무선통신 메커니즘을 이용해 기지국과 통신한다. 전송 딜레이의 결과 Ttx는 가용 데이터 대역폭에 좌우된다. 예를 들어 720p30 스트림이 1Mbps에서 인코딩되고 가용 대역폭이 2Mbps라면 스트림을 기지국으로 전송하는데 소요되는 시간은 16.5㎳다.

네트워크 = 필요에 따라서 공중 시스템은 네트워크를 통해 원거리 기지국에 연결할 수 있다. 이 경우 그 네트워크에는 추가 딜레이와 Tnw이 생길 수 있다.
수신 = 기지국이 네트워크에 무선 연결돼 있다면 이 시스템에서 전송이 그러하듯 추가 레이턴시 Trx가 생긴다.

압축해제 또는 디코딩 = 이 압축 비디오 스트림은 수신 기지국에서 압축해제 돼야 한다. 인코딩처럼 디코딩 프로세스 또한 계산집약적이다. 시스템에 디코딩 딜레이 Tdec이 생긴다.
디스플레이 = 비디오 캡처와 같이 디스플레이 리플레시 레이트에 따라 디스플레이 레이턴시 Tdisp가 생긴다.

드론이 직접 기지국과 통신을 하고 있을 때 네트워크가 관여하지 않고 전송 딜레이 Ttx만 존재한다는 점에 주목한다(즉, Tnw=0 및 Trc=0).

앞서 언급한 동작들이 프레임 하나씩 수행된 시스템의 경우 캡처부터 디스플레이까지 소요되는 총 레이턴시는 T = Tcap + Tenc + Ttx + Tnw + Trx + Tdec + Tdisp다. 이것은 [그림3]에서 볼 수 있다. [표1]은 레이턴시의 구체적인 사례다.

이 예는 드론 동작을 제어하는 매우 높은 레이턴시의 시나리오다. 조작자는 수집된 비디오를 보는데 118.7㎳가 소요된다. 만약 공중 시스템이 초당 15미터(시간 당 약 30마일)를 이동하고 있다면 원격 조작자가 비행 변화의 필요성을 감지하고 그러한 명령을 내릴 때 그 공중 시스템은 이미 1.8미터를 이동한 것이다. 그 결과 움직이는 드론은 그 명령이 엉뚱한 동작을 유도한 상황에 처했을 수 있다. 일련의 엉뚱한 명령들이 제어를 상실해 허가 받지 않은 땅에 드론을 강제 착륙시키거나 심지어 다른 물체와 부딪칠 수도 있다. 

저레이턴시 비디오 인코딩을 가능하게 하기 위해서 H.264 표준은 슬라이스를 개념을 갖고 나왔다. 슬라이스는 몇 개의 매크로블록으로 이뤄져 있고(매크로 블록은 2차원의 비디오 프레임으로 이뤄진다) 독립적으로 인코딩 되므로 이것은 다른 슬라이스의 참조 없이 스스로 압축해제 될 수 있다. 한 슬라이스 내에서 매크로블록의 순서는 매우 유동적이다.

하지만 저레이턴시 인코딩에서 최대한 효율을 발휘하기 위해서 자연스러운 행순서 슬라이스들이 사용된다. 프레임당 슬라이스의 수가 하나일 때 이것은 위에 언급한 것과 같이 프레임 바이 프레임 인코딩으로 감소한다.

하지만 프레임에서 슬라이스의 수가 둘 이상이라면 개발자는 인코딩 시간뿐만 아니라 전체 레이턴시도 줄일 수 있다.

이 시스템은 인코딩 시작 전에 전체 프레임이 캡처될 때까지 기다릴 필요가 없다. 한 개 슬라이스가 캡처되는 대로 인코딩 프로세스를 시작할 수 있다. 마찬가지로 슬라이스가 인코딩 되면 바로 전송을 곧바로 시작할 수 있다. 캡처, 인코딩, 전송, 수신, 디코딩, 디스플레이는 더 이상 순차적이지 않고 이러한 동작들을 중첩해 동시에 실행할 수 있다.

각 단계마다 이것은 이론상 N의 계수만큼 딜레이 감소를 가져온다. 전체 레이턴시는 T = Tcap + (Tenc + Ttx + Tnw + Trx + Tdec + Tdisp)/N이다. [그림 4]는 이것에 대한 설명이다.

이론적으로 그 유효시간은 인코딩부터 디스플레이까지 N의 계수만큼 줄어들지만 실제로는 슬라이스의 수에 따라 선형 조정되지 않을 수도 있다. 그 이유는 개별 슬라이스를 설정 및 처리하는데 필요한 오버헤드 때문이다. [표2]는 프레임당 30개의 슬라이스 레이트에서 발생하는 슬라이스 기반의 인코딩 레이턴시이다.

앞서 알 수 있듯이 효과적인 인코딩 디코딩 시간(싱글 슬라이스의 1/30)을 달성하지 못했더라도 프레임당 30개의 슬라이스 레이턴시는 프레임 기반 인코딩(프레임당 한 개 슬라이스)의 1/2임을 알 수 있다. 원격 조종사와 드론은 3배 더 빠르게 이벤트 대응이 가능하다.

슬라이스의 수와 압축량은 서로 주고받는 것이다. 슬라이스의 수가 높을 수록 인코딩과 전송은 더 빨라질 수 있다. 하지만 그것은 압축률을 낮추고 슬라이스에 사용되는 비트 수를 증가시키며 각 슬라이스의 유효 전송시간도 증가시킨다. 드론 설계자에게 이 파라미터를 결정할 수 있는 선택권이 주어져야 종단간의 시스템을 최적화할 수 있다. 어떤 솔루션이든지간에 설계자의 선택권을 제한하지 않는 유연성이 필수로 제공돼야 한다.

견고한 무선 링크

저레이턴시 비디오 전송의 또 다른 중요한 기능은 견고한 무선 링크다. 다음은 무선 링크에서 견고함을 유지하는데 중요한 몇 가지 기능들이다.

안테나 다변화 = 이 기능은 복수의 송신 안테나 또는 수신 안테나를 사용하고 복수의 송신 안테나에서 가장 많이 쓰인다. 특정 송신 안테나에서 특정 수신 안테나까지의 링크 상태는 잡음이 많을 수 있다. 복수의 송신 안테나를 가지며 안테나들을 서로 바꿔 사용할 수 있다면 그 시스템은 최적의 링크 선택이 가능하다.

최대 비율 병합(Maximum ratio combining, MRC) = MRC는 복수의 수신 안테나를 사용한다. 어느 안테나에의 수신 신호는 다른 것들보다 더 잡음이 많을지도 모른다. MRC 기술은 모든 안테나의 신호를 병합한 최적의 방법으로 병합된 신호가 개별 안테나들의 신호보다 높은 품질이 된다.

멀티입력·멀티출력(MIMO) = MIMO는 송신기와 수신기 사이의 채널수를 증가시킨다. 예를 들어 2×2(송신기 2개, 수신기 2개) MIMO 시스템은 싱글 입력, 싱글 출력(SISO) 수신 시스템에 비해 4개의 채널을 갖고 있으므로 이론상으로는 SISO 시스템의 4배 처리량을 가질 것이고 이에 따라 전송시간은 1/4로 줄어든다.

레이트 적응 = 견고한 무선 링크의 또 다른 중요 기능은 효과적인 레이트의 적응이다. 무선 채널은 시간에 따라 변한다. 양호한 링크도 어떤 때에는 불안해질 수 있다. 이런 경우에는 레이트 적응 알고리즘이 처리량을 낮추고 채널이 다시 좋아질 때까지 링크를 유지할 것이다. 레이트 적응이 없는 무선 커넥티비티는 링크와 데이터를 잃을 것이다.

비디오 촬영 가능한 드론 위한 저레이턴시 시스템

텍사스인스트루먼트(TI)의 DMx 디지털 미디어 프로세서는 통합 하드웨어 비디오 인코딩·디코딩 엔진과 프레임 투 프레임 ISP를 결합한 것으로 프레임당 복수의 슬라이스를 사용해 비디오의 저레이턴시 인코딩 및 디코딩을 달성한다. 이 제품은 설계자가 드론의 여러 가지 요건들을 충족시킬 수 있도록 다양한 가격대 및 성능을 선보인 것이다.

TMS320DM36x 제품군은 드론이 저레이턴시 비디오를 캡처해 전송하는 저가 솔루션이다. 이는 병렬 카메라 인터페이스를 지원하는 통합 프레임 투 프레임 하드웨어 이미징 서브시스템(ISS) 덕분이다.

하드웨어 비디오 인코딩·디코딩 엔진(HDVICP) 및 전용 디스플레이 하드웨어를 함께 사용하면 ARM CPU에서 프로세싱 요건들이 크게 줄어들게 되면서 전력소비 및 비용이 낮아진다. MIPI(CSI2) 카메라 직렬 인터페이스가 필요하다면 DM38x 제품군의 장치로 지원이 가능하다. [그림6]은 드론용 레이턴시 비디오 인코딩 와이파이 시스템의 TMS320DM368 디지털 미디어 프로세서다.

드론이 비디오를 캡처할 수 있도록 이 카메라는 전용 카메라 인터페이스들 중 하나를 이용해 디지털 미디어 프로세스로 연결된다. 이미징 서브시스템(ISS)은 병렬 카메라 인터페이스(CAM), 카메라 직렬 인터페이스(SCI2), 이미지 센서 인터페이스(ISIF) 등 복수의 이미지 캡처 인터페이스들을 지원한다.

비디오 피드는 2.4 또는 5㎓ 와이파이 접속을 이용해 지상 제어 유닛으로 전송되고 디스플레이에 나타날 수 있다. 이 때 이 유닛에서 조작자는 실시간으로 드론 비행경로를 조정하며 충돌을 피할 수 있게 된다. 

예를 들어 와이링크(WiLink) 8 솔루션은 TI의 와이파이 및 블루투스 콤보 접속 디바이스 제품군이다. 여기에는 드론에 필요한 안테나 다변화, MRC, 듀얼밴드 지원(2.4 및 5㎓ 대역), 레이트 관리, 최적화 데이터 경로와 같은 첨단 기능들이 탑재돼 있다. 와이링크 8 디바이스는 매우 어려운 환경에서도 저레이턴시의 견고한 링크를 제공 및 유지할 수 있다.

공중 시스템의 로컬 제어를 희망한다면 UART 인터페이스를 사용해 제어 데이터와 드론의 중앙처리장치를 교환한다. 이렇게 하면 로컬 생성된 충돌 회피 제어 정보(비디오 입력과 다른 입력들을 기반)가 바로 드론 모터 컨트롤러로 보내져 자율 충돌 회피가 가능하다.

메시를 통해 통신하는 드론 군단들처럼 복수의 무선 디바이스들간에 클록 동기화가 필요한 애플리케이션의 경우 와이링크 8을 사용해 20µsec. 이하의 정밀도를 달성할 수 있다. 또 리눅스(Linux)에서 와이링크 8 솔루션을 통합하는 것이 전보다 훨씬 더 쉬어졌으며 현재 최신 커널 소스에 포함돼 있다.

요약
드론은 새로운 애플리케이션들을 가능하게 하고 경제 생산성을 높여주지만 견고한 무선 커넥티비티와 저레이턴시 비디오 전송에서만 가능한 동작 모드들을 필요로 한다. TI는 수십년간의 비디오 처리 문제들을 해결하기 위해 오늘날 이용 가능한 솔루션을 DMx 디지털 미디어 프로세서 제품군을 통해 내놓았다.

모든 TI DMx 미디어 프로세서들은 풀 비디오프레임의 탄력적인 슬라이스 기반 프로세싱을 지원하고 있다. 그리고 TI의 레퍼런스 디자인 키트(RDK)에 구현된 초저레이턴시 슬라이스 사례들은 복수의 채널로 압축 비디오를 스트림한다. 또한 TI의 와이링크8 와이파이 및 블루투스 콤보 디바이스들도 매우 어려운 환경에서 저레이턴시와 견고한 링크를 제공 및 유지할 수 있다.

TI는 미래 드론 기반 경제의 기술적인 문제들, 예컨대 배터리 충전과 관리, 임베디드 프로세서, 센서 기술, 모터 드라이버, 모터 제어, 무선 접속, DLP 기술 같은 문제들을 해결하는데 필요한 혁신 제품들을 만들기 위해 노력하고 있다. 

글 : 데니스 버렛(Dennis Barrett) TI 제품 마케팅 매니저,
프라작타 데사이(Prajakta Desai) TI 제품 마케팅 엔지니어

자료제공 : 텍사스인스트루먼트(www.ti.com)