3D 플래시 라이다 맵핑과 동작 인식

3D 플래시 라이다(3D Flash LiDAR)라고도 불리는 레인지 이미징 TOF(Time of Flight) 카메라 기술은 로봇 기술에서 많은 부분을 차용해 사용하고 있다. 점과 점의 데이터를 수집해 깊이 정보를 부여하는 과거의 라이다와는 달리 플래시 라이다는 그 이름이 의미하는 바와 같이 단일 광 펄스를 방출하고 전체 화상을 3차원으로 캡처하므로 스캔 과정이 필요없다.

기존 일반적인 라이다에 비해 3D 플래시 라이다가 갖는 또 다른 장점은 작은 크기와 사용의 편의성, 그리고 센티미터 수준의 정밀도다. 또한 이 라이다는 빛이 부족한 밤이나 밝은 햇빛 아래서도 짙은 먼지나 연기, 안개 등의 상황에 관계없이 화상을 얻을 수 있다.

이 라이다 시스템은 카메라와 렌즈, 통합된 광원, 그리고 화상 정보를 캡처하기 위한 센서와 인터페이스 등의 구성 요소로 이뤄져 있다. 이 글에서는 이 기본적인 것에 대해서만 다룰 예정이다. 만약 TOF 카메라와 센서에 대해 더 자세한 내용을 알고자 한다면, TI의 래리 리(Larry Li)가 쓴 글을 추천한다.

TOF 센서의 또 다른 장점은 바로 상대적으로 저렴한 비용이다. 그러나 드론이나 로봇, 각종 장비 등에 카메라를 장착하고 최종 사용자에게 그냥 건네면서 "행운을 빈다"고 말할 수는 없다. 수집된 데이터를 최종 사용자가 이해할 수 있는 방식으로 표시하기 위한 소프트웨어가 포함된 전체 시스템을 만들어야만 한다.

만약 TOF 센서를 동작 인식 애플리케이션에 적용할 계획이라면, 고객은 이 솔루션을 현재 존재하는 섬세한 컴퓨터 시스템에 통합할 가능성이 높으며, 다른 여러 구성요소와 통신을 해야 한다. 따라서 TOF 센서가 저렴하다고는 하지만, 전체 솔루션을 구성하기 위해서는 이를 운용하기 위한 인프라와 함께 비용과 시간, 교육을 위한 투자 등이 필요할 수 있다.

더구나 TOF 센서가 유용하다고는 하지만, 고객들은 종종 스스로 작업을 할 수 없는 경우가 있다. 다음 사례에서 볼 수 있듯이 TOF 센서는 일반적으로 다양한 센서로 구성된 센서 집합의 일부이며, 각 센서는 개별적인 고유의 기능을 수행한다.

3D 플래시 라이다 애플리케이션

대부분의 경우 TOF 애플리케이션은 동작 인식과 비동작 인식의 두가지로 크게 구분할 수 있다. 동작 인식은 빠른 응답 시간이 중요하며, 비동작 인식은 포커의 정밀도와 함께 맵핑과 고도 결정과 같은 부분에 초점이 맞춰져 있다.

오토모티브(동작 인식)

이스라엘에 본사를 두고 있는 아이사이트(eyeSight)는 자동차 업체들을 위해 IR, TOF 센서, 운전자의 안전을 향상시키기 위한 소프트웨어를 포함한 솔루션을 개발했다. 여기서 TOF 카메라의 역할은 동작 인식이다. 운전자는 자동차의 휠에서 손을 떼고 인포테인먼트 시스템을 동작시키기 위해 도로에서 눈을 돌리는 대신, 간단한 제스처를 사용해 전화를 받거나 음악을 재생할 수 있다. 또한 TOF 카메라는 운전자를 인지하고 시트의 위치나 미러의 위치, 온도 등을 기본 설정에 따라 자동으로 조정할 수 있다.

시스템의 IR 센서는 운전자를 맵핑하고, 운전자가 시선을 돌리거나 잠이 들 경우 적절한 경고를 보내거나 필요한 경우 브레이크를 동작시킨다. 이를 위해서는 센서가 아이사이트 시스템뿐 아니라 차량 내부의 복잡한 컴퓨터 네트워크와도 통합돼 운용돼야 한다.

TOF 센서와 카메라가 마이크로소프트의 키넥트(Kinect)처럼 게임용이나 파워포인트 프리젠테이션 등에 사용되는 것 뿐 아니라, 동작 인식을 통해 사용자의 안전을 향상시킬 수 있다는 것은 매우 흥미로운 사실이다. 예를 들면 관절염 환자들에게 이런 기술이 어떤 이점을 줄 수 있을 지 생각해 보는 것도 흥미롭다.

드론 비행(비동작 인식)

와이너리는 포도의 상태를 지속적으로 모니터링해야만 한다. 포도나 포도주에 영향을 미치는 박테리아나 곰팡이는 굉장히 빠른 속도로 번지기 때문에 포도밭 전체에 걸쳐 영향을 미칠 수도 있기 때문이다. 프랑스의 슈에뜨(Chouette)는 와인제조업자가 포도밭의 상태를 모니터링할 수 있는 드론 시스템을 개발했다. 이 시스템은 기존의 포도밭 사이를 걸어서 오가며 일일이 확인하는 것보다 훨씬 효율적으로 포도를 관리할 수 있게 해 준다.

슈에뜨의 드론 시스템은 적외선 TOF 기술에 기반한 원거리 측정 센서인 테라레인저 원(TeraRanger One)과 다중 공간을 파악하기 위한 카메라 센서를 장착하고 있다. 슈에뜨는 테라레인저의 넓은 시야를 통해 정밀한 고도 조정을 수행함으로써 매끄럽고 일관적인 비행을 가능하게 만들었다. 이를 통해 드론은 작업에 필요한 비행 시간을 최대한 확보할 수 있으며, 다중 공간 카메라가 더 나은 데이터를 수집할 수 있도록 돕는다. 그런 다음 이 데이터는 읽기 알아보기 쉬운 이미지와 함께 소프트웨어를 통해 포도의 상태에 대한 자세한 정보로 변환된다.

드론이 실외뿐 아니라 실내에서도 일관된 고도 제어가 가능하다면 기존 드론을 어떻게 개선할 수 있을까 고민해 보는 것도 재미있을 것이다.

공간 맵핑(비동작 인식)

NASA 랭리 연구센서(Langley Research Center)의 연구원은 3D 플래시 라이다와 도플러 라이다, 그리고 레이저 고도 센서를 이용해 달이나 화성에 자동착륙할 수 있는 기술을 개발하고 있다. 레이저 고도계와 플래시 라이다는 접근 단계 이전의 15km 이상의 고도에서 사용된다. 레이저 고도계가 차체의 위치와 고도에 대한 데이터를 수집하는 동안 플래시 라이다는 표면을 빠르게 맵핑해 차체가 착륙할 지점을 살피고 안전하게 착륙이 가능한지 확인한다.

차체가 표면에서 500~1000m 이내로 접근했을 때, 도플러 라이다는 속도와 거리 데이터를 통한 정밀 항법 업무를 담당하고, 플래시 라이다는 지속적인 맵핑을 통해 위험요소를 파악한다. 이는 뒷자석에 앉아있는 운전자에게 "아냐, 거기가 아냐" 혹은 "거기에 엄청 큰 바위가 있어, 여기에 착륙해야 해", 혹은 "거기가 아니라고. 거긴 크레이터야 바로 여기야 저기 비탈 바로 옆에"라고 계속 경고를 하는 것이나 마찬가지다.

NASA는 3D 이미징 플래시 라이다를 우주선의 자동 랑데뷰와 도킹은 물론 자율주행 로버와 로봇의 안내, 충돌 회피 그리고 이동 작업 등 다양한 용도로 사용하고 있다. 혹은 향후에 이들이 동작 인식 기술을 로버에 적용해 우주비행사가 손동작만으로 로버를 조종할 날이 올 수도 있을 것이다.

결론

플래시 라이다는 확실히 여러가지 장점을 갖고 있지만, 전체적인 솔루션 구성을 위해 다른 센서와 하드웨어, 소프트웨어의 결합할 경우 더욱 강력해질 수 있다. 솔루션을 개발할 때, 어떻게 이것을 더 광범위한 시스템에 통합할 것인지를 고려하고, 이를 통해 더욱 사용자 친화적인 솔루션을 만들어야 한다는 것을 명심해야 한다. 그렇지 않다면, 창고에서 먼지나 뒤집어쓰고 있는 멋진 아이디어가 될 수도 있기 때문이다.

Written by 트레이시 브라운(Traci Browne) & Provided by 마우저 일렉트로닉스 (Mouser Electronics)

[편집자 주] 본 기사는 글로벌 전자부품 유통회사인 마우저 일렉트로닉스(Mouser Electronics)의 후원을 바탕으로 진행되는 EPNC의 단독 외부 기고입니다.