[기고] ToF 시스템 설계의 핵심 고려사항_1부: 시스템 개요

[테크월드뉴스=이재민 기자] 이 글은 ToF(Time of Flight, 사물 거리 측정 기술) 시스템 설계에 관한 연재 기사의 1부로서, 연속파(CW) CMOS ToF 카메라 시스템 기술에 대한 개요와 이 기술이 머신 비전 애플리케이션에서 기존 3D 이미징 솔루션과 비교할 때 어떤 이점들이 있는지 설명한다. 2부에서는 이 시스템을 구성하는 각각의 요소에 대해 자세히 살펴본다. 여기에는 조명 서브시스템, 광학계, 전원 관리, 심도 프로세싱(depth processing) 등이 포함된다.

머리말

오늘날 많은 머신 비전 애플리케이션들이 표준 2D 이미징을 대체 또는 보완하기 위해 고해상 3D 심도 이미지를 필요로 한다. 3D 카메라를 기반으로 하는 이들 솔루션은 신뢰할 수 있는 심도 정보를 제공해 안전성을 높일 수 있다. 특히 기계와 사람이 서로 가까운 거리에서 작동하는 환경에서 그렇다. 이런 카메라들은 넓은 공간에 반사가 심한 표면과 움직이는 물체들이 존재하는 까다로운 환경에서 동작하면서도 신뢰할 수 있는 심도 정보를 제공해야 한다. 현재 많은 제품이 해상도가 낮은 레인지 파인더(거리계) 타입의 솔루션을 사용해 2D 이미징을 보완하기 위한 심도 정보를 제공한다.

하지만 이런 방식은 여러 가지 제약이 따른다. 현재 고해상 3D 심도 정보를 필요로 하는 애플리케이션용으로 출시된 솔루션 중 가장 성능이 우수한 것이 ‘CW CMOS ToF 카메라’다. [표 1]은 고해상 CW ToF 센서 기술의 특징을 요약한 것이다. 이런 특성들은 보케 기능(video bokeh), 얼굴 인증, 측정 애플리케이션 같은 컨슈머 활용 사례뿐 아니라 운전자 주의력 모니터링이나 차내 자동 설정 같은 자동차 활용 사례에 적용할 수 있다.

▲ [표 1] 연속파(CW) ToF 시스템의 특징

‘CW CMOS ToF 카메라’의 개요

심도 카메라는 각 픽셀이 카메라와 대상 장면 사이의 거리를 출력한다. 심도를 측정하는 기법 중 하나는 카메라의 광원에서 방출된 빛이 물체의 표면에 반사된 후 다시 카메라로 돌아오기까지 걸리는 시간을 계산하는 것이다. 이 시간을 일반적으로 ToF(time of flight)라고 한다.

ToF 카메라는 다음과 같은 요소들로 이루어진다([그림 1] 참조).

▶광원: 수직 공진 표면 발광 레이저(VCSEL)나 엣지 발광 레이저 다이오드(EELD)가 근적외선 대역으로 빛을 방출한다. 가장 널리 사용되는 파장은 850㎚와 940㎚이다. 광원은 통상적으로 확산 광원(플러드 조사)으로, 특정한 발산각(Field of Illumination, FOI)으로 광 빔을 방출해 카메라 전방의 대상 장면으로 빛을 조사한다.
▶레이저 드라이버: 광원에서 방출되는 빛의 세기를 변조한다.
▶픽셀 어레이를 탑재한 센서: 전방의 대상 장면으로부터 되돌아오는 빛을 수집하고, 각 픽셀로 값을 출력한다.
▶렌즈: 되돌아오는 빛을 센서 어레이로 모은다.
▶대역통과 필터: 렌즈와 함께 작동해 광원의 파장을 중심으로 한 좁은 대역폭 바깥의 성분들을 필터링한다.
▶프로세싱 알고리즘: 센서로부터 출력된 미가공 프레임을 심도 이미지나 점군(point cloud)으로 변환한다.

ToF 카메라에 다양한 방법을 적용해 빛을 변조할 수 있다. 단순한 방법은 연속파 변조를 사용하는 것이다. 예를 들어 구형파(square wave) 변조에 50% 듀티 사이클을 사용할 수 있다. 현실적으로 레이저 파형은 완벽한 구형파는 될 수 없으며, 정현파(sign wave)에 가까워 보일 수 있다. 레이저 파형이 구형파이면 특정한 광 출력으로 더 우수한 신호대 잡음비가 가능하나, 고주파수 고조파 성분으로 인해 심도 비선형성 오차를 야기할 수 있다.

CW ToF 카메라는 방출된 신호와 되돌아오는 신호의 기본 주파수 사이에 위상 오프셋 ϕ = 2πft_d를 계산해 두 신호 사이의 시간 차이 t_d를 측정한다. 그런 다음에 위상 오프셋(ϕ)과 빛의 속도(c)를 사용해 다음과 같은 공식으로 심도를 계산할 수 있다.

센서의 클럭 생성 회로는 각 전하 저장 소자들(탭 A와 탭 B)로 광 전하가 누적되는 것을 제어하는 상보성 픽셀 클럭들과 레이저 드라이버로 제공되는 레이저 변조 신호를 제어한다. 픽셀 클럭의 위상을 기준으로 되돌아오는 변조된 광의 위상을 측정할 수 있다([그림 1]의 오른쪽). 픽셀에서 탭 A와 탭 B의 전하 차이는 되돌아오는 변조된 광의 세기와 되돌아오는 변조된 광의 위상에 따라서 비례한다.

호모다인 검출 원리를 적용하면 픽셀 클럭과 레이저 변조 신호 사이의 여러 상대적 위상을 사용해 측정할 수 있다. 이들 측정값을 취합해 되돌아오는 변조된 광 신호로 기본 주파수의 위상을 계산할 수 있다. 이 위상을 알면 광원에서 방출된 빛이 관찰하고자 하는 물체에 반사돼 다시 센서 픽셀로 돌아오기까지 걸린 시간을 계산할 수 있다.

높은 변조 주파수의 이점

실제로는 광자 샷 잡음, 리드아웃 회로 잡음, 다중경로 간섭 등의 요인들로 인해 위상 측정에 오차가 생길 수 있다. 높은 변조 주파수를 사용하면 이런 오차 요인들이 심도 계산에 미치는 영향을 낮출 수 있다. 이해를 돕기 위해 간단한 예를 들어 살펴보자. 위상 오차가 ϵϕ이면 센서에서 측정되는 위상은 ϕ = ϕ + ϵϕ이다. 그러면 심도 오차는 다음과 같다.

[그림 2]는 이것을 그래픽으로 나타낸 것이다. 이 간단한 공식은 높은 변조 주파수를 사용하는 ToF 카메라가 낮은 변조 주파수를 사용하는 ToF 카메라에 비해 심도 잡음과 심도 오차가 낮은지를 설명해준다.

높은 변조 주파수를 사용할 때 한 가지 단점은 위상이 더 빠르기 때문에 명확하게 측정할 수 있는 거리가 짧아진다는 것이다. 이 한계점을 극복하기 위해 흔히 사용되는 방법이 서로 다른 비율로 주변을 감싸는 여러 변조 주파수를 사용하는 것이다. 그러면 가장 낮은 변조 주파수로는 명확히 측정할 수 있는 거리는 길되 심도 오차가 클 것이고(잡음, 다중경로 간섭 등), 보다 높은 변조 주파수들을 함께 사용하면 이 심도 오차를 낮출 수 있다.

[그림 3]은 이 방법으로 3개의 변조 주파수를 사용한 사례를 보여준다. 최종적인 심도 계산은 서로 다른 변조 주파수들로 위상 연속화 계산에 대해 가중치를 부여할 수 있다. 더 높은 변조 주파수일수록 더 높은 가중치를 부여한다.

각 주파수에 적절한 가중치를 부여했을 때, 심도 잡음은 시스템에 선택된 변조 주파수들의 제곱 평균 제곱근(root mean square, RMS)에 반비례한다. 심도 잡음이 일정할 경우, 변조 주파수를 높이면 적분 시간이나 조사 출력을 낮출 수 있다.

성능을 위해 중요한 시스템 요소들

고성능 ToF 카메라를 개발할 때는 시스템 차원에서 다음과 같은 요소들을 고려해야 한다.

이미지 센서

이미지 센서는 ToF 카메라를 구성하는 핵심 부품이다. 시스템의 평균 변조 주파수를 높이면 심도 계산에 있어 오차를 일으키는 요인들(바이어스, 심도 잡음, 다중경로 아티팩트 등)의 영향을 낮출 수 있다. 그러므로 센서가 높은 변조 주파수(수백 ㎒)에서 복조 콘트라스트(탭 A와 탭 B 사이에 광전자를 구분할 수 있는 능력)가 높아야 한다.

또한 센서가 근적외선 파장(850㎚와 940㎚)에서 양자 효율(QE)이 높아야 한다. 그래야 픽셀에 광전자를 발생하는 데 필요한 광 출력이 더 적어진다. 리드아웃 잡음이 낮으면 낮은 수준의 리턴 신호(멀리 떨어져 있거나 반사도가 낮은 물체)를 검출할 수 있어 카메라의 동적 범위와 관련해 도움이 된다.

조명 서브시스템

레이저 드라이버는 광원(VCSEL 등)을 높은 변조 주파수로 변조한다. 픽셀에서 특정한 광 출력으로 이용할 수 있는 신호의 양을 극대화하기 위해서는 광학적 파형이 상승 시간과 하강 시간이 빠르고 엣지가 깔끔해야 한다. 그러기 위해서는 조명 서브시스템에서 레이저, 레이저 드라이버, PCB 레이아웃 모두가 중요한 역할을 한다.

또한 변조 파형의 푸리에 변환에서 기본 주파수의 진폭을 극대화하기 위해 최적의 광 전력과 듀티 사이클 설정을 알아내기 위한 특성 분석도 필요하다. 이와 함께 클래스 1 시력 안전 한계를 항상 충족하도록 레이저 드라이버뿐 아니라 시스템 차원에서도 안전 메커니즘을 포함시키고, 광 출력을 안전한 방식으로 제공해야 한다.

광학계

광학계 역시 ToF 카메라에서 중요한 역할을 한다. ToF 카메라 고유의 특성들을 충족하기 위해서는 특수한 광학계가 요구된다. 효율을 극대화하기 위해 광원의 조사각이 렌즈의 시야각과 맞아야 한다. 우수한 광 수집 효율을 위해서는 렌즈 자체가 조리개가 커야 한다(낮은 f/#). 대신에 조리개가 크면 비네팅(vignetting), 얕은 심도, 렌즈 설계 복잡성과 관련해 불리해질 수 있다.

또한 주광선 각도(CRA)가 낮은 렌즈 제품은 대역통과 필터 대역폭을 낮출 수 있다. 그러면 주변 빛 제거 능력을 향상시킬 수 있어 야외에서 작동할 때 성능을 향상시킨다. 처리량 효율을 극대화하고 잡광을 최소화하기 위해서는 반사 방지 코팅, 대역통과 필터 설계, 렌즈 설계 등 광학 서브시스템을 원하는 동작 파장에 대해 최적화할 필요가 있다. 광학적 정렬이 최종 애플리케이션에 이상적인 공차 내에 있도록 하기 위해 많은 기계적 처리가 필요할 수 있다.

전원 관리

고성능 3D ToF 카메라 모듈 설계에서 중요한 또 다른 요소가 전원 관리다. 레이저 변조와 픽셀 변조가 짧은 버스트로 높은 수준의 피크 전류를 발생시키는데, 이는 전원 관리 솔루션에 부담을 줄 수 있다. 센서 IC 차원에서 몇몇 기능을 사용해 이미저의 피크 전력 소모를 낮출 수 있다. 시스템 차원에서도 전원 관리 기법들을 적용해 전원(배터리, USB 등)에 대한 요구 사항들을 완화할 수 있다. ToF 이미저용 메인 아날로그 전원을 위해서는 과도 응답 특성이 우수하고, 잡음이 낮은 레귤레이터가 필요하다.

심도 프로세싱 알고리즘

시스템 레벨 설계의 또 다른 중요한 요소는 심도 프로세싱 알고리즘이다. ToF 이미지 센서는 미가공 픽셀 데이터를 출력하는데, 이로부터 위상 정보를 추출해야 한다. 그러기 위해서는 잡음 필터링과 위상 연속화(phase unwrapping)를 포함해 여러 단계의 작업이 필요하다. 위상 연속화 블록의 출력은 레이저에서 방출된 빛이 대상에 부딪혀 반사돼 픽셀로 되돌아오기까지의 거리를 측정한 값이다. 이 거리를 방사상 거리(radial distance)라고 한다.

일반적으로 이 방사상 거리를 점군 정보로 변환한다. 다시 말해 특정 픽셀의 정보를 좌표(X, Y, Z)로 나타낸 것이다. 대부분 최종 애플리케이션에서 이 전체적인 점군이 아니라 Z 이미지 맵(심도 맵)만을 사용한다. 방사상 거리를 점군으로 변환하기 위해서는 렌즈 특성과 왜곡 파라미터를 알아야 한다. 이런 파라미터들은 카메라 모듈의 기하학적 캘리브레이션을 할 때 사용된다.

심도 프로세싱 알고리즘은 명암 이미지(리턴 레이저 신호의 진폭), 패시브 2D IR 이미지, 신뢰도 같은 다른 정보들도 출력할 수 있다. 최종 애플리케이션에서 이 모든 정보들을 사용할 수 있다. 심도 프로세싱은 카메라 모듈 자체에서 할 수도 있고, 또는 시스템상의 다른 곳에 있는 호스트 프로세서에서 할 수도 있다.

[표 2]에는 이런 시스템 구성 요소들을 요약해 정리했다. 2부에서는 이들 각각의 주제에 대해 살펴볼 것이다.

▲ [표 2] 3D ToF 카메라의 시스템 레벨 구성 요소

맺음말

연속파 ToF 카메라는 높은 심도 정밀도를 제공하는 강력한 솔루션으로서, 고품질 3D 정보를 필요로 하는 애플리케이션용으로 적합하다. 이 시스템의 성능을 극대화하기 위해서는 많은 것들을 고려해야 한다. 이미지 센서 차원에서는 변조 주파수, 복조 콘트라스트, 양자 효율, 리드아웃 잡음 같은 요소들이 성능에 영향을 미친다. 시스템 차원의 요소들 또한 고려해야 한다. 여기에는 조명 서브시스템, 광학 설계, 전원 관리, 심도 프로세싱 알고리즘이 포함된다. 이 모든 요소들이 정밀도가 극히 우수한 3D ToF 카메라 시스템을 달성하는 데 있어 중요한 역할을 한다. 2부에서는 이런 시스템 차원의 요소들에 대해 자세히 살펴볼 것이다.

글 : 폴 오설리번(Paul O’Sullivan) 시스템 엔지니어,
니콜라스 르 도츠(Nicolas Le Dortz) 시스템 엔지니어링 매니저
자료제공 : 아나로그디바이스(www.analog.com)