[테크리포트] 보이는 것 너머의 데이터…물리와 융합으로 ‘읽히게’ 만드는 자율주행 센싱

[테크월드뉴스=이광재 기자] 자율주행의 핵심은 한 문장으로 요약된다. ‘차가 스스로 보고 스스로 설명한다’다.

스스로 본다는 것은 복잡한 장면을 놓치지 않는 일이고 스스로 설명한다는 것은 그 장면이 무엇을 의미하는지 근거와 함께 판단해 곧바로 대응하는 것이다.

문제는 현장에서의 실패는 대개 ‘안 보이는’ 순간이 아니라 ‘보이지만 읽히지 않는’ 순간에서 발생한다.

우천·수막·역광·반사광 같은 외부 조건, 그리고 실내 결로·시야 악화·운전자 인지 저하 같은 내부 변수는 입력데이터에 무언가 보이더라도 의미 해석을 왜곡시킬 수 있다.

결국 ‘스스로 보고 스스로 설명한다’는 목표를 이루려면 먼저 ‘보이지만 읽히지 않는 순간’을 식별해야 한다.

보이지만 읽히지 않는 순간을 해석하기 위해서는 센서 데이터의 ‘강화’가 아니라 ‘분리’가 먼저라는 관점의 전환이 필요하다. 다파장과 다편광, 열화상 같은 물리 기반 센서로 불필요한 광 성분을 먼저 걷어내 입력의 품질(SNR)을 끌어올린 뒤 필요한 만큼만 목적 중심의 융합을 더한다.

같은 알고리즘이라도 입력이 달라지면 결과의 재현성이 달라진다. 바깥(노면·객체)에서는 정반사와 수막 하이라이트를 분리해 경계와 재질을 되살리고 안쪽(운전자·실내)에서는 열과 공기의 신호로 인지 저하 여부와 결로의 전조를 읽어 짧고 약한 개입으로 시야와 쾌적을 지킨다. 말하자면 같은 물리, 다른 매질을 한 고리로 묶는 일이다.

따라서 핵심은 센서를 더 많이 붙이는 것이 아니다. ‘무엇을 알고 싶은가’를 먼저 고려하고 그 목적에 맞는 파장·편광·열 채널을 선택해 데이터를 의미 있어 보이게 만드는 일이다.

이 글은 그 원리와 운용의 요령을 바깥과 안쪽의 사례로 풀어 단순히 ‘잘 본다’를 넘어 ‘보이는 신호’를 ‘의미 있는 지표’로 그리고 ‘즉시 가능한 대응’으로 이어지는 선순환 고리를 제시하고자 한다.

설명 가능한 센싱과 재현 가능한 실증, 그리고 명확한 지표로 이어질 때 비로소 자율주행의 경험의 수준은 한 단계 올라간다. 이 글이 그 로드맵을 공유하는 작은 시작점이 되길 바란다.

현장의 문제(Pain Point), 장면 다시 보면 해법이 보인다

강우·수막·블랙아이스·역광·반사광(OutCabin): ‘보이지만 읽히지 않는’ 노면을 편광·분광으로 풀다= 현장에서 가장 잦은 실패는 정보가 가시화되지 않는 순간이 아니라 잘 보이는데도 의미해석이 무너지는 순간에서 일어난다. 우천과 수막, 겨울철 블랙아이스, 역광과 반사광은 모두 노면의 정반사·난반사 비율과 편광 상태, 파장별 흡수가 동시에 변하는 장면이다.

전통적으로 가시광 카메라의 HDR 노출, 감마/히스토그램 보정, 딥러닝 기반 분할 및 검출로 대응해 왔지만 수막 아래의 경계·텍스처가 광학적으로 지워진 상태에서는 후처리만으로 복원이 어렵다.

해결의 실마리는 센서 신호의 강화가 아니라 센서 물리 신호의 분리다. 다각도 편광으로 정반사 성분(대개 강한 선편광)을 걷어내면 수막 아래의 경계·텍스처가 다시 살아난다. 여기에 분광(SWIR/NIR)을 더하면 물(수막)의 흡수 대역 특성 덕에 하이라이트가 약해지고 도색·표지·아스팔트의 대비가 상대적으로 부각된다.

기존 HDR/후처리가 ‘보이는 신호를 강화’하는 접근이라면 다편광·다파장은 ‘쓸모없는 신호를 제거’해 신호대잡음비(SNR/신호 대비 잡음 비율)를 높인다는 차이점이 있다.

운전자·실내(InCabin): 얼굴보다 ‘공기와 열’이 먼저 말해준다= 차량 실내에서 우리가 진짜로 알고 싶은 것은 2가지다. 사람의 상태가 어떻게 변하고 있는지, 그리고 유리와 공기 사이에서 시야를 해칠 징후가 무엇인지다.

전통적인 운전자 모니터링은 시선·눈 깜빡임처럼 얼굴 특징에 많이 기대왔다. 그러나 얼굴 특징과 같은 기존 센서를 활용한 시각적 정보는 조도 변화, 안경·마스크, 카메라 각도만으로도 정보의 왜곡이 발생할 수 있다. 반대로 열화상(LWIR, 장파장적외선)과 협대역 분광은 얼굴을 식별하지 않고도 운전자의 호흡 리듬과 열 분포를 읽어낼 수 있다.

호기 때 형성되는 따뜻하고 습한 공기의 기둥(플룸)은 LWIR에서 자연스럽게 드러나고 수증기 민감 대역을 고른 협대역 필터를 더하면 패턴이 또렷해진다. 여기에 CO₂·습도 센서를 보조로 붙이면 졸음·인지 저하의 전조나 환기 필요 시점을 안정적으로 포착할 수 있다. 프라이버시 부담이 낮고 조도에 덜 민감하다는 것이 이 접근의 첫 번째 장점이다.

실내 결로·김서림은 외부 인지 품질을 무너뜨리는 가장 흔한 내부 변수다. 결로는 어느 날 갑자기 생기지 않는다. 유리 표면과 실내 공기 사이의 온·습도 구배가 특정 임계로 다가가며 미세 난류가 변하고 결국 광학 경로가 흐려진다.

이 직전 단계는 열화상과 습도·CO₂의 시간적 변화를 함께 보면 충분히 미리 잡아낼 수 있다. 그러면 강한 디포그로 ‘사후’ 복구하기보다 짧고 약한 디포그로 ‘사전’ 대응이 가능해진다.

실제 상황에서는 풍향·풍량의 교란, CO₂ 센서 드리프트 같은 현실 변수를 반드시 동반한다. 그래서 열화상은 고정 위치와 주기적 노이즈 안정화, CO₂는 정기 교정과 온·습도 보정을 함께 설계하는 편이 안전하다.

결국 인캐빈의 메시지도 아웃캐빈과 같다. 밝기를 키우는 것보다 의미 있는 신호를 분리해 꺼내는 것이 먼저다. 공기의 흐름과 열의 분포를 읽어내면 운전자의 상태·시야 유지·환기·난방의 결정을 한 줄로 연결할 수 있다.

비 오는 야간에 좌회전 대기선서 안과 밖이 만나는 방법

비오는 야간에 좌회전 대기선. 외부와 내부 센서 데이터가 한 번에 만나는 장면을 떠올려보자.

헤드라이트 반사광으로 이미지 내 정보가 왜곡될 때 편광 전처리가 반사광을 걷어내고 SWIR 차영상이 수막 하이라이트를 약화시킨다. 동시에 운전석 앞 유리의 열화상이 결로 직전 패턴을 감지하면 짧고 약한 디포그가 선제 실행된다. 차량 밖의 차선·표지는 다시 읽히고 안쪽의 시야는 흐려지지 않는다. 같은 물리, 다른 매질이 한 동작으로 만나는 순간이다.

센서 융합의 원칙: 목적에 맞게 최소로 물리부터= 융합의 출발점은 ‘무엇을 알고 싶은가’다. 수막 아래 차선의 경계인지, 야간 교차로에서의 상대 차량 접근인지, 보행자의 존재 그 자체인지. 목표 신호가 정해지면 필요한 물리 정보가 정해지고 그에 맞는 센서 조합이 좁혀진다.

이 순서를 지키지 않으면 센서가 늘어날수록 비용과 지연만 늘고 정작 결정은 흐려진다.

둘째 강화보다 분리다. HDR·후처리로 밝기를 키우기 전에 편광·분광·열로 불필요한 성분을 덜어내 SNR을 끌어올리면 같은 네트워크라도 결과의 재현성이 달라진다. 전처리에서 물리를 쓰는 이유가 여기에 있다.

셋째 품질 신호를 함께 본다. 포화율, 점군 SNR, 도플러 연속성, 열 대비 지수 같은 ‘센서의 컨디션’을 지표로 활용하면 융합은 가중치 조정과 신뢰도 부여가 가능하다. 이 신호들이 곧 주도권 전환의 스위치다.

넷째 정합과 시나리오를 과소평가하지 않는다. 시간 동기와 공간 정합의 잔차가 커지는 순간 융합은 이득이 아니라 손해가 된다. 우천·수막·역광·안개·야간·도심혼잡도 등 장면 카달로그를 먼저 만들고 그 장면에서 반복 가능한 결과가 나오는지를 살펴야 한다.

다섯째 퇴행모드(Graceful Degradation)를 설계한다. 라이다 세정 실패, 열화상 포커스 이탈, 레이더 멀티패스가 발생했을 때 어떤 조합으로 어디까지의 결정을 유지할지를 미리 정해두면 현장 복구가 빨라진다.

마지막으로 HMI와 연결을 고려한다. 분광·편광에서 불확실성이 높은 경우(예: 블랙아이스 의심)에는 경보 대신 주의 환기로 표현을 낮추고 확실한 증거가 모일 때만 운전 개입(감속·정지)을 유도한다. ‘잘 보이는’ 것보다 ‘의미 있게 보이게 하는 데이터’가 중요하다는 메시지가 바로 여기서 사용자 경향으로 드러난다.

또 현장에서 주도권 전환을 돕는 ‘품질 신호’는 미리 정리해두면 좋다. 카메라 포화율(%)과 DoLP/AoLP 변화량, 라이다 점군 SNR/비산점률, 레이더 도플러 연속성/기하학 합리성, 열화상 대비 지수(온도 구배), 인캐빈 CO₂ 추세/습도 기울기 같은 숫자들이 바로 그 스위치다.

이 신호들을 운영 범위로 관리하면 ‘어떤 센서가 언제 리드하는가’가 규칙이 아니라 운용 습관이 되고 장면이 바뀔 때 가중치도 자연스럽게 넘어가며 결정의 일관성과 재현성이 유지된다.

맺음말: 의미 있는 것을 보이게 하는 데이터= 자율주행에서 중요한 것은 밝기와 해상도가 아니라 의미와 일관성이다. 우천·수막·역광·반사광처럼 ‘보이지만 읽히지 않는’ 장면을 해석하려면 다각도 편광과 분광으로 쓸모없는 광 성분을 먼저 덜어내고 열화상·라이다·레이더를 상황별 앵커로 보태면 된다.

융합은 복잡함의 미학이 아니라 목적 중심의 절제다. 전처리에서 물리적인 입력 정보를 정제하고 센서의 컨디션을 수치로 관리하며 장면별로 주도권을 부드럽게 넘겨주면 동일한 인지 엔진으로도 재현 가능한 품질을 높일 수 있다.

이 접근은 특정 과제나 프로젝트에 국한되지 않는다. 노면·객체 인지에서 시작해 운전자의 모니터링과 실내 결로·디포그 타이밍까지 같은 물리, 다른 매질 위에서 그대로 확장된다.

스스로 보고 스스로 설명하는 자동차를 현실로 만드는 일은 새로운 센서를 무턱대고 더하는 일이 아니라 센서 데이터를 목적에 맞게 똑똑하게 쓰는 일이다.

이제 남은 건 각자의 현장에서 장면 카달로그와 품질 신호, 최소 센서 조합을 정하고 전처리 모듈 하나부터 적용해 보는 것이다. 결과는 의외로 빨리 체감된다.