[테크월드=선연수 기자]
장비나 기계의 유지보수와 관련된 직종의 사람들은 기계가 내는 소리와 진동이 얼마나 중요한지 잘 알고 있을 것이다. 기계의 소리와 진동을 통해 작동 이상 여부를 모니터링함으로써 유지보수 비용을 절반으로 줄이고 수명을 두 배로 늘릴 수 있다. 실시간 음향 데이터 포착·분석 기법은 상태 기반 모니터링(CbM, Condition-based Monitoring) 시스템을 위한 또 다른 중요한 접근법 중 하나다.
정상적으로 작동하는 기계가 어떤 소리를 내는지는 경험으로 알 수 있다. 소리에 변화가 생겼다는 것은 이상이 발생했다는 뜻이다. 특정 소리의 경우 어떤 문제일 때 나는 것인지 경험을 통해 짐작할 수도 있다. 이상이 발생했다는 사실은 금방 알아차릴 수 있지만, 소리나 진동을 문제의 원인과 연관지어 진단하는 능력을 익히는 것은 평생이 걸릴 수도 있다. 이를 수행할 수 있는 숙련된 기술자나 엔지니어의 수는 지극히 제한적이며, 아무리 많은 기록과 분석 자료, 전문가의 직접적인 지도가 있더라도 소리만으로 문제의 원인을 직감적으로 파악하는 것은 결코 쉬운 일이 아니다.
아나로그디바이스는 사람이 소리와 진동을 어떻게 지각하는지 이해하기 위해 20년 넘게 노력해 왔다. 기계가 발생하는 소리와 진동을 학습하고, 해석을 통해 이상 동작을 감지·진단할 수 있는 시스템을 마침내 개발해냈다. ‘오토센스(OtoSense)’ 아키텍처는 ‘컴퓨터 히어링’이 가능한 기계나 장비 상태의 정상 유무를 모니터링하는 시스템으로, 이를 활용해 컴퓨터는 기계 동작을 나타내는 지표로서 소리와 진동을 지각할 수 있다.
오토센스는 모든 기계에 적용할 수 있다. 실시간으로 실행되며 어떤 네트워크 연결도 요구하지 않는다. 산업용 애플리케이션을 위해 최적화된 시스템으로, 기계나 장비의 상태를 효율적으로 모니터링할 수 있다.
이 글에서는 오토센스 개발에 어떤 원리들을 적용했으며, 오토센스 설계를 위해 어떻게 사람의 청각을 모방했는지 설명한다. 이어서 어떻게 소리나 진동의 특징을 추출하는지, 이로부터 의미를 도출하는 방법, 더 높은 정확도로 복잡한 진단을 할 수 있도록 계속되는 오토센스의 개선 작업도 함께 소개한다.
적용된 원리
견고하고 효율적인 개발을 위해, 오토센스에는 다음의 원리들이 적용됐다.
▲인간의 감각으로부터 영감을 얻는다. 인간은 매우 에너지 효율적인 방식으로 소리를 학습하고 지각한다.
▲일정한 소리뿐만 아니라 변화하는 소리도 학습할 수 있도록 한다. 이를 위해 특징을 추출하고 모니터링을 계속적으로 해야 한다.
▲센서와 가까운 에지에서 감지한다. 의사결정을 위한 원격 서버와 네트워크로의 연결 필요성을 없앤다.
▲전문가들과의 소통과 이들로부터의 학습 절차가 그들의 일상에 최대한 지장을 주지 않도록 하며, 가능하다면 그들이 이런 작업을 즐길 수 있도록 한다.
사람의 청각 체계와 오토센스로의 모방
출생 전부터 발달된 사람의 청각은 생존을 위한 감각으로, 멀리 떨어져 보이지 않는 사건은 청각을 통해 인지할 수 있다. 사람의 소리 지각 과정을 모방하는 것은 4단계로 이뤄진다. 먼저 아날로그로 소리를 포착한 뒤, 이를 디지털로 변환하고, 특징을 추출한 후, 해석하는 과정이다. 사람의 청각과 오토센스 시스템을 비교하며 각 단계를 살펴보자.
▲아날로그 포착과 디지털화. 중이(Middle ear)의 막과 지레가 소리를 포착하고 임피던스를 조절해, 물이 차 있는 관으로 진동을 보내면 신호에 존재하는 스펙트럼 성분에 따라 또 다른 막에서 선택적 변위가 일어난다. 이는 다시 유연한 세포를 휘게 만들어 휘어짐과 딱딱함의 정도에 따라 디지털 출력을 내보낸다. 그 다음, 이와 같은 개별적 신호들은 주파수에 의해 배열된 평형 신경을 타고 이동해 일차 청각 피질로 전달된다.
• 오토센스는 센서, 증폭기, 코덱(Codec)을 사용해 작업한다. 디지털화 프로세스는 250Hz~196kHz 사이의 고정된 샘플링 속도를 사용하며, 파형을 비트로 코드화해 버퍼에 저장한다. 128~4096개의 샘플까지 저장할 수 있다.
▲특징 추출은 이 일차 청각 피질에서 일어난다. 지배적 주파수, 고조파, 스펙트럼 형태 같은 주파수 영역의 특징과 힘, 세기 변화, 약 3초 동안의 시간 간격에 걸친 메인 주파수 성분 같은 시간 영역의 특징을 추출할 수 있다.
• 오토센스는 청크(Chunk)라는 시간 간격을 사용한다. 청크는 스텝 크기에 따라서 달라지며, 감지하고자 하는 이벤트와 샘플링 속도에 따라 23ms~3s 사이에서 변화한다. 특징 추출은 에지에서 이뤄지며, 오토센스가 어떤 특징들을 추출하는지는 뒤에서 이어 설명한다.
▲해석은 연합 피질에서 일어난다. 모든 인지와 기억을 합치고 소리에 의미를 결합한다. 이것이 사람이 인지를 형성하기 위한 핵심적인 요소다. 해석 과정은 단순히 이름을 부여하는 것을 넘어 사건의 기술을 체계화한다. 물건, 소리, 사건에 이름을 부여함으로써 더욱 다층적인 의미를 내포할 수 있다. 이름과 의미는 주변 환경을 더 잘 지각할 수 있도록 만든다.
• 이런 이유로 오토센스가 인간과 상호작용하는 것은 인간의 신경에 기반한 시각적인 자율(Unsupervised) 사운드 맵핑에서 시작된다. 오토센스는 모든 소리나 진동을 그래픽으로 표현하고 나타내며, 유사성을 기준으로 조직화한다. 그러나 엄격하게 범주화하지 않아, 전문가들은 인위적으로 한정된 범주를 생성하지 않으면서 화면에 나타나는 그룹들을 구조화하고 명명할 수 있다. 오토센스의 최종 출력에 대해서 자신의 지식, 인지, 예상을 토대로 의미 맵을 만들 수 있다. 이때 동일한 사운드스케이프를 자동화 기계, 항공 엔지니어, 냉간 단조 프레스 전문가들마다 서로 다르게 분할, 구조화, 레이블링할 수 있다. 심지어 동종 업계라도 회사마다 다를 수도 있다. 오토센스는 우리가 언어를 사용해 의미를 생성하는 것처럼 동일한 상향식 접근법을 사용한다.
소리와 진동으로부터 특징 추출
일정한 시간 간격(시간 윈도우 혹은 청크라고 함)에 걸쳐서 소리나 진동의 속성과 특징을 기술하기 위해 특징마다 개별 번호를 부여한다. 오토센스 플랫폼은 다음의 원리로 특징을 추출한다.
▲주파수 영역이나 시간 영역에서 특징은 환경을 최대한 완전하면서도 세밀하게 기술해야 한다. 변화 없는 일정한 소리뿐 아니라 딸그락거리는 소리, 덜컹거리는 소리, 삐걱거리는 소리처럼 어떤 종류의 비일상적 불안정성이라도 기술할 수 있어야 한다.
▲특징은 되도록 직교하도록 세트를 형성해야 한다. 어떤 특징을 ‘해당 청크의 평균 진폭’이라고 정의했다면, ‘해당 청크의 총 스펙트럼 에너지같은 다른 특징을 이와 강력하게 연관 짓지 않아야 한다. 어떤 특징도 다른 것들의 조합으로써 표현되지 않아야 하며, 각각의 특징으로 특정한 단일 정보를 담아야 한다.
▲특징은 연산을 최소화해야 한다. 인간의 두뇌는 덧셈, 비교, 0으로 되돌리는 것만 할 줄 알지만, 대부분의 오토센스 특징은 점증적이도록 설계됐다. 새로운 샘플마다 간단한 연산으로 특징을 수정하며, 전체 버퍼나 오류, 청크를 다시 계산할 필요가 없다. 또한, 연산을 최소화하는 것은 표준 물리 유닛을 신경 쓸 필요가 없다는 것을 의미한다. 예를 들어 세기를 dBA 값으로 표현하는 건 쓸모 없는 일이며, dBA 값을 출력할 필요가 있다면 출력 시점에서 할 수 있다.
오토센스 플랫폼의 2~1024개 특징 중 일부분은 시간 영역을 기술한다. 이들은 곧바로 파형으로부터 추출하거나 청크에 걸쳐 다른 특징의 추이로부터 추출해낼 수 있다. 특징 중 일부는 평균·최대 진폭, 파형의 선 길이로부터 도출된 복잡성, 진폭 변화, 힘의 존재와 특성, 첫 번째와 마지막 버퍼 간 유사성으로서 안정성, 컨볼루션을 피하기 위한 약한 자기상관, 메인 스펙트럼 피크의 변화를 포함한다.
주파수 영역에 사용되는 특징은 FFT(Fast Fourier Transform)로부터 도출된다. 각각의 버퍼로 FFT를 계산하고 128~2048개의 개별 주파수를 생성한 후 원하는 차원 수를 사용해 벡터를 생성한다. 이때 차원 수는 FFT 크기보다 훨씬 작지만, 여전히 환경을 포괄적으로 기술할 수 있다. 오토센스는 로그 스펙트럼으로 동일한 크기의 버킷을 생성하기 위해 처음에는 애그노스틱 기법(Agnostic method)으로 시작한다. 그 다음, 엔트로피를 극대화하는 자율(Unsupervised) 관점이나 레이블링된 이벤트를 가이드로 사용하는 반자율(Semi-supervised) 관점에서, 감지하고자 하는 환경과 이벤트에 따라 버킷들이 적응해 정보 밀도가 높은 스펙트럼 부위로 초점을 맞춘다. 이는 음성 정보가 최대인 부위에서 더 밀집된 내이(Inner ear) 세포의 구조를 모방한 것이다.
아키텍처: 에지에서의 감지와 온 프레미스 데이터 처리
오토센스를 이용한 이상치 검출과 이벤트 감지는 에지 상에서 이뤄진다. 이때 원격 자산의 관여를 전혀 필요로 하지 않아 네트워크 결함의 영향을 받지 않으며, 모든 원시 데이터 청크를 분석하기 위해 외부로 보내지 않아도 된다. 오토센스를 실행하는 에지 디바이스는 자족적인 시스템으로서 자신이 청취하는 기계 동작을 실시간으로 기술한다[그림 1].
인공지능(AI)과 HMI(Human-Machine Interface)를 실행하는 오토센스 서버는 통상적으로 온 프레미스(On-premise)로 호스팅된다. 오토센스 디바이스의 출력으로서 여러 유의미한 데이터 스트림을 취합하기 위해선 클라우드 아키텍처를 사용하는 것이 바람직할 수 있다. 그러나 단일 사이트 내 수백 개의 디바이스로부터 대량의 데이터를 처리하고 상호작용하기 위해 클라우드 호스팅을 사용하는 것은 타당성이 떨어진다.
특징을 이용한 이상치 감지
정상치/이상치 평가를 위해, 전문가와 많은 상호작용을 할 필요는 없으며, 이들은 정상 소리와 진동에 대한 베이스라인 구축을 위해 필요할 뿐이다. 해당 베이스라인을 오토센스 서버에 이상치 모델로 변환한 후 디바이스로 집어넣을 수 있다. 이때 들어오는 소리나 진동을 평가하기 위해 다음의 두 가지 전략을 사용할 수 있다.
▲첫 번째 전략은 일상성(Usualness)으로, 특징 공간으로 들어오는 어떤 새로운 소리든 베이스라인 포인트·클러스터로부터 거리가 얼마나 떨어져 있고 클러스터가 얼마나 큰지 검사한다. 거리가 길고 클러스터가 작을수록 새로운 소리가 더 비일상적이고 이상치 점수는 높다. 이상치 점수가 전문가들이 정한 임계값을 넘으면 해당 청크는 비일상적인 것으로 레이블링되고 서버로 전송돼 전문가의 검사를 받게 된다.
▲두 번째 전략은 아주 단순하다. 청크와 함께 들어오는 특징 값이 베이스라인을 정의하는 모든 특징들의 최대값 또는 최소값보다 높거나 낮으면, 청크를 극단으로 레이블링한 후 서버로 보낸다.
비일상성 전략과 극단 전략을 조합하면, 소리나 진동의 이상치를 잡아낼 수 있는 커버리지의 품질을 높일 수 있다. 이 방법으로 점진적인 마모나 예기치 않은 상황의 발생을 미리 감지할 수 있다.
특징을 이용한 이벤트 감지
특징은 물리 영역에 속하고, 의미는 인간의 인지에 속한다. 특징과 의미를 연관 짓기 위해 오토센스 AI와 인간 전문가 간 상호작용이 필요하다. 효율적으로 오토센스와 상호작용하고 이벤트 감지 모델을 설계할 수 있는 HMI를 개발하기 위해, 엔지니어들은 많은 고객들로부터 의견을 들으며 많은 시간과 노력을 들였다. HMI를 통해 데이터를 확인하고 레이블링 하고 이상치 모델과 소리 인식 모델을 설계하고 모델들을 테스트할 수 있다.
오토센스 사운드 플래터(Sound Platter, 스플래터(Splatter))는 소리를 확인하고 태깅할 수 있다. 데이터 세트를 개요적으로 파악할 수 있으며, 전체 데이터 셋에서 가장 흥미롭고 대표성을 띠는 소리를 선택한 후 이를 2D 유사성 맵에 표시할 수 있다[그림 2]. 이 맵에는 레이블링된 소리와 레이블링되지 않은 소리가 혼합돼 나타난다.
사운드 위젯(Sound Widget, 스위젯(Swidget))을 사용해 모든 소리나 진동을 다양한 방식으로 시각화할 수 있다[그림 3].
이상치 모델이나 이벤트 감지 모델은 언제든 작성할 수 있다. 이벤트 감지 모델은 원형 혼동 행렬(Round confusion matrix)로써 표현되며, 오토센스 사용자는 혼동 이벤트를 확인할 수 있다[그림 4].
시간에 따른 모든 비일상적이고 비정상적인 소리를 보여주는 화면에서 이상치를 확인하고 레이블링할 수 있다[그림 5].
더욱 복잡한 진단을 위한 지속적인 학습
오토센스는 다양한 전문가들로부터의 학습을 통해 더욱 복잡한 진단을 할 수 있도록 설계됐다. 이 과정은 오토센스와 전문가 사이에서 반복적인 순환으로 이뤄진다.
▲이상치 모델과 이벤트 감지 모델을 에지 상에서 실행한다. 이로부터 이상치 점수와 잠재적인 이벤트 발생 가능성이 출력된다.
▲정해진 임계값을 넘는 비정상적 소리나 진동은 이상치 통보를 발생시킨다. 오토센스를 사용하는 기술자나 엔지니어는 해당 소리와 이에 관련된 맥락을 확인할 수 있다.
▲이후 전문가가 비정상적 이벤트를 레이블링한다.
▲새로운 정보를 포함한 새로운 감지 모델과 이상치 모델을 생성하고 에지 디바이스로 집어넣는다.
아나로그디바이스의 오토센스 기술은 어떤 기계든 소리와 진동에 대한 전문지식을 활용할 수 있도록 설계됐다. 또한, 이상치 검출과 이벤트 감지를 위해 네트워크 연결을 필요로 하지 않는다. 항공우주, 자동차, 산업용 분야의 기계 건전성 모니터링에 이 기술이 점점 더 많이 사용되고 있다. 과거에 전문인력이나 복잡한 기계 등의 임베디드 애플리케이션이 동원돼야 했던 기계 건전성 모니터링을 오토센스 기술을 통해 훨씬 효과적으로 처리할 수 있다.
글: 세바스티앙 크리스티안(Sebastien Christian)
자료제공: 아나로그디바이스
그래도 삭제하시겠습니까?