[테크월드=이건한 기자] 엔비디아가 실시간 대화형 AI를 지원하는 추론 소프트웨어의 최신 버전인 엔비디아 텐서RT 7을 발표했다. 엔비디아는 텐서RT 7이 대화형 AI 애플리케이션 개발 시 걸림돌이 됐던 추론 레이턴시(지연시간)을 크게 개선해줄 것으로 기대한다고 밝혔다. 

엔비디아의 7세대 추론 소프트웨어 개발 키트인 텐서RT 7은 보다 나은 인간과 AI 간 상호작용을 위해 음성 에이전트(Voice agent), 챗봇, 추천 엔진 등의 애플리케이션을 실시간으로 구현하도록 지원한다. 

미국 시장조사기관 주니퍼 리서치(Juniper Research)에 따르면, 전세계 디바이스에서 약 32억 5000만 개의 디지털 음성 비서가 사용되고 있는 것으로 추정된다. 이 숫자는 2023년까지 세계 인구수를 뛰어넘는 80억 개까지 증가할 것으로 예상된다. 음성 AI와의 대화 인터페이스의 중요성도 덩달아 높아질 것이다.

텐서RT 7은 AI 음성 애플리케이션을 구현하는데 필요한 트랜스포머 기반 RNN(Recurrent Neural Network, 순환신경망)을 자동으로 최적화하고 가속하도록 설계된 최신 딥러닝 컴파일러를 제공한다. 이를 통해, 대화형 AI의 구성요소가 CPU에서 실행될 때와 비교해 10배 이상 빨라지는 효과를 기대할 수 있다. 동시에, 지연시간은 실시간 상호작용에 필요한 수준인 300밀리초 임계값 미만으로 단축된다. 

또한 텐서RT의 최신 딥러닝 컴파일러를 통해 전 세계 개발자들은 맞춤형 자동 음성인식 네트워크와 텍스트 투 스피치용 웨이브RNN(WaveRNN)과 타코트론 2(Tacotron 2) 등의 네트워크를 자동 최적화할 수 있는 능력을 갖추게 됐고, 이를 통해 최고 수준의 성능을 최저 지연시간에 제공할 수 있게 됐다. 이 컴파일러는 BERT와 같은 자연어 처리용 트랜스포머를 최적화하는 기능도 함께 제공한다.

이 기사를 공유합니다
저작권자 © 테크월드뉴스 무단전재 및 재배포 금지
이 기사와 관련된 기사