Mali-D71과 차세대 디스플레이 솔루션

[테크월드=정환용 기자] Arm은 그간 ‘Cetus’라 불렸던 Mali-D71 디스플레이 프로세서를 공식 발표했다. 또한, Arm은 Mali-D71 디스플레이 프로세서의 기반이 되는 새로운 아키텍처인 ‘Komeda’를 공개했다. 이로써 고도로 복잡한 사용 예제들을 지원하는 디스플레이 기술을 위한 프레임워크를 제공할 수 있게 됐다.

그간 이전 세대에 비해 엄청난 이점을 제공하는 심층적인 기술 혁신과, 이를 가능케 하는 아키텍처의 변화에 대해 이야기한 바 있다. 이번에는 어떤 성능이 향상됐는지 자세히 알아보고, 이를 통해 최종 사용자들이 얻을 수 있는 이점을 살펴보고자 한다.

무엇이 새로워졌을까?
먼저 Mali-D71은 고정함수(Fixed function) 하드웨어 상에서 화면구성(Composition), 인라인 회전(In-line rotation), 감마·디감마, 그 외 고급 이미지 처리를 수행해, GPU에서 처리해야 하는 작업량을 덜어준다. 이런 작업은 멀티미디어 파이프라인의 최종 단계인 스크린에 최종 출력을 보내기 전에 수행되므로 GPU의 개입이 전혀 없다. 또한, 해당 작업들은 메모리를 여러 번 읽고 쓰지 않고 단 한 번만 접근하기 때문에, 시스템 전력을 크게 줄일 수 있다. 보다 구체적인 예를 들자면, 몰입형 UI 그래픽 레이어를 Mali-D71을 통해 구현하면 GPU 소프트웨어로 동일한 작업을 수행했을 때보다 전체 SoC 전력 소비를 30% 가량 절감할 수 있다.

Mali-D71은 평행 모드(Side-by-side mode) 동작 시, 이전 제품과 비교해 동일한 면적에서 두 배나 높은 성능을 자랑한다. 이전 제품과 달리 Mali-D71은 한 개의 디스플레이만 구동 시킬 경우, 보조 디스플레이의 자원을 재사용할 수 있다. 따라서 전체 면적을 늘리지 않고도 화면구성(Composition), 회전(Rotation), 고품질 확대축소(Scaling)를 수행할 수 있는 프레임 레이트를 두 배로 높이는 효과가 있다. 즉, Mali-D71은 이전 세대의 제품과 동일한 실리콘 면적에서 스케일링 스플릿(Scaling split), 비압축 레이어의 AFBC(ARM Frame Buffer Compression) 인코딩, 보다 빠른 AFBC 디코딩, MMU 최적화와 같은 새로운 기능을 제공할 수 있게 됐다.

함께 출시된 코어링크(CoreLink) MMU-600에 Mali-D71 디스플레이 프로세서가 함께 구현되면, 통합 TBU(Translation Buffer Unit)와 더불어 DTI(Distributed Translation Interface)를 통한 두 솔루션의 긴밀한 결합으로 MMU 지연시간을 대폭 줄일 수 있다. 이는 한 단계 나아가, 평균 지연 내성(Average latency tolerance)을 4배까지 높일 수 있다. 이전 제품인 Mali-DP650에 비해, Mali-D71은 시스템 버스에서 지연 시간이 4배까지 길어지더라도 동일한 성능을 낼 수 있다.

더불어, Mali-D71은 메모리 서브시스템을 최적화 시켜 아웃스탠딩 트랜잭션(Outstanding Transaction) 성능을 두 배로 높이며, 실시간 경로에서 비압축 회전(Uncompressed rotation)을 제거하고 비압축 선형 레이어를 AFBC1.2 타일 형태로 압축 변환해, 보다 효율적인 회전을 제공한다. 해당 작업은 4K 프레임이 60~120fps로 출력돼야 하는 고성능 디스플레이 프로세싱에 특히 중요하다.

이를 가능하게 만들기 위해 디스플레이 프로세서는 디스플레이가 비어 있을 때 수 마이크로초 정도의 짧은 시간 안에 픽셀에 대한 프리패치(Prefetch) 기능을 제공하고 시스템 버스에서의 시간을 최대한으로 사용해, 버퍼가 항상 콘텐츠를 유지할 수 있도록 해야 한다. 디스플레이가 제시간에 픽셀을 수신하지 못하면, 콘텐츠가 부족해 프레임이 유실되고 화면에 오류나 잔상이 발생해 시각적 품질이 저하된다.

마지막으로 Mali-D71는 프리미엄급 가상현실에서 4K 120fps 성능을 달성하기 위해 픽셀 처리량을 두 배로 늘릴 수 있다. 이는 앞서 소개한 새로운 평행 모드 동작에서 한 개의 디스플레이를 구동할 때 가능하다. 평행 모드는 화면을 반으로 분할하고, 두 자원 모두를 활용해 각각의 이미지를 처리하면서, 하나의 디스플레이 출력만 구동한다.

작업량이 4K 60fps나 그 이하인 경우, 평행 모드를 통해 동작 주파수를 반으로 줄일 수 있어, 전압을 낮추고 전력을 절감할 수 있다. 4K 120fps 작업량의 경우, 평행 모드 동작은 필수적이다. 동일한 목표 주파수에서 픽셀 처리량을 두 배로 높일 수 있기 때문이다. 평행 모드 없이는 최대 4K 60fps까지만 처리할 수 있기 때문에, 프레임 처리를 병렬로 수행해 반으로 줄이는 능력은 곧 전력 소모를 절반으로 줄이거나 성능을 두 배로 높일 수 있다는 것이다.

핵심은 무엇인가
그간의 Arm 발표 내용을 보면, Arm이 직접 칩을 생산하지 않기 때문에 Arm의 제품이 실제 디바이스는 물론이고 실리콘 상에 반영되는 데에도 시간이 걸릴 수 있다. 즉, Arm의 제품을 트렌드에 맞춰 구현하려면 언제나 한발 앞서 나가야 하며, 현 상황을 뒤엎을 최신 기술을 항상 예의주시해야 한다.

현재 디스플레이 업계에는 성능이나 기능에 큰 영향을 미칠 만한 몇 가지 새로운 트렌드가 나타나고 있으며, Arm은 새로운 Komeda 디스플레이 아키텍처와 새로이 선보인 전체적인 솔루션을 통해 이를 가능케 한다. 이번 기고에서는 Arm의 새로운 디스플레이 솔루션이 어떻게 이런 난관을 해결하는지에 대해 이야기하고자 한다.

HDR(High Dynamic Range)
최근 디스플레이 부문에서 부쩍 필수로 요구되고 있는 사양은 바로 HDR(High Dynamic Range)이다. HDR 콘텐츠는 보다 광범위한 다이내믹 레인지(Dynamic range)에 걸쳐 코딩돼, 더욱 선명한 색상과 대비를 선보인다. 이를 통해 이미지의 어두운 부분은 한층 어둡고 풍부해지게 되며, 밝은 부분은 더욱 선명하고 깨끗해진다. 뿐만 아니라 채도 또한 향상돼, 밝은 햇빛이 있는 부분의 이미지가 빛바래 보이는 현상을 피할 수 있게 된다.

최상의 시각적 경험을 제공하기 위해 HDR을 사용하는 콘텐츠 제작자들이 늘어나고 있다. 하지만 해당 콘텐츠를 제대로 디스플레이할 수 없다면 이는 시간 낭비일 뿐이다. Mali-D71은 ‘어써티브 디스플레이(Assertive Display) 5’와 함께 작용하며, 사용자들이 즐겨 보는 넷플릭스(Netflix)나 아마존 비디오(Amazon Video) 등의 HDR 콘텐츠가 SDR(Standard Dynamic Range)를 포함한 모든 패널에서 Full HDR 품질로 출력될 수 있도록 한다.

Mali-D71은 HDR 영상과 그래픽 UI 레이어를 가져와, 완전한 색재현력(full color gamut)을 갖춘 표준 감마로 코딩된 단일 프레임에 블렌드한 후, 이를 어써티브 디스플레이 5로 전송해 SDR 디스플레이에 맞는 색상 범위로 변환시킨다. 다시 말해, 콘텐츠 제작자들이 HDR10 포맷의 작품을 설계하기 위해 노력했더라도, 이를 일반 디스플레이 프로세서를 통해 본다면 아무 소용이 없다는 뜻이다. 반면 Mali-D71을 사용하면 훨씬 낮은 사양의 디스플레이에서도 우수한 HDR 품질을 동일하게 재현해, 콘텐츠에 담긴 저작자 의도를 그대로 담아낼 수 있도록 한다.

가상현실
모바일 가상현실에서 기술적인 어려움이 발생하고 있다. 사용자의 눈 가까이 기기가 위치한 상황에서 요구되는 픽셀 품질을 만족시키는 것은 물론이고, 실시간 지연 시간과 처리량 요건을 충족시키는 것만으로도 디스플레이 프로세서를 비롯한 나머지 시스템은 한계에 치닫는 압박을 받게 된다. 바로 이 부분에서, 앞서 언급된 지연 시간 내성(Latency tolerance), 동작 모드의 절전, 성능 향상 기능 등이 힘을 발휘한다.

그러나 Mali-D71이 진정으로 두각을 나타내기 시작하는 시점은 바로 새로운 코어링크(CoreLink) MMU-600과 함께 설계했을 경우다. MMU-600이 메모리 서브시스템을 최적화하는 방식을 통해, Mali-D71은 메모리 서브시스템을 최대한 활용해 고성능 가상현실 디스플레이를 최대 4K 120fps까지 구동시켜 시스템 버스의 지연 시간이 길어져도 이를 용인할 수 있게 된다.

멀티-윈도우 디스플레이
모바일 폰의 사용이 늘어남에 따라, 여러 가지 작업을 한 번에 완료해야 할 필요성이 늘고 있다. 데스크톱을 사용할 때 화면의 절반에는 웹 기반 세미나를 켜 놓고, 다른 절반으로 e메일이나 SNS를 볼 수 있다. 모바일에서도 비슷한 수준의 멀티태스킹을 즐길 수 있게 되기를 기대한다. 즉, 디스플레이 서브시스템은 다양한 활동을 동시에 수행하기 위해 훨씬 더 많은 데이터를 처리해야 한다는 의미다.

이전 세대의 디스플레이 프로세서는 최대 4개의 레이어까지 처리할 수 있었지만, Mali-D71은 해당 성능을 2배로 높여 단일 디스플레이 모드에서 최대 8개의 안드로이드 화면구성 레이어를 제공한다. 따라서 Mali-D71을 화면 분할 기능과 함께 활용하면, UI, 내비게이션 바, 상태 정보, 그리고 두개의 서로 다른 앱을 쉽게 처리할 수 있다.

스크린
기술 업계의 많은 것들이 그렇듯 일관성은 가장 중요한 요소다. 여러 앱과 게임이 다양한 플랫폼에서 구동될 수 있도록 조절하는 것은 매우 어려우며, 이는 디스플레이 패널에서도 마찬가지다. 현존하는 디스플레이 패널의 기술, 성능, 출시연도는 매우 다양하기 때문에, 디스플레이 프로세서가 최대 성능을 내기 위해 해당 패널에서 받아야 하는 정보는 무엇인지, 그리고 패널은 또 디스플레이 프로세서로부터 어떤 정보를 필요로 하는지 알기 어렵다.

이런 난관을 극복할 수 있도록 하는 것이 바로 Arm의 파트너 생태계다. 산업 내 여러 전문가와의 협력을 통해, Arm은 매우 광범위한 디스플레이 패널 업체들을 대상으로 솔루션을 개발할 수 있게 됐고, Arm의 디스플레이 솔루션이 필요한 정보를 얻고 콘텐츠를 최적화해 모든 패널에서 최상의 시각적 경험을 제공하도록 보장할 수 있다. 이런 디스플레이 생태계를 통해, Arm은 최상의 경험을 제공하기 위한 협력 전문가들과 늘 공존한다.

Arm 최초의 디스플레이 솔루션
Arm은 차세대 고사양 디바이스 전반에 최신 사용 예시를 지원하는 최초의 Arm 디스플레이 솔루션을 공개했다. 각각의 독립형 제품도 우수하지만, 세 가지 제품을 함께 활용해야만 앞서 언급한 최대의 성능을 구현할 수 있다.

새로이 선보인 아키텍처와 사전에 최적화된 소프트웨어 스택, 그리고 코어링크 MMU-600과 AD 5가 통합된 기술을 통해, Arm은 추후 디바이스에 탑재될 디스플레이에 더욱 힘을 실어줄 수 있게 됐다.

작성: 프레디 제프리스(Freddi Jeffries)
Arm 미디어 프로세싱 그룹 수석 콘텐츠 마케팅 담당자