FPGA
래티스 세미컨덕터 / www.latticesemi.com
FPGA는 다운스트림 로직에 의한, 다른 이미지 센서 인터페이스에서 최적의 프로세싱을 위한 디지털 시그널로 아주 쉽게 변환 시킬 수 있는 저비용, 작은 풋 프린트 로직 플랫폼을 제공한다. 또한 FPGA는 시그널 인코딩 스킴의 다양화, 레지스터 관린 스킴, HDR 메커니즘 시도와 센서 인터페이싱, 다른 여러 종류의 센서를 지원 한다.
이미지 센서는 스틸 카메라, 디지털 비디오 스틸 이미지 프로세싱과 비디오의 아주 중요한 부분임에는 틀림없다. 센서 없이, 이미지 시그널 처리는 불가하다. 또한 센서는 비표준화 되어 있고, 아래와 같은 스킴의 차이가 있을 수 있다.
a. 가시 또는 적외선을 전기 신호로 변화하는 방법 ; 칩을 사용전에 해당 스킴은 인코드와 압축을 사용한다.
b. 센서 이미지 좌표, 센서 모드(리니어, HDR), 게인과 같은 파라미터를 조정하기 위해 센서내의 레지스터를 사용하는 방법
c. 하이(또는 와이드) 다이나믹 범위(HDR/WDR)와 같은 특별한 기능 구현 방법; 동일 패키지 내에 여러 센서, 동일한 이미지 플레임을 위한 여러 노출 등등
d. 센서 제조사의 다운스트림 프로세싱 로직과 전기적 이미지 시그널의 배치를 위한 인터페이스
이미지 센서 테크놀러지
이미지 센서는 가시선을 전기 신호로 변환하는 기술에 따라, 두 개의 보드 클래스로 나누어 진다. 이는 CCD(Charge Coupled Device) 센서와 CMOS 센서이다. 오늘날 많은 비중을 차지하는 센서는 CMOS 센서이다. 이 글에서는 CMOS 센서 인테페이스를 중점적으로 다루고자 한다.
아래 보이는 그림 1은 비디오 프로세싱에서의 전형적인 이미지 센서 애플리케이션이다.
오늘날 여러 이미지 센서 제조사가 있다 - 앱티나, 옴니비전 테크놀로지스, 소니, 삼성, 파나소닉, 도시바와 알타센스.
언급한 바와 같이, 센서 제조사는 다운스트림 로직을 위한 이미지 시그널을 위해 인테페이스를 배치한다. 이는 칩에서 추출되는 데이터량에 따라, 다른 인터페이스를 사용한다. 메가픽셀 해상도의 최근 센서는, VGA 클래스 해상도 센서 이상의 데이터를 전송해야 한다. 하이 다이나믹 랜지(HDR)의 요구사항은 데이터 량의 증가에 있다. 이는 이미지 프래임당 이미지 센서에서 읽혀지고, 주어진 시간내에 읽혀질 프레임수, 자연스러운 지원을 위해, 적은레이턴시 하이 퀄리티 비디오, 또한 센서 인터페이스로 인한다.
이미지 센서 인터페이스 발전
지금까지, 모든 센서는 그림 2와 같이 병렬 LVCMOS 인터페이스로 연결되어 있다. 센서 혁신과 프래임 레잇은 이전의 우세한 CMOS 병렬 인터페이스로는 더 이상 요구되는 데이터 처리 대역을 제어 할 수가 없게 되었다. 메가픽셀 센서의 출현, HDR과 높은 프레임 지원의 필요, 새로운 고속의 센서에 따른 고속 데이터 필요성은 기존 병렬 LVCMOS의 한계를 극복하기 위해 다른 여러 인터페이스를 사용하게 되었다.
예를 들어, 소니와 파나소닉은 병렬 sub-LVDS 인터페이스, 그리고 옴니비전은 MIPI 또는 시리얼 LVDS를 사용한다. 또 다른 예로서, 앱티나 이미징은 높은 대역을 지원하기 위해, HiSPi(High-Speed Serial Pixel Interface)로 불리는 고속의 시리얼 인터페이스를 소개 했다. HiSPi 인터페이스는 1 클럭 라인과 1-4개의 시리얼 데이터 라인으로 동작 할 수 있다. 각 시그널은 0.9V의 Vcm인 sub-LVDS이다. 각 레인은 700Mbps까지 동작 할 수 있다.
HiSPi와 병렬 센서 인터페이스를 위한 브릿징
ASSP에서 많은 다른 센서 인터페이스를 지원해야 하기 때문에, 여러 센서 인터페이스는 다운스트림 비디어 처리의 표준화를 위한 문제를 제기 한다.
다수의 ISP(이미지 시그널 프로세싱) 디바이스는 전형적인 CMOS 병렬 센서 인터페이스를 지원하지만, 보통은 고속의 시리얼 인터페이스를 지원하는데 한계가 있다. 많은 ISP 병렬 인터페이스는 센서의 병렬 인터페이스보다 빠르게 동작 할 수 있다. 하지만, 센서는 다양한 시리얼 인터페이스로 움직이고 있기 때문에, ISP 디바이스는 병렬 인터페이스로 변환하는 로직이 필요하다. FPGA 브릿지 디바이스는 고속의 시리얼 데이터를 병렬 포맷으로 변화하는 것이 필요하다.
FPGA는 빠른 병렬 CMOS 센서 인터페이스를 지원해야하는 ASSP를 위해 각 제조사의 고속 시리얼 센서의 인터페이스 문제를 해결 한다. FPGA는 간결하고, 저비용으로 전형적인 이미지 시그널 프로세싱 ASSP와 고속 센서 사이의 브릿징을 제공한다. 컨셉은 그림 3에 묘사 되었다.
FPGA 기반의 시리얼 센서 브릿지 레퍼런스 디자인의 예
실 예로서, 그림 4에서 보여주는 것처럼 래티스XP2-5 비휘발성 FPGA는 앱티나의 HiSPi 시리얼 인터페이스와 TI DSP 병렬 인터페이스를 브릿징하기 위해, 매우 효율적이고 저비용 솔루션을 제공한다.
이 레퍼런스 디자인은 앱티나 HiSPi 입력단과 TI TMS320 DM3X5의 출력단을 인터페이스하는 것이다. 하드웨어는 앱티나 A-1000 센서 MT9M034/MTM024와 MT9J003으로 테스트 되었다. 레퍼런스 디자인은 패킷화 되고 스트리밍된 SP HiSPi 포맷을 지원한다: 각 레인은 700Mbps까지 동작 할 수 있다. 또한 패러럴 센서 출력은 8, 10, 12, 14 또는 16 비트의 출력 버스로 에뮬레이트 된다. 패러럴 인터페이스는 1.8V, 2.5V 또는 3.3V LVCMOS 레벨로 구성될 수 있다. 레퍼런스 디자인의 블록 다이어그램은 그림 5에 보여준다.
센서 인터페이스 브릿지의 FPGA 도전
이미지 센서와 ASSP 사이의 브릿지 역할을 위한 프로그래머블 로직은 삼중의 효과가 있다. 첫째는 FPGA는 인터페이스 시그널을 위한 전기적 지원을 제공해야 한다. 두 번째는 FPGA의 I/O는 고속의 시리얼 센서 인터페이스를 위해 충분한 기어링 로직을 제공해야 한다. 세 번째는 FPGA는 최신 비디오카메라의 실제 요구되는 사이즈에 알맞게 아주 작은 폼 팩터와 저가여야 한다.
입증된, sub-LVDS를 지원하는 비휘발성 제품군인 래티스XP2 FPGA는 이미지 센서 브릿징을 위한 전기적 요구사항을 만족시키고, 내장 PLL, 엣지 클럭과 I/O 기어링 로직은 고속의 시리얼 센서 인터페이스를 가능케 한다. 마지막으로, 래티스XP2는 8mm × 8mm 저가의 풋프린트를 제공한다. 추가적으로, 비휘발성의 특성으로, 래티스XP2 제품군은 외부 부트 PROM이 필요하지 않으며, 보드 실 사이즈를 줄일 수 있다, 이는 센서 인터페이스에 있어 아주 매력적이다. 이미지 시그널 프로세싱(ISP) IP는 또한 큰 래티스XP2 디바이스에 센서 데이터 선형화, 센서 레지스터 프로그래밍, 디 베잉, 픽셀 보종, 감마 보정과 컬러 채널당 최대 24비트의 단순한 HDR과 같은 여러 기능을 제공 할 수 있다.
그림 1. 비디오 프로세싱 체인내의 전형적인 이미지 센서 애플리케이션
그림 2. 병렬 LVCMOS 이미지 센서 인터페이스
그림 3. ASSP와 고속 이미지 센서 사이의 프로그래머블 브릿지
그림 4. 앱티나 HiSPi와 TI DM3X5 시리얼/패러럴 인터페이스 브릿지
그림 5. 앱티나 HiSPi와TI DM385 인터페이스 브릿지 블록 다이어그램
회원가입 후 이용바랍니다.
개의 댓글
댓글 정렬
BEST댓글
BEST 댓글
답글과 추천수를 합산하여 자동으로 노출됩니다.
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
그래도 삭제하시겠습니까?
댓글수정
댓글 수정은 작성 후 1분내에만 가능합니다.
내 댓글 모음