카메라 인터페이스 MIPI CSI에 관하여

카메라와 호스트 프로세서사이의 인터페이스로 CSI가 있다. 

CSI (Camera Serial Interface)는 MIPI(Mobile Industry Process Interface, https://www.mipi.org/) alliance에 규정되어 있다.

CSI는 CSI-1, CSI-2, CSI-3가 있다.


 CSI-1


CSI-1은 카메라와 호스트 프로세서 간의 인터페이스를 정의하는 MIPI의 오리지널 표준이고, 이는 CSI-2와 CSI-3로 발전되고 있다. 

이미지 센서의 컨트롤은 CCI (Camera Control Interface) I2C, I3C릍 사용한다.

컨트롤 명령어 세트 CCS(Camera Command Set) V1.0은 2017년 11월에 출시되었으며, CSI-2를 사용하여 이미지 세트를 제어하기 위한 표준 기능 세트를 정의한다. 

CSI에서 지원되는 이미지 포맷은 RGB, RAW, YUV, JPEG가 있으며, Payload/Header보호를 위한 CRC/ECC를 지원한다. 



CSI-2

CSI-2는 모바일 및 기타 시장에서 가장 널리 사용되는 카메라 인터페이스라고 한다.

CSI-2는 아래와 같은 계층 구조를 가진다.

 


물리 계층으로 MIPI C-PHY/D-PHY를 지원하고 CSI-2 프로토콜은 전송계층과 응용 계층을 포함하고 있다. 



CSI-2는 v1.0이 2005년, v2.0은 2017년 4월, v3.0은 2019년 9월에 출시되었다.

V2.0은 RAW-16 및 RAW-20을 지원하고, 가상채널은 4에서 32로 늘어났다. 또한 LRTE(Latency Reduction and Transport), DPCM(Differential Pulse-Code Modulation) 압축 및 스크램블을 통해 사용 전력을 줄였다.

LRTE는 시스템 비용을 추가하지 않고 이미지 센서 집계를 제공한다. 

DPCM 12-10-12 압축은 미션 크리티컬 비전 어플리케이션을 위한 압축 아티팩트가 없는 우수한 SNR 이미지를 제공한다. 

스크램블링은 전력 스펙트럼 밀도(PSD)방출을 줄이고 무선 간섭을 최소화하며 더 긴 채널에 더 멀리 도달할 수 있도록 한다.

V3.0은 RAW-24을 지원하며, USL(Unified Serial Link), SROI(Smart Region of Interest), EoTp(End-of-Transmission Short Packet)을 지원한다. 

RAW-16, RAW-24 색 심도는 시스템에 “고급 비전”기능을 제공하기 위해 장면내 HDR(High Dynamic Range)및 SNR을 최적화한다. 


CSI-3

 


CSI-3는 위 그림과 같은 계층 구조를 가진다. CSI-3는 물리 계층인 MIPP M-PHY과 전송계층 UniPro (Unified Protocol)위의 응용 계층에 존재한다. 

 


컨트롤은 Host에서 M-TX1에서 Camera의 M-RX1을 통해 전송되며, 데이터는 Camara의 M-TX에서 Host의 M-RX로 전송된다. 

CSI-3는 2012년 출시되었으며, 2014년 V1.1로 다시 출시되었다. 

32개의 가상채널을 지원하며, 패킷 기반의 전송을 지원한다. 



[참고]

https://mipi.org/specifications/csi-2
 https://mipi.org/specifications/csi-3
 https://www.mipi.org/specifications/camera-command-set


댓글

댓글 쓰기

이 블로그의 인기 게시물

간단한 cfar 알고리즘에 대해

이미지
Constant False Alarm Rate (CFAR)은 기본적으로 테스트하고자 하는 위치의 cell과 주변 cell의 관계를 보고 테스트 cell이 Target 인지 아닌지를 구분하는 알고리즘이다. 주변 cell과의 관계를 어떤 방식으로 비교하는가에 따라 여러가지 알고리즘이 존재한다. CA-CFAR, GO-CFAR, SO-CFAR, OS-CFAR, VI-CFAR, OSVI-CFAR등이 있다. 이 많은 알고리즘 중 간단하고 기본적인 CA-CFAR과 OS-CFAR에 대해 알아보자. CA-CFAR (Cell Average CFAR)   CA-CFAR의 원리는 위 그림과 같다. 좌우의 Reference Cell의 평균에 Scale Factor T를 곱하고, ADT (Average Decision Threshold)를 합하여 CUT가 타겟인지 아닌지를 구분한다. ADT는 신호의 white noise를 고려하기 위해 더해준다. Scale Factor T와 ADT는 아래와 같은 공식으로 사용할 수 있다. 사용하려는 시스템에 따라 공식은 달라질 수도 있다.   Pfa는 False Alarm 발생 확률을 나타내고, M과N는각 좌우의 Reference Cell의 개수를 나타낸다. OS-CFAR (Order Static CFAR)   OS-CFAR의 원리는 위 그림과 같다. 좌우의 reference cell중 K번째 큰 값의 cell을 Reference Cell의 대표 값으로 정해 CUT가 타겟인지 아닌지를 구분한다. 보통 전제 reference cell의 크기 순에서 (3*N)/4 번째 cell이 성능이 좋다고 알려져 있다. CFAR 사용 예 아래 사진은 위 두 cfar을 사용한 예다. 파란색은 신호이며, 붉은 색은 char을 사용해 만든 threshold이다. 이 threshold보다 큰 값의 신호가 있는 위치에 실제 Tar...
자세한 내용 보기

아두이노(arduino) 심박센서 (heart rate sensor) 심박수 측정 example code

이미지
하드 정리 중 예전에 만든 아두이노에서 심박센서를 사용하여 심박수 측정하는 소스 코드가 있어, 이를 블로그 글로 남긴다. 인터넷 쇼핑몰에서 쉽게 구할 수 있는 저렴함 센서가 사용 되었으며, 연결은 아래 그림과 같이 연결 되었다.      심박센서의 하트 부위에 손가락을 올려 놓고, 아날로그 A0값을 읽으면 심박의 움직임에 따라 A0값이 변하는 동작이 간단한 센서이다. 아래 그림의 왼쪽은 일정 시간 간격 마다 A0값을 읽어 시리얼 플로터로 본 심박에 따른 데이터이고, 오른쪽은 평균 필터를 사용해 노이즈를 제거한 후 시리얼 플로터로 본 데이터이다.   심박수는 수집된 데이터에서 threshold를 넘는 peak들의 시간 간격을 측정하여 계산한다.  peak위치를 찾는 방법은 여러 가지 방법이 있으나, 소스에 구현된 방법은 신호의 기울기가 +에서 0또는 -로 바뀌는 위치를 peak으로 선정하도록 하였다. 심장이 t시간동안 N회 뛰는 경우 심박수는 heart rate bpm = (N/t)*60 을 표현 할 수 있다.   threshold는 데이터를 보고 임의로 정했으며, 측정 데이터에 따라 자동으로 정하고 싶을 때는 cfar 같은 방법을 사용하면 된다.  소스는 아래와 같다. #define heartbit_adc_threshold      511 #define meanfilter_size             5 #define heartbit_tick_buffer_size   10 ...
자세한 내용 보기

쉽게 설명한 파티클 필터(particle filter) 동작 원리와 예제

이미지
파티클 필터(particle filter)는 칼만 필터(kalman filter) 와 마찬가지로 노이즈가 있는 환경에서 측정된 데이터를 필터를 사용해 실제 위치를 추정하는 도구다. 파티클 필터(particle filter)는 보통 가우시안 분포가 아닌 측정 데이터를 다루기 위해 사용된다고 한다. 물론 가우시안 분포의 데이터에서 사용하지 말라는 건 아니다.  본 포스트에서는 파티클 필터(particle filter)의 어려운 수학적인 내용은 제하고, 쉽게 예를 들며 필터의 동작원리에 대해 알아보았다. 파티클 필터(particle filter)에 대해 검색해 보면 아래와 같은 그림을 많이 보게 된다. 아래 그림은 파티클 필터의 estimation cycle을 도식화한 것이다. <’Real-Time Tracking of Multiple Moving Objects Using Particle Filters and Probabilistic Data Association’ original scientific paper 中> 위 그림의 검은색 원들은 particle을 의미한다. 이 particle에는 보통 위치 데이터와 weight가 포함된다. 검은색 원이 큰 것이 있고 작은 것이 있는 이유는 weight가 크고 작음을 의마한다. typedef struct _particle_t {    int x;    int y;    float weight; }particle_t; 노이즈가 있는 환경에서 레이저 센서나 레이더등을 이용하여 물체의 위치를 측정할 때를 가정해 순서대로 이 필터가 동작하는 과정에 대해 알아 보겠다. (순서는 위 그림과 조금 다르다) 1. 초기 상태 측정 범위안에 랜덤 혹은 일정한 간경으로 particle을 뿌려 놓는다. 이 떄 particle...
자세한 내용 보기

리눅스 디바이스 드라이버 기초와 예제

이미지
▢  디바이스 드라이버  디바이스 드라이버는 시스템이 지원하는 하드웨어를 사용자가 응용 프로그램에서 사용할 수 있도록 커널의 일부 영역을 사용하여 동작하는 일종의 프로그램이다.   리눅스에서 사용자가 커널 모드의 디바이스 드라이버를 사용하여 실제 하드웨어 디바이스에 접근하고자 할 때 아래 그림과 같은 추상적인 계층들을 통과해야 한다.    리눅스 사용자 관점에서 디바이스는 하나의 파일로 인식된다. 이런 파일들은 /dev 디렉토리에 위치하며, 이들을 디바이스 파일이라고 한다.    디바이스 드라이버는 문자/블록/네트워크 디바이스 드라이버 세 종류가 있으며, 각 디바이스는 주 번호(Major number)와 부 번호(Minor number)를 갖고 있다.  문자 디바이스 (Char Device) 자료의 순차성을 지닌 장치로 버퍼 캐쉬를 사용하지 않으며, 장치의 raw data를 사용자에게 제공한다. 시리얼, 키보드, 프린터, 마우스 등이 이에 속한다.  블록 디바이스 (Block Device) Radom access, 블록 단위의 입출력이 가능하고, 파일 시스템에 의해 mount 되어 관리되는 장치. 디스크, CD-ROM등이 이에 속한다.  네트워크 디바이스 (Network Device) 대응하는 장치 파일 없으며, 네트워크 통신을 통해 패킷을 송수신할 수 있는 장치. 이더넷 등이 이에 속한다.    ▢  커널 모듈 커널 모듈은 리눅스 커널이 부팅되어 동작 중일때도 동적으로 추가하거나 제거할 수 있는 커널의 구성요소이다. 디바이스 드라이버, 파일 시스템, 네트워크 프로토콜 등이 모듈로 제공된다.  커널 모듈은 커널 영역에서 동작한다. 일반 응용프로그램과 달리 main함수가 없...
자세한 내용 보기

windows에서 간단하게 크롬캐스트(Chromecast)를 통해 윈도우 화면 미러링 방법

이미지
 Windows 10에서는 미라캐스트를 사용한 무선 디스플레이연결을 지원한다. 하지만, 만약 크롬캐스트(Chromecast)를 사용해 윈도우 화면을 미러링 하고자 할 때, 구글 크롬 브라우저를 사용하면 쉽고 편하게 할 수 있다. https://www.google.co.kr/intl/ko/chrome/ VLC에서도 비디오 화면을 미러링 할 수 있다고 하는데, 잘 동작하지 않고 윈도우 화면 전체를 미러링하지 않아 크롬 브라우저를 사용하고 있다. 크롬 캐스트 윈도우 화면 전송 방법 0. 크롬 캐스트 디바이스와 windows pc는 같은 네트웍에 연결되어 있어야 한다. (같은 공유기에 연결되어 있어야 한다.) 1. 크롬 브라우저의 우측 상단의 메뉴 > 전송을 클릭하면, 현재 사용가능한 크롬캐스트 디바이스 항목을 볼 수 있다. 2. 편의에 따라 탭 전송 아이콘에서 우측 버튼을 클릭하여 항상 표시되게 설정할 수도 있다. 3.  윈도우 화면 전체를 전송하고자 할 때는 탭 전송의 소스에서 '데스크톱 전송'을 선택하고, 바로 위의 크롬캐스트 디바이스를 클릭하면 된다. ** 소스는 미러링 중에는 변경되지 않는다. 먼저 소스를 선택하고 미러링해야 한다.  4. 화면 전송을 끝내고자 할 때는, 탭 전송에서 화면 전송중인 크롬캐스트 디바이스를 클릭하거나, 크롬 브라우저를 종료하면 된다.
자세한 내용 보기