신호에서 배경 제거(background subtraction)를 통한 움직이는 물체의 위치 검출

본 글은 신호에서 배경 제거(background subtraction)를 통한 움직이는 물체의 위치를 검출하는 예제 코드를 싣고 있다.

배경 제거(background subtraction)


배경 제거(background subtraction)는 이미지 프로세싱에서 움직이는 물체를 찾는데 사용된다. 이미지 프로세싱에서의 background subtraction은 아래 그림처럼 전체 이미지에서 배경 이미지를 제거해 움직이는 물체를 찾는 과정을 의미한다. 물론 단순히 아래 그림처럼 선명하게 나오진 않고 여러가지 후처리가 있어야 한다.
 

배경 제거를 사용해 움직이는 물체를 검출하는 방식을 이미지 이외에도 적용 가능한 것인가? 
가능해 보인다. 타임 도메인이나 주파수 도메인 모두. 
단순히 생각하면 배경 데이터는 일정 시간 Δt 동안의 평균 데이터이고, 최근 프레임 데이터에 이 배경 데이터를 빼는 것이 배경제거라고 할 수 있다. 타임 도메인이나, 주파수 도메인의 신호 데이터 모두 이런 방식을 사용하면, 신호의 변화가 많은 위치나 주파수를 검출하는 것이 가능할 것이다.


1차원 신호에서의 배경제거(background subtraction) c 예제 소스 background subtraction c

위에서 언급한 간단한 배경 제거(background subtraction) 알고리즘을 사용하여 구현한 예제 코드는 아래와 같다.

#define BG_INITIAL_FRAME_CNT 3
#define BG_UPDATE_ALPHA 0.9
#define UPDATE_ALPHA (1.0 -BG_UPDATE_ALPHA)

#if defined(WIN32)
#define _lock(x) WaitForSingleObject(x->mutex, INFINITE);
#else 
#define _lock(x) pthread_mutex_lock(&x->mutex);
#endif

#if defined(WIN32)
#define _unlock(x) ReleaseMutex(x->mutex);
#else 
#define _unlock(x) pthread_mutex_unlock(&x->mutex);
#endif

typedef struct _bgs_t
{
#if defined(WIN32)
HANDLE mutex;
#else
pthread_mutex_t mutex;
#endif

int frame_len;
int initial_frame_cnt;

double *object;
double *background;

}bgs_t;


void bgs_deinit(bgs_t *bgs)
{
if (bgs)
{
safe_free(bgs->object);
safe_free(bgs->background);
#if defined(WIN32)
CloseHandle(bgs->mutex);
#endif
free(bgs);
}
}

bgs_t *bgs_init(int frame_len)
{
bgs_t *bgs = (bgs_t *)malloc(sizeof(bgs_t));
if (!bgs) return NULL;

memset(bgs, 0, sizeof(bgs_t));

#if !defined(WIN32)
pthread_mutex_init(& bgs->mutex, NULL);
#else
bgs->mutex = CreateMutex(NULL, FALSE, TEXT("bgs mutex"));
#endif

bgs->frame_len = frame_len;
bgs->object = (double*)malloc(sizeof(double)*frame_len);
bgs->background = (double*)malloc(sizeof(double)*frame_len);

if (!bgs->object || !bgs->background)
{
bgs_deinit(bgs);
return NULL;
}

memset(bgs->object, 0, sizeof(double)*frame_len);
memset(bgs->background, 0, sizeof(double)*frame_len);
return bgs;
}

int bgs_update(bgs_t *bgs, double *frame, int len)
{
int ret = 0;
if (!bgs || !frame) return -1;
_lock(bgs);

if (len > bgs->frame_len) len = bgs->frame_len;

if (bgs->initial_frame_cnt < BG_INITIAL_FRAME_CNT)
{
if (bgs->initial_frame_cnt == 0)
{
memcpy(bgs->background, frame, len*sizeof(double));
}
else
{
int i = 0;
int n = bgs->initial_frame_cnt + 1;
int nm1 = bgs->initial_frame_cnt;

while (i < len)
{
bgs->background[i] = (bgs->background[i] * nm1 + frame[i]) / n;
i++;
}
}

bgs->initial_frame_cnt++;

}
else if (bgs->initial_frame_cnt >= BG_INITIAL_FRAME_CNT)
{
int i = 0;
while (i < len)
{
double in = frame[i];
double bg = bgs->background[i];

bgs->background[i] = (bg * BG_UPDATE_ALPHA) + (in*UPDATE_ALPHA);
bgs->object[i] = (in - bgs->background[i]);

i++;
}
}

_unlock(bgs);

return ret;
}


테스트 코드


길이가 30, 개수가 30개인 1차원 프레임 데이터를 만들어 테스트했다.

double frame[30][30] = {
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 3, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 2, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },

{ 2, 1, 3, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 3, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 4, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 2, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 2, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 2, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 1, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 1, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 1, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 2, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 3, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 3, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 2, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 2, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 1, 1, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 2, 3, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 4, 2, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 3, 1, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 2, 0, 1, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 1, 1, 2, 2, 2, 2, 1 },

{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 2, 2, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 3, 2, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 3, 2, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 3, 2, 1 },
{ 2, 1, 2, 2, 3, 3, 2, 1, 1, 1, 0, 0, 0, 1, 2, 2, 1, 1, 0, 1, 3, 2, 1, 0, 1, 2, 2, 2, 3, 1 }
};



void bgs_test()
{
int i = 0;
int frame_len = 30;
int fframe_count = 30;

bgs_ctx_t *bgs = bgs_init(frame_len);
if (!bgs) return;

for (i = 0; i < fframe_count; i++)
{
system("cls");
bgs_update(bgs, frame[i], frame_len);

printf("\n     frame\n");
for (int y = 4; y >= 0; y--)
{
printf(" ");
for (int x = 0; x < frame_len; x++)
{
if (frame[i][x] >= y && frame[i][x] < y+1) printf("*");
else printf(" ");
}
printf("\n");
}

printf("\n     bg\n");
for (int y = 4; y >= 0; y--)
{
printf(" ");
for (int x = 0; x < frame_len; x++) if (bgs->background[x] >= y && bgs->background[x] < y+1) printf("*"); else printf(" ");
printf("\n");
}

printf("\n     moving object location\n ");
for (int x = 0; x < frame_len; x++) if (bgs->object[x] > 0) printf("*"); else printf("_");
printf("\n");
Sleep(1000);
}

bgs_deinit(bgs);
}

실행하면 아래처럼 moving object가 검출되는 것을 볼 수 있다.
 
 




또한 위의 배경 제거(background subtraction) 예제 코드를 사용하여 레이더 신호에서 움직이는 물체 추출하면 아래와 같은 결과를 얻을 수 있다.
 



댓글

댓글 쓰기

이 블로그의 인기 게시물

windows에서 간단하게 크롬캐스트(Chromecast)를 통해 윈도우 화면 미러링 방법

이미지
 Windows 10에서는 미라캐스트를 사용한 무선 디스플레이연결을 지원한다. 하지만, 만약 크롬캐스트(Chromecast)를 사용해 윈도우 화면을 미러링 하고자 할 때, 구글 크롬 브라우저를 사용하면 쉽고 편하게 할 수 있다. https://www.google.co.kr/intl/ko/chrome/ VLC에서도 비디오 화면을 미러링 할 수 있다고 하는데, 잘 동작하지 않고 윈도우 화면 전체를 미러링하지 않아 크롬 브라우저를 사용하고 있다. 크롬 캐스트 윈도우 화면 전송 방법 0. 크롬 캐스트 디바이스와 windows pc는 같은 네트웍에 연결되어 있어야 한다. (같은 공유기에 연결되어 있어야 한다.) 1. 크롬 브라우저의 우측 상단의 메뉴 > 전송을 클릭하면, 현재 사용가능한 크롬캐스트 디바이스 항목을 볼 수 있다. 2. 편의에 따라 탭 전송 아이콘에서 우측 버튼을 클릭하여 항상 표시되게 설정할 수도 있다. 3.  윈도우 화면 전체를 전송하고자 할 때는 탭 전송의 소스에서 '데스크톱 전송'을 선택하고, 바로 위의 크롬캐스트 디바이스를 클릭하면 된다. ** 소스는 미러링 중에는 변경되지 않는다. 먼저 소스를 선택하고 미러링해야 한다.  4. 화면 전송을 끝내고자 할 때는, 탭 전송에서 화면 전송중인 크롬캐스트 디바이스를 클릭하거나, 크롬 브라우저를 종료하면 된다.
자세한 내용 보기

간단한 cfar 알고리즘에 대해

이미지
Constant False Alarm Rate (CFAR)은 기본적으로 테스트하고자 하는 위치의 cell과 주변 cell의 관계를 보고 테스트 cell이 Target 인지 아닌지를 구분하는 알고리즘이다. 주변 cell과의 관계를 어떤 방식으로 비교하는가에 따라 여러가지 알고리즘이 존재한다. CA-CFAR, GO-CFAR, SO-CFAR, OS-CFAR, VI-CFAR, OSVI-CFAR등이 있다. 이 많은 알고리즘 중 간단하고 기본적인 CA-CFAR과 OS-CFAR에 대해 알아보자. CA-CFAR (Cell Average CFAR)   CA-CFAR의 원리는 위 그림과 같다. 좌우의 Reference Cell의 평균에 Scale Factor T를 곱하고, ADT (Average Decision Threshold)를 합하여 CUT가 타겟인지 아닌지를 구분한다. ADT는 신호의 white noise를 고려하기 위해 더해준다. Scale Factor T와 ADT는 아래와 같은 공식으로 사용할 수 있다. 사용하려는 시스템에 따라 공식은 달라질 수도 있다.   Pfa는 False Alarm 발생 확률을 나타내고, M과N는각 좌우의 Reference Cell의 개수를 나타낸다. OS-CFAR (Order Static CFAR)   OS-CFAR의 원리는 위 그림과 같다. 좌우의 reference cell중 K번째 큰 값의 cell을 Reference Cell의 대표 값으로 정해 CUT가 타겟인지 아닌지를 구분한다. 보통 전제 reference cell의 크기 순에서 (3*N)/4 번째 cell이 성능이 좋다고 알려져 있다. CFAR 사용 예 아래 사진은 위 두 cfar을 사용한 예다. 파란색은 신호이며, 붉은 색은 char을 사용해 만든 threshold이다. 이 threshold보다 큰 값의 신호가 있는 위치에 실제 Tar...
자세한 내용 보기

바로 프로젝트 적용 가능한 FIR Filter (low/high/band pass filter )를 c나 python으로 만들기

이미지
 band pass filter 코드가 필요해 인터넷을 검색을 해봤지만, 쓸 만한 코드와 자료가 별로 없어 그냥 만들어 쓰기로 했다. 필요한 공식은 위키피디아에 나와있다. https://en.wikipedia.org/wiki/Finite_impulse_response 1. filter 크기 FIR filter를 만들 때 filter의 크기(tpas의 크기)를 결정할 때 도움될 수식이 있다.   N=A㏈Fs / 22*Δf A㏈ : 감쇄될 db Fs : Sampling Frequency Δf : frequency bandwidth 출처 :  https://www.allaboutcircuits.com/technical-articles/design-of-fir-filters-design-octave-matlab/ def estimatefilterlen(fl,fh,fs,db):     N = int(np.round(db * fs / (22 * (fh-fl)))-1)     return N 2. Low Pass Filter [ python code ] def lowpassfilter(f,fs,N):     taps = np.zeros(N)          fc = f / fs     omega = 2*np.pi*fc     middle = int(N/2)     for i in range(N):         if i == middle:             taps[i] = 2*fc         else:    ...
자세한 내용 보기

간단한 칼만 필터(Kalman Filter) 소스 코드와 사용 예제

이미지
칼만 필터(Kalman filter)는 노이즈가 포함된 측정치로 부터 실체 상태를 추정(推定, estimation)하는 도구다. 본 포스트의 칼만 필터 소스는 한 타겟의 위치를 추정하는 용도로 만들어 졌다.  위키피디아 페이지( https://en.wikipedia.org/wiki/Kalman_filter )와 “Human Target Tracking in Multistatic Ultra-Wideband Radar” 논문 등을 참조하여 칼만 필터의 공식을 구현하였다. F,H,Q,R matrix는 아래와 같은 값으로 정하여 사용하였다. 칼만 필터 c++ 소스는 아래와 같다.  #include <malloc.h> #include <Eigen/Dense> __declspec(align(16)) class CKalmanFilter { private: BOOL mFirst; Eigen::MatrixXd mX; Eigen::Matrix4d mP; Eigen::Matrix4d mF; Eigen::MatrixXd mH; Eigen::Matrix2d mR; // measurement noise covariance Eigen::Matrix4d mQ; // process noise covariance public: void* operator new(size_t i) { return _mm_malloc(i, 16); } void operator delete(void* p) { _mm_free(p); } CKalmanFilter(double process_var, double measure_var, double T) { ...
자세한 내용 보기

python winsound를 이용한 윈도우 환경에서 소리 재생 예제

 본 포스트에는 윈도우 환경에서 python의 winsound라이브러리를 이용한 사운드 재생의 예제를 싣고 있다. import winsound 특정 주파수 톤 재생 Beep를 사용하여 특정 주파수의 소리를 정해진 시간동안 재생할 수 있다. winsound.Beep(frequency, duration) 파라미터 frequency : Hz 단위며, 범위는 37Hz~32,767Hz duration : milliseconds 단위이다. example code import winsoind winsound.Beep(370,2000) wave 재생 지정된 파일, 윈도우 레지스트리에 등록된 사운드 혹은 오디오 데이터(bytes-like object)를 재생한다. 만약 sound 리소스가 없는 경우 시스템 디폴트 사운드를 재생한다.  winsound.PlaySound(sound, flags) 파라미터 sound : 파일 이름, 시스템 사운드 별명, 오디오 데이터 flags : winsound.SND_FILENAME : sound 파라미터는 wave file 이름 이며, SND_ALIAS와 함께 사용하면 안된다.  winsound.SND_ALIAS : sound 파라미터는 시스템 사운드 별명이며, SND_FILENAME와 함께 사용하면 안된다. ex) 'SystemAsterisk', 'SystemExclamation', 'SystemExit', 'SystemHand', 'SystemQuestion' winsound.SND_LOOP : 반복 재생한다. 테스트해보니 SND_ASY...
자세한 내용 보기