[Computer Vision] Filter - Part 1

지난 시간에 이진 영상 및 라벨링을 알아보았다면 이번 시간에는 영상처리에서 사용되는 3가지 기본 연산에 대해 알아본다. 크게 화소, 영역, 기하학적 요소로 처리하는 방법이 있다. 특히, 영역에 관한 처리는 딥러닝과 깊은 관련이 있어서 중요하다;

점 연산

• 오직 자신 (하나의 픽셀)의 명암값에 따라 새로운 값 결정
• 주어진 영상에 각 픽셀의 명암값을 어떻게 바꾸는가?

어느 픽셀값을 바꿀때 자기 주변의 명암값과 관계없이 값을 결정한다. 선형 연산은 주어진 영상에 대하여 특정 명암값 만큼 더해주거나 뺄서 현재 픽셀의 명암값을 결정하는 용도로 사용된다.

명암값을 밝거나 어둡게 하는 경우 0 <= 명암값 < L 을 만족하도록 하기 위해 min, max 함수를 사용하는 것이 보인다. 반전은 밝은 것은 어둡고 어두운 것은 밝게 만들어주기 때문에 총 L값에서 현재의 명암값을 빼주어 반전을 구현한다.

비 선형 연산은 주로 모니터 색상을 조절할 때 사용되는데, 비선형 적으로 변동시켜준다. 0과 255값을 증가시킨다면 영상이 saturation 되는 문제점이 발생한다. 따라서 0과 255의 중심부의 값을 조정하여 영상을 조절하도록 도와준다.

디졸브

A영상으로부터 B영상으로 화면 전환을 구현할 때 픽셀값을 갑자기 바꾸는 것이 아니라 비율값 a를 활용하여 부드럽게 전환 시키는 것이 목표이다.

영역 연산 (오늘의 가아아아아장 중요한 주제이다.)

• 이웃 화소의 명암값에 따라 새로운 값 결정
• 4연결성, 8연결성과 같이 주변의 다른 값에 따라 자신의 픽셀값을 변경

주어진 입력 영상의 명암값중 내가 원하지 않는 명암값을 필터링하는 방법을 통해 영상 처리 및 효과를 구현할 수 있다. (중요하다)

spatial domain (2차원 영상 평면)에서의 이미지 필터는 grid of numbers라는 필터를 설계하여 수학적 연산을 통해 계산하는 것이다. 영상에 어떻게 적용하는가에 따라 smoothing, sharpening, measuring texture 효과를 구현할 수 있다.

왜 이것이 영역 연산인가? 

주어진 영상에서 하나의 픽셀값을 결정하기위해 다음과 같이 동작한다.

주어진 영상에서 하나의 픽셀값을 결정함에 있어서 grid of numbers 를 어떻게 설계하는 가에 따라 각종 효과를 만들어 내게 되는데 이 떄 하나의 픽셀값을 인접한 픽셀에 정보를 활용하여 결정한다.

필터를 어떻게 설계하는가에 따라서 영상의 화소를 증가시키거나, 잡음을 없에거나 , 대비를 증가시키고 중요한 정보를 추출하는 용도로 활용할 수 있으며 실제로 딥러닝에서 영상을 처리하고 인식하는데 이와 같은 방법이 활용되고 있다.

영상에 필터를 적용하기위한 수학적 방법으로 상관(correlation)과 컨볼루션(convolution) 방법이 존재한다. 

1차원으로 먼저 해석해보자!

상관(correlation)은 주어진 영상과 필터가 어떤 관계를 갖고 있는지를 나타내는 것이다.

1차원의 입력 영상 있을 때 입력 영상이 윈도우 u 필터와 같은 특성을 갖도록  영상을 변화시켜주는 것이 이미지 필터링의 주요 개념이다. 상세한 연산 방법은 다음과 같다.

계산할 수 없는 범위를 제외하고 윈도우를 우측으로 한칸씩 움직이면서 윈도우 값을 픽셀값에 곱하여 합한 결과값을 기록한다. 따라서 같은 입력 영상이라도 필터에 따라 결과 값이 달라질 수 있다. 

윈도우는 내가 가진 영상을 특정 기준으로 강조해주는 역할을 해준다. 또한 현재 픽셀의 명암값을 결정함에 있어서 윈도우가 보고 있는 주변 픽셀값을 참조하고 있기 때문에 영역 연산이다. 

상관은 이와 같이 주어진 윈도우를 움직여가면서 입력 연산과 곱한 결과를 다 더해주는 것이다.

컨볼루션은 주어진 윈도우를 뒤집은 후에 상관과 같은 연산을 한다. 수학적으로 보면 상관과 동일한 연산이다. 딥러닝 CNN에서의 컨볼루션의 개념과 동일하다. 

2차원으로 확장해보자!

2차원 영상에서 컨볼루션과 상관이 어떻게 이루어지는지 살펴보자. 윈도우를 영상의 시작 부터 끝까지 움직여 가면서 영역 연산을 하게 된다.

값을 결정하는 방법이다. 입력영상에 윈도우를 씌울 때 원본에서의 명암값은 0이었을지라도 주변의 영역 연산에 의해 다른 값으로 바뀔 수 있다. 

상관으로 계산한 결과를 자세히 살펴보면 계산의 결과가 윈도우와 다르게 뒤집혀 보인다는 단점이 존재한다. 윈도우가 갖고 있는 original 특성을 잘 반영하기 위하여 컨볼루션을 많이 활용하게 된다.

수식적으로 상관과 컨볼루션을 해석해보면 위와 같다. 이 때 컨볼루션 표기의 경우 *(별표) 를 많이 사용하는 경향이 있으며 f라는 영상에 u라는 필터를 씌었구나라고 해석할 수 있다. 

상관의 경우 주어진 영상을 x만큼 움직여나가면서 u라는 필터를 곱해서 다 더해주면 된다는 수학적 의미를 지늬고 있다.

전자공학에서도 컨볼루션 개념을 사용한다. 보통 신호는 0 혹은 1과 같이 미분 가능하지 않은 형태로 input이 들어오는데 필터를 활용하여 미분 가능하도록 만들어주기 위해 컨볼루션 개념이 도입되었다.

영상처리하는 사람 입장에서는 필터를 통해 영상에 효과를 줄 수 있지 않을 까라는 생각에 도입되었다.

특징을 강조하기 위해 활용된다는 발상에서 더 나아가 딥러닝에서 컨볼루션을 활용하여 영상으로 부터 특징을 뽑아내기 위한 방향으로 진보하게 된다.

• 필터를 어떻게 설계하는가에 따라 원하는 값에 대한 3x3 값을 하나의 값으로 줄여서 표현할 수 있다.
• 내가 갖고 있는 값과 주변의 특성을 반영해서 하나의 특징으로 표현할 수 있다.

local feature은 전체 영상을 영역을 보는 것이 아니라 내가 주어진 픽셀의 주변 (3X3)을 보고서 어떤 특징을 갖고 있는가를 나타내기 위해 보는 것을 local feature 라고 부른다. 

Hierarchical 구조의 경우 주변의 값에 대해 컨볼루션을 여러번 수행하면서 하나의 값으로 수렴하도록 설계하여 계층적인 구조를 갖는다.

필터의 값을 어떻게 설계하는가에 따라 달라질 수 있고 필터는 커널, weight와 같은 표현으로 불리기도 한다. 딥러닝 관점에서 임의의 필터를 주고 다양한 영상을 통해 어떤 값을 갖고 있을 때에 영상의 featrue를 잘 추출할 수 있는지에 대하여 학습한다.

즉 필터에 내용으로 어떤값이 들어가면 좋을지 학습한다.

42:15