[Computer Vision] Filter - Part 2

Convolution Neural Network 에서 컨볼루션 필터를 씌우기전에 영상 주변에 0값을 넣어 padding을 준다. 왜냐하면 필터를 씌울때 영상 밖을 나가는 영역에 대해서도 우리가 원하는 값을 얻기 위해서이다.

컨볼루션 연산이 진행될 때 윈도우를 몆칸씩 움직일지를 결정할 수 있으며 stride라고 부른다. 예를 들어 stride가 1인 경우는 윈도우를 한칸씩 이동시키는 것이다. 

주어진 영상에 padding, stride, 필터의 크기에 따라 영상의 크기가 달라질 수 있다. 우리가 영상처리를 수행할 때에 영상의 크기가 바뀌지 않도록 한다.

주어진 영상에 대해서 컨볼루션을 수행한 후에는 pooling이라는 과정을 거친다. 주어진 영상에서 특정한 값을 뽑아 차원을 줄이게 된다.

• max pooling은 주어진 범위 내에서 최대값을 뽑아서 차원을 줄인다.
• AVG pooling은 주어진 공간 내에서 값들의 평균으로 하나의 값을 표현한다.

다시 영상처리로 돌아와보자! 주어진 영상에 필터를 씌워서 다양한 효과를 낼 수 있으며 필터의 모양에 따라 효과를 다르게 구현할 수 있다.

• 박스 필터 : 주어진 값에 대해서 전부 1/9로 나눈값을 더해서 계산하기 때문에 주변 픽셀들의 평균값으로 바꿔주는 것이다. (스무딩)
• 샤프닝 필터 : 내 픽셀에 대해서는 5배(강조), 4-방향성의 픽셀값은 마이너스 연산(줄여줌) 경계를 더 뚜렷하게 만들어준다. (샤프닝)
• 수평 에지 : 세로 방향으로 변화가 있는 영역을 추출한다.
• 수직 에지 : 가로 방향으로 변화가 있는 영역을 추출한다.
• 모션 필터 : 영상을 움직임이 있는 것 처럼 표현시켜준다.

영상에 박스 필터를 적용했을때 어떤 효과가 있는지 연산과정을 자세히 살펴보자!

박스 필터는 주변값들의 평균을 계산하니 3x3의 경우 1/9, 5x5인 경우 1/25, 7x7인 경우 1/49로 필터가 생성된다.

주어진 영상에 g필터를 컨볼루션 수행할 때, g를 뒤집어서 주변값들에 1/9를 곱하여 더한값을 새로운 픽셀값으로 결정한다. 주변값을 고려하기 때문에 원본 영상에서 픽셀값이 0이었을지라도 새로운 영상에서는 픽셀값이 생기는 경우가 존재한다.

박스필터를 모두 적용한 결과 값은 다음과 같다.

기존의 영상에서는 명암 차이가 확연하게 발생하였다. 하지만 필터가 적용된 새로운 영상은 주변값의 평균을 고려하기 때문에 영상이 smooth하게 변환시켜주는 효과가 있다.

모자이크 처리하는 방법 중 하나로 박스 필터가 사용되기도 한다.

다른 필터 효과도 살펴보자!

위 필터의 경우 자신의 픽셀값을 그대로 가져오기 때문에 아무런 변화가 없게 된다.

위 필터의 경우 원본 이미지를 왼쪽으로 평행이동 시키는 기능을 수행한다. 현재 픽셀값을 결정하기 위해 한 픽셀 옆의 값을 사용하기 때문이다.

내가 갖고 있는 값에서 평균을 빼면 현재 픽셀값이 평균으로부터 얼만큼 변화하였는지 알 수 있다. 현재 픽셀은 강조하고 주변값들은 더 명암값을 줄여서 현재값과 주변값의 명암값 차이를 키우게 된다. 결과 이미지는 샤프닝 필터와 동일한 결과를 나타낸다. 

가로 혹은 세로 방향으로 명암 차이가 큰 경우를 뽑아봄으로써 'Edge'를 추출할 수 있다.

리니어한 필터는 선형적인 특성을 유지할 수 있다. 

영상을 합쳐서 한꺼번에 효과를 적용하던가 나눠서 따로 효과를 적용한 후에 효과를 적용하던지 같은 결과를 보인다.

Shift 효과도 순서가 바뀌어도 동일한 결과를 보인다,

필터를 사용하는 순서가 바뀌어도 동일한 결과를 낸다.

분배법칙, 상수배 모두 동일하게 선형적 특성을 따른다.

다음은 좀 중요하다! 가우시안 필터!!!

박스필터에서 좀더 확장되어있는 개념이다. 즉, 스무딩 효과를 구현하기위해 많이 사용된다. 예를들어 5x5 크기 필터를 설정한다. 내부에 값은 위와 같은 분포를 갖고 있어서 중심으로부터 멀어질 수록 픽셀값이 작아지는 특성을 갖고 있다.

이전 박스 필터를 사용할 때에는 출력 영상에 격자 무늬가 발생하는 단점이 있었다. 그러나 가우시안 필터는 격자무늬가 발생하지 않으며 블러 효과를 적용해줄 수 있다.

가우시안 필터는 주변의 튀는 값들을 정리해서 영상을 좀 더 부드럽게 만들어준다.

2차원 가우시안 필터이기 때문에 2개의 1차원 가우시안 필터로 나누어서 생각할 수 있다

지수 함수이기 때문에 두 1차원 가우시안 함수로 분리해낼 수 있으며 x축에서 먼저 가우시안 효과를 적용한 뒤에 y충에 대하여 가우시안을 적용해도 동일한 결과를 보인다.

2차원 필터를 한번에 씌우면 처리시간이 오래걸리기 때문에 이와 같은 분할 방법을 사용하여 가우시안 스무딩 효과를 구현한다.

위에서 알아본 필터는 모두 선형연산이었지만 비선형 연산도 존재한다.

메디안 필터가 비선형 연산의 예시이다. 메디안은 중위값을 의미한다. 메디안 필터는 주어진 영상들을 3x3으로 움직여나가면서 9개 값을 일렬로 정렬한 후 중앙값을 뽑아소 픽셀값을 결정한다. 

메디안 필터의 장점은 주어진 영상에서 잡음(salt(흰색) and pepper(검은색) noise(잡음))이 들어날 때 필터 내에서 0이나 255값 대신에 중앙값으로 채워지기 때문에 noise 를 잡을 수 있다

반대로 가우시안 필터는 평균값을 사용하기 때문에 가우시안 필터는 큰 효과를 보이지는 못한다. 필터의 특성에 따라 어느 때에 어떤 필터를 사용해야할지 구분할 수 있어야 한다.