[Computer Vision] Edge Detection - Part 1

Overview

• 디지털 영상으로부터 영상의 중요한 특징(Feature)을 어떻게 뽑을 것인가?
• 특징이 무엇이며 어떻게 뽑아낼 것인가를 공부해본다.
• 엣지는 가장 중요한 특징 중 하나이다.
• 영상에서 엣지는 물체의 경계를 표시해주는 것이며 물체에 대한 경계는 조명과 같이 다양한 환경에 강인하다.
• 따라서 내가 원하는 물체를 검색하거나 매칭할 때 용이한 선분 혹은 곡선으로 변환할 수 있다.

• 엣지는 어떤 명암값 또는 컬러값들에 변화가 큰 지역들을 모아둔 특징들을 의미한다.
• 엣지정보는 매칭 혹은 특징을 찾는데 중요하게 활용될 수 있다.
• 하지만 일부 끊겨있거나 몸체 부분에 불필요한 엣지가 감지될 수 있다.
• 따라서 사람이 정상적으로 추출되지 않는등의 오류가 발생할 수 있다.
• 사람의 얼굴 부분에 일부 끊겨있는 부분을 실종된 엣지라고 부른다. (거짓 부정)
• 사람의 몸체 부분에 불필요한 부분이 있으며 거짓 엣지라고 부른다. (거짓 긍정)

 

실종된 엣지와 거짓 엣지의 오류를 최소화하여 우리가 원하는 엣지 영역을 뽑아낼 수 있을까?

 

• 영상에서 엣지를 어떤 알고리즘을 사용하여 검출해낼 것인가?
• 그 중에서 영 교차이론이 무엇인가?
• 케니 엣지가 일반적인 엣지 검출과 무엇이 다른가?
• Gray 이미지에서의 엣지 검출에 대해 공부해본다.
• 컬러 이미지에서의 엣지 검출에 대해 공부해본다.

• 엣지의 의미와 어떤 개념을 통해 부여되는지 이해해보자!
• 물체의 내부나 배경은 변화가 없지만 물체 사이의 경계는 명암 (intensity) 변화가 크다.
• 이 원리에 따라 엣지 검출 알고리즘은 명암, 컬러 또는 텍스처의 변화량을 측정하여 엣지를 검출한다.
• 명암, 컬러, 텍스처의 변화량을 어떤 기준을 통해 측정하는지 알아봐야 한다.
• 변화량이 큰 곳을 엣지로 검출할 것이다.

• 위 영상에서 검정색으로 표현된 부분들이 전부 엣지 영역으로 표현될 수 있으며 다음과 같은 장점이 있다.
• surface normal discontinuity : 엣지를 구함으로써 물체와 배경을 구분할 수 있는 경계가 제공된다.
• depth discontinuity : 어디가 앞이고 어디가 뒤 부분인지 구분할 수 있다.
• surface color discontinuity : 글자에 대한 엣지를 구하여 큰 물체의 내부에 무슨 물체가 있는지 구분할 수 있다.
• illumination discontinuity : 뽑은 엣지로 부터 어디에 조명이 있는지 알 수 있다. 약통, AOT 글짜 그림자를 구분할 수 있다.
• 엣지 성분이 물체의 특징을 찾거나 패턴을 인식할 때 매우 중요한 성분으로 사용될 수 있다.

 

엣지는 어떤 기준을 갖고 명암 혹은 텍스쳐의 변화량을 측정하는가?

• 주어진 영상에서의 미분 수학적 개념을 통해 명암의 변화량을 측정한다.
• 각 엣지 모델과 어떤 연산자가 있는지 살펴본다.
• 엣지 강도와 방향에 대해 살펴본다.

 

디지털 영상에서 미분은 어떻게 정의되고 있는가?

 

• 일차원 연속 공간 상에서의 미분은 다음과 같이 정의된다.
• s'(x) : x축 방향으로 s를 미분하라.
• 미분 : x와 극소한 차이가 나는 델타 x지점과의 변화량 델타 s가 얼마만큼인가?

• 우리가 따지고 있는 것은 화소로 구성된 2차원의 디지털 이미지이다.
• 2차원 이미지는 이산 공간에서 정의되어있다.
• x축 방향만 따져보았을 때 인접한 두 픽셀 사이의 변화량을 다음과 같이 정의한다.

• (x+델타 x) 지점의 명암값과 (x) 지점의 명암값의 차이를 델타 x값으로 나눠준다.
• 디지털 영상에서 델타 x가 가장 작은 경우는 1이다. (픽셀 하나 차이)
• f(x+1) - f(x) 즉, 이웃하는 픽셀에서의 명암값의 차이가 디지털 영상에서의 미분이다.
• [-1, 1]을 사용하여 필터 연산을 돌리는 것과 같은 의미이다.

• 위 방식 처럼 필터를 도함수 처럼 사용할 수 있으며 미분 값을 계산할 수 있다.
• 미분 값에 절댓값을 씌워서 스레스홀드 2를 기준으로 이진화를 수행하면  위와 같이 계산할 수 있다.
• 결과적으로 5번째 인덱스 5를 기준으로 좌측과 우측 영역으로  구분할 수 있게 되었다.
• 인덱스 5가 영역을 나누는 기준이 될 수 있기 때문에 미분을 통해 엣지를 찾는데 활용할 수 있다.

 

엣지를 찾는 데 위에서 언급된 개념을 활용해보자!

• 주어진 2차원 영상을 위와 같은 방식으로 미분한다.

• 명암값을 반환하는데 있어서 엣지를 두가지 모델로 나누어 볼 수 있다.
• 계단 엣지는 명암값의 차이가 크게 변하는 것이다.
• 램프 엣지는 명암값의 차이가 서서히 변한는 것이다.

• 계단 엣지를 통해 한번 미분했을 때 4와 같이 튀는 값이 발생된다면 엣지가 있음을 알 수 있다.
• 램프 엣지에서는 0이 아닌 여러개의 값이 나오기 때문에 엣지가 두꺼워진다.
• 따라서 램프 엣지에서는 한번 더 미분하여 램프의 시작과 끝 점에서 엣지를 구할 수 있다.

• 주어진 영상에서 1, -2, 1 필터(도함수)를 씌우면 이계도 함수를 한번에 계산할 수 있다!

• 램프 엣지를 한번 미분하면 이와 같은 봉우리의 형태로 변환된다.
• 램프 엣지를 두번 미분하면 특정 기울기 값을 갖는 형태로 변환된다.
• 이때 영점과 만나는 점을 영교차라고 부른다.
• 정리하자면 일계도 함수에서 봉우리, 이계도 함수에서 영교차를 찾으면 엣지를 검출할 수 있는 것이다.
• 두꺼운 엣지가 있을 때 1개의 엣지 성분으로 표현하기위해 사용한다.위 이미지의 영역에서 엣지 성분을 찾아내보자!

• 위 이미지에서 1차 미분을 수행하면 왼쪽에서 오른쪽 방향으로 계단식 엣지가 검출될 것이다.

• 이미지가 주어졌을 때 1계도함수값과 2계도함수값을 계산할 수 있다.
• 이미지에서 2계도함수의 최댓값과 최솟값을 구할 수 있을때 엣지를 검출할 수 있다.
• 다음과 같이 실제 Gray 이미지에서 빨간 영역에서의 명암값과 1계도함수값을 살펴볼 수 있다.
• 그에 따라 엣지 성분이 어디에 있는지도 검출해볼 수 있다.

• 문제가 하나 있다. 아주 조금의 가우시안 노이즈를 씌웠을 때를 생각해보자!
• 일계도함수를 구하면 무슨 일이 발생하는가?

• 노이즈가 없을 때에는 검출하고자 하는 영역이 선명하게 보이지만
• 일계도함수값(미분값)은 전부다 크게 보이기 때문에 영역을 정상적으로 검출하기 어렵다.
• 가우시안 노이즈가 있는 상황에서 어떻게 엣지 성분을 검출할 수 있을까?
• 위와 같은 연구들이 많이 이루어지고 있다.

• 필터는 노이즈에 매우 민감하게 반응하기 때문에 엣지를 뽑는 과정에서 방해되는 요소이다.

• 주어진 영상에 잡음이 많은 경우에 엣지 검출을 위한 미분을 수행하기 전에 가우시안 필터를 씌운다. (컨볼루션)
• 명암값이 전보다 부드럽게 바뀌기는 단점이 존재하지만 전체적으로 잡음이 많이 제거되었다.
• 필터 영상에 대해 1차 미분을 수행하여 문제점을 제거하여 원하는 엣지를 도출할 수 있다.

• 컨볼루션은 선형적인 특성을 갖고 있기 때문에 연산 순서를 바꿔도 동일한 결과를 낼 수 있다.
• 가우시안 필터에 대하여 1차 미분값을 계산한 후에 f와 컨볼루션 연산을 수행하면
• 전보다 더 적은 계산량으로 같은 결과를 도출할 수 있다.

• 2차원 영상에 대하여 위와 같이 가우시안필터를 사용해서 x축과 y축 방향으로 필터링하면 smooth와 엣지 성분 분석을 할 수 있다.
• 영상으로 표현해보면 다음과 같은 필터의 모습을 갖추고 있다.

• 현실에서는 스무딩이 필요할 때에 대하여 델타 x가 2인 방향으로 계산한다면 도함수는 다음과 같이 표현될 수 있다.

• x축 방향과 y축 방향에 대하여 엣지를 구하는 필터를 도출할 수 있다. 
• 필터의 모양이 정해져서 주어진 영상의 엣지를 구할 수 있다.

• 일반적으로 x축, y축 방향으로 도함수를 구할 때 프레윗 필터를 사용한다.
• 자기 축에 해당되는 픽셀의 명암값을 강조하기 위해 소벨 엣지 필터이다.
• 기본적으로는 프레윗, 다음으로는 소벨 엣지를 많이 사용한다.
• 로버트 엣지는 대각선 방향으로의 엣지를 계산해준다.

 

엣지가 얼마나 강하고 방향이 어떻한지 이해해보자! (중요하다!)

• 강도와 방향을 나타내기 위해서 그레디언트(Gradient) 개념을 사용한다.

• 명암이 어두운 것에서 밝은 쪽으로 변할 때
• 첫번째 이미지는 x축, 두번째 이미지는 y축 방향으로 변화하고 있다.
• 어두운 쪽에서 밝은 방향으로 명암값이 변할때 얼만큼의 크기에 어느 방향으로 변하는지를 나타내는 것이 그래디언트이다.

• 그래디언트는 명암값의 변화이다.
• 변화는 명암값의 세기의 변화, 방향의 변화를 모두 표현한다.
• 그래디언트는 벡터이기 때문에 크기와 방향을 갖고 있으며 위가 같이 계산된다.
• 엣지와 그래디언트를 통해 얼만큼 변화하고 있는지 알 수 있다.

• 그래디언트는 명암값이 변하는 방향이기 때문에 엣지는 그래디언트와 직교하는 관계를 갖고 있다.
• 그래디언트의 방향을 알면 이와 직교하는 방향으로 엣지 성분들이 얼만큼 크게 어느 방향으로 변하는지 알 수 있다.

 

• 소벨 마스크는 x축 혹은 y축 방향으로 -1, -2, -1 , 0, 0, 0, 1, 2, 1이 되는 것이다.
• 주어진 (5, 3) 지점에 소벨 마스크를 씌운다는 것은 
• dx, dy : 소벨 마스크를 씌웠을 때의 값
• (5, 3)에 대한 크기와 방향을 구한 후 그레디언트 방향을 계산할 수 있다.
• 그레디언트 방향과 직교하는 방향이 엣지의 방향이다.
• 소벨 엣지에 대해서 계산했지만 프레윗이다 로버트 엣지를 사용하는 경우 그래디언트와 엣지의 방향이 달라질 수 있다.

• x축과 y축 방향의 그래디언트를 갖고 엣지 강도를 표현할 수 있다.
• sqrt(pow(dy, 2) + pow(dx, 2))를 계산하면 된다.

 

영교차 이론

• 램프 엣지에 대해서 1차 미분을 하면 엣지가 넓어지는 문제가 있었다.
• 2차 미분을 계산하여 정확한 램프 엣지를 계산한다.
• 필터를 통해 영교차 이론을 알아보고 엣지 성분이 어떻게 되는지 알 수 있다.
• 이전에는 소벨 엣지를 사용하여 엣지를 구하였지만 영교차 이론을 사용하면 편하다.

• 미분을 사용하면 잡음이 증폭되기 때문에 엣지를 구함에 있어서 잡음을 줄이기 위하여 가우시안 스무딩이 적용된다.

• 가우시안 필터의 sigma 값에 따라 엣지 영상이 잘 나올 수도 있도 그렇지 않을 수도 있다.

• sigma 값을 통해 스케일을 조절할 수 있다.
• sigma가 크면 우뚝 쏫아 오른 형태를 보이며
• sigma가 작으면 전체적으로 퍼진 형태를 취하고 있다.
• 이전에 가우시안 필터에 먼저 미분을 적용한 후 영상과 컨볼루션 시켜서 연산량을 줄이는 예시를 보았는데
• sigma값에 따라 가우시안 필터의 미분값이 달라지고 있음을 확인할 수 있다.
• 2차원으로 확장하면 다음과 같다.

• 가우시안 필터의 마스크가 작으면 오차가 발생하고 마스크의 크기가 크면 시간이 오래걸리기 때문에 상황에 따라 조절해줄 필요가 있다.

• x축 방향의 2차미분과 y축 방향에서의 2차미분의 합을 라플라시안 함수라고 부른다.
• 라플라시안 필터를 사용하여 영교차 지점을 찾으면 쉽게 엣지를 찾을 수 있다.

• LOG 필터는 Laplacian of Gaussian 을 의미한다.
• 가우시안 필터를 2차 미분해서 필터의 형태로 갖고 있자는 의미이다.
• 0교차되는 지점을 찾으면 엣지 성분을 찾을 수 있다.
• 즉, 램프 엣지를 찾을 수 있다는 의미이다.
• LOG 필터는 다음과 같이 생겼다.

• sigma가 커짐에 따라 필터의 크기가 커지며 처리 시간 또한 길어짐을 알 수 있다.

• 필터를 돌렸을 때 0이 만나는 지점을 찾아서 모아두면 엣지를 쉽게 찾을 수 있다.

• 8x8 영상에서 sigma가 5일 때에 3x3 크기의 LOG 필터를 적용하여 얻은 영상이다.
• 0이 교차하는 (부호가 바뀌는) 지점을 모아둔 1 들이 엣지 성분임을 알 수 있다.

• 필터의 크기에 따라서 엣지 성분들이 어떻게 달라지는지 보인다.
• sigma 즉, 필터의 크기가 커지면 가우시안 필터의 크기가 커지기 때문에 영상이 더 스무스하게 변환되며 엣지가 단순해진다.
• 시그마가 너무 크거나 작지 않도록 하는 4가 가장 적절해 보인다. 정답은 없으며 상황에 따라 달라질 수 있다.