[Computer Vision] Histogram - Part 1

개요

디지털 영상으로부터 의미있는 정보를 추출하기 위한 일련의 과정을 배워보고자 한다. 지난 시간에는 카메라에 어떻게 빛이 들어오고 영상으로 만들어지는지 알아봤다. 이번 시간에는 의미 있는 정보를 추출하기 위한 영상처리 강의를 정리해보고자 한다.

요구되는 통계지식

Big data: 다음과 같은 내용을 파악하는 것이 필요하다

• Shape (형태, 모양)
• Mean (중심 위치)
• Variance (산포)

데이터의 형태를 알아보는 방법

• Graph (그래프)
• Table (표)
• 대표값 (평균, 분산, 표준 편차 등)

주어진 데이터를 직관적으로 이해할 수 있는 그래프의 형태가 바로 히스토그램이다.

히스토그램

히스토그램은 주어진 입력영상에서 각 명암값에 해당되는 화소값이 몇개가 있는지 확인 하는 것이 히스토그램이다. 히스토그램 정보를 통해 어디에 활용할 수 있는지 확인 해본다.

Histogram

(1) Data

• 수많은 데이터로 부터 도수를 정의한다.
• 도수는 데이터를 특정 기준으로 분류한 것이다
• 영상처리에서의 도수는 들어오는 흑백영상에서의 명암값은 [0~255]라고 생각했을 때
• 0부터 7 혹은 10단위 값을 기준으로 끊어서 분류할 수 있다.

(2) 각 도수에 해당되는 data의 개수 Counting

(3)  Counting한 값을 막대 그래프 형태로 나타낸 것이 히스토그램이다.

• 히스토그램 : 각 주어진 영상에서의 명암값이 어떤 형태를 가졌는지를 나타내고자 하는 것
• 책의 정의: 0~255 사이의 명암값을 가지고 있는 영상에서 각 도수에 해당되는 것이 몇개의 화소를 갖고 있는지 표현하는 것
• 즉, M x N 크기의 2차원 영상이 있을 때 각 픽셀마다 0~255 사이의 명암값을 갖고 있다고 하자.
• 영상을 돌아다니면서 각 도수에 해당되는 것을 세어서 막대 그래프로 나타내어 데이터의 분포를 본다.

물론 도수 기준을 바꿔서 도수의 개수를 셀 수도 있다.

간단히 말해 [0, L-1] 을 만족하는 명암값의 개수를 전체 영상에서 세는 것이다.

주어진 영상에서 M과 N 같은 영상의 크기에 따라 히스토그램의 모양이 달라질 수 있다. 따라서 영상 크기에 대한 명암값의 비율로 표현하여 정규화 시키면 전체 영상에 대비한 명암값의 분포를 영상에 크기에 상관없이 볼 수 있게 된다.

히스토그램으로 파악할 수 있는 게 뭘까요?

두가지 예시를 보자. 윗쪽의 그래프는 전체 픽셀 대비 어두운 명압값의 비율이 많기 때문에 어두운 분위기의 영상일 것임을 추측할 수 있으며 아래의 분포는 그 반대로 밝은 분위기의 영상일 것이다.

히스토그램의 평균을 옮겨서 전체 영상의 분위기를 밝거나 어둡게 조정할 수도 있다!

히스토그램은 어떻게 계산할 수 있을까?

• 입력은 [0~255]를 만족하는 M x N을 만족하는 흑백 명암 영상이다. 컬러 영상의 경우 R, G, B 채널을 갖고 있으며 각 채널에 대한 히스토 그램 분포를 계산하면 된다.
• 출력은 명암값의 빈도수를 영상크기로 나누어 [0, 1]로 정규화 시킨 형태의 히스토그램이다.
• 빈도수를 기록할 0~255 인덱스를 갖는 일차원 배열을 생성하여 값을 0으로 초기화 시킨다.
• 각 화소값을 인덱스로 받아서 배열에 개수를 누적한다.
• 모든 화소값의 개수를 측정했다면 0~1사이 값을 갖도록 정규화 시켜준다.

연습해보기!

• 위 문제의 경우 M과 N이 8인 아주 작은 영상이며 L이 8이기 때문에 각 영상의 명암값은 [0, 7] 범위를 만족한다. 
• 명암값 범위를 인덱스로 갖는 새로운 배열을 값이 0을 갖도록 초기화 시킨다.
• 2차원 영상의 각 픽셀을 순회하면서 위에서 생성한 배열에 화소값의 개수를 카운팅한다.
• 명암값 개수를 세둔 배열의 각 인덱스 별로 영상 크기의 개수로 나누어서 정규화 시킨다.

히스토그램을 통해 무엇을 얻을 수 있는가?

위 예시에서 만약 우측 영상에 기반하여 작성된 히스토그램만 우리에게 주어졌다고 한다면 각 영상별로 다음과 같은 내용을 추정해볼 수 있을 것이다.

1. 첫번째 영상은 히스토그램이 대체적으로 어두운 쪽에 몰려있기 때문에 전체적인 분위기가 어두울 것이다.
2. 두번째 영상은 전체적으로는 밝고 어두운 정도가 고르게 분포되어있지만 대체적으로 어두운 분위기일 것이다.
3. 세번째 영상은 특정 명암값을 갖고 있는 영상들이 분포되어있을 것이다.

히스토그램 분포를 통해 전체적인 분위기를 파악하는데 유용하게 사용되고 있다.

영상 처리에 도전해보자!

히스토그램 평활화 (Histogram Equalization, Histogram Stratching)

특정 영역에 몰려있는 명암값을 양쪽으로 늘려주어 영상의 품질을 높히려는 시도 방법이다. Equalization과 Stratching은 서로 다른 방법을 통해 명암값을 늘려준다고 한다.

• Histogram Stratching은 주어진 영상에서 최소값과 최댓값을 활용하여 골구로 당겨준다.
• Histogram Equalization은 명암값이 많이 모여있는 부분에 집중하여 당겨준다.

동적 범위는 히스토그램이 많이 모여있는 곳 명암값의 분포가 많은 곳을 땡겨준다. 그럼 많이 모여 있는 곳을 어떻게 구하는가? 누적 히스토그램을 계산하여 기울기가 많이 변하는 곳을 찾으면 된다. 

누적히스토그램을 매핑 함수로 사용했다는 것은 영상을 펴줌에 있어서 누적 히스토그램을 가중치 값을 줘서 가중치가 크면 많이 땡겨주고 적으면 살짝 땡겨줌으로써 영상이 고르게 펴질 수 있을 것이다.

I_out(평활화된 값) = T(I_in) = round( c(l_in) 누적 히스토그램 * (L-1 주어진 영상 [0, L]) )

연습해보기!

• 첫번째는 앞서 본 영상에 대한 정규화된 히스토그램을 표현한 것이다.
• 두번째는 누적 히스토그램이다 (3, 4 사이에 많은 분포를 갖고 있음을 알 수 있다.)
• 7을 기준으로 누적 히스토그램을 사용하여 비율을 계산한다.
• 영상은 실수값으로 표현하지 않기 때문에 소수점 미만 절삭한다.
• 결국 l_in에 해당되는 값을 ㅣ_out으로 바꿔준다는 의미이다.

다시 계산한 히스토 그램 분포를 보면 히스토그램이 좀더 완만해졌다는 점을 알 수 있다. 영상이 고르게 명암값을 갖게된다. 예시를 살펴보자!

영상을 살펴보면 왼쪽보다는 명암값을 펴줌으로써 오른쪽이 선명해 보인다. 하지만 언제나 좋은 결과를 불러오는 것은 아니다.

좌측의 영상은 별도의 보정 없이도 히스토그램이 고르게 퍼져있지만 우측의 영상은 보정을 함으로써 밝고 어두운 부분이 강조되었으며 부자연스럽게 보인다. 우측과 같은 경우 "Saturation 되었다" 라고 표현한다.

히스토그램의 응용

히스토그램 역투영과 얼굴 검출을 해보자!

• 역투영: 주어진 영상에서 사람의 피부색에 대한 히스토그램 분포를 알아보고 이와 유사한 값을 0~1사이의 확률값으로 나타내보자
• 히스토그램 역투영은 이미 알고 있는 영상으로부터 이미 알고있는 영역에 값을 가지고 유사한 분포를 갖고 있는 확률값으로 나타내보자

예를들어 주어진 영상에서 피부색이 명암값 127 ~ 156을 갖고 있다고 정의했을 때 주어진 입력 영상에서 이와 같은 값을 갖고 있다면 높은 확률값을 가지며 관련 없다면 낮은 확률값을 갖도록 표현해보자!

우선 모델 영상에서 사람들의 얼굴 영상을 뽑아서 피부색의 HS 2차원 색분포를 뽑는다. 

2차원 히스토그램을 만드는 방법은 다음과 같다. 이전에 본 1차원 배열에서 2차원 배열로 바뀐 것이 특징이다.

모델 얼굴로부터 hm 모델값을 만들어보자! 주어지는 입력 영상과 유사도를 비교하여 높으면 1 낮으면 0의 값을 갖는 모델을 통해 얼굴을 검출할 수 있을 것이다.

우선 주어진 영상으로부터 어느정도 확률값을 갖는지 확인하여 각 영상들을 읽어서 그 영상과 내가 만들어 둔 확률 모델과 비교하면

모델과 유사하면 1 멀어지면 0이 나오도록 하여 영상을 읽으면 피부색과 유사한 정보를 뽑을 수 있을 것이다. 하지만 컬러값은 조명에 민감하기 때문에 감지에 정확도가 떨어질 수 있다.

이진 영상

히스토그램 정보를 갖고 영상처리를 할 수 있다. 흑백영상(Gray Image)이 주어질 때 0 또는 255 두가지 값만 갖고 있는 영상으로 만드는 것을 이진 영상이라고 부른다. 용어가 어려울 수 있는데 흑백영상은 0~255 사이 모든 값을 갖는다는 점을 기억해두자!

이진영상은 흑백영상에 대하여 특정 기준을 통해 0 혹은 255로 명암값을 설정하게 되며 주요하게 생각해볼 점은 어떻게 스레쉬 홀드를 설정할지 고민해보는 것이다.

주어진 Gray Image를 Binary Imag로 만드는 것을 이진화 라고 부른다.

특정 기준을 잡아서 빛이 있는가 없는가를 구분하는 예시이다.

임계값을 통계적 개념을 통해 이진화 시켜주는 알고리즘으로 오츄 알고리즘이 존재한다!

발상은 임계점의 좌측과 우측이 균등하게 분포하도록 설정하는 것이 이 알고리즘의 목표이다. 마치 시소 놀이를 생각해볼 수 있다. 무거운 사람과 가벼운 사람사이에 힘에 균형을 이루도록 만들어주도록 받침점을 잡아본다고 생각하면 편하다.

시소 비유를 통계적으로 접근하려면 어떻게 해야할까? 

좌측과 우측에 대한 분산값이 균일(유사)할 때 균형을 이룬다. 따라서 왼쪽과 오른쪽의 분산값을 구하여 분산값이 균일한 특성을 갖도록 하는 T를 구하는 것이다.

오츄 알고리즘을 통한 이진화 결과는 다음과 같다.