[Computer Vision] Image Processing - Part 1

개요

지난 시간에는 컴퓨터 비젼이라는 것이 다양한 전처리 기술과 특징 추출이라는 low level processing을 거쳐 인식, 분류, 구분의 해석 행위를 하는 High level processing으로 이루어진다는 것을 배웠다.

이번 시간에는 영상처리(Image Processing)가 무엇이며 어떻게 이루어지고 있는지에 대해 알아본다!

• Eye and Camera 카메라를 이해하기 위해 카메라가 모방한 사람의 눈이 어떻게 동작하는지 생물학적으로 이해하는 과정
• Image Formation 3차원 공간상의 데이터가 2차원 이미지로 투영되면서 어떤 물리적, 수식적 관계가 있는지 이해하는 과정
• Camera model 3차원 공간의 물체를 2차원 영상으로 이어주는 카메라가 어떻게 생겼는지 이해하는 과정

디지털 영상이란?

컴퓨터가 읽어들일 수 있도록 (0~255)까지의 값을 갖는 픽셀 단위로 구성된 영상이다!

카메라는 사람의 눈을 모방하여 만들었기 때문에 사람의 눈이 어떻게 동작하는지 이해해야 한다. 사람의 눈은 다음과 같이 생겼다.

가장 앞쪽에 각막이 위치하고 있으며 눈을 보호하는 막의 역할을 하고 있다. 덕분에 수정체라는 렌즈에 먼지가 끼거나 다치는 문제를 예방할 수 있다. 카메라의 렌즈 덮개를 생각해보면 쉽게 이해할 수 있을 것이다.

수정체(렌즈)는 빛이 들어올때 빛을 한곳으로 모아주는 역할을 담당하고 있다. 사람의 눈의 경우 망막에 상을 맺히게 된다. 

홍체는 수정체를 잡아주는 근육인데 잘 동작하지 않으면 망막에 정확한 상이 맺히도록 수정체를 조절해주기 어려워지기 때문에 상이 흐리게 보일 수 있다. 특히 홍체의 경우 사람마다 서로 다른 색이나 모양의 홍체를 갖고 있기 떄문에 홍체인식 기술을 통한 사용자 인증 기술에 사용되기도 한다.

망막 앞에 상이 맺히면 가까운 것을 보기 어렵고 뒷쪽에 상이 맺히면 먼것을 잘 못보는 경우에 해당된다. 안경은 망막에 정확히 상이 맺히도록 교정해준다. 카메라의 경우 렌즈를 앞뒤로 움직이면서 상이 잘 맺힐 수 있도록 조절한다. 

망막에는 "포비아"라는 상이 맺히지 않는 지역이 존재한다. 카메라에는 포비아 지역이 존재하지 않는다! 망막에 맺힌 상은 시신경을 통해 뇌에 전달되며 뇌는 사물을 인지하게 된다.

카메라의 조리개가 찰칵하는 경우를 본 적이 있을 것이다. 이 현상은 카메라가의 조리개가 열려서 빛을 받아들이는 순간부터 조리개가 "찰칵"하며 닫히는 순간까지 얼마만큼의 빛을 받아들였는가? 로 생각해볼 수 있다.

1바이트(0~255)값으로 비교해보면 다음과 같이 생각해볼 수 있을 것이며 이와 같이 표현하는 영상을 "흑백 영상" 이라고 부른다!

• 조리개를 오랬동안 열고 있을 때 빛이 많이 쌓이게 될 것이며 밝게 표현될 것이다. (값이 크다)
• 조리개를 조금만 열고 있을 때 빛이 적게 쌓이게 될 것이며 어둡게 표현될 것이다. (값이 작다)

빛의 관점에서 생각해 보았을 때 조명 조건은 보통 실외에서는 태양빛, 실내에서는 조명이 될 수 있을 것이다. 어느 물체에 빛이 반사되어서 렌즈를 통해 필름에 투영되면 빛의 양에 따라 얼마나 밝은지 어두운지에 따라 흑백 영상으로 표현된다.

여기서 영상이 맺힌 플레인에 있는 작은 알갱이를 픽셀이라고 부르며 카메라를 구입할 때 100만화소라고 하면 작은 픽셀이 100만개 존재하는 것이며 디지털 카메라에서 CCD 혹은 CMOS 센서는 빛의 알갱이들이 얼마나 쌓여있는지 측정하는 센서이다!

• 디지털 영상 : 각 화소에 해당하는 값을 1byte로 표현한 것
• 디지털 카메라 : 각 화소에 해당하는 값을 1byte로 표현해낸 카메라
• 아날로그 카메라 : 1byte가 아닌 밝으면 하얗고 어두우면 검은색으로 표현하는 것

망막으로 한걸음 더!

사람의 망막은 Ganglion axons, Ganglion cell layer, Bipolar cell layer, receptor layer 4가지로 구성되어있다. 이 레이어는 다음과 같은 두가지 세포로 이루어져있다.

Cones 세포는 색상을 구분시켜주며 Rods 세포는 밝고 어두운 정도를 구분시켜준다. 

우리는 R(RED), G(Green), B(Blue) 를 조합하여 세상에 있는 모든 색을 볼 수 있으며 Cones 세포 또한 마찬가지로 3가지 종류로 나뉘어서 감지되는 빛을 통해 색을 구분할 수 있다.

Rods는 눈에 얼마나 많은 빛이 들어오는지 감지한다. 만약 우리가 극장 안에 들어가면 동공을 키워서 빛이 많이 들어오게 하고 밝은 곳에 나가면 동공을 줄여서 빛이 적게 들어오도록 한다. 갑자기 어둡거나 밝은 곳에 갔을 때 하나도 안보이거나 하얗게 보이는 현상은 rods 가 반응하면서 발생되는 현상이다.

획득과 표현

태양으로부터 나오는 빛의 스펙트럼은 매우 넓지만 인간이 인지할 수 있는 영역은 제한적이다. 가시광선은 400 ~ 700 나노미터 범위에 해당되며 보라색보다 작은 영역은 자외선, 빨간색보다 큰 영역은 적외선이라 부른다.

태양에서 빛이 들어와서 사물을 만나면 발생할 수 있는 현상에는 무엇이 있을까?

• Absorption : 빛이 흡수되는 경우 -> 빛(람다)가 들어왔지만 반사되는 빛이 없다.

• Diffusion : 빛이 여러가지 방향으로 흩어지는 경우 -> 반사되는 모든 빛을 합치면 들어온 빛과 동일하다.

• Specular Reflection : 빛을 받은 양만큼 그대로 반사시키는 경우 (입사각 == 반사각)-> 카메라의 색상이 이 경우에 해당된다.
• 디지털 영상처리에서는 우리가 사물을 통해 빛을 봤을 때 보이는 색상은 물체가 사물을 봤을 때 반사한 양과 동일하다고 가정한다.

• Transparency : 물체가 빛을 받았을 때 모두 투과시켜 버리는 경우

• Reflection : 물체가 두꺼울때 물체를 투과하는 빛에 회절이 생기는 경우
• 물이든 유리컵에 숟가락을 넣었을 때 휘어져서 보이는 현상을 떠올려보자! 물질의 밀도차에 따른 회절이 발생된다

• Fluorescence : 들어온 빛과 나가는 빛의 양이 다르다. (빛 일부가 흡수되었을 것이다)

• Subsurface scattering : 회절 + diffuse reflection이 동시에 일어난다
• 물체의 밀도가 달라서 회절이 발생되며 다양한 방향으로 난반사가 발생된다. 들어온 빛과 반사된 빛의 양은 동일하다.

• Phosphorescence : 빛을 받은 순간에 반사하는 것이 아닌 특정 시간 후에 반사하는 경우이다.
• 어느 물체는 열을 특정 온도에 도달하기 전까지는 반사하지 않다가 특정 온도 이후에 반사하는 경우가 있다!

• Interreflection : 광섬유에 많이 쓰인다 (전반사) 두 물체 사이에 지그재그 형식으로 반사시킨다.

30:00