[Computer Vision] Image Processing - Part 2

개요

Image Formation 3차원 공간상의 데이터가 빛 에너지를 통해 2차원 이미지로 투영되면서 어떤 물리적, 수식적 관계가 있는지 이해해보자!

디지털 영상이 만들어지는 과정

• 태양에서는 모든 방향으로 빛이 발산하며 그중 일부의 빛이 물체의 P 부분에 도달한다.
• 물체는 reflection 원리에 따라 P에 들어온 빛을 입사각과 반사각이 동일하도록 반사시킨다.
• 반사된 빛은 렌즈를 통과하여 카메라 영상 평면(CCD, CMOS, 필름)의 특정 지점 P'에 도달한다.

어떤 개념에 주목해야 하는가?

• 물체 P 지점의 3차원 좌표가 영상 평면에 2차원 좌표로 어떻게 투영되며 어떤 상황을 갖고있는가?

[용어 정리]

• L : P -> P' 방향으로 날아가는 빛 에너지 양
• E : P' 에 맺히는 빛에너지의 양
• f : (focal length) 렌즈와 카메라 영상 사이에 거리
• z : 렌즈의 중심과 사물 사이에 거리
• d : 렌즈의 크기
• a : 각도

L 과 E 사이의 상관 관계를 f, z, d, a 파라미터를 통해 생각해보자!

1. 물체로부터 반사된 L은 a값이 작을수록 영상 평면 E에 온전하게 전달될 것이다. (a가 작으면 L과 E는 비례 관계)
2. 렌즈의 크기 d가 클수록 3차원 공간의 빛은 영상 평면에 잘 투영될 것이다. (d가 크면 L과 E는 비례 관계)
3. focal length가 커지면 빛이 영상 평면을 벗어날 가능성이 높을 것이다. (f가 크면 L과 E는 반비례 관계)
4. 물체가 렌즈와 가까운 거리에 위치해야 영상이 더 잘 맺힐 것이다. (d가 크면 L과 E는 비례 관계)

위 관계를 수식으로 표현하였다!

[예시] 스포츠 방송에서는 망원랜즈를 사용하여 촬영하는 모습이 흔하게 보인다. 망원렌즈는 카메라와 렌즈사이에 긴 focal length를 갖도록 설계되었을까? -> 내가 원하는 데이터를 자세하게 볼 수 있기 때문이다.

위 이미지는 CCD, CMOS 센서를 통해 빛이 픽셀값으로 바뀌는 과정을 정리한 것이다.

1. L을 통해 날라온 빛이 E값으로 CMOS 센서를 때린다. 위에 언급된 L과 E 사이의 관계를 만족한다.
2. shutter를 통해 조리개가 닫히기 직전까지 빛을 누적시킨다. 빛이 없으면 0, 많으면 하얗게 날라감
3. 아날로그 데이터로 들어온 값을 0부터 255까지 값으로 quantization 시킨다.
4. 위 내용을 흑백영상으로 표현하여 나타낸 Z값이 영상에 보이는 빛의 양이다.

[참고]
우리가 보는 물체의 색깔은 다른 주파수에 해당되는 값은 흡수하고 보이는 주파수 값만 반사하기 때문에 물체의 색으로 보이는 것이다.

3차원 영상과 2차원 영상 사이 수식적 관계

Perspective projection

르네상스 시대에는 사실적인 그림을 그리기 위해 3차원 정보와 2차원 그림에 관계를 줄자를 활용하여 표현하였다.

pro·jec·tion
1.(현 상황을 근거로 한 규모·비용·양 등의) 예상 2.투사, 투영, 영사; (투사된) 영상3.투사도, 투영도

3차원 공간 정보가 카메라 렌즈를 통해 2차원 공간 영상 평면에 투영된다.

핀홀 카메라 모델처럼 빛이 한 점에 모여서 투영되어 상이 맺히기 때문에 사람의 눈의 관점에서 2차원 평면에 투영된다는 의미로 Perspective Projection이라고 불린다.

카메라가 Perspective Projection 을 사용했을 때 잃어버리는 정보가 존재한다.

1. 카메라와 물체 사이에서 어느 정도의 거리가 떨어져 있는지에 관한 정보가 사라진다.
2. 하나의 점으로 모이기 때문에 평행한 정보가 사라진다.

위에 보이는 2D 이미지를 보았을 때 벽에 나무 모양의 액자가 걸려있는지 창문 밖에 나무가 보이는 것인지 구분할 방법이 없다.

2차원 평면의 x와 3차원 공간의 X에 대하여 focal length와 z를 활용한 삼각비 계산을 통해 좌표 관계를 표현할 수 있다. 결과는 위에서 보이는 것처럼 2차원 평면의 좌표는 focal length에 비례하고 z에 반비례하는 관계를 갖고 있다.

• 3차원 좌표와 2차원 좌표 사이의 관계를 Perspective projection matrix가 나타내준다.
• focal length 값에 따라 투영되는 범위 혹은 양이 달라질 수 있다.
• 3차원 정보가 2차원 정보로 줄어들어서 z값 정보가 사라졌다.

평행한 기찻길이 소실점으로 모이고 있다

카메라의 영상 평면과 평행한 선의 경우 평행하게 보이는 특수한 경우가 있다!

 수평선이 평행하게 보인다

흥미로운 현상!

위 그림을 림을 보면 서로 다른 크기의 오브젝트가 선을 따라 놓여진 것 처럼 보인다. 하지만 사실 모두 동일한 크기를 갖고 있으며 소실점이 주는 입체감 (perspective line) 에 의해 우리는 다른 크기인 것 마냥 착각하는 것이다.

디지털 영상으로 만들자!

• 영상 평면에 픽셀 개수를 M*N 개수로 디지털화 한다. (100만화소는 M*N이 100만개의 픽셀을 만족하는 경우)
• ccd, cmos에 들어오는 빛의 단계를 총 L 단계로 나누어서 표현한다. (일반적으로 256단계로 양자화 한다)

좌표가 있다면 좌표계도 생각해보아야 한다!

흑백 영상은 하나의 영상 평면만 존재하지만 컬러 영상은 RGB에 따른 3가지 영상평면을 조합하여 나타낸다.

영상은 숫자 배열을 활용하여 표현하는 경우가 많다!