[Computer Vision] Transform

지난 시간에 이어서 세가지 연산 중 기하 연산 (변환, Tranform)에 관하여 학습해본다. 영상에서 Tranform이 어떤 방법이 있고 어떻게 이루어지는지 이해해본다.

기하 연산

일정한 기하 연산으로 결정된 화소의 명암값에 따라 새로운 값 결정되는 것을 의미한다. 기하 연산은 어떤 함수 f를 활용하여 현재 (x, y) 위치의 명암값을 A를 B로 변환될 때  어떤 기하학적 연산을 갖고 변환되는가? 에 관하여 생각해본다!

영상처리에서의 기하 연산 종류

• Translation : 픽셀값을 평행 이동 시킨다.
• Rotation : 주어진 영상의 픽셀값을 각(세타) 만큼 회전시킨다.
• Aspect(Scale) : 확대, 축소시켜준다. 한쪽 방향 혹은 양쪽 방향으로 늘려준다,
• Affine : rotation과 translation이 동시에 발생한다. 그 때에 x, y축 평행에 대한 정보는 유지된다.
• Perspective : 3차원 정보가 2차원으로 투영된다고 사용하는데, affine 변환에서는 평행 정보가 유지되지만 perspective에서는 평행한 정보가 날아간다.

조금더 자세하게 구분해서 생각해보자! 파랑색 표시가 된 것이 원본 이미지이다.

• translation이 발생하면 x축과 y축 방향으로의 변환만 발생하기 때문에 Degree of freedom이 2이다.
• rigid는 모양은 바뀌지 않지만 이동과 회전만 발생한다. x, y축의 이동 및 세타 만큼의 회전이 있기 때문에 DOF가 3이 된다.
• similarity는 이동과 회전 뿐만 아니라 scale이 변하여 작거나 커지는 기능도 동작한다. 따라서 DOF가 4이다.
• affine은 서로 마주 보는 방향에 관한 평행성이 유지되며 이동, 회전, scale에 대한 변화가 포함되기 때문에 DOF가 6이다.
• projective는 위에서 언급한 모든 변화가 유지되지 않기 때문에 DOF 8이다. 가장 일반적인 변환이다!

Uniform한 스케일이란? x축 방향의 scale과 y축 방향의 스케일이 동시에 일정한 비율로 변화하는 것이다.

nonUniform한 스케일의 경우 x축 방향과 y축 방향에 대하여 한쪽 방향으로만 스케일이 변환된다. 원래의 모양과 달라지게 된다.

정리해보자!

위 연산에서 x축 방향으로 a만큼 변환시키고 y축 방향으로 b만큼 변환시킬 때 a == b가 동일하면 uniform, 다르다면 non-uniform 변환으로 작용한다!

x와 y픽셀에 대하여 각 세타만큼 변환한다고 할 때 위와 같은 관계식을 만족한다.정리하면 다음과 같은 방정식을 만족한다.

x, y라는 위치에서 세타만큼 움직였을 때 위치를 표현하는 방정식을 의미한다. 삼각함수는 각도에 따라 비선형적으로 변하는 함수이지만 새로운 위치값 x'과 y'이 cos, sin함수와 겹쳐서 선형조합의 형태로 나타내지고 있다. 또한 반대로 역함수를 계산할 수도 있다.

다른 변환 행렬을 소개해본다. Shear라는 특이한 행렬이 눈에 보인다. x' = a_x * y, y' = a_y * x 즉, x에 대하여 y에 대한 정보를 x축 방향으로.... 이게 뭔말이야!!!!!!!!! 직사각형 형태의 영상에서 한쪽 방향을 밀어서 평행사변형 모양으로 바꿔준다고 한다. [참조링크]

OpenCV 4로 배우는 컴퓨터 비전과 머신 러닝: 8.1.3 전단 변환

translate는 x' = x + t_x, y' = y + t_y 라는 관계식을 통해 표현하고 있다. Affine은 Scale, Shear, Rotate, Translate를 전부 포함한 변환을 표현한 것이다. a, b, d, e 는 scale + shear + rotation과 관련되었으며 c, f은 Translate와 관련되어있다.

다음을 보면 Affine 변환에서 a, b, d, e에 대하여 회전, 스케일 정보가 존재하며 c, f에 관하여 이동한다. 

line에 대한 정보는 line으로 parellel한 line은 계속 parellel을 유지하며 rotation도 유지하고 있다. 위 행렬의 경우 2x1의 행렬을 유지하고 있는데 출력에 대하여 입력의 형태를 유지하기 위해 행렬의 하단부에 1을 추가해주었다.

기존에 어파인 변환은 변환 행렬의 마지막 줄에 1을 추가해줘서 본래 평행한 정보를 유지해줬다면 projective translation의 경우 변환 행렬의 마지막 줄에 임의의 값을 넣어주어 평행한 정보를 유지 하지 않게 되었다.

병렬 라인, 로테이션에 관한 정보가 유지되지 않으며 본래 영상에서 8개의 좌표 정보가 어떻게 변환되었는지 알 수 있다면 영상에서의 perspective 변환 정보를 알 수 있다.

동차 좌표와 동차 행렬 (homogenous coordinate)

간단하게 생각하면 본래 좌표에 1이라는 정보를 포함시키는 것이다. 왜 포함시키는가? 1을 넣음으로써 rotation과 translation에 대한 정보를 한꺼번에 표현할 수 있기 때문에 한차원을 늘려서 표현한다.

이동과 회전을 동시에 표현할 수 있다. (두번의 행렬 곱셈은 비용이 큰 연산이다.)

연습 문제를 풀어보는 것이 좋다. x, y 좌표가 변환 되었을 때 어느 좌표로 이동했는지 알아보는 것이다. 

기하 연산에는 단점이 있을 수 있다. 연산을 어떻게 적용하냐에 따라 빈 화소가 발생되거나 두개값이 동시에 하나의 값으로 합쳐질 수 있다.

앨리어싱이 발생한다는 말의 의미는 비어있는 화소값이 생긴다. 안티 앨리어싱은 2개의 화소값이 하나의 화소값으로 매핑된다는 의미이다. 다시 생객해보면 비어있는 값을 어떻게 처리할지에 관하여 규칙을 정해줄 필요가 있다

만약 비어있는 화소의 경우 주변의 값들을 갖고 매꿔주고, 두개 이상의 값이 하나의 화소로 매핑되었다면 매핑된 2개 이상의 값을 갖고 평균을 내주는 방법을 생각해 볼 수 있을 것이다.

전방 기하변환, 변환 했을 때 영상 공간의 밖에 있는 점이라면 무시하고 내부에 있는 점이라면 매핑시켜줘야 한다. 매핑 했는데 비어있는 점이라면 주변값들을 활용하여 비어있는 값을 메꿔주며 두개 이상의 값이 하나로 매핑된 경우 동시에 매핑된 점들의 평균을 내는 방법을 사용해본다. 

보간은 영어로 interporation이다. 만약 어느 화소가 비어있다면 주변값들을 활용하여 비어있는 칸의 값을 메꿔주는 것이다.

양선형 보간이란 주변값들로 부터 얼만큼의 거리 비율을 갖고 있는지를 통해 명암값을 계산하는 방법이다. 영상에서는 2차원 공간이기 때문에 x축과 y축에 대한 비율을 고려하여 비어있는 값을 계산하게 된다.

영상이 회전된 경우 주변 값들에 대하여 비어있는 값이 생길 수 있다. 비어있는 영상에 대해 가장 가까이 있는 값을 갖고 채워 넣는 방법이 최근접 이웃이다. 양선형 보간은 한 축만 고려하여 값을 매꾼다. 양 3차 보간은 x, y축과의 비율을 계산하여 자연스럽게 매꿔주는 방법이다.

다해상도

다해상도는 해상도를 줄이거나 늘리는 연산을 의미한다. (scale변환) 예를 들어 고해상도의 이미지를 휴대전화의 해상도에 맞추어 줄이는 예시를 생각해볼 수 있다. 영상의 크기를 변환시키는 것은 화소수를 변환시키는 것이다.

업샘플링을 하는 경우 해상도를 정수배 늘리는 것을 의미하고 다운 샘플링은 1보다 작게 곱하여 해상도를 줄이는 것을 의미한다.

원본 이미지에 대하여 0.5배씩 다운샘플링하여 만든 다양한 해상도 이미지 셋을 피라미드 이미지라고 부른다. 다양한 스케일을 갖고 있는 이미지를 인식할 때 중요한 개념으로 사용된다.

해상도를 줄이면 앨리어싱 현상이 발생되기 마련이다. 샘플링을 해결하는 방법으로 왼쪽 좌표를 사용하여 줄이는 방법, 주변 픽셀로부터 멀고 가까움에 따라 가중치를 주어 계산하는 방법 등이 있다.

해상도를 줄이는 방법으로 Burt&Anderson 방법도 있다. 모든 화소에 대해 50%씩 고려할 수 있도록 한다. 거리 필터를 사용하여 컨볼루션연산을 적용하면 주변 명암값의 비율을 고려하면서 해상도를 줄여나갈 수 있다.

주의깊게 봐야할 점은 가로 세로에대해 절반씩 줄였기 때문에 해상도는 1/4씩 줄어든다.