[Computer Vision] Overview

Introduction

카메라를 통하여 입력된 사진/동영상을 컴퓨터가 이해(understand)하기 위한 분야

인간에게는 5가지 감각기관이 존재하며 아래와 같은 대응관계를 생각해볼 수 있다.

• 시각 => 눈 => 카메라
• 청각 => 귀 => 스피커
• 촉각 => 피부
• 미각 => 혀
• 후각 => 코

위 감각기관 중에서 시각은 가장 강력한 인지기능을 갖고 있다. 컴퓨터 비전은 컴퓨터(두뇌)를 이용하여 시각기능을 갖는 기계장치(카메라,눈)를 만드는 기술분야이다.

다시 정리하자면 카메라에서 들어오는 정보를 컴퓨터에서 이해하고 판단하고 패턴을 분류하는 분야가 컴퓨터 비전 분야이다. 현대에는 인공지능 기술과 융합하여 발전하고 있다.

다음과 같은 문제를 풀고자 한다.

• 이 영상이 어떤 종류의 영상인가?
• 주어진 영상에대한 의미론적인 분석(예: 자동차, 건물이 영상에서 어디에 위치하는가?)
• 어떤 3차원 적인 구조를 갖고 있는가?

영상에 있는 기차를 구분할 때 사람은 시각적 인지기능으로 쉽게 구분할 수 있지만 컴퓨터는 픽셀단위의 숫자만 가지고 구분해야하기 때문에 쉬운일이 아니다. 하지만 인공지능 기술이 발전되면서 이분야가 빠르게 발전하고 있다.

위 사진에서 중앙에 미국 국기가 있고 흑인, 백인, 백인, 흑인으로 인지되는 4명의 사람들이 존재한다는 것을 뽑아낼 수 있다. 위 사진이 모자이크 처리되어서 정확하지 않지만 이렇게 예측할 수 있었던 이유는 기존에 봐왔던 수많은 경험을 통해 정보를 이해하고 추출할 수 있었던 것이다.

주어진 영상에서 카메라가 추출하고자하는 정보는 의미론적 정보와 사진의 구조적 정보이다. 의미론적 정보(Semantic Information)는 주어진 영상에서 각각의 영역들이 어떤객체로 이루어져있는가를 인식하는 과정이고 사진의 구조적 정보(Geometric Information)는 영상은 2차원 정보이지만 2차원 정보에 담긴 3차원 정보가 어떤식으로 구성되어있는지 구별하는 것이다.

왜 컴퓨터 비전인가?

생활 속에서 많이 사용되고있다!

카메라로부터 상품의 라벨을 찍어서 상품을 구분할 때, Xbox에 키넥트를 연결해서 사용자와 게임을 상호작용할 수 있도록 구현할 때, 자율주행 자동차와 관련하여 자동차의 안전 사항을 구현할 때, 이 외에도 의료, 안전, 오락 등의 분야등 카메라가 쓰이는 모든 분야에서 컴퓨터 비전을 활용하고 있다.

자율주행 자동차와 관련하여 이스라엘의 Mobileye라는 회사가 전세계의 완성차에 차선, 장애물 인식 등을 납품하고있다.

컴퓨터 비전 문제는 어떻게 해결하나?

과학적 접근과 공학적 접근

사람의 눈을 모방한다! 사람의 시각은 빠르고 매우 강건하다(robust)! 강건하다는 말은 조명, 장애물, 악천후와 같은 날씨에 영향을 받지 않고 잘 볼 수 있다는 의미이다. 하지만 카메라는 인간의 눈처럼 만들 수 없기 때문에 소프트웨어를 통해 해결하려고 연구해나가고 있으며 이와 관련하여 과학적 접근과 공학적 접근으로 해결해나가고 있다.

• 과학적 접근: 사람의 시각에 맞먹는 인공 시각을 만든다.
• 공학적 접근: 한정된 범위에서 특정한 임무를 달성하는 인공시각을 만든다.

과학적 접근법으로 문제를 해결하는 것이 어렵기 때문에 공학적 접근방법으로 차선이나 번호판만을 잘 인식하는 인공시각을 만들어서 한정된 범위에서 주어진 특수한 임무를 잘 수행하도록 만들게 된다. 공학적 접근법은 많은 응용 현장에서 사용되고 있다. (엔진 실린더 정밀 측정, 칩 검사 등)

계층적 처리 문제 해결 도구

사람처럼 인식하고 하나의 분야에서 능력을 발휘할 수 있으려면 어떤 처리를 해야하는가? 인간의 눈에 들어와서 시신경을 거쳐 뇌로 전달되는 과정처럼 다음과 같은 계층적 처리방법이 필요하다.

Low level processing

카메라 영상에 있는 잡음, 외곡을 제거하여 깨끗한 이미지를 만들기위하여 영상처리(image processing)라는 전처리 과정을 수행하게되며 이를 통해 의미있는 정보를 추출하게 된다.

High level processing

전처리된 영상을 가지고 인식, 추적, 분류, 구분(segmentation)하는 행위를 의미한다.

이번 학기에는 위 두가지 모두 다룬다!

시스템 설계

위 내용을 구현하기위해 다음과 같은 도구들을 활용한다.

자료구조와 알고리즘

• 배열, 트리, 그래프, 힙, 해싱, 탐색 트리 등
• Greedy, Dynamic Programming, 한정 분기 등
• 고속 처리가 주된 관심

수학

• 선형대수, 미적분학, 확률과 통계 등
• 최적화 문제 풀이

기계 학습

• 기계 학습을 활용하는 사례 급증
• 신경망, SVM, 에이더부스트, 임의 숲 등

인접 학문

컴퓨터 비전 분야는 다른 분야와 상호 협력이 강해지는 추세이다.

작게는 Image Processing, Feature Matching, Recognition 분야를 의미하지만 다음과 같은 다양한 분야와 연결되어서 연구되고 있다.

Challenges

컴퓨터 비젼으로 왜 사람처럼 만들기 어려운가?

첫번째 문제는 Viewpoint variation 측면의 과제이다. 즉, 컴퓨터는 어떻게 보는가에 따라 인식을 못할 수 있다. 사람은 위 사진 처럼 회전하는 등의 다른 측면으로 물체를 바라보아도 모두 같은 물체임을 알아볼 수 있다. 사람의 시각은 강건하기 때문이다.

하지만 컴퓨터는 0 ~ 255의 값으로 구성된 픽셀 단위로 영상을 바라보기 때문에 회전하거나 다른 방향으로 이미지를 보았을 때 배열값이 달라지므로 두 이미지를 비교할 때 구분하기 어려워 한다.

두번째는 illumination 측면의 과제이다. 컴퓨터 비젼 분야에서 가장 큰 약점이기도 하다. 사람의 눈은 빛의 정보를 수집하여 뇌로 전달하는 역할을 하는데 카메라도 마찬가지로 빛의 정보를 저장하여 컴퓨터에 넘겨주는 역할을 한다. 즉, 사람의 눈과 카메라 둘다 빛이 있다는 가정하에 동작하고 있는 것이다.

빛이 없으면 어떤 정보도 얻을 수 없으며 주변 조명 상황에 따라 다른 색으로 보이는 것들은 모두 카메라의 특성이자 약점이다. 이와 같은 약점 속에서도 위 이미지에서 펭귄이 6마리가 존재한다는 것을 구분하고 인식할 수 있는 시스템을 만들어야하는 것이 컴퓨터 비젼이 풀어야하는 미션이다.

세번째는 Scale 측면에서의 과제이다. 사람은 배경에있는 물체의 크기에 따라 대상물체의 크기를 상대적으로 정하는 특징이 있다. 예를 들어 위 이미지에서 아기와 성인이 들고있는 노트북의 크기는 동일하지만 서로 다른 크기를 갖고있는 것처럼 보인다. 카메라도 마찬가지로 상대적인 정보를 받아오기 때문에 이 문제를 어떻게 해결하는 가도 컴퓨터 비젼의 과제이다.

네번째는 Deformation 측면에서의 과제이다. 위 이미지에는 서로다른 형태를 가진 말의 모습이 등장하고 있다. 인간은 물체의 모양이 변하더라도 과거의 경험을 비추어 모두 같은 말이라는 점을 이해할 수 있다. 형태가 변하는 물체에 대해서도 강건하게 종류를 구분해낼 수 있어야 한다.

다섯번째는 Occlusion, clutter 측면에서의 과제이다. 위 이미지에서는 얼룩말이 보이는데 일부분이 가려져있고 겹쳐져있는 형태를 보인다. 이와 같은 조건에서도 컴퓨터는 물체를 잘 구분할 수 있어야 한다.

여섯번째는 Motion 측면에서의 과제이다. 위 이미지에서는 고개를 흔들고 있는 새 한마리가 보이며 마치 고개를 흔드는 모습이 블러 효과가 적용된 것처럼 보인다. 이유는 카메라의 셔터가 눌리는 것보다 물체가 움직이는 속도가 더 빠르면 이와 같은 현상이 발생한다. 이와 같은 조건 속에서도 컴퓨터 비젼 기술은 물체를 구분해낼 수 있어야 한다.

일곱번째는 Object intra-class variation이다. 예를들어 의자를 다리가 4개 달려있고 등받이와 받침이 달려있는 것으로 정의하면 위 이미지 상에서 의자로 정의할 수 없는 예가 존재한다. 하자만 과거의 경험을 통해 위와 같은 예시가 모두 의자임을 알 수 있기 때문에 컴퓨터에게도 다양한 모습을 가르칠 필요가 생겼다.

여덣번째는 Local ambiguity이다. 사진이 자세하게 보이지 않아도 과거의 경험을 통해서 물체가 무엇을 하려는지 알 수 있다. 예를들어보자!

위 이미지는 흐려서 명확하지 않지만 과거의 경험에 비추어 보았을 때 책상위에 모니터, 키보드, 마우스가 있으며 그 책상앞에 전화하고 있는 사람이 앉아있다는 것을 알 수 있다.

하지만 실제 이미지에서는 예측과는 다를 수도 있다. 상황과 행동을 종합적으로 이해하는 것이 중요하다. 이처럼 컴퓨터 비젼에서는 모호한 영상에서 그 물체가 무엇일지 예측하는 문제를 푸는 것이 미션이다.

아홉번째는 Inherent ambiguity 이다. 위 이미지에는 큰 호박과 날아다니는 나비가 보이고 있다. 하지만 전자는 원근법을 이용한 트릭이며 후자는 삼차원 모습의 나비를 흉내낸 2차원 그림의 트릭이다. 이 트릭이 적용될 수 있었던 이유는 3차원 정보가 날아간 2차원 정보를 카메라가 캡처하기 때문이다. 이런 상황에서도 컴퓨터 비전은 문제를 풀어내야 한다.

컴퓨터는 위와 같은 문제를 알고리즘을 통하여 해결해내는 분야이다! 어떤 방식으로 문제를 풀어가게 되는지 살펴보자!

Opportunities

첫번째는 Linear perspective 이다. 앞서 소개한 것처럼 카메라가 갖고 있는 가장 큰 약점은 조명환경에 취약하고 3차원 정보를 잃어버리고 2차원 정보만 갖고 있는 것이다.

하지만 우리는 위 이미지를 보았을 때 어디가 앞쪽이고 어디가 뒷쪽인지 이해할 수 있다. 다시말해 2차원이지만 3차원으로 이해할 수 있다는 의미이다. 어떻게 가능할까? 바로 위 이미지에서 모든 라인이 한 소실점으로 모이기 때문이다.

두번째는 Aerial perspective 이다. 아래의 사진을 살펴보자!

어떤 나무가 앞에 있고 뒤에 있는지 구분할 수 있다. 카메라에 가까운 쪽은 짖은 색깔을 갖고 있지만 카메라와 먼쪽은 옅은 색깔을 갖고 있기 때문이다. 이와 같이 영역에 대한 투영이 달라진다는 특징을 이용해서 3차원 구조를 해석할 수 있게 된다.

세번째는 Texture gradient 이다. 아래의 사진에서 우리는 가뭄진 땅과 악어를 구분지어 이해할 수 있다.

가뭄으로 인해 만들어지는 teture 정보와 악어의 texture 정보가 다르기 때문에 구분할 수 있었던 것이며 이 또한 정보를 구분할 수 있는 특징 중 하나이다.

네번째는 Shading 이다. 아래의 이미지에서는 어느 조각상 하나가 보이고 있다.

위 이미지에서 찾아볼 수 있는 입체적 구조는 조각상이 음각인지 양각인지 구분짓는 것이다. 우리는 그림자의 방향을 통해 양각인지 음각인지 이해할 수 있으며 컴퓨터도 마찬가지로 이 특징을 활용하여 입체구조를 파악할 수 있다.

다섯번째는 Cast shadows 이다. 다음 이미지에보이는 사람은 잔디위에 떠있는 것일까? 한번 고민해보자!

우리는 직관적으로 사람이 잔디 위에 떠있음을 이해할 수 있다. 왜냐하면 사람과 그림자가 서로 붙어있지 않기 때문이다. 그림자를 활용하면 사진의 입체 구조를 손쉽게 이해할 수 있다.

*여섯번째는 Similarity (color, texture, proximity)이다. *아래의 사진에서 잔디와 꽃을 사람은 손쉽게 구분할 수 있다.

잔디와 꽃을 구분할 수 이유는 두 물체가 갖고있는 색상, 질감 정보가 서로 다르기 때문에 구분할 수 있으며 이를 통해 사진을 이해할 수 있다.

*일곱번째는 Common Fate 이다. *아래의 사진을 보면 여러 마리의 낙타 무리가 보인다.

인간은 이 사진을 보고 총 몇마리의 낙타가 존재하는지 이해할 수 있다. 낙타가 갖고 있는 모양의 정보를 갖고 개수를 세어보는 것이다.

사실 이미지를 생각해보면 위와 같이 수많은 Variation을 갖고 있다. 수많은 문제들이 있었음에도 불구하고 Computer Vision 분야가 발전할 수 있었던 사유는 주어진 사진으로부터 보여지는 것처럼 형태, 색상, 질감, 그림자, 영역, 선에 대한 정보를 활용하여 문제를 하나씩 해결해 나가고 인공지능을 결합하여 사람보다 더 훌륭한 인공 시각을 만들어나가고 있다.

학습을 위한 자원

앞으로 수업을 들으면서 3차원 정보를 얻기위해 어떻게 문제를 해결해나가는지에 관하여 다음과 같은 생각을 해보면서 이해해보자!

• Line 정보를 어떻게 뽑을 것인가?
• 사람의 눈에 보이는 것처럼 가까운 영역과 멀리 떨어진 영역을 어떤 알고리즘을 통해 구분해낼 것인가?
• 텍스처 정보를 이해할 때 gradient 를 뽑아내는데 어떤 수학적인 논리와 알고리즘을 통해서 악어의 영역 만큼을 뽑아낼 수 있는가?
• 조명 환경을 통해 어떻게 3차원 정보를 재구성할 수 있는가?
• 색상 정보를 이용해서 어떻게 물체를 구분하고 그 물체가 무엇인지 이해할 수 있는가?

교수님의 권장 사항으로 강의에 그치지 않고 꼭 책을 읽어보라고 하셨다! 이 수업은 한빛아카데미 컴퓨터 비젼 책을 사용한다.

컴퓨터 비전이 무엇이고 약점은 무엇이며 어떻게 해결하였는지 정리해보았다. 다음시간에는 어떻게 카메라로 부터 영상이 투영되는지에 관한 빛 카메라 영상간에 상관관계에 대해 배워보도록 할 것이다!