간단하게 다음과 같이 4개의 버튼으로 구성할 것이다. Edge Detection 버튼을 누르면 이전에 구현했던 Edge 검출기 화면이 그대로 보이면 된다. 나머지는 곧바로 해당 기능을 실행한다. 레이아웃은 매우 간단하니 별도로 코드에 대해서 언급하지 않는다. (첨부파일 참고)

activity_main.xml

styles.xml

AndroidManifest.xml

메인 메뉴

메인 메뉴를 위한 MainActivity를 생성한다. 각 버튼을 눌렀을 때 해당 기능을 동작할 액티비티를 시작하는 간단한 역할을 한다. 액티비티 시작 시 넘겨주는 데이터는 기능 구별을 위해서 필요한 정보다.

MainActivity.java

MainActivity.java 중

이 정도로 메인 메뉴는 쉽게 구성을 끝낸다.

2. Gray 카메라 필터

Gray 카메라 실행 화면

Gray 카메라와 실시간 얼굴 검출은 모두 카메라를 사용하기 때문에 같은 액티비티에서 처리하도록 한다. 카메라에서 받은 Mat 데이터를 기반으로 하기 때문이다.

activity_camera.xml

CameraActivity.java

OpenCV에서 카메라를 사용하는 방법은 안드로이드 Camera API보다 쉽다.

CameraBridgeViewBase.CvCameraViewListener2란 리스너를 implements 하면 다음 3개의 함수를 오버 라이딩해야 한다.

onCameraViewStarted() : 카메라 프리뷰가 시작되면 호출된다.

onCameraViewStopped() : 카메라 프리뷰가 어떤 이유로 멈추면 호출된다.

onCameraFrame() : 프레임 전달이 필요한 경우에 호출된다.

카메라 프리뷰를 보여줄 뷰는 OpenCV에서 제공되는 JavaCameraView라는 클래스를 사용한다. 해당 클래스 객체 mCameraView를 생성하면 다음과 같이 뷰를 보여주도록 설정하고 리스너를 설정하고 enableView()를 하면 된다. setCameraIndex()는 전면/후면 카메라를 설정하는 함수이다. 파라미터가 0이면 후면이고 1이면 전면이다.

mCameraView.setVisibility(SurfaceView.VISIBLE);
mCameraView.setCvCameraViewListener(this);

mCameraView.enableView();

mCameraView.setCameraIndex(0);

enableView()는 다음과 같이 onResume()에서 OpenCV 라이브러리가 로딩되었는지 확인한 후 사용한다. OpenCV가 호출되기 전에 사용하면 당연히 문제가 발생하여 앱이 죽는다.

CameraActivity.java - onResume()

카메라를 통해서 Mat 데이터인 프레임을 수신한다. rgba()는 RGBA Mat을 리턴하는 함수이다. 컬러 데이터이기 때문에 Gray로 변환해주기 위해서 ConvertRGBtoGray() 함수를 사용한다.

CameraActivity.java - onCameraFrame()

그러나 사실 프레임을 받을 때 rgba()가 아닌 gray() 함수로 받을 수도 있다. 이름 그대로 gray scale Mat을 리턴하는 함수이다. 그러면 별도로 변환할 필요가 없는 것이다. 즉 다음과 같이 구현이 가능하다.

inputFrame.gray()로 프레임 수신

mMode는 메인 메뉴에서 액티비티 실행 시 전달한 정보이다. Gray 카메라 실행 시 2를 넘겨주었다.

3. 실시간 얼굴 검출

얼굴 검출 실행 화면

얼굴 검출을 하기 위해서는 일단 스마트폰에 haarcascade_frontalface_default.xml 파일을 넣어야 한다.

해당 파일은 OpenCV-android-sdk\sdk\etc\haarcascades 내에 있다.

haarcascade_frontalface_default.xml

해당 파일에 대한 경로를 설정해야 하기 때문에 내장 메모리 최상단에 넣어두는 것이 편하다.

CameraActivity.java - detectFace()

실시간 얼굴 검출을 위한 함수는 detectFace()이다. Gray 카메라를 위한 프레임 컨버터 함수를 실행했던 onCameraFrame() 내부에서 호출하면 된다. 왜냐하면 실시간 얼굴 검출을 위해서 카메라에서 받아오는 프레임 정보가 필요하기 때문이다.

얼굴 검출에 있어서 주요 함수는 detectMultiScale()이다. 여기에서 사용된 원형은 다음과 같다.

public void detectMultiScale(Mat image, MatOfRect objects, double scaleFactor, int minNeighbors, int flags, Size minSize)

각 파라미터의 의미는 다음과 같다.

image : 카메라에서 가져온 프레임을 가공하여 검출하고자 하는 대상이 있는 확인하기 위한 원본 이미지

objects : 검출된 객체를 포함한 직사각형의 벡터

scaleFactor : 이미지 피라미드에서 사용되는 scale 계수 값

minNeighbors : 이미지 피라미드에서 슬라이딩 윈도우가 대상을 검출한 횟수가 지정한 값 이상이면 유효

flags : 구 버전 OpenCV에서 필요

minSize : 검출하려는 이미지의 최소 사이즈로 해당 값보다 작으면 무시

scaleFactor와 minNeighbors 파라미터는 (적어도 나에겐) 다소 생소한 개념이다.

두 파라미터를 이해하기 위해서는 영상 처리에서 스케일(scale)이란 개념부터 알아야 한다. 스케일이 크다는 것은 우리가 숲을 볼 때 숲 전체를 보는 것이고 스케일이 작다는 것은 망원경을 통해서 숲의 특정 부분을 확대해서 보는 것이라고 생각하면 된다. 다음 그림을 보면 이해가 쉬울 것이다.

스케일 크다 vs 작다

이미지에서 어떤 객체를 검출할 때 기본적으로 여러 가지 스케일에 대해 분석한다. 이때 필요한 여러 스케일을 만들어 내는 기준이 되는 값이 scaleFactor 인자이다. 원본 이미지의 스케일을 크게 만들기 위해서 이미지 크기를 1/(scaleFactor)^n씩 축소한다. 이미지가 작아질수록 한눈에 전부 들어온다. 이 말은 곧 숲 전체를 볼 수 있다는 의미이고 스케일이 크다는 뜻이다.

이런 식으로 여러 스케일의 이미지를 모은 것을 이미지 피라미드(image pyramid)라고 한다. 그러면 고정된 크기의 윈도우를 기준으로 하여 각 스케일의 이미지 내부를 이동하며 전체를 탐색한다. 이때 사용되는 윈도우를 슬라이딩 윈도우(sliding window)라고 한다.

이미지 피라미드에는 여러 스케일 이미지가 있다. 그 스케일 이미지들 중에서 슬라이딩 윈도우가 이동하며 찾고자 하는 대상을 모든 이미지에서 찾을 수는 없을 것이다.

이미지 피라미드 & 슬라이딩 윈도우

위 그림을 보자. 슬라이딩 윈도우의 꽃 이미지와 유사한 것을 찾기 위해 윈도우는 이미지 내부에서 이동할 것이다. 가장 좌측 이미지는 스케일이 작기 때문에 디테일하게 꽃 이미지만 특정하기 어렵다. 우측으로 이동할수록, 즉 스케일이 커질수록 검출 가능성이 높아진다.

이렇게 여러 스케일 이미지에서 최소 몇 번이나 검출이 되어야 실제로 유효한 결과라고 판단할지 정하는 값이 minNeighbors이다. 예를 들어 minNeighbors가 3이라면 여러 스케일의 이미지 중에서 최소 3번 검출되어야 찾고자 하던 대상이 맞다고 판단하는 것이다.

첨부파일 참고해서 코드를 완성하여 실행하면 다음과 같이 잘 동작한다. 얼굴이 아닌 부분도 얼굴로 인식을 하고 사람이 많으면 전부 인식하지 못하는 등의 문제점은 있었다.