<화소처리>
화소의 값이 오버플로우 되지 않기 위해 saturate_cast<uchar>() 을 사용한다.
ex) saturate_cast<uchar>(img.at<uchar>(r.c) + 30);
영상의 밝기를 증가시키는 convertTo() 함수
ex) img.convert(oimage, -1, 1, 30); 1은 알파로 곱하기, 30은 베타로 더하기를 나타낸다.
이진화
double threshold(InputArray src, OutputArray dst, double thresh, double maxval, int type)
매개 변수
설명
src
입력 영상. (1채널이어야 한다)
dst
출력 영상
thresh
임계값(이 값을 기준으로 이진화 된다.)
maxval
가능한 최대 출력값
type
이진화 종류, 보통 THESH_BINARY
선형영상합성
ex) addWeighted(src1, alpha, src2, beta, 0,0, dst);
논리적인 영상 합성
ex) bitwise_and(평범한 사진, 검정색 배경에 하얀색 도형이 그려져 있는 사진, dst)
앤드 연산으로 인해 하얀색 도형의 부분만 평범한 사진의 일부를 나타낸다.
<히스토그램>
히스토그램
- 관측 값의 개수를 겹치지 않는 다양한 계급으로 표시하는 것
장점: 화소값들의 분포를 한눈에 볼 수 있다.
히스토그램 스트래징
- 히스토그램의 분포가 좁아서 영상의 대비가 좋지 않은 영상의 화질을 개선할 수 있는 알고리즘
히스토그램 평활화
- 화소값의 분포를 나타내는 히스토그램이 균일하게 되도록 변환하는 처리이다.
ex) equalizeHist(src,dst)
threshold에서 CV_THRESH_BINARY | CV_THRESH_OTSU
<공간 필터링>
공간 필터링
- 인접 화소들의 값을 참조하여 화소의 값을 변경하는 처리
컨벌루션
- 중심 화소의 값을 인접 화소값들의 가중 합으로 대체하는 연산이다.
자신에게 필요하여 선택된 정보를 전경, 배후에 있는 제외된 정보를 배경이라고 부른다.
미분 - 함수의 순간 변화율
평균값 필터링
ex) blur(src, dst, Size(11, 11));
가우시안 필터링
ex) GaussianBlur(src, dst, Size(i, i), 0, 0);
샤프닝(sharpening)
- 출력화소에서 이웃 화소끼리 차이를 크게 해서 날카로운 느낌이 나게 만드는 것
- 영상의 세세한 부분을 강조할 수 있으며, 경계 부분에서 명암대비가 증가되는 효과
- 블러링은 부드러운 영상을 만듦. 명함대기가 감소
샤프닝 마스크
- 마스크 원소들의 값 차이가 커지도록 구성
- 마스크 원소 전체합이 1이 되어야 입력영상 밝기가 손실 없이 출력영상 밝기로 유지
에지 검출
에지는 영상에서 화소의 발기가 급격하게 변하는 부분이다.
밝기 변화율: 에지의 강도
기울기: 에지의 방향
그래디언트(gradient, 변화율)
- 그래디언트 방향은 경계선에 수직
1차 미분을 이용한 에지 검출
Roberts, Prewitt, Sobel
샤르 마스크(Scharr Mask)
소벨 연산자의 단점: 작은 크기의 커널을 사용할 때 정확도가 떨어짐. 큰 커널인 경우는 어느 정도 극복
3x3짜리 필터를 사용해서 영상측정값을 구할 땐, 항상 사용해야
2차 미분 마스크
라플라시안 에지 검출
LoG(Laplacian of Gaussian)
- 라플라시안은 노이즈에 민감한 단점
- 따라서, 먼저 노이즈를 제거 후 라플라시안을 수행 -> 노이즈에 강한 에지 검출이 가능
DoG(Difference of Gaussian)
-단순한 방법으로 2차 미분 계산
-가우시안 스무딩 필터링의 차이를 이용해서 에지를 검출하는 방법
주성분 분석
캐니 에지 검출
1. 블러링을 통한 노이즈 제거 (가우시안 필터링)
2. 화소 기울기(gradiant)의 강도와 방향 검출(소벨 마스크)
3. 비최대치 억제(non-maximum suppression)
4. 이력 임계값(hysteresis threshold)으로 에지 결정
Canny(src_image, detected_edges, lowThreshold, highThreshold, kernel_size);
입력 영상
출력 영상
하위 임계값
상위 임계값
3(내부적으로 사용되는 Sobel 마스크의 크기)로 정의한다.
<기하학적 변환>
기하학적 변환(geometric trasfortation)은 영상을 이동하거나 영상의 모양을 변형하는 처리
영상의 정확한 인식을 위해 기하학적 변환이 필요하다
역방향 사상
목적영상의 좌표를 중심으로 역변환을 계산하여, 그 좌표에 해당하는 입력 영상의 좌표를 찾아서 화소값을 가져오는 방식
역방향 사상 -> 영상을 축소할 때에 오버랩의 문제가 발생한다.
해결책: 보간법이 필요
목적영상에서 홀의 화소들을 채우고, 오버랩이 되지 않게 화소들을 배치하여 목적영상을 만드는 기법
최근접 이웃 보간법
변화된 위치와 가장 가까운 화소값을 사용하는 방법
선형 보간 사용하는 이유
최근접 이웃 보간법은 확대비율이 커지면, 모자이크 현상 혹은 경계부분에서 계단현상 발생
직선의 선상에 위치한 중간 화소들의 값은 직선의 수식을 이용해서 쉽게 계산
양선형 보간법 - 선형 보간을 두 번에 걸쳐서 수행하기에 붙여진 이름
warpAffine (src, dst, M, dsize, flags = INTER_LINEAR)
M: 어파인변환 행렬
INTER_NEAREST = 0 // 최근접 보간법
INTER_LINEAR = 1 // 양선형 보간법
INTER_CUBIC = 2 // 3차 보간법
int main()
{
Mat src = imread("d:/lenna.jpg", IMREAD_COLOR);
Mat dst = Mat();
Size dsize = Size(src.cols, src.rows);
Point center = Point(src.cols / 2.0, src.rows / 2.0);
Mat M = getRotationMatrix2D(center, 45, 1.0);
warpAffine(src, dst, M, dsize, INTER_LINEAR);
imshow("Image", src);
imshow("Rotated", dst);
waitKey(0);
return 1;
}레나라는 사진이 45도 회전하게 된다.
원근감(Depth Feeling)
동일한 크기의 물체라도 시점으로부터 멀리 있는 것은 작게 보이고 가까운 것은 크게 보임
소실점(VP: Vanishing Point)
원근투상 결과 평행선이 만나는 점(시점 높이)
warp: 경사
warpPerspective(src, dst, M, dsize)
입력 영상
3x3 변환 행렬
dsize 출력 영상의 크기
int main()
{
Mat src = imread("d:/book.jpg");
Point2f inputp[4];
inputp[0] = Point2f(30, 81);
inputp[1] = Point2f(274, 247);
inputp[2] = Point2f(298, 40);
inputp[3] = Point2f(598, 138);
Point2f outputp[4];
outputp[0] = Point2f(0, 0);
outputp[1] = Point2f(0, src.rows);
outputp[2] = Point2f(src.cols, 0);
outputp[3] = Point2f(src.cols, src.rows);
Mat h = getPerspectiveTransform(inputp, outputp);
Mat out;
warpPerspective(src, out, h, src.size());
imshow("Source Image", src);
imshow("Warped Source Image", out);
waitKey(0);
}
결과
<모폴로지> - 형태학
- 영상의 객체들의 형태(shape)를 분석하고 처리하는 기법
- 영상의 경계, 골격, 블록 등의 형태를 표현하는데 필요한 요소 추출함
- 영상 내에 존재하는 객체의 형태를 조금씩 변형시킴으로써 영상 내에서 불필요한 노이즈 제거하거나 객체를 뚜렷하게 함
침식 연산
- 객체를 침식시키는 연산
- 객체의 크기를 축소, 배경을 확장
- 영상 내에 존재하는 노이즈 같은 작은 크기의 객체 제거가 가능
- 소금-후추 노이즈와 같은 임펄스 노이즈를 제거
erode: 침식하다
int main()
{
Mat src, dst, erosion_dst, dilation_dst;
src = imread("d:/test.png", IMREAD_GRAYSCALE);
threshold(src, dst, 127, 255, THRESH_BINARY);
imshow("dst", dst);
Mat element = getStructuringElement(MORPH_RECT,
Size(3, 3),
Point(-1, -1));
erode(dst, erosion_dst, element);
imshow("Erosion Demo", erosion_dst);
waitKey(0);
return 0;
}결과를 통해 침식이 더 심해진 것을 확인할 수 있다.
팽창 연산
객체를 팽창시키는 연산
- 객체의 최외곽 화소를 확장시키는 기능 -> 객체 크기가 확대, 배경이 축소
- 객체 팽창으로 객체 내부의 빈 공간도 메워짐
-> 객체 내부 노이즈 제거
열림 연산
침식 연산 -> 팽창 연산
int main()
{
Mat input_image = (Mat_<uchar>(8, 8) <<
0, 0, 0, 0, 0, 255, 0, 0,
0, 255, 255, 255, 0, 0, 0, 0,
0, 255, 255, 255, 0, 0, 255, 255,
0, 255, 255, 255, 0, 255, 255, 255,
255, 255, 255, 0, 0, 255, 255, 255,
0,0, 0, 0, 255, 255, 255, 255,
0, 0, 0, 0, 255, 255, 255, 0,
0, 0, 0, 0, 0, 0, 0, 0 );
Mat kernel = (Mat_<int>(3, 3) <<
1, 1, 1, 1, 1, 1, 1, 1, 1);
Mat output_image;
morphologyEx(input_image, output_image, MORPH_OPEN, kernel);
const int rate = 50;
resize(input_image, input_image, Size(), rate, rate, INTER_NEAREST);
imshow("Original", input_image);
resize(output_image, output_image, Size(), rate, rate, INTER_NEAREST);
imshow("Open", output_image);
waitKey(0);
return 0;
}
닫힘 연산
- 팽창 연산 -> 침식 연산
- 팽창 연산으로 객체가 확장되어서 객체 내부의 빈 공간이 메워짐
- 침식 연산으로 다음으로 확장되었던 객체의 크기가 원래대로 축소
형태학적인 그라디언트
외각선 추출
외곽선을 추출하려면 먼저 영상에 침식 연산을 적용한다. 앞에서 설명한 바와 같이 영상 내의 물체는 한 화소 축소된다.
그 다음에 원 영상에서 침식 영상을 뺀다. 그 결과는 물체의 외곽선만을 보여주는 영상이 된다.
int main()
{
Mat src, dst, open, close;
src = imread("d:/letterj.png", IMREAD_GRAYSCALE);
imshow("src", src);
Mat element = getStructuringElement(MORPH_RECT, Size(5, 5));
morphologyEx(src, open, MORPH_GRADIENT, element);
imshow("Gradient Demo", open);
waitKey(0);
return 0;
}
골격화
골격화는 골격선을 구하는 연산
간단하지만 결과가 좋지 않은 경우가 다수 있다.
<컬러 영상 처리>
BGR 영상에서 B, G, R을 분리하여 윈도우에 표시하려면 -> split() 함수를 사용한다.
int main()
{
Mat image;
image = imread("d:/rcube.jpg", CV_LOAD_IMAGE_COLOR);
Mat bgr[3];
split(image, bgr);
imshow("src", image);
imshow("blue", bgr[0]);
imshow("green", bgr[1]);
imshow("red", bgr[2]);
waitKey(0);
return 0;
}
cvtColor(src, dst, code);
src : 입력영상
dst: 출력 영상
code: 색상 공간 변환 코드이다.
COLOR_BGR2HSV: BGR 컬러 모델을 HSV 컬러 모델로 변경한다.
#include "opencv2/opencv.hpp"
#include <iostream>
using namespace cv;
using namespace std;
int main()
{
Mat img = imread("d:/lenna.jpg");
Mat img_color;
applyColorMap(img, img_color, COLORMAP_HOT);
imshow("img_color", img_color);
waitKey(0);
}
컬러를 통한 객체 분할
int main()
{
Mat img = imread("d:/image1.jpg", IMREAD_COLOR);
if (img.empty()) { return -1; }
Mat imgHSV;
cvtColor(img, imgHSV, COLOR_BGR2HSV);
Mat imgThresholded;
inRange(imgHSV, Scalar(100, 0, 0),
Scalar(120, 255, 255), imgThresholded);
imshow("Thresholded Image", imgThresholded);
imshow("Original", img);
waitKey(0);
return 0;
}
크로마키 기법
크로마키 합성(Chroma Key Composing)은 색조를 이용하여 2개의 영상 또는 비디오 스트림을 합성하는 기술이다.
int main()
{
Mat img = imread("d:/chroma.jpg", IMREAD_COLOR);
Mat img2 = imread("d:/beach.png", IMREAD_COLOR);
Mat converted;
cvtColor(img, converted, COLOR_BGR2HSV);
Mat greenScreen = converted.clone();
inRange(converted, Scalar(60-10, 100, 100), Scalar(60+10, 255, 255),
greenScreen);
Mat dst, dst1, inverted;
bitwise_not(greenScreen, inverted);
bitwise_and(img, img, dst, inverted);
bitwise_or(dst, img2, dst1, greenScreen);
bitwise_or(dst, dst1, dst1);
imshow("img", img);
imshow("green", greenScreen);
imshow("dst", dst);
imshow("dst1", dst1);
waitKey(0);
return 0;
}
<주파수 영역 처리>
헤르츠(Hz)
주파수를 표현하는 단위, 1초 동안에 진동하는 횟수
영상처리에서는 공간 주파수(spatial frequency)개념 사용
확장된 의미에서 주파수
이벤트가 주기적으로 재발생하는 빈도
공간 주파수 - 밝기의 변화 정도에 따라서 고주파 영역 / 저주파 영역으로 분류
저주파 공간 영역
- 화소 밝기가 거의 변화가 없거나 점진적으로 변화하는 것
- 영상에서 배경 부분이나 객체의 내부에 많이 있음
고주파 공간 영역
- 화소 밝기가 급변하는 것
- 경계부분이나 객체의 모서리
고주파 성분 제거한 영상 -> 경계 흐려진 영상
고주파 성분만 취한 영상 -> 경계나 모서리만 포함하는 영상 즉, 에지 영상
푸리에 변환
- 시간에 따라 변화하는 함수를 분해하여 그 안에 들어있는 주파수 성분을 추출하는 변환
