Python은 교정을 위해 OpenCV를 사용합니다.

이 글은 주로 Python에서 교정을 위한 OpenCV의 사용을 소개합니다. 이제 이를 공유합니다. 필요한 친구들이 참고할 수 있습니다.

이 글은 공식 OpenCV 샘플을 결합하여 , 정상적으로 작동할 수 있도록 하고, 자체적으로 수집된 데이터에 대한 실험과 설명을 수행합니다.

1. 준비

OpenCV는 아래 그림과 같이 체커보드를 사용하여 교정을 수행합니다. 카메라를 보정하려면 일련의 3D 포인트와 해당 2D 이미지 포인트를 입력해야 합니다. 흑백 바둑판에서는 모서리 감지를 통해 2차원 이미지 포인트를 쉽게 찾을 수 있습니다. 현실 세계의 3차원 점은 어떻습니까? 수집하는 동안 우리는 카메라를 한 곳에 배치하고 체커보드 보정판을 다른 위치로 옮긴 다음 사진을 찍었습니다. 따라서 (X,Y,Z)의 값을 알아야 합니다. 하지만 간단히 말하면, 체커보드가 위치한 평면을 XY 평면, 즉 Z=0으로 정의합니다. 교정 보드의 경우 체커보드의 정사각형 크기(예: 30mm)를 알 수 있으므로 체커보드의 모서리 점 좌표를 (0,0,0), (30,0,0), (60, 0,0),..., 이 결과의 단위는 mm입니다.

3D 포인트를 객체 포인트라고 하고, 2D 이미지 포인트를 이미지 포인트라고 합니다.

2. 체커보드 모서리 점 감지

체커보드 템플릿을 찾기 위해 openCV에서 cv2.findChessboardCorners() 함수를 사용합니다. 또한 x와 y 방향에서 숫자가 다른 체커보드 템플릿을 사용하는 것이 좋습니다. 다음 실험에서는 10*7 체커보드를 사용합니다. 각 정사각형의 측면 길이는 20mm입니다. 즉, 내부 모서리가 9*6개 있다는 의미입니다. 이 함수가 템플릿을 감지하면 해당 꼭지점을 반환하고 true를 반환합니다. 물론 모든 이미지가 필요한 템플릿을 찾을 수 있는 것은 아니므로 보정을 위해 여러 이미지를 사용할 수 있습니다. 체커보드를 사용하는 것 외에도 도트 매트릭스를 사용할 수도 있으며 해당 함수는 cv2.findCirclesGrid()입니다.

모서리 점을 찾은 후 cv2.cornerSubPix()를 사용하여 보다 정확한 모서리 픽셀 좌표를 얻을 수 있습니다. 또한 cv2.drawChessboardCorners()를 사용하여 표시할 이미지에 모서리를 그릴 수도 있습니다. 아래 그림과 같이:

3. Calibration

위 단계를 통해 교정에 사용되는 3차원 점과 이미지에서 해당 2차원 점 쌍을 얻었습니다. 교정을 위해 cv2.calibrateCamera()를 사용합니다. 이 함수는 교정 결과, 카메라의 고유 매개변수 행렬, 왜곡 계수, 회전 행렬 및 이동 벡터를 반환합니다.

4. 왜곡 제거

세 번째 단계에서는 이미지 왜곡을 제거하기 전에 cv.getOptimalNewCameraMatrix()를 사용하여 내부 매개변수를 최적화할 수도 있습니다. 및 왜곡 계수를 설정하여 자유 스케일 계수 알파를 정의합니다. 알파가 0으로 설정되면 왜곡 제거 후 원치 않는 픽셀을 제거하는 잘린 내부 매개변수와 왜곡 계수가 반환됩니다. 알파가 1로 설정되면 추가 검은색 픽셀이 포함된 잘린 내부 매개변수와 왜곡 계수가 반환됩니다. 자르기에 대한 ROI.

그런 다음 새로 얻은 내부 매개변수 행렬과 왜곡 계수를 사용하여 이미지를 왜곡할 수 있습니다. 왜곡 제거에는 두 가지 방법이 있습니다.

(1) cv2.undistort()를 사용하세요.

위의 ROI를 직접 호출하면 왜곡이 제거된 이미지를 얻을 수 있습니다. 왜곡되지 않은 이미지를 얻으려면 잘립니다. 코드는 다음과 같습니다.

# undistort
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

아래 그림은 이미지의 왜곡을 제거하고 검은색 픽셀을 유지한 결과를 보여줍니다.

(2) remmaping 사용

2단계 방법입니다. , 먼저 왜곡된 이미지에서 왜곡되지 않은 이미지로의 매핑을 계산한 다음 이 매핑 관계를 사용하여 이미지를 왜곡합니다.
코드는 다음과 같습니다.

# undistort
mapx,mapy = cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w,h),5)
dst = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)

# crop the image
x,y,w,h = roi
dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

5. 역투영 오류

역투영 오류를 통해 결과의 품질을 평가할 수 있습니다. 0에 가까울수록 더 이상적인 결과입니다. 앞서 계산한 내부 매개변수 행렬, 왜곡계수, 회전행렬, 이동벡터를 통해 cv2.projectPoints()를 이용하여 3차원 점을 2차원 이미지에 투영한 후, 얻은 점 사이의 오차를 계산한다. 역투영과 영상에서 검출된 점, 마지막으로 모든 보정 영상에 대한 평균 오차를 계산하는데, 이 값이 역투영 오차이다.

Code

모든 단계의 코드는 다음과 같습니다.

#coding:utf-8
import cv2
import numpy as np
import glob

# 找棋盘格角点
# 阈值
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
#棋盘格模板规格
w = 9
h = 6
# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0)，去掉Z坐标，记为二维矩阵
objp = np.zeros((w*h,3), np.float32)
objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2)
# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = [] # 在世界坐标系中的三维点
imgpoints = [] # 在图像平面的二维点

images = glob.glob('calib/*.png')
for fname in images:
 img = cv2.imread(fname)
 gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
 # 找到棋盘格角点
 ret, corners = cv2.findChessboardCorners(gray, (w,h),None)
 # 如果找到足够点对，将其存储起来
 if ret == True:
  cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
  objpoints.append(objp)
  imgpoints.append(corners)
  # 将角点在图像上显示
  cv2.drawChessboardCorners(img, (w,h), corners, ret)
  cv2.imshow('findCorners',img)
  cv2.waitKey(1)
cv2.destroyAllWindows()

# 标定
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)

# 去畸变
img2 = cv2.imread('calib/00169.png')
h, w = img2.shape[:2]
newcameramtx, roi=cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),0,(w,h)) # 自由比例参数
dst = cv2.undistort(img2, mtx, dist, None, newcameramtx)
# 根据前面ROI区域裁剪图片
#x,y,w,h = roi
#dst = dst[y:y+h, x:x+w]
cv2.imwrite('calibresult.png',dst)

# 反投影误差
total_error = 0
for i in xrange(len(objpoints)):
 imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
 error = cv2.norm(imgpoints[i],imgpoints2, cv2.NORM_L2)/len(imgpoints2)
 total_error += error
print "total error: ", total_error/len(objpoints)

관련 권장 사항:

OpenCVcv::Mat의 데이터는 txt 파일에 기록됩니다

OpenCV cv.Mat 및 .txt 파일 데이터 읽기 및 쓰기 작업

위 내용은 Python은 교정을 위해 OpenCV를 사용합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!