基於mtcnn與facenet實現人臉登入系統
- 藏色散人原創
- 2019-01-04 10:49:448124瀏覽
本文主要介紹了系統涉及的人臉檢測與識別的詳細方法，該系統基於python2.7.10/opencv2/tensorflow1.7.0環境，實現了從攝像頭讀取視頻，檢測人臉，識別人臉的功能，即基於mtcnn/facenet/tensorflow 實現人臉辨識登入系統。
由於模型檔案過大，git無法上傳，整個專案原始碼放在百度雲端磁碟
位址：https://pan. baidu.com/s/1TaalpwQwPTqlCIfXInS_LA
#人臉辨識是電腦視覺研究領域的熱點。目前，在實驗室環境下，許多人臉辨識已經趕上（超過）人工辨識精度（準確率：0.9427~0.9920），例如face ,DeepID3，FaceNet等（詳情可以參考：基於深度學習的人臉辨識技術綜述）。
但是，由於光線，角度，表情，年齡等多種因素，導致人臉辨識技術無法在現實生活中廣泛應用。本文基於python/opencv/tensorflow環境，採用FaceNet（LFW：0.9963 ）為基礎來建構即時人臉偵測與辨識系統，探索人臉辨識系統在現實應用上的困難點。
下文主要內容如下：
1.利用htm5 video標籤開啟攝影機擷取頭像並使用jquery.faceDeaction元件來粗略偵測人臉
# 2.將人臉影像上傳到伺服器，採用mtcnn偵測人臉
3.利用opencv的仿射變換對人臉進行對齊，保存對齊後的人臉
4.採用預先訓練的facenet對檢測的人臉進行embedding，embedding成512維度的特徵；
5.對人臉embedding特徵創建高效的annoy索引進行人臉檢測
#人臉採集
採用html5 video標籤可以很方便的實現從攝像頭讀取視頻幀，下文代碼實現了從攝像頭讀取視頻幀，faceDection識別人臉後截取圖片上傳到伺服器功能在html檔案中加入video，canvas標籤
<div class="booth">
<video id="video" width="400" height="300" muted class="abs" ></video>
<canvas id="canvas" width="400" height="300"></canvas>
</div>開啟網路攝影機
var video = document.getElementById('video'),var vendorUrl = window.URL || window.webkitURL;
//媒体对象
navigator.getMedia = navigator.getUserMedia || navagator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia;
navigator.getMedia({video: true, //使用摄像头对象audio: false //不适用音频}, function(strem){
video.src = vendorUrl.createObjectURL(strem);
video.play();
});利用jquery的facetDection元件偵測人臉
$('#canvas').faceDetection()
偵測出人連臉的話截圖，並把圖片轉換為base64的格式，方便上傳
context.drawImage(video, 0, 0, video.width, video.height); var base64 = canvas.toDataURL('images/png');
將base64格式的圖片上傳到伺服器
//上传人脸图片
function upload(base64) {
$.ajax({
"type":"POST",
"url":"/upload.php",
"data":{'img':base64},
'dataType':'json',
beforeSend:function(){},
success:function(result){
console.log(result)
img_path = result.data.file_path
}
});
}圖片伺服器接受程式碼，php語言實作
function base64_image_content($base64_image_content,$path){
//匹配出图片的格式
if (preg_match('/^(data:\s*image\/(\w+);base64,)/', $base64_image_content, $result)){
$type = $result[2];
$new_file = $path."/";
if(!file_exists($new_file)){
//检查是否有该文件夹，如果没有就创建，并给予最高权限
mkdir($new_file, 0700,true);
}
$new_file = $new_file.time().".{$type}";
if (file_put_contents($new_file, base64_decode(str_replace($result[1], '', $base64_image_content)))){
return $new_file;
}else{
return false;
}
}else{
return false;
}
} 人臉偵測
人臉偵測方法有許多，像是opencv自帶的人臉Haar特徵分類器和dlib人臉偵測方法等。對於opencv的人臉偵測方法，有點是簡單，快速；存在的問題是人臉偵測效果不好。正面/垂直/光線較好的人臉，此方法可以偵測出來，而側面/歪斜/光線不好的人臉，無法偵測。
因此，此方法不適合現場應用。對於dlib人臉偵測方法 ，效果好於opencv的方法，但偵測力度也難以達到現場應用標準。
本文中，我們採用了基於深度學習方法的mtcnn人臉偵測系統（mtcnn：Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Neural Networks）。
mtcnn人臉偵測方法對自然環境中光線，角度和人臉表情變化更具有穩健性，人臉偵測效果更好；同時，記憶體消耗不大，可以實現即時人臉偵測。
本文中採用mtcnn是基於python和tensorflow的實作（程式碼來自於davidsandberg，caffe實作程式碼參考：kpzhang93）
model= os.path.abspath(face_comm.get_conf('mtcnn','model'))
class Detect:
def __init__(self):
self.detector = MtcnnDetector(model_folder=model, ctx=mx.cpu(0), num_worker=4, accurate_landmark=False)
def detect_face(self,image):
img = cv2.imread(image)
results =self.detector.detect_face(img)
boxes=[]
key_points = []
if results is not None:
#box框
boxes=results[0]
#人脸5个关键点
points = results[1]
for i in results[0]:
faceKeyPoint = []
for p in points:
for i in range(5):
faceKeyPoint.append([p[i], p[i + 5]])
key_points.append(faceKeyPoint)
return {"boxes":boxes,"face_key_point":key_points}具體程式碼參考fcce_detect.py
#人臉對齊
有時候我們截取的人臉了頭像可能是歪的，為了提升檢測的質量，需要把人臉校正到同一個標準位置，這個位置是我們定義的，假設我們設定的標準偵測頭像是這樣的
#假設眼睛，鼻子三個點的座標分別是a(10,30 ) b(20,30) c(15,45)，具體設定可參考config.ini檔案alignment區塊設定項目
採用opencv仿射變換進行對齊,取得仿射變換矩陣
dst_point=【a,b,c】 tranform = cv2.getAffineTransform(source_point, dst_point)
仿射變換:
img_new = cv2.warpAffine(img, tranform, imagesize)
具體程式碼參考face_alignment.py檔案
產生特徵
對齊得到後的頭像，放入採用預先訓練的facenet對檢測的人臉進行embedding，embedding成512維度的特徵，以(id,vector)的形式保存在lmdb檔案中
facenet.load_model(facenet_model_checkpoint)
images_placeholder = tf.get_default_graph().get_tensor_by_name("input:0")
embeddings = tf.get_default_graph().get_tensor_by_name("embeddings:0")
phase_train_placeholder = tf.get_default_graph().get_tensor_by_name("phase_train:0")
face=self.dectection.find_faces(image)
prewhiten_face = facenet.prewhiten(face.image)
# Run forward pass to calculate embeddings
feed_dict = {images_placeholder: [prewhiten_face], phase_train_placeholder: False}
return self.sess.run(embeddings, feed_dict=feed_dict)[0]具體程式碼可參考face_encoder. py
人臉特徵索引:
人脸识别的时候不能对每一个人脸都进行比较，太慢了，相同的人得到的特征索引都是比较类似，可以采用KNN分类算法去识别,这里采用是更高效annoy算法对人脸特征创建索引，annoy索引算法的有个假设就是，每个人脸特征可以看做是在高维空间的一个点，如果两个很接近(相识)，任何超平面 都无法把他们分开，也就是说如果空间的点很接近，用超平面去分隔，相似的点一定会分在同一个平面空间（具体参看:https://github.com/spotify/annoy）
#人脸特征先存储在lmdb文件中格式(id,vector),所以这里从lmdb文件中加载
lmdb_file = self.lmdb_file
if os.path.isdir(lmdb_file):
evn = lmdb.open(lmdb_file)
wfp = evn.begin()
annoy = AnnoyIndex(self.f)
for key, value in wfp.cursor():
key = int(key)
value = face_comm.str_to_embed(value)
annoy.add_item(key,value)
annoy.build(self.num_trees)
annoy.save(self.annoy_index_path)具体代码可参看face_annoy.py
人脸识别
经过上面三个步骤后，得到人脸特征，在索引中查询最近几个点并就按欧式距离，如果距离小于0.6（更据实际情况设置的阈值）则认为是同一个人，然后根据id在数据库查找到对应人的信息即可
#根据人脸特征找到相似的
def query_vector(self,face_vector):
n=int(face_comm.get_conf('annoy','num_nn_nearst'))
return self.annoy.get_nns_by_vector(face_vector,n,include_distances=True)具体代码可参看face_annoy.py
安装部署
系统采用有两个模块组成：
face_web：提供用户注册登录，人脸采集，php语言实现
face_server: 提供人脸检测，裁剪，对齐，识别功能，python语言实现
模块间采用socket方式通信通信格式为: length+content
face_server相关的配置在config.ini文件中
1.使用镜像
face_serverdocker镜像: shareclz/python2.7.10-face-image
face_web镜像: skiychan/nginx-php7
假设项目路径为/data1/face-login
2.安装face_server容器
docker run -it --name=face_server --net=host -v /data1:/data1 shareclz/python2.7.10-face-image /bin/bash cd /data1/face-login python face_server.py
3.安装face_web容器
docker run -it --name=face_web --net=host -v /data1:/data1 skiychan/nginx-php7 /bin/bash cd /data1/face-login; php -S 0.0.0.0:9988 -t ./web/
最终效果：
face_server加载mtcnn模型和facenet模型后等待人脸请求
未注册识别失败
人脸注册
注册后登录成功
感谢PHP中文网热心网友的投稿，其GitHub地址为：https://github.com/chenlinzhong/face-login
以上是基於mtcnn與facenet實現人臉登入系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！