本文将介绍在Ubuntu下利用Python来调用Dlib和OpenCV，来实现目标跟踪。
opencv是计算机视觉界最常用的库，Dlib是一个很好用的开源C ++工具包，其中包含很多机器学习以及其他算法。 它被广泛应用于行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。而且它还有python接口，这使得它简直就是我这种C++编程能力比较弱渣渣的福音（PS：C++还是要好好学的！本人在此立flag！）。
环境配置
系统：ubuntu16.04.2
opencv3.2.0（Ubuntu下opencv的安装如果有疑问，参见我《Ubuntu16.04 OpenCV安装笔记》一文）
Dlib19.4（下载地址http://dlib.net/files/dlib-19.4.tar.bz2）
ubuntu下Dlib的安装参见它源码根目录下的“README.md”，介绍得比较详细，无非也就是Cmake->make->make install……，唯一一点就是要安装它的python接口，安装完后，打开python，import dlib 没错就说明OK了。
Dlib
Dlib官网（http://dlib.net/）上是有很详细的Dlib函数使用介绍的，因为我现阶段主要用Python调用它，所以只看官网上的Examples: Python和Python API
本文主要用到的时Python API中的dlib.correlation_tracker类，里面有关于各个函数的详细介绍。
目标跟踪
先贴代码，看效果：
import os
import glob
import cv2
import dlib
# Path to the video frames
video_folder = os.path.join("..", "examples", "video_frames")
# Create the correlation tracker - the object needs to be initialized before it can be used
tracker = dlib.correlation_tracker()
selection = None
track_window = None
drag_start = None
def onmouse(event, x, y, flags, param):
global selection,track_window,drag_start
if event == cv2.EVENT_LBUTTONDOWN:
drag_start = (x, y)
track_window = None
if drag_start:
xmin = min(x, drag_start[0])
ymin = min(y, drag_start[1])
xmax = max(x, drag_start[0])
ymax = max(y, drag_start[1])
selection = (xmin, ymin, xmax, ymax)
if event == cv2.EVENT_LBUTTONUP:
drag_start = None
track_window = selection
selection = None
def main():
cv2.namedWindow('image',1)
cv2.setMouseCallback('image',onmouse)
# We will track the frames as we load them off of disk
for k, f in enumerate(sorted(glob.glob(os.path.join(video_folder, "*.jpg")))):
print("Processing Frame {}".format(k))
img_raw = cv2.imread(f)
image = img_raw.copy()
# We need to initialize the tracker on the first frame
if k == 0:
# Start a track on the object you want. box the object using the mouse and press 'Enter' to start tracking
while True:
img_first = image.copy()
if track_window:
cv2.rectangle(img_first,(track_window[0],track_window[1]),(track_window[2],track_window[3]),(0,0,255),1)
elif selection:
cv2.rectangle(img_first,(selection[0],selection[1]),(selection[2],selection[3]),(0,0,255),1)
cv2.imshow('image',img_first)
if cv2.waitKey(10) == 10:
break
tracker.start_track(image, dlib.rectangle(track_window[0], track_window[1], track_window[2], track_window[3]))
else:
# Else we just attempt to track from the previous frame
tracker.update(image)
# Get previous box and draw on showing image
box_predict = tracker.get_position()
cv2.rectangle(image,(int(box_predict.left()),int(box_predict.top())),(int(box_predict.right()),int(box_predict.bottom())),(0,0,255),1)
cv2.imshow('image',image)
cv2.waitKey(10)
cv2.destroyAllWindows()
if __name__ == '__main__':
main()
该py文件放在dlib-19.4/python_examples中，视频文件（其实是每帧的图片）在dlib-19.4/examples/video_frames中。
程序运行后，会显示出第一帧，用鼠标框一个要跟踪的物体：
框好后按回车进行跟踪：
代码分析
用opencv的鼠标GUI操作来在第一帧框住要跟踪的目标，这只需要在显示框上设置一个回调函数，来返回鼠标框到的框的坐标。
根据框好的框确定要跟踪的目标物体，并传入tracker.start_track中。
按回车进行跟踪 ，之后用tracker.update(image)来追踪当前帧。tracker.get_position()返回追踪到的框，但要注意的是返回的这个框的数据类型时Dlib中的drectangle，不能直接传给我们显示所用的Opencv函数，所以我们通过drectangle操作函数来将框的坐标信息读出来（关于dlib.drectangle，详细信息去Python API中查）。
最后根据跟踪得到的框在图片显示时框出来就好了。
总结一下，使用 dlib.correlation_tracker分四步：
1.用dlib.correlation_tracker()创建一个跟踪类
2.start_track中设置图片中的要跟踪物体的框
3.update()中输入要跟踪的下一帧图片
4.get_position()得到跟踪到的目标在新一帧中框的位置