功能要求:
我們需要從手機前置攝像拍攝臉部,實時讀取13~17個臉部關鍵點的動作位置,和頭部的方向,然后經過處理,把每個點的動作轉換成角度,通過藍牙或串口輸出這些數據數組。
采集效果類似iPhoneX的Animoji,或者參考app “活照片”
活照片這個app基本包含了我們所需要的所有功能,但我們不需要對圖片做處理,而是需要輸出臉部各個部位的角度變化
比如嘴巴完全閉上是0,完全張開是180,眼睛閉眼是0,瞪眼是180, 還有嘴角咧嘴是0,撅嘴是180,等等
項目要求:
單頁或2~3個頁面的APP,打開手機的前端攝像頭,開始捕捉臉部動作,通過連接usb串口后發送數據。
(這里可以使用類似Face++的SDK,或者其他同類面部動作捕捉程序都可以)
攝像需要取得13~17個關鍵點的位移數據,
分別是,左右眉毛的高低位移,左右上下眼皮的位移,左右嘴角的前后上下位移,下巴的位移(嘴部張合),這是13~17個動作點,還有頭部方向的前后左右。
這些數據采集到之后,算出一個相對轉動角度,然后把這些數據通過藍牙或串口傳輸一個數組。
[44, 44, 148, 148, 40, 40, 75, 92, 75, 92, 53 ]
類似這樣的,每秒25幀輸出數據。(不知道什么原因,目前藍牙傳輸延遲嚴重,如果無法解決藍牙延遲,可以用串口聯usb)
其他要求:
APP帶有麥克風收音并實時變音播放功能(如果不能實時變聲就錄播),功能同樣參考“活照片”APP.
備注:
在目前程序上進行改進,目前已經有一個用于試驗的app樣品,但線程,算法,功能都有問題,采集數據時手機發熱嚴重,而且無法達到實時傳輸的效果,而且采集的數據也經常錯誤,跳幀。
需要修改或從新寫,需要達到“Animoji”或“活照片”的同等效果。