阿里雲首推免費人臉識別SDK 讓每個APP輕鬆擁有短視頻AR特效

軟件 科技 雲棲社區 雲棲社區 2017-09-29

早在今年五月,阿里雲已經推出了短視頻解決方案。近日,阿里雲再次率先顛覆行業,在業內首推免費的人臉識別SDK,結合其原有的短視頻能力,大大降低了人臉識別+AR特效+短視頻的入行門檻。

你所知道的人臉識別行業

提到人臉識別,大家會聯想到商業支付、身份識別、廣告投放、人機交互、系統公安等等眾多生活場景。雖然這項技術的研究始於20世紀60年代,但是在近年這個課題才愈發活躍。以日常生活中比較常見的場景——社交互動為例,通過人臉識別、AR特效、動圖元素的支持,可以幫助用戶打破社交壁壘,更立體化、個性化、趣味化的表達自我和分享生活點滴。

市面上已經有的人臉識別SDK多數費用高昂,動輒幾十萬,而某些廠商號稱免費,其實也是基於網絡API的調用,並不適合在移動端錄製短視頻時使用,也就無法應用在社交場景之中。這讓很多想在APP中添加短視頻AR特效的團隊望塵莫及。

阿里雲聯合手淘 推出人臉識別免費SDK

阿里雲通過整合集團資源,將手淘團隊自研的人臉識別SDK和阿里雲短視頻SDK深度融合,真正做到了不依賴於網絡API的實時檢測、識別、跟蹤。

目前,官網上的專業版短視頻SDK已經擁有了手淘自研的人臉識別功能,實現了人臉識別+AR動態貼紙的完整體驗,結合原有的短視頻採集、導入裁剪、編輯、合成、極速上傳、媒資管理、視頻轉碼、分發加速、播放等全鏈路能力,阿里雲可以為創業者們提供一站式解決方案,讓每個APP輕鬆實現短視頻AR新玩法。

阿里雲首推免費人臉識別SDK 讓每個APP輕鬆擁有短視頻AR特效

關鍵技術介紹及算法性能測速

我們來看看具體的應用場景和技術是怎樣的,用戶在客戶端進入拍攝畫面後,可以自行選擇搭配動態貼紙等個性化素材,實現AR特效,使短視頻打造出科幻、賣萌、惡搞等不同的效果。其中主要涉及到的是人臉檢測、關鍵點定位、追蹤等核心技術。

第一, 人臉的檢測是用於定位視頻中的人臉,同時檢測多張人臉和處理多角度、部分遮擋人臉等複雜情況也在這一步妥善處理,從而快速、準確的找到人臉。

第二, 人臉的關鍵點定位,則是用於已知人臉所在位置的基礎上,自動標註人臉的輪廓、五官位置,比如眼睛、鼻子、嘴巴、眉毛、耳朵等關鍵位置。阿里雲提供人臉識別關鍵點個數多達68個,可以更準確的追蹤五官,保證用戶的體驗。

第三, AR特效美化,根據已知的關鍵點位置,搭配上用戶所選的動態貼紙,並根據捕捉不同的面部動作來變換AR特效,達到真實互動。

第四, 人臉追蹤,視頻是動態而非靜止的,當用戶臉部移動、轉動時,阿里雲SDK可以實現對關鍵點的追蹤,可識別姿態範圍為yaw±60°,pitch±45°,roll±45°,精準的捕捉動作,持續追蹤動態貼紙和AR特效。

阿里雲人臉識別SDK具有準確度高的特性,通過68個關鍵點檢測和以上技術,實現平均錯誤率低於 5%,出現“對不上”這種尷尬場面的概率極低。據悉,阿里雲未來也會推出商業版人臉識別的高級功能,滿足更高級客戶的需求。

在性能方面,阿里雲人臉識別算法和其它廠商算法在測速上的區別如下:

阿里雲首推免費人臉識別SDK 讓每個APP輕鬆擁有短視頻AR特效

注:以上測試480p的最小人臉尺寸為48*48(px);720p的最小人臉尺寸為72*72

從上表可以看出,本人臉識別算法在同樣機型、同等測試對象的條件下,測速表現大幅優於業內友商。經過阿里雲集團手淘億級日活躍用戶產品的考驗,性能方面毋庸置疑。由於該算法也應用於手淘相關業務之中,所以後續的迭代、維護都會有強有力的保障。

阿里雲人臉識別SDK的免費開放,給短視頻行業帶來了無限的可能性。基於阿里雲,創業者和用戶們都有了更多新鮮的玩法,創新機遇隨之而來,希望整個行業能產生更多元、更深入的探索。

相關推薦

推薦中...