在7月28日的「QingCloud Insight 2017」上，麥思博（msup）組織了主題為“AI落地實踐”的專場論壇。Hulu北京研發中心研究總監 周涵寧 在本場帶來了題為《人工智能在視頻網站推薦系統中的應用》的演講。
演講中，周涵寧介紹了影響推薦系統效果的主要因素，找到優化目標的方法，例如降低用戶嘗新成本和提升用戶對於系統的信任。在找到基於用戶場景推薦的關鍵因素後，以直播為例，找到解決冷啟動的問題，其中重點分享了基於元數據的遷移學習，以及基於內容理解的推薦這兩部分和人工智能相關的實踐。
本文為早餐君根據速記整理而成，在不改變講者原意的情況下做了編輯和縮略。特別緻謝青雲QingCloud、麥思博（msup）、Hulu北京研發中心的貢獻。
周涵寧，現任Hulu北京研發中心研究總監（Hulu是全美第二大付費在線視頻平臺）。帶隊推薦、搜索和數據科學團隊。具有15年的產品研發、創新和團隊管理經驗。專注於應用數據和算法實現從0到1的產品落地。在數據分析和機器學習方面有豐富的經驗。
以下為周涵寧的演講內容。
首先介紹下Hulu，它是美國的視頻網站，在美國所有付費視頻裡排在第二。在中國有一個研發中心在北京，現在大概有170位工程師、研究員和項目經理。
說到視頻，其實在互聯網發明之前就有賣碟的店，裡面也有一個簡單的推薦系統，店主會把他覺得最好的劇放在最顯眼的位置，互聯網就是用數字化的方式去實現了過去手工的模式，生成個性化的頻道。
每個劇看完後推薦的一系列劇都跟他看的歷史有關。當人數足夠多的時候，可以通過大量用戶的行為之間發現一些共性，然後去訓練這個模型。
影響推薦系統效果的主要因素
今天要講優化目標、用戶場景、冷啟動、用戶體驗。
優化目標有一些互相沖突的地方。對於用戶，希望既能看到喜好相關又多樣的內容。對於視頻網站，希望用戶看得越多越好，隨片廣告就會有收入。
這是一個商業化的過程。視頻網站推薦的內容，只是為了（吸引）用戶持續看，但是對他未必有幫助，這是一個致命的矛盾。做研究的人會迴避這些問題，我們只是想讓用戶看得更多。用一個簡單的量化指標，用戶在視頻裡觀看的時長，就是想要優化的目標。
講講方法，早在10年以前亞馬遜就實現了基於物品相似性的協同濾波，理由是買過這個商品的用戶也看過別的商品或者買過另外的商品，內在的是基於物品的協同濾波，記錄的是一個二維矩陣，物品是列，用戶是行。
對Hulu來說，記錄的是用戶看了多少分鐘的劇，另外一個用戶看了多少分鐘。根據每個劇在不同的用戶裡統計到的數據，就可以知道這個劇和那個劇是很相近的，因為很多類似的用戶都看了相似的時間，根據列跟列之間相似性比較，就可以得到劇跟劇之間的關係，對於一個劇，馬上就可以找到這個劇的近鄰，這是一個非常傳統的方式。
大概在8年以前舉辦的一百萬美元獎金競賽（RecSys），獲獎團隊主要依靠引入了一種叫矩陣分解的方法，在剛才的矩陣基礎上把稀疏矩陣不少的缺失數據做了填補，這些填的數據有一定優化的目標。效果如何呢？只能通過線上實驗來測，至少在RecSys比賽裡效果很好。
Hulu引入了這種方法，但在Hulu的場景裡面很少有用戶真正評分，於是把評分換成了觀看時長，並且做了規劃，長和短的劇都看了五分鐘，這個觀看時長在做積分體系的時候就設計好了。最終，Hulu採用了一種叫作隱式反饋的矩陣分解的方法。在對觀看時長的統計裡，採用這種算法後效果提升很明顯。
我們的下一代推薦引擎想要使用神經網絡，在去年頂級學術會議ICML2016、RecSys2016發表了兩篇論文，就是用CF-NADE的方法，參考了文本里面的方法把它用到了用戶行為，將用戶的歷史行為看成一個文本，基於CF-NADE建立模型，預測用戶未來的觀看。（注：具體參考Hulu去年發佈的論文 鏈接：http://tech.hulu.com/blog/2016/08/01/cfnade.html）
基於用戶場景的推薦
用戶會在不同的地方看劇，有的是在手機，有的是在客廳，可能在不同的城市。剛才只是使用了用戶觀看歷史，如果把觀看時長再加上地點、設備和城市，又可以進一步提高對他觀看的預測，推薦效果也會有提升。我們是用CTR（點擊到達率）的指標來衡量，因為用戶有可能錯點，錯點之後很快彈出，這就不算真正的CTR，有用的點擊才能算。
剛才講了優化和貨架的場景，主要用了三種方法：物品相似性的協同濾波、矩陣分解、基於神經網絡。
還有另一種完全不同的場景：用戶不斷地看劇。這是一個序列推薦，我們對此定義了幾種不同的行為，包括：觀看、搜索、瀏覽，用戶在這個網站做的所有事情，最後會形成一個軌跡，帶上時間，分析它，背後有一些用戶的潛在意圖在裡面，比如如果不停地在瀏覽但是都不點，其實他可能在找新鮮的東西。他開始點了一下但是觀看時長不長，就是隨便在採樣，哪個劇最喜歡看，真的開始一集一集接著看的時候，這個就叫追劇。根據用戶的歷史和時間戳，可以判斷他的意圖。
基於這一系列數據，我們用神經網絡的方法又訓練了一個模型，結合歷史的所有行為，預測在當前時間他到底會幹什麼事，然後在界面上推出最適合他幹下一件事情的界面，包括看劇，包括瀏覽，動態地預測用戶會做的下一件事。
用戶冷啟動和基於元數據的遷移學習
剛才講的所有東西都體現在點播裡。Hulu在今年5月份上線了一款直播產品，跟國內的直播有點不一樣，它是把電視臺的高質量內容採購進來，你看到它播的跟電視上同步的直播內容，裡面比較火的是新聞、體育、脫口秀。
對於直播推薦有獨特的挑戰，在節目真的出來之前，可能只有幾天時間，可以預先知道它要播什麼，也沒有任何用戶的歷史行為，就遇到用戶冷啟動的問題。
我們要用一些在點播服務中的用戶行為去預測用戶對完全沒有看過的內容的喜好，當然我們對這些內容也有一些其他的信息，包括當時的熱度和元數據，我們通過這些信息解決冷啟動問題。
說到內容理解，剛才那些都是出版商、電視臺所提供，只是冰山最頂尖的小角，視頻劇的元數據還有很多。關於視頻的語義描述，我們有自己的分析方法。Hulu去年收購了一家叫VGP的公司，它可以採集到視頻劇裡的語義標籤，比如這是一個80年代的牛仔秀，裡面有槍戰鏡頭。
Hulu也有這些技術和做法，我們把描述標籤放到冷啟動框架裡面從而推出更多的細節。再往下還有每一楨的圖象和字幕信息。我們正在做各種探索，比如先找到劇的開始和結束，如果你要推下一個劇的時候就不要等到字幕都播完，而是（結束）字幕剛跳出來的時候就給用戶提示，出版商不會給出準確的字幕時間，所以要依靠分析。
此外，一些物體出現在視頻裡，以及視頻的場景裡有多少是動作場景，多少是對話場景，我們可以用基於計算機視覺的方法自動產生標籤。
這是基於場景識別，給一楨它就會給出一些標籤，我們還做了一個情感識別，對當前劇裡的演員，我們會做臉部的檢測，進行表情識別，它也成為冷啟動的方法之一，這就是情感識別的整個流程圖。
後來，我們做了一個更加統一的神經網絡，把用戶行為，內容元數據及更多元素，全都整合起來，這實際上參考了谷歌2015年的一篇論文，類似的方法，我們借鑑到Hulu的場景裡面，可以把原來基於用戶行為的推薦擴展到結合所有的這些額外信息。
用戶體驗，給出一個有說服力的理由
有一首有名的英文歌，說我有一百萬個理由離開，但是有一個理由能留下來。我們就產生一個推薦（留下來）的理由，比如推《終結者2》的時候我們可以說你看過《終結者1》，雖然它背後的算法是那些，但是我們要給用戶一個說得過去的理由，這樣他會對推薦算法更有信心，點擊量就會提升。
另外，降低用戶嘗試的成本。用戶在完全不知道一部電視劇的時候，要花二十分鐘看完第一集，才會決定是否要追下去，我們用一些自動的方法，把劇集濃縮成十秒鐘短視頻，也是基於場景分割以及算法規則，用戶只用花很短時間就能判斷他想不想要看這個劇。
以下為周涵寧演講的部分PPT
