在推薦系統(tǒng)中，用戶的顯式反饋、隱式反饋、正反饋和負(fù)反饋都能夠反映用戶對于被推薦物品的偏好。這些反饋信息在推薦系統(tǒng)中十分有用。然而，現(xiàn)在的大規(guī)模深度推薦模型往往以點擊為目標(biāo)，只看重以用戶點擊行為為代表的隱式正反饋，而忽略了其它有效的用戶反饋信息。

作者在本文中關(guān)注用戶多種顯式/隱式和正/負(fù)反饋信息，學(xué)習(xí)用戶的無偏興趣偏好。具體地，作者提出了一個Deep Feedback Network (DFN)模型，綜合使用了用戶的隱式正反饋（點擊行為）、隱式負(fù)反饋（曝光但未點擊的行為）以及顯式負(fù)反饋（點擊不感興趣按鈕行為）等信息。

DFN模型使用了internal feedback interaction component抓住用戶行為序列中的細(xì)粒度的行為級別的交互，然后通過external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負(fù)反饋作為監(jiān)督，從噪音較多的隱式負(fù)反饋中進(jìn)一步抽取用戶的正負(fù)反饋信息。在實驗中，作者基于微信看一看的數(shù)據(jù)，進(jìn)行了豐富的離線和在線實驗，模型與baseline相比均取得顯著提升。

1、模型背景與簡介

推薦系統(tǒng)在日常生活中被廣泛使用，為用戶獲取信息與娛樂提供便利。推薦系統(tǒng)算法往往基于用戶與系統(tǒng)的交互，這些交互行為可以大致分為以下兩類：顯式反饋與隱式反饋。顯式反饋從用戶對于物品的直接態(tài)度中獲取，例如評論中的一星到五星，或者微信看一看系統(tǒng)中的“不感興趣”按鈕。這類反饋能夠直接表達(dá)用戶的正向以及負(fù)向偏好，但是這類反饋的數(shù)量往往不多。隱式反饋從用戶的行為中間接獲得，例如用戶的點擊/不點擊行為。這些信息在推薦系統(tǒng)中往往是海量的，但是這些信息有著較多噪聲（用戶點擊的并不一定是他真正喜歡的）。另外，隱式反饋通常是以正反饋的形式出現(xiàn)，推薦中的隱式負(fù)反饋存在巨大噪聲（未展現(xiàn)信息或者未點擊信息并不一定意味著用戶不喜歡這些內(nèi)容）。

在近期的深度推薦系統(tǒng)中，CTR導(dǎo)向的目標(biāo)受到極大關(guān)注。因此，模型不可避免地只關(guān)注和目標(biāo)緊密相關(guān)的用戶點擊行為，忽略了其它用戶行為中蘊含的豐富信息。僅考慮CTR導(dǎo)向目標(biāo)的推薦模型往往會遇到以下兩個問題：（1）CTR導(dǎo)向目標(biāo)只關(guān)注用戶喜歡什么，沒有關(guān)注用戶不喜歡什么。這樣，模型的推薦結(jié)果容易同質(zhì)化和趨熱化，損害用戶體驗。因此，負(fù)反饋信息是必要的。（2）用戶除了被動地接受系統(tǒng)推薦的物品，有時也需要能夠主動和即時的反饋機(jī)制。用戶希望能夠高效和準(zhǔn)確地告知系統(tǒng)自己喜歡或者不喜歡什么。另外，用戶的顯式和隱式反饋之間也會存在割裂（用戶點擊的并不一定是他真正喜歡的）。因此，顯式反饋也是必要的。顯式信息和隱式信息能夠作為彼此的補充，相輔相成。已有工作通過使用用戶的未點擊/未曝光行為作為用戶的隱式負(fù)反饋，這樣會引入極大的噪聲。另外一些工作嘗試使用用戶的顯式負(fù)反饋信息。這些信息固然精確，但是也往往比較稀疏。

為了解決這些問題，綜合使用用戶多種顯式/隱式和正/負(fù)反饋信息學(xué)習(xí)更好的無偏用戶表示，作者提出了一個Deep Feedback Network (DFN)模型。圖1中給出了在微信看一看場景中的三種用戶反饋。DFN通過internal feedback interaction component抓住用戶行為序列中的細(xì)粒度行為級別的交互，然后通過external feedback interaction component，使用精確但稀少的隱式正反饋和顯式負(fù)反饋作為監(jiān)督，從噪音較多的隱式負(fù)反饋中進(jìn)一步抽取用戶的正負(fù)反饋信息。這些反饋特征會和其他用戶/物品特征混合，并行使用FM、Deep和Wide層進(jìn)行特征交互，最后進(jìn)行CTR預(yù)估。

作者基于微信看一看推薦系統(tǒng)，設(shè)計了離線和線上實驗，在多個指標(biāo)上具有顯著提升。這篇工作的主要貢獻(xiàn)如下：

1、作者第一次融合隱式正反饋（點擊行為）、隱式負(fù)反饋（曝光但未點擊的行為）、顯式負(fù)反饋（點擊不感興趣按鈕行為）和它們之間的交互信息進(jìn)行用戶行為建模；

2、作者提出了一個全新的Deep Feedback Network (DFN)模型，能夠?qū)W習(xí)到用戶無偏的興趣偏好；

3、模型在離線和在線任務(wù)上都得到了顯著提升，具有工業(yè)級實用價值。論文中也提出了一個feed流中的顯式負(fù)反饋預(yù)測任務(wù)。

2、模型結(jié)構(gòu)

DFN模型主要分為三個階段：首先，deep feedback interaction module以用戶的多種反饋行為作為輸入，輸出用戶的反饋特征。然后，F(xiàn)eature Interaction Module進(jìn)一步考慮用戶的其它特征和物品特征，使用FM、Deep和Wide層進(jìn)行特征交互。最后，輸出層使用CTR作為訓(xùn)練目標(biāo)。圖2給出了DFN的整體結(jié)構(gòu)。

deep feedback interaction module是模型的主要創(chuàng)新點。它包括了兩個組成部分：Internal Feedback Interaction Component和External Feedback Interaction Component。圖3給出了deep feedback interaction module的結(jié)構(gòu)。

首先，在Internal Feedback Interaction Component中，用戶的隱式正反饋、隱式負(fù)反饋和顯式負(fù)反饋序列和target item一起，通過一個transformer層，得到了在各個序列內(nèi)部細(xì)粒度的item-level的交互信息，然后經(jīng)過average層得到三種反饋的特征表示，其中隱式正反饋特征中蘊含高質(zhì)量的用戶正向偏好，顯式負(fù)反饋特征中蘊含高質(zhì)量的用戶負(fù)向偏好。

第二步，在External Feedback Interaction Component中，隱式負(fù)反饋序列往往是三種行為中最多的行為，但也是噪聲最大的行為。作者把高質(zhì)量的和target item交互后的隱式正反饋特征和顯式負(fù)反饋特征看作一種高質(zhì)量指導(dǎo)，從用戶未點擊序列中挖掘用戶或許喜歡/不喜歡的物品，補充用戶的正向負(fù)向偏好。作者使用了一個attention層得到了兩種用戶弱正向/負(fù)向反饋特征。這兩種弱反饋特征和第一步的三種反饋特征拼接后成為最終的用戶反饋特征。

第三步，在Feature Interaction Module中，作者使用了FM、Wide和Deep層，對用戶其它特征、物品特征和用戶反饋特征等進(jìn)行低階/高階特征交互。這一個模塊是為了充分利用各種特征輔助推薦，使得模型在真實工業(yè)級任務(wù)上達(dá)到最好的效果。使用Wide層主要是為了給潛在的特征工程留下接口。

最后，作者基于CTR loss進(jìn)行訓(xùn)練。除去傳統(tǒng)的正例和未點擊負(fù)例，作者還增加了一項預(yù)測用戶負(fù)反饋點擊的loss。由于在實際推薦系統(tǒng)中，用戶給出主動顯式負(fù)反饋的次數(shù)極少，顯式負(fù)反饋中的負(fù)向信息也極其強(qiáng)烈，所以作者單獨在loss中強(qiáng)調(diào)了這一項，并且給予了較大的訓(xùn)練權(quán)值。

3、實驗結(jié)果

離線和線上實驗均在微信看一看上進(jìn)行，離線數(shù)據(jù)集包含千萬級用戶在百萬級物品上的億級行為。模型離線CTR預(yù)估結(jié)果如圖4：

4、總結(jié)

在本文中，作者初步研究了推薦系統(tǒng)中的多種顯式/隱式和正/負(fù)反饋之間的協(xié)同合作機(jī)制。DFN模型能夠基于多種反饋信息即時學(xué)習(xí)到用戶的無偏的正負(fù)向興趣，在點擊預(yù)估和不感興趣預(yù)估等多個任務(wù)上均有提升效果。直觀而有效的模型也使得DFN能成功在工業(yè)級推薦系統(tǒng)中得到部署和驗證。我們預(yù)測用戶的顯式反饋，特別是顯式負(fù)反饋的信息將會未來推薦系統(tǒng)中起到更加重要的作用，在發(fā)掘推薦系統(tǒng)可解釋性同時提升用戶體驗。