目前神經(jīng)機(jī)器翻譯模型主要基于編碼器-解碼器框架，他們分別對(duì)源語(yǔ)言和目標(biāo)語(yǔ)言進(jìn)行建模，然后使用注意力機(jī)制把雙語(yǔ)的表示進(jìn)行橋接。

本文提出一種聯(lián)合表示，它同時(shí)對(duì)源語(yǔ)言和目標(biāo)語(yǔ)言進(jìn)行建模，以便更好的捕捉雙語(yǔ)直接的關(guān)系。在不同數(shù)據(jù)集上的實(shí)驗(yàn)表明我們的方法能夠取得比Transformer基線更優(yōu)秀的結(jié)果。

深度學(xué)習(xí)在人臉檢測(cè)任務(wù)上取得了非常優(yōu)異的結(jié)果，通過(guò)設(shè)計(jì)具備特定感受野的檢測(cè)器搭配不同尺度特征的有效利用可以比較容易的獲得很好的性能。當(dāng)前算法多為anchor-based的算法，需要一定的設(shè)計(jì)經(jīng)驗(yàn)，同時(shí)，對(duì)于圖像輸入尺度和模型參數(shù)規(guī)模也有著一定的要求，這就不可避免的會(huì)帶來(lái)一定的計(jì)算量負(fù)擔(dān)。

本文章針對(duì)通用人臉檢測(cè)問(wèn)題重新探究了檢測(cè)器感受野和圖像輸入尺度之間的關(guān)系，提出了全新的KPNet人臉檢測(cè)框架，結(jié)合anchor-free的算法設(shè)計(jì)和bottom-up的檢測(cè)策略能夠讓人臉檢測(cè)器基于低尺度圖像輸入和輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)達(dá)到優(yōu)異的性能，同時(shí)具備極快的模型推理速度。

盡管生成性對(duì)抗網(wǎng)絡(luò)（GANs）已經(jīng)廣泛應(yīng)用于各種圖像轉(zhuǎn)換的任務(wù)中，但由于其計(jì)算量大、存儲(chǔ)成本高，很難在移動(dòng)設(shè)備上應(yīng)用。傳統(tǒng)的網(wǎng)絡(luò)壓縮方法側(cè)重于視覺識(shí)別任務(wù)，而很少考慮生成任務(wù)的壓縮。

我們提出了一種基于知識(shí)蒸餾的生成對(duì)抗網(wǎng)絡(luò)的壓縮方法，并分別針對(duì)學(xué)生網(wǎng)絡(luò)的生成器和判別器分別設(shè)計(jì)了蒸餾的損失函數(shù)。通過(guò)學(xué)習(xí)教師生成器和判別器中蘊(yùn)含的信息，學(xué)生網(wǎng)絡(luò)可以使用較少的參數(shù)取得和教師網(wǎng)絡(luò)相似的圖像轉(zhuǎn)換性能。

在各種計(jì)算機(jī)視覺任務(wù)中，深度神經(jīng)網(wǎng)絡(luò)（尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN））的優(yōu)越性已得到充分證明。由于深層網(wǎng)絡(luò)經(jīng)常被過(guò)度參數(shù)化以在訓(xùn)練集上獲得更高的性能，避免過(guò)度擬合非常重要，因此我們提出了特征圖擾動(dòng)方法（disout）來(lái)增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的泛化能力，擾動(dòng)。根據(jù)網(wǎng)絡(luò)中間層的Rademacher 復(fù)雜度，確定給定深度神經(jīng)網(wǎng)絡(luò)的泛化誤差上界。將擾動(dòng)引入特征圖來(lái)降低網(wǎng)絡(luò)的Rademacher復(fù)雜度，從而提高其泛化能力。

提出的特征圖擾動(dòng)方法可以方便地應(yīng)用于全連接層或者卷積層，在基準(zhǔn)數(shù)據(jù)集CIFAR和大尺度數(shù)據(jù)集ImageNet的實(shí)驗(yàn)結(jié)果表明，提出的特征圖擾動(dòng)方法可以大幅提高網(wǎng)絡(luò)的準(zhǔn)確率并優(yōu)于SOTA。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以及計(jì)算能力的進(jìn)步（GPU等），現(xiàn)在基于視頻的研究領(lǐng)域越來(lái)越受到重視。視頻與圖片最大的不同在于視頻還包含了時(shí)序上的信息，此外需要的計(jì)算量通常也大很多。

目前主要在做視頻分析，視頻中動(dòng)作定位相關(guān)的工作，視頻人類行為分析和視頻動(dòng)作定位在智能監(jiān)控，在線檢測(cè)和短視頻社交領(lǐng)域都會(huì)有相應(yīng)的應(yīng)用。

此次主要分享行為動(dòng)作定位的整個(gè)算法流程介紹和相關(guān)工作，以及我去年ActivityNet Challenge 2019的技術(shù)方案。

另外，此論文已被AAAI 2020收錄。

研究面向海量無(wú)標(biāo)注視頻人臉關(guān)鍵點(diǎn)定位與跟蹤的自監(jiān)督時(shí)空關(guān)系推理方法。該方法力圖充分挖掘連續(xù)視頻中鄰近人臉關(guān)鍵點(diǎn)間的幾何相關(guān)性，以此推斷出關(guān)鍵點(diǎn)間具有較強(qiáng)判別力的時(shí)空關(guān)系線索以提高人臉關(guān)鍵點(diǎn)定位與跟蹤的穩(wěn)定性。

具體通過(guò)設(shè)計(jì)一種高效推斷的模塊機(jī)制：在空間域上，算法從靜態(tài)視頻幀中解析人臉的幾何特征以對(duì)視頻人臉的全局結(jié)構(gòu)化約束建模，進(jìn)而保持不同人臉個(gè)體化的差異性；在時(shí)間域上，對(duì)時(shí)序上回環(huán)一致性約束，通過(guò)評(píng)價(jià)所追蹤定位的關(guān)鍵點(diǎn)能夠從未來(lái)幀回傳到原始幀位置形成自反饋的閉環(huán)，從而實(shí)現(xiàn)對(duì)原始人臉序列潛在的時(shí)空關(guān)系建模 。

深度學(xué)習(xí)在視覺定位方面取得了令人印象深刻的結(jié)果。然而基于圖像的定位方法普遍缺乏魯棒性，從而導(dǎo)致較大誤差。當(dāng)前算法多通過(guò)圖像序列或添加幾何約束方法，迫使網(wǎng)絡(luò)在學(xué)習(xí)時(shí)拒絕動(dòng)態(tài)目標(biāo)和光照變化對(duì)定位的干擾，以獲得更好的性能。

本文提出了一種利用注意力機(jī)制使網(wǎng)絡(luò)自動(dòng)關(guān)注并提取具有幾何意義的對(duì)象和特征，即使僅基于單張圖像，也可以實(shí)現(xiàn)優(yōu)于利用圖像序列或幾何約束方法的定位結(jié)果。

通過(guò)室內(nèi)和室外公開數(shù)據(jù)集上的定位結(jié)果和顯著圖，我們闡述了如何利用注意力機(jī)制提取環(huán)境中具有幾何意義的特征，從而實(shí)現(xiàn)最優(yōu)的相機(jī)姿態(tài)回歸性能。算法細(xì)節(jié)和源代碼可訪問(wèn)：https://github.com/BingCS/AtLoc

異質(zhì)信息網(wǎng)絡(luò)是當(dāng)前圖嵌入式表示學(xué)習(xí)領(lǐng)域的一大難題，在本次分享中，講者將分享如何在不使用專家知識(shí)的情況下對(duì)異質(zhì)信息網(wǎng)絡(luò)進(jìn)行嵌入式表示學(xué)習(xí)。

近年來(lái)，深度模型在計(jì)算機(jī)視覺任務(wù)上不斷刷新性能，已成為研究與應(yīng)用熱點(diǎn)。然而由于參數(shù)量龐大、存儲(chǔ)和計(jì)算代價(jià)高，難以部署在資源受限的嵌入式端上。 深度模型壓縮技術(shù)是解決該問(wèn)題的一個(gè)重要技術(shù)。本次分享將介紹外面提出的結(jié)合AutoML思想對(duì)深度模型進(jìn)行自動(dòng)結(jié)構(gòu)化剪枝的AutoCompress算法框架。

二值網(wǎng)絡(luò)（BNN）由于其對(duì)于硬件非常友好，獲得了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。雖然二值網(wǎng)絡(luò)執(zhí)行效率非常高，但是相對(duì)于全精度浮點(diǎn)網(wǎng)絡(luò)，其精度損失嚴(yán)重。目前二值網(wǎng)絡(luò)普遍使用sign函數(shù)對(duì)網(wǎng)絡(luò)的權(quán)值和激活量化到-1和+1，對(duì)二值網(wǎng)絡(luò)的研究方向主要包括提高二值網(wǎng)絡(luò)的訓(xùn)練技巧、修改網(wǎng)絡(luò)結(jié)構(gòu)使得網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于二值量化不敏感等，然而二值表達(dá)形式卻被研究者忽略。在本文中，我們提出了稀疏量化，即對(duì)網(wǎng)絡(luò)激活量化到0和+1，而網(wǎng)絡(luò)權(quán)值依然量化到-1和+1。我們驗(yàn)證了在使用0-1量化時(shí)，不會(huì)引入任何額外的計(jì)算量，但網(wǎng)絡(luò)性能卻獲得大幅度提升。同時(shí)，針對(duì)稀疏二值量化網(wǎng)絡(luò)中超參選擇問(wèn)題，我們提出一種高效的自動(dòng)化學(xué)習(xí)方法，進(jìn)一步提升二值網(wǎng)絡(luò)性能。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，我們?cè)跊](méi)有使用任何額外技巧的情況下，網(wǎng)絡(luò)精度能夠達(dá)到目前最高水平。

文章構(gòu)建了一個(gè)基于司法考試的問(wèn)答數(shù)據(jù)集，包含了大約26000道司法考試的選擇題。與傳統(tǒng)QA數(shù)據(jù)集不一樣的是，法律領(lǐng)域的問(wèn)答依賴于大量專業(yè)知識(shí)的理解，和對(duì)大量參考資料的結(jié)合。本文分析了司法考試的難點(diǎn)，并通過(guò)一系列實(shí)驗(yàn)證明了現(xiàn)有的模型即使是距離非專業(yè)人士的答題水平仍然有很大的差異，而非專業(yè)人士與專業(yè)人士之間的水平也相去甚遠(yuǎn)，這也為該數(shù)據(jù)集的解決帶來(lái)了巨大的挑戰(zhàn)。數(shù)據(jù)集地址：http://jecqa.thunlp.org/

非自回歸神經(jīng)機(jī)器翻譯模型（NAT）對(duì)目標(biāo)詞的生成進(jìn)行獨(dú)立的建模，從而顯著地提升了翻譯速度。然而，對(duì)非自回歸模型來(lái)說(shuō)，詞級(jí)別的交叉熵?fù)p失函數(shù)不合理地要求模型輸出與參考譯文嚴(yán)格對(duì)齊，并且無(wú)法準(zhǔn)確地建模目標(biāo)端的序列依賴關(guān)系，從而導(dǎo)致其與模型翻譯質(zhì)量的相關(guān)性較弱。在本文中，我們提出了基于模型與參考譯文間n元組袋差異的訓(xùn)練目標(biāo)，以該訓(xùn)練目標(biāo)來(lái)訓(xùn)練非自回歸模型。我們克服了指數(shù)級(jí)搜索空間和n元組袋維度巨大的困難，給出了計(jì)算n元組袋差異的高效算法，使這個(gè)基于n元組袋的訓(xùn)練目標(biāo)具有可導(dǎo)、高效、易于實(shí)現(xiàn)的優(yōu)點(diǎn)。我們?cè)谌齻€(gè)機(jī)器翻譯數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，結(jié)果表明，我們的方法在WMT14英語(yǔ)-德語(yǔ)數(shù)據(jù)集上取得了約5.0個(gè)BLEU值的大幅提升，在另外兩個(gè)數(shù)據(jù)集上也有顯著提升。

神經(jīng)機(jī)器翻譯模型通常采用Teacher Forcing策略來(lái)進(jìn)行訓(xùn)練，在該策略下，每個(gè)源句子都給定一個(gè)Ground Truth，在每個(gè)時(shí)間步翻譯模型都被強(qiáng)制生成一個(gè)0-1分布，0-1分布將所有的概率分布僅通過(guò)Ground Truth詞語(yǔ)進(jìn)行梯度回傳，詞表中其他的詞語(yǔ)均被忽略，從而影響了參數(shù)訓(xùn)練。為了解決這個(gè)問(wèn)題，我們提出在神經(jīng)機(jī)器翻譯模型中引入一個(gè)評(píng)估模塊，對(duì)生成的譯文從流利度和忠實(shí)度兩個(gè)方面進(jìn)行評(píng)估，并用得到的評(píng)估分?jǐn)?shù)用來(lái)指導(dǎo)訓(xùn)練階段譯文的概率分布，而在測(cè)試的時(shí)候，可以完全拋棄該評(píng)估模塊，采用傳統(tǒng)的Transformer模型進(jìn)行解碼。實(shí)驗(yàn)中我們與Transformer模型、強(qiáng)化學(xué)習(xí)模型以及詞袋模型進(jìn)行了比較，我們的方法在中-英、英-羅馬尼亞語(yǔ)言對(duì)上相比于所有的基線系統(tǒng)翻譯效果均取得了顯著提升。

序列文本分類旨在對(duì)一條序列文本片段進(jìn)行標(biāo)簽化。除各個(gè)片段內(nèi)的文本內(nèi)容以外，考慮文本片段間的上下文依賴依然是影響分類性能的關(guān)鍵因素。先前的文本序列標(biāo)注技術(shù)自左向右地預(yù)測(cè)對(duì)應(yīng)的文本標(biāo)簽。然而，在決策過(guò)程中，不同的文本片段所需上下文依賴不同并且該些依賴并不一定嚴(yán)格按照自左向右地順序排放。因此，本文提出一種新的跳躍標(biāo)注模式，先先打標(biāo)那些需要更少上下文信息的文本片段再考慮那些需要更多上下文的部分。技術(shù)上，我們?cè)O(shè)計(jì)了一個(gè)輔助的棋盤游戲作為序列文本分類的問(wèn)題映射。通過(guò)將序列文本特征注入到所定義的游戲規(guī)則和狀態(tài)評(píng)估策略之中，能有效地推動(dòng)游戲玩家在每一步中最優(yōu)化各自的招法，該博弈過(guò)程對(duì)應(yīng)到跳躍地產(chǎn)生一段序列標(biāo)簽，此外該棋盤游戲的終局狀態(tài)對(duì)應(yīng)到最優(yōu)的預(yù)測(cè)序列。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果體現(xiàn)出提出方法的有效性。

Knowledge graphs typically undergo open-ended growth of new relations. This cannot be well handled by relation extraction that focuses on pre-defined relations with sufficient training data. To address new relations with few-shot instances, we propose a novel bootstrapping approach, Neural Snowball, to learn new relations by transferring semantic knowledge about existing relations. More specifically, we use Relational Siamese Networks (RSN) to learn the metric of relational similarities between instances based on existing relations and their labeled data. Afterwards, given a new relation and its few-shot instances, we use RSN to accumulate reliable instances from unlabeled corpora; these instances are used to train a relation classifier, which can further identify new facts of the new relation. The process is conducted iteratively like a snowball. Experiments show that our model can gather high-quality instances for better few-shot relation learning and achieves significant improvement compared to baselines.

以圖像類別標(biāo)簽為監(jiān)督信息的弱監(jiān)督語(yǔ)義分割往往面臨目標(biāo)區(qū)域估計(jì)不完整的問(wèn)題。為了緩解這個(gè)問(wèn)題，本文提出了一種對(duì)跨圖像間關(guān)系進(jìn)行建模的方法。該方法在同類別不同圖像之間建立像素級(jí)的關(guān)系矩陣，并據(jù)此從不同的圖像間取得互相補(bǔ)充的信息，用以增廣原特征并獲取更加完整和魯棒的目標(biāo)區(qū)域估計(jì)。實(shí)驗(yàn)證明該方法可以有效學(xué)得相關(guān)目標(biāo)間的關(guān)聯(lián)關(guān)系，輔助得到對(duì)整個(gè)目標(biāo)更加完整魯棒的預(yù)測(cè)結(jié)果，并且在多種質(zhì)量的初始估計(jì)下都能取得顯著的提升，具有很好的泛化性。在僅使用圖像類別標(biāo)簽作為監(jiān)督信息下，該方法在 VOC2012 數(shù)據(jù)集上取得了當(dāng)時(shí)最好的 65.3% mIoU 的測(cè)試結(jié)果，證明了方法的有效性。

反向詞典以關(guān)于目標(biāo)詞語(yǔ)義的描述為輸入，輸出目標(biāo)詞以及其他相關(guān)詞。比如輸入“a road where cars go very quickly without stopping”，期望反向詞典輸出“expressway”、“freeway”、“motorway”等詞。反向詞典最主要的使用價(jià)值在于解決“舌尖現(xiàn)象”（話到嘴邊想不起來(lái)）。

現(xiàn)有的反向詞典模型很難解決高度變化的查詢輸入以及低頻目標(biāo)詞這兩個(gè)問(wèn)題。受到人的由描述到詞的推斷過(guò)程的啟發(fā)，我們提出了多通道反向詞典模型，可以同時(shí)解決以上兩個(gè)問(wèn)題。

我們的模型包括一個(gè)句子編碼器和多個(gè)預(yù)測(cè)器，預(yù)測(cè)器可以通過(guò)給定的查詢文本預(yù)測(cè)目標(biāo)詞的各種特征，進(jìn)而幫助確定目標(biāo)詞。我們?cè)谥形暮陀⑽臄?shù)據(jù)集上評(píng)測(cè)了我們的模型，實(shí)驗(yàn)結(jié)果表明我們的模型實(shí)現(xiàn)了當(dāng)前最佳性能（state-of-the-art），甚至在人工真實(shí)查詢數(shù)據(jù)集上超過(guò)了最流行的商用反向詞典系統(tǒng)OneLook。此外我們也進(jìn)行了定量實(shí)驗(yàn)和案例分析來(lái)證明我們模型的有效性和魯棒性。

論文已經(jīng)在arXiv公開：https://arxiv.org/pdf/1912.08441

大規(guī)模知識(shí)圖譜在當(dāng)前的信息系統(tǒng)中具有非常重要的角色。為了擴(kuò)充知識(shí)圖譜的規(guī)模，之前的工作需要對(duì)新增關(guān)系標(biāo)注充足的訓(xùn)練數(shù)據(jù)集，但這種方式成本昂貴不符合實(shí)際要求。本文考慮采用零樣本學(xué)習(xí)方式來(lái)解決這個(gè)問(wèn)題。當(dāng)給定一個(gè)新的關(guān)系類別，本文嘗試直接通過(guò)關(guān)系類別的文本描述編碼類別相關(guān)信息。為了完成這個(gè)目標(biāo)，本文采用生成對(duì)抗學(xué)習(xí)思路完成文本信息和知識(shí)圖譜信息的知識(shí)轉(zhuǎn)換。具體來(lái)講，本文希望生成對(duì)抗網(wǎng)絡(luò)的生成器可以有效的通過(guò)關(guān)系類別文本描述生成關(guān)系類別向量表征。在這個(gè)前提下，對(duì)于新增關(guān)系類別的樣本預(yù)測(cè)就轉(zhuǎn)化為監(jiān)督學(xué)習(xí)分類任務(wù)。

反向詞典以關(guān)于目標(biāo)詞語(yǔ)義的描述為輸入，輸出目標(biāo)詞以及其他相關(guān)詞。比如輸入“a road where cars go very quickly without stopping”，期望反向詞典輸出“expressway”、“freeway”、“motorway”等詞。反向詞典最主要的使用價(jià)值在于解決“舌尖現(xiàn)象”（話到嘴邊想不起來(lái)）。

現(xiàn)有的反向詞典模型很難解決高度變化的查詢輸入以及低頻目標(biāo)詞這兩個(gè)問(wèn)題。受到人的由描述到詞的推斷過(guò)程的啟發(fā)，我們提出了多通道反向詞典模型，可以同時(shí)解決以上兩個(gè)問(wèn)題。

我們的模型包括一個(gè)句子編碼器和多個(gè)預(yù)測(cè)器，預(yù)測(cè)器可以通過(guò)給定的查詢文本預(yù)測(cè)目標(biāo)詞的各種特征，進(jìn)而幫助確定目標(biāo)詞。我們?cè)谥形暮陀⑽臄?shù)據(jù)集上評(píng)測(cè)了我們的模型，實(shí)驗(yàn)結(jié)果表明我們的模型實(shí)現(xiàn)了當(dāng)前最佳性能（state-of-the-art），甚至在人工真實(shí)查詢數(shù)據(jù)集上超過(guò)了最流行的商用反向詞典系統(tǒng)OneLook。此外我們也進(jìn)行了定量實(shí)驗(yàn)和案例分析來(lái)證明我們模型的有效性和魯棒性。

論文已經(jīng)在arXiv公開：https://arxiv.org/pdf/1912.08441

基于skeleton數(shù)據(jù)的動(dòng)作識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)非常熱門的研究話題。使用圖卷積（GCN）來(lái)建模這種不規(guī)則的數(shù)據(jù)也取得了很好的效果。 但是這個(gè)任務(wù)中的GCN有兩個(gè)方面可以去改善。首先， 大部分GCN都提供一個(gè)單一的（各層share），固定的矩陣來(lái)編碼數(shù)據(jù)節(jié)點(diǎn)之間的鄰接關(guān)系。其次，大部分的GCN都是基于一階的切比雪夫多項(xiàng)式進(jìn)行估計(jì)的。我們認(rèn)為，將高層的特征表示限制是低層的拓?fù)浣Y(jié)構(gòu)當(dāng)中是一種不合理的做法。此外，一階的多項(xiàng)式估計(jì)并不能很好的捕捉到高階的鄰接關(guān)系。本文提出一種基于NAS的GCN設(shè)計(jì)方案。文章通過(guò)多個(gè)Graph的功能模塊構(gòu)建出一個(gè)搜索空間并且相應(yīng)的提出一種高效的搜索策略。Searched GCN在兩個(gè)大規(guī)模的Skeleton-based動(dòng)作識(shí)別任務(wù)上測(cè)試都達(dá)到最好的性能。

本文提出了一個(gè)新的基于預(yù)訓(xùn)練方法的個(gè)性化對(duì)話生成模型，與傳統(tǒng)的預(yù)訓(xùn)練對(duì)話模型相比，本文提出了一個(gè)注意力路由機(jī)制，該機(jī)制可以在模型訓(xùn)練過(guò)程中更有效地利用個(gè)性化稀疏的對(duì)話數(shù)據(jù)，實(shí)驗(yàn)表明我們所提出的模型可以生成更為流暢且符合發(fā)話者個(gè)性化特征的回復(fù)，并且我們可以在解碼的過(guò)程中控制是否在回復(fù)中展現(xiàn)發(fā)話者的個(gè)性化信息。