阿里 FashionAI 數(shù)據(jù)集：用知識(shí)重建構(gòu)造「時(shí)尚+AI」的巴別塔

雷鋒網(wǎng) AI 科技評(píng)論按：《圣經(jīng) ·舊約·創(chuàng)世記》第 11 章記載，人類希望能聯(lián)手共建通往天堂的巴別塔，但因?yàn)楦鞣N族語言不通，計(jì)劃因此失敗。而在時(shí)尚領(lǐng)域，人工智能同樣面臨巴別塔難題，專業(yè)人士、機(jī)器智能和普通消費(fèi)者之間存在信息阻滯和溝通不暢。

客觀科學(xué)和主觀時(shí)尚，這兩個(gè)概念看似互相矛盾，實(shí)際上從某種程度上也反映著傳統(tǒng)行業(yè)與全新技術(shù)的鴻溝。如何用機(jī)器能理解的邏輯語言，清楚地定義、規(guī)范和傳遞一個(gè)行業(yè)、尤其是時(shí)尚行業(yè)的 benchmark? 在阿里巴巴「圖像和美」團(tuán)隊(duì)和香港理工大學(xué)紡織及服裝學(xué)系的這次深度合作中，我們或許能找到答案。

7 月 4 日至 6 日，由阿里巴巴「圖像和美」團(tuán)隊(duì)聯(lián)合香港理工大學(xué)紡織及服裝學(xué)系、英國(guó)紡織協(xié)會(huì)聯(lián)合舉辦的「人工智能與時(shí)尚紡織大會(huì)」學(xué)術(shù)會(huì)議在香港理工大學(xué)舉行，同期包括學(xué)術(shù)主題演講、2018 FashionAI 全球挑戰(zhàn)賽決賽答辯會(huì)及線下 FashionAI 概念店體驗(yàn)活動(dòng)等多項(xiàng)內(nèi)容。這一事件在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評(píng)論旗下數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中有相應(yīng)加分。

2018 FashionAI 全球挑戰(zhàn)賽自今年 3 月發(fā)起，共吸引全球 42 個(gè)國(guó)家和地區(qū)的 5272 支隊(duì)伍共 6594 名選手參與，爭(zhēng)奪 134 萬的人民幣獎(jiǎng)金池。

7 月 5 日答辯會(huì)當(dāng)天，來自西安交通大學(xué)、馬里蘭大學(xué)、北京郵電大學(xué)、中科院深圳先進(jìn)技術(shù)研究院、唯品會(huì)等高校及企業(yè)的 10 支隊(duì)伍進(jìn)行了現(xiàn)場(chǎng)展示及答辯環(huán)節(jié)。

FashionAI 全球挑戰(zhàn)賽英雄榜

最終，早稻田大學(xué)博士研究生李瑋特的單人團(tuán)隊(duì) bilibili 摘得關(guān)鍵點(diǎn)賽道的冠軍獎(jiǎng)項(xiàng)；來自西安交通大學(xué)的禾思眾成團(tuán)隊(duì)在服飾屬性賽道獲得冠軍。

服飾關(guān)鍵點(diǎn)定位賽道冠軍——bilibili

服飾標(biāo)簽屬性識(shí)別賽道冠軍——禾思眾成

針對(duì)本次比賽，中科院計(jì)算所研究員、中科院智能信息處理實(shí)驗(yàn)室常務(wù)副主任山世光博士作為 FashionAI 全球挑戰(zhàn)賽的決賽評(píng)委代表向雷鋒網(wǎng) AI 科技評(píng)論表示，本次 FashionAI 受到眾多高校及研究機(jī)構(gòu)的關(guān)注，除了阿里天池平臺(tái)本身的影響力以及誘人的獎(jiǎng)金激勵(lì)外，AI 對(duì)于時(shí)尚行業(yè)的滲透，本身也是一個(gè)在學(xué)術(shù)界逐步受到重視的問題。「隨著人工智能特別是計(jì)算機(jī)視覺的進(jìn)步，AI 未來會(huì)在零售、電商等應(yīng)用中得到更多的體現(xiàn)。」

根據(jù)賽制介紹 [1]，F(xiàn)ashionAI 全球挑戰(zhàn)賽的兩大賽道分別為服飾關(guān)鍵點(diǎn)賽道及服飾屬性賽道，前者專注于女裝的服飾關(guān)鍵點(diǎn)定位。基于服裝設(shè)計(jì)知識(shí)，賽事組委會(huì)定義了一套服飾的關(guān)鍵點(diǎn)，并梳理了在女裝 6 大專業(yè)類別（上衣、外套、褲子、半身裙、連身裙、連身褲）下的具體定義，要求參賽者設(shè)計(jì)算法進(jìn)行定位預(yù)測(cè)；而后者基于數(shù)據(jù)集所構(gòu)建的女裝標(biāo)簽知識(shí)體系，要求選手在屬性維度和屬性值兩個(gè)層面對(duì)單主體（單人模特或單件平鋪）服飾商品進(jìn)行局部屬性識(shí)別。

這兩大賽道的設(shè)置，反映的是認(rèn)知時(shí)尚的兩大基礎(chǔ)問題。據(jù)阿里巴巴副總裁、淘寶事業(yè)部技術(shù)總經(jīng)理兼阿里巴巴大文娛優(yōu)酷高級(jí)副總裁兼 CTO 莊卓然的介紹，阿里巴巴于今年年初和香港理工大學(xué)一起開始投入到該領(lǐng)域的建設(shè)，一同梳理服飾領(lǐng)域的知識(shí)和規(guī)則，并將成果制作成這個(gè)嚴(yán)謹(jǐn)、實(shí)用、符合商業(yè)場(chǎng)景的服飾數(shù)據(jù)集，與 FashionAI 全球挑戰(zhàn)賽同期發(fā)布。

這個(gè)業(yè)界首個(gè)同時(shí)滿足服飾專業(yè)性和機(jī)器學(xué)習(xí)要求的大規(guī)模高質(zhì)量數(shù)據(jù)集 [2]，包括服飾關(guān)鍵點(diǎn)定位、服飾基礎(chǔ)屬性識(shí)別等任務(wù)。據(jù)介紹，前者的關(guān)鍵點(diǎn)定義源自服裝設(shè)計(jì)原理，目前覆蓋女裝 5 大類部件，共 41 個(gè)細(xì)分類目，24 種關(guān)鍵點(diǎn)，總計(jì) 10 萬張標(biāo)注圖片；后者通過對(duì)基礎(chǔ)屬性的專業(yè)整理，構(gòu)建了一個(gè)層次化的標(biāo)簽分類體系，目前覆蓋女裝 5 大類部件，41 個(gè)細(xì)分類目，8 個(gè)維度 54 個(gè)標(biāo)簽，總計(jì) 25.7 萬標(biāo)注圖片。數(shù)據(jù)集中使用的所有圖像數(shù)據(jù)全部來源于電商真實(shí)場(chǎng)景，從各個(gè)季節(jié)、類目等維度的上億的服裝數(shù)據(jù)中采樣得到，從而保證了數(shù)據(jù)的多樣性。

服飾，特別是女裝，是淘寶上最大的商品類目。2017 年雙十一當(dāng)天，服飾領(lǐng)域的成交占比超過 30%，阿里巴巴深知用戶在服飾時(shí)尚領(lǐng)域巨大的消費(fèi)能力，也密切關(guān)注互聯(lián)網(wǎng)和技術(shù)在其中能創(chuàng)造的商業(yè)價(jià)值。

阿里巴巴資深算法專家雷音（賈夢(mèng)雷）所帶領(lǐng)的阿里巴巴「圖像和美」團(tuán)隊(duì)從 10 年前就開始在淘寶做圖像的檢測(cè)和搜索，彼時(shí)主要針對(duì)的是商家圖片版權(quán)保護(hù)、虛假廣告宣傳等。

正如莊卓然所言，「識(shí)別」只是計(jì)算機(jī)視覺的一部分。如果要進(jìn)一步做到感知和交互，進(jìn)一步拉通消費(fèi)和生產(chǎn)，只靠技術(shù)是遠(yuǎn)遠(yuǎn)不夠的。雷音也深刻地意識(shí)到淘寶今天所面臨的困境，是消費(fèi)者和平臺(tái)、和商家無法用達(dá)成共識(shí)的語言溝通商品需求的問題。「單單連衣裙類目就有 2000 萬件商品，產(chǎn)品數(shù)量非常龐大，但還是有很多用戶抱怨找不到自己想要的商品，」雷音介紹道，阿里巴巴在時(shí)尚角度的數(shù)據(jù)重組依然有很大的提升空間，這樣才能讓消費(fèi)者很好地表達(dá)自己的需求，并通過這些表達(dá)接觸到對(duì)應(yīng)的數(shù)據(jù)。

數(shù)據(jù)重組是 FashionAI 的重要組成部分。只有讓機(jī)器能理解人類所表達(dá)的內(nèi)容，把數(shù)據(jù)進(jìn)行有效的分類，才能讓消費(fèi)者熟悉穿搭行業(yè)的認(rèn)知，進(jìn)行更有效的需求表達(dá)。

在一個(gè)主觀的世界里去做客觀的事情并不容易，而首當(dāng)其沖的便是要讓機(jī)器懂得時(shí)尚界的語言。

「讓機(jī)器理解衣服，核心是制作服飾圖像數(shù)據(jù)集。[3] 」 雷音認(rèn)為，將從業(yè)者的知識(shí)轉(zhuǎn)化為機(jī)器可以理解的邏輯語言，首先要從數(shù)據(jù)集入手，用足夠的數(shù)據(jù)讓機(jī)器明白各種服飾的區(qū)別和特性。

而要構(gòu)建一個(gè)時(shí)尚與人工智能結(jié)合的數(shù)據(jù)集，讓機(jī)器擁有「時(shí)尚之心」，便涉及到 FashionAI 要做的核心內(nèi)容：知識(shí)重建。原有的時(shí)尚知識(shí)體系僅停留于專業(yè)人士之間的溝通和交流，往往存在不完備和二義性兩大問題。也就是說，同一層次的概念可能存在不少模糊地帶，而且不一定能覆蓋實(shí)用場(chǎng)景的各種情況，這是追求邏輯的機(jī)器絕對(duì)不能「理解」和「容忍」的問題。更棘手的是，專業(yè)人士與非專業(yè)人士的認(rèn)知并不統(tǒng)一，存在工業(yè)設(shè)計(jì)知識(shí)、平臺(tái)運(yùn)營(yíng)知識(shí)及大眾營(yíng)銷知識(shí)標(biāo)準(zhǔn)不統(tǒng)一的問題。

在整個(gè)知識(shí)體系的重建中，雷音總結(jié)了三條重要的經(jīng)驗(yàn)，這不僅對(duì)于時(shí)尚行業(yè)，對(duì)于任何一個(gè)傳統(tǒng)行業(yè)用 AI 賦能的過程都具有借鑒意義。

首先是，知識(shí)要實(shí)現(xiàn)人和人的溝通，既要符合行業(yè)常識(shí)，也要符合消費(fèi)者的認(rèn)知。「圖像和美」團(tuán)隊(duì)希望能夠?qū)⑦@套知識(shí)體系做到「通用」，做到可溝通可理解，因此與香港理工大學(xué)及其它專業(yè)院校進(jìn)行了密切合作，力求在消費(fèi)者和專業(yè)人士的溝通中尋求知識(shí)體系的統(tǒng)一和平衡。以「波西米亞風(fēng)」為例，雖然行業(yè)的風(fēng)格體系中存在這個(gè)類目，但由于消費(fèi)者缺乏相應(yīng)的概念和認(rèn)知，團(tuán)隊(duì)最終并沒有將這一風(fēng)格納入分類定義中。

其次，知識(shí)要方便機(jī)器與人的溝通，盡量實(shí)現(xiàn)邏輯上的互斥和完備。機(jī)器是 0 和 1 的世界，因此要盡可能地消除中間的模糊地帶，并且能涵蓋所有可能的情況。比如，半身裙的定義是「下半身穿著服飾，最上不超過下胸線，襠部以下中線無收緊縫合」，而褲子的定義是「下半身穿著服飾，最上不超過下胸線，襠部以下中線有收緊縫合」，這就能滿足邏輯完備和互斥的情況。

第三點(diǎn)是理解「視覺可分」和「感官可分」的區(qū)別。一種體系如果沒有足夠多的合適樣本進(jìn)行學(xué)習(xí)，那么團(tuán)隊(duì)也需要做出取舍。以「西裝領(lǐng)」為例，從專業(yè)人士的角度可劃分為 9 種領(lǐng)子，但「圖像和美」團(tuán)隊(duì)與香港理工大學(xué)團(tuán)隊(duì)考慮到，對(duì)于普通消費(fèi)者而言，肉眼看不出這 9 款領(lǐng)子的區(qū)別，且無法找到這么多細(xì)粒度過高的數(shù)據(jù)，因此在分類上也做出了取舍。另外，女性服飾的視覺刺激點(diǎn)非常多，可以在西裝領(lǐng)的分類上適當(dāng)精簡(jiǎn)，但男士服飾視覺刺激點(diǎn)較少，領(lǐng)子的分類需要更加細(xì)化，這也是「圖像和美」團(tuán)隊(duì)與專業(yè)人士進(jìn)行反復(fù)協(xié)調(diào)和溝通所達(dá)成的共識(shí)。

此外雷音也提及了非常重要的一點(diǎn)是，這個(gè)過程中要避免結(jié)構(gòu)化噪聲的情況。比如在夏天搜索「圓領(lǐng)」的衣服，結(jié)果可能會(huì)大量呈現(xiàn)「T 恤」，這便是結(jié)構(gòu)化噪聲的問題，為了將「圓領(lǐng)」與冬天的「毛衣」數(shù)據(jù)也能相關(guān)聯(lián)，需要保證「圓領(lǐng)」在各種類別的服飾中均得到采樣。在這個(gè)過程中，團(tuán)隊(duì)需要借助知識(shí)和模型校驗(yàn)檢查是否引入不合理的相關(guān)性，并借助共性部分與標(biāo)簽相關(guān)性的強(qiáng)弱來判定是否為噪聲。

為了更好地理解時(shí)尚行業(yè)，原本只穿運(yùn)動(dòng)服的典型程序員雷音飛到上海定制了幾萬元的高定西裝，第一次懂得了什么叫「適合自己的衣服」；跑遍了杭州銀泰城的每一家服裝店，和店員們聊穿衣搭配的經(jīng)驗(yàn)體會(huì)……由于深入了解了時(shí)尚行業(yè)對(duì)于材質(zhì)和面料的壟斷「潛規(guī)則」，這幾年來雷音再也沒買過打折的衣服。對(duì)于時(shí)尚的理解一天天加深，雷音也感慨，「機(jī)器能學(xué)到的是規(guī)則，學(xué)不到的是創(chuàng)意，我們希望能在這個(gè)過程中讓消費(fèi)者能逐漸從熟悉規(guī)則到欣賞創(chuàng)意。如果機(jī)器能更好地用機(jī)器語言理解 Fashion，實(shí)際上也是幫助更多的消費(fèi)者提升審美水平，增進(jìn)對(duì)時(shí)尚行業(yè)的理解。」而 FashionAI 全球挑戰(zhàn)賽的應(yīng)運(yùn)而生，也是希望能讓更多的人關(guān)注到這個(gè)將改變行業(yè)的數(shù)據(jù)集，一同攜手關(guān)注機(jī)器認(rèn)知時(shí)尚的基礎(chǔ)問題，共同推動(dòng)AI 技術(shù)在時(shí)尚產(chǎn)業(yè)的落地。

但在雷音看來，如果把整個(gè)時(shí)尚 AI 行業(yè)理解為一場(chǎng)球賽，挑戰(zhàn)賽就相當(dāng)于「踢點(diǎn)球」，在主辦方給予的有限條件內(nèi)完成規(guī)定的任務(wù)；但這離學(xué)會(huì)真正的「踢足球」還很遠(yuǎn)，即從科研的角度來思考整個(gè)行業(yè)知識(shí)的重構(gòu)問題。對(duì)于行業(yè)來說，他們要做的還有很多。

因?yàn)闇贤ǖ膯栴}，《圣經(jīng)》中的巴別塔盡管得到了多種族的人類協(xié)作，依然無法通天。但阿里巴巴「圖像和美」團(tuán)隊(duì)的 FashionAI 數(shù)據(jù)集，正是希望能從知識(shí)重建做起，構(gòu)建 Fashion 和 AI 結(jié)合起來的知識(shí)體系，構(gòu)建一個(gè)「人工智能+時(shí)尚」的巴別塔。

參考資料：

[1] FashionAI 全球挑戰(zhàn)賽, http://fashionai.alibaba.com/

[2] FashionAI 數(shù)據(jù)集，http://fashionai.alibaba.com/datasets/

[3] 如何做一個(gè)“實(shí)用”的圖像數(shù)據(jù)集，https://mp.weixin.qq.com/s?__biz=MzI3MTM5ODA0Nw==&mid=2247484084&idx=1&sn=a1e6a1637991c24066fdc0c3297c9b7c&chksm=eac32744ddb4ae5225360d8477ca105d5b30d73eaf71aa083653d2563fba848722497c050de1&scene=38#wechat_redirect

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。