數(shù)據(jù)挖掘領(lǐng)頭人韓家煒教授：如何從無結(jié)構(gòu)文本到有用的知識？

雷鋒網(wǎng) AI 科技評論按：這幾日，對于許多數(shù)據(jù)挖掘領(lǐng)域的研究者來說，北京是一個關(guān)注的焦點，原因無他，作為數(shù)據(jù)挖掘領(lǐng)域的兩大頂會CIKM 2019和ICDM 2019相繼在北京召開，甚至連開會地點（國家會議中心）都沒有變化。

兩個會議同為CCF B類，其區(qū)別在于前者是ACM舉辦，而后者是IEEE舉辦；此外CIKM覆蓋范圍更廣，包括了數(shù)據(jù)庫、信息檢索和數(shù)據(jù)挖掘三個領(lǐng)域，而ICDM則更為專注數(shù)據(jù)挖掘。

在兩次會議中，數(shù)據(jù)挖掘領(lǐng)域的巨擘韓家煒教授將就其研究分別做主題為《From Unstructured Text to TextCube: Automated Construction and Multidimensional Exploration》（@CIKM2019）和《Embedding-Based Text Mining: A Frontier in Data Mining》（@ICDM2019）的報告。

現(xiàn)實世界中的大數(shù)據(jù)在很大程度上是非結(jié)構(gòu)化的、互聯(lián)的和動態(tài)的，且以自然語言文本的形式出現(xiàn)，將此類龐大的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為有用的知識是一條必由之路。目前大家普遍采用勞動密集型的方法對數(shù)據(jù)進行打標簽從而提取知識，這種方法短時來看可取，但卻無法進行擴展，特別是許多企業(yè)的文本數(shù)據(jù)是高度動態(tài)且領(lǐng)域相關(guān)。

韓家煒教授認為，大量的文本數(shù)據(jù)本身就隱含了大量的隱模式、結(jié)構(gòu)和知識，因此我們可以借助domain-independent 和 domain-dependent的知識庫，來探索如何將海量數(shù)據(jù)從非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的知識。

如下圖所示，是韓家煒教授及其學生在過去以及未來研究的主線：

韓家煒認為要想將現(xiàn)有的無結(jié)構(gòu)的大數(shù)據(jù)變成有用的知識，首先要做的就是將數(shù)據(jù)結(jié)構(gòu)化。他提出兩種結(jié)構(gòu)化數(shù)據(jù)的形式，一種是異質(zhì)網(wǎng)絡(luò)（Heterogeneous Network），另一種是多維文本立方體（Multi-dimensional Text Cube）。由這種結(jié)構(gòu)化數(shù)據(jù)生成知識已經(jīng)證明是很強大的，但是如何將原始無結(jié)構(gòu)的數(shù)據(jù)變成有結(jié)構(gòu)的數(shù)據(jù)（Network 或 Text Cube）則是非常困難的。

在 Network/Text Cube 到 Knowledge 的問題上，韓家煒等人已經(jīng)做了很多研究工作，也已經(jīng)由此獲得了很多獎項；在無結(jié)構(gòu)文本數(shù)據(jù)到有結(jié)構(gòu) Network/Text Cube 的路上他們也做出了許多嘗試和成果，現(xiàn)在仍在進行中。韓家煒認為這是一條很長的路，他們現(xiàn)在只是在這條路上突破了幾個可以往前走的口子，還只是一條小路，要變成一條康莊大道則需要各國學者共同努力。

韓家煒教授的研究工作并非跟隨熱點，而是在十年如一日地去打通一條從無結(jié)構(gòu)數(shù)據(jù)到有用的知識的康莊大道，因此脈絡(luò)極為清晰且極具連貫性。

雷鋒網(wǎng) AI 科技評論在2018年初曾整理過一篇韓家煒教授的演講報告文章《韓家煒在數(shù)據(jù)挖掘上開辟的「小路」是什么》，值得大家參考。相比一年前，韓家煒教授的團隊也在不斷將當前最新的研究進展融入到他們這條「小路」當中，例如BERT、Spherical Text Embedding等，這些請查閱韓家煒教授團隊近期發(fā)表論文：

在2018年初他提到的以下幾本已經(jīng)發(fā)表的書：

站在2019年末，韓家煒的團隊又發(fā)布了幾本新書：

任翔出了《Mining Structures of Factual Knowledge from Text》，張超也出版了《Multidimensional Mining of Massive Text Data》 。

雷鋒網(wǎng) AI 科技評論報道。

相關(guān)文章：

專訪數(shù)據(jù)挖掘領(lǐng)頭人韓家煒教授：不要迷信權(quán)威，做學問要秉承「三個真實」

韓家煒在數(shù)據(jù)挖掘上開辟的「小路」是什么

CCF ADL 87講習班回顧：韓家煒等13位大牛全方位解析社交網(wǎng)絡(luò)和數(shù)據(jù)挖掘

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。