文本大數(shù)據(jù)挖掘應(yīng)用剖析

問：今天談文本大數(shù)據(jù)，還請(qǐng)您先給我們介紹一下文本大數(shù)據(jù)挖掘的基本情況。

**作者：**大數(shù)據(jù)的概念在最近的幾年迅速升溫，成為最熱門的一個(gè)概念。企業(yè)和政府機(jī)構(gòu)都紛紛加大對(duì)大數(shù)據(jù)領(lǐng)域的投入，但是普遍存在著應(yīng)用的焦慮，甚至是有些茫然。大數(shù)據(jù)帶來的不僅僅是大的機(jī)遇，同時(shí)也是大的挑戰(zhàn)，這需要我們對(duì)大數(shù)據(jù)挖掘的意義進(jìn)行更加深刻的探索。

大數(shù)據(jù)挖掘的根本意義在于從數(shù)據(jù)中提煉出有價(jià)值的信息，針對(duì)這些信息創(chuàng)造出洞察，再根據(jù)這些洞察并結(jié)合現(xiàn)狀做出決定，依決定去執(zhí)行，將大數(shù)據(jù)帶來的機(jī)遇變?yōu)槭斋@和成就。

大數(shù)據(jù)是一個(gè)非常大的概念，我們?cè)谶@里把討論范圍聚焦在文本大數(shù)據(jù)上。相對(duì)于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，業(yè)界已經(jīng)做了大量的積累，對(duì)于數(shù)據(jù)的獲取、存儲(chǔ)、處理、檢索等已經(jīng)具備了相當(dāng)多的技術(shù)儲(chǔ)備。但是對(duì)于非結(jié)構(gòu)化的大數(shù)據(jù)，特別是文本大數(shù)據(jù)，業(yè)界正在持續(xù)加大投入。

在文本大數(shù)據(jù)的源頭方面，除了企業(yè)或機(jī)構(gòu)內(nèi)部的數(shù)據(jù)，互聯(lián)網(wǎng)是一個(gè)巨大的來源。從互聯(lián)網(wǎng)受眾來講，中國互聯(lián)網(wǎng)擁有全球人數(shù)最多的網(wǎng)民。據(jù)中國互聯(lián)網(wǎng)信息中心CNNIC發(fā)布的第37次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》中顯示，截至2015年12月，中國網(wǎng)民規(guī)模達(dá)6.88億，互聯(lián)網(wǎng)普及率為50.3%；手機(jī)網(wǎng)民規(guī)模達(dá)6.2億，占比提升至90.1%。在當(dāng)今的這個(gè)自媒體時(shí)代，信息的傳播也發(fā)生了巨大的改變，不僅量發(fā)生了爆炸式的增長，內(nèi)容也更加多樣化。

文本大數(shù)據(jù)處理的第一個(gè)環(huán)節(jié)就是能夠迅速地獲取這些數(shù)據(jù)，不論是機(jī)構(gòu)內(nèi)部的數(shù)據(jù)，還是互聯(lián)網(wǎng)上相關(guān)的數(shù)據(jù)，在第一時(shí)間獲取這些數(shù)據(jù)，并且是全量的數(shù)據(jù)，才是數(shù)據(jù)挖掘的根本。第二個(gè)環(huán)節(jié)就是在這些數(shù)據(jù)中進(jìn)行挖掘，通過各種創(chuàng)新的分析工具和手段將其整合為有價(jià)值的分析結(jié)果。

問：您剛才談到，文本大數(shù)據(jù)在大數(shù)據(jù)應(yīng)用領(lǐng)域已經(jīng)取得了一定的進(jìn)展，那么，您認(rèn)為文本大數(shù)據(jù)挖掘都有哪些應(yīng)用場(chǎng)景？

**作者：**文本大數(shù)據(jù)的應(yīng)用領(lǐng)域非常廣泛，政府機(jī)構(gòu)和企業(yè)非常關(guān)心的互聯(lián)網(wǎng)輿情監(jiān)測(cè)與預(yù)警，已經(jīng)成為一個(gè)比較普遍的應(yīng)用。企業(yè)口碑監(jiān)測(cè)分析、競(jìng)爭(zhēng)情報(bào)分析、精準(zhǔn)營銷、人物畫像、企業(yè)畫像、行業(yè)市場(chǎng)研究、客戶滿意度分析、風(fēng)險(xiǎn)評(píng)估、產(chǎn)品及業(yè)務(wù)流程優(yōu)化等等多個(gè)應(yīng)用場(chǎng)景也是以文本大數(shù)據(jù)挖掘?yàn)楹诵牡摹?/p>

問：互聯(lián)網(wǎng)輿情作為文本大數(shù)據(jù)重要的應(yīng)用領(lǐng)域之一，您給大家介紹一下當(dāng)前互聯(lián)網(wǎng)輿情應(yīng)用情況，好吧？

**作者：**好的，從輿情監(jiān)測(cè)市場(chǎng)來說，我國對(duì)輿情監(jiān)測(cè)系統(tǒng)需求較大的大致可以分為黨政機(jī)關(guān)和政府組織、企業(yè)、學(xué)校和科研單位等。根據(jù)2014年全年輿情系統(tǒng)招標(biāo)信息的發(fā)布數(shù)據(jù)統(tǒng)計(jì)，32.3%的輿情監(jiān)測(cè)系統(tǒng)需求來自政府組織，27.9%來自企業(yè)單位，黨政機(jī)關(guān)占17.6%，科研單位13.2%，學(xué)校比例8.82%。而對(duì)輿情監(jiān)測(cè)需求最大的區(qū)域前三名分別是北京、浙江和貴州，達(dá)到20%和10%的水平。市場(chǎng)對(duì)輿情監(jiān)測(cè)的要求也越來越高，主要從信息采集的及時(shí)性、覆蓋面及預(yù)警的精準(zhǔn)度及發(fā)現(xiàn)危機(jī)后應(yīng)對(duì)機(jī)制上有了更高的要求。

問：剛才您提到人物畫像、企業(yè)畫像等畫像技術(shù)應(yīng)用，畫像技術(shù)可以帶來哪些價(jià)值？實(shí)現(xiàn)過程是什么樣的？

**作者：**在互聯(lián)網(wǎng)逐漸步入大數(shù)據(jù)時(shí)代后，每個(gè)參與到互聯(lián)網(wǎng)的人或企業(yè)都不可避免的留下行為記錄，或者是發(fā)布在互聯(lián)網(wǎng)上，或者是沉淀在各個(gè)日志環(huán)節(jié)中，所有的這些行為都將是“可視化”的。畫像技術(shù)就是對(duì)這些數(shù)據(jù)進(jìn)行挖掘，企業(yè)專注于如何利用其為精準(zhǔn)營銷服務(wù)，政府機(jī)構(gòu)則專注于如何利用其為公共治理進(jìn)行服務(wù)，改善公共服務(wù)，指導(dǎo)決策。

我們這里說的畫像技術(shù)包括人物畫像和企業(yè)畫像。人物畫像就是通過公開的數(shù)據(jù)，對(duì)人物上網(wǎng)行為分析，對(duì)其不同的屬性進(jìn)行標(biāo)記，從而能夠區(qū)別其喜好等特點(diǎn)，這些屬性包括：人口屬性、社交關(guān)系、興趣偏好、消費(fèi)行為、情感的傾向性，甚至是個(gè)人信用度等方面。人物畫像技術(shù)可以讓客戶精確地了解其客戶群的分類特點(diǎn)，從而能夠選擇精準(zhǔn)的營銷策略。

企業(yè)畫像就是通過互聯(lián)網(wǎng)的公開數(shù)據(jù)針對(duì)企業(yè)進(jìn)行描繪，例如工商注冊(cè)信息、知識(shí)產(chǎn)權(quán)信息、司法裁判信息、行政機(jī)構(gòu)審核信息、企業(yè)及其品牌的互聯(lián)網(wǎng)聲量信息和美譽(yù)度信息等。這類信息能夠讓人們迅速地對(duì)一家企業(yè)的背景和經(jīng)營現(xiàn)狀進(jìn)行判斷，可以廣泛地應(yīng)用在企業(yè)監(jiān)管、盡職調(diào)查、投資評(píng)估、營銷等領(lǐng)域。

畫像技術(shù)的實(shí)現(xiàn)可以分為這幾個(gè)部分：

• 首先，收集到人物或企業(yè)所有的相關(guān)數(shù)據(jù)并將數(shù)據(jù)劃分為靜態(tài)信息數(shù)據(jù)、動(dòng)態(tài)信息數(shù)據(jù)兩大類，靜態(tài)數(shù)據(jù)就是相對(duì)穩(wěn)定的信息，如人物的性別、地域、職業(yè)、消費(fèi)等級(jí)等，企業(yè)的工商注冊(cè)、專利、軟件著作權(quán)等，動(dòng)態(tài)數(shù)據(jù)就是不停變化的行為信息，如人物的自媒體言論，瀏覽網(wǎng)頁行為、搜索商品、發(fā)表評(píng)論、接觸渠道等，企業(yè)的新聞報(bào)道，用戶評(píng)價(jià)等。
• 其次，通過剖析數(shù)據(jù)為人物或企業(yè)貼上相應(yīng)的標(biāo)簽及指數(shù)，標(biāo)簽代表用戶對(duì)該內(nèi)容有興趣、偏好、需求等，指數(shù)代表用戶的興趣程度、需求程度、購買概率等；
• 第三，用標(biāo)簽建模，對(duì)于人物或企業(yè)進(jìn)行分類。

我們目前所實(shí)現(xiàn)的人物畫像，已經(jīng)應(yīng)用到了公安的網(wǎng)監(jiān)領(lǐng)域，在企業(yè)方面，也應(yīng)用于意見領(lǐng)袖遴選、客戶精準(zhǔn)營銷等方面。

問：前面您給我們分享了文本大數(shù)據(jù)以及其典型的應(yīng)用場(chǎng)景，我想問一個(gè)更具體的應(yīng)用問題，如何利用互聯(lián)網(wǎng)大數(shù)據(jù)實(shí)現(xiàn)品牌監(jiān)測(cè)和****分析？

**作者：**企業(yè)品牌信息的傳播對(duì)于企業(yè)的營銷至關(guān)重要，這些品牌相關(guān)信息出現(xiàn)在新聞報(bào)道，網(wǎng)站宣傳，電商平臺(tái)，以及眾多自媒體信息中：博客、論壇、微博、微信公眾號(hào)等。在進(jìn)行監(jiān)測(cè)和分析時(shí)，通過對(duì)所有這些信息源進(jìn)行數(shù)據(jù)獲取，從中過濾出相關(guān)品牌的信息，再進(jìn)一步分析。分析維度主要包括：

• 所監(jiān)測(cè)各品牌的傳播總量排名分析
• 高頻熱詞的排名
• 行業(yè)整體口碑分析，包括正負(fù)面的比例，以及相關(guān)的熱詞
• 地域分布分析
• 產(chǎn)品多維度觀點(diǎn)分析，比如對(duì)于汽車潤滑油產(chǎn)品，可以包括價(jià)格、油耗、動(dòng)力性、性能等多個(gè)方面的屬性

通過對(duì)自己和競(jìng)爭(zhēng)對(duì)手產(chǎn)品的品牌傳播分析，能夠做到知己知彼，了解行業(yè)內(nèi)的機(jī)會(huì)和威脅，及時(shí)調(diào)整品牌和產(chǎn)品策略，獲取競(jìng)爭(zhēng)中的優(yōu)勢(shì)。

問：剛才我們講了****文本大數(shù)據(jù)挖掘在企業(yè)營銷方向的應(yīng)用，文本大數(shù)據(jù)挖掘還可以哪些行業(yè)得到深度應(yīng)用？

**作者：**文本大數(shù)據(jù)挖掘的應(yīng)用非常廣泛，在未來的幾年中，將會(huì)在電子政務(wù)，金融，電信，醫(yī)療衛(wèi)生等領(lǐng)域得到推廣和普及。我們目前正在實(shí)施的應(yīng)用方向包括：

• 智慧城市：主要是綜合分析各個(gè)方面的數(shù)據(jù)，提供城市形象指數(shù)監(jiān)測(cè)，跨部門文本數(shù)據(jù)分析，公共治理的輔助決策等。
• 證券市場(chǎng)：結(jié)合企業(yè)畫像技術(shù)，為投資商，量化交易的操作人員提供企業(yè)畫像信息，企業(yè)監(jiān)測(cè)信息，相關(guān)互聯(lián)網(wǎng)聲量信息，從而可以幫助其更快更準(zhǔn)確地獲取所需的信息。
• 電信：通過跟運(yùn)營商的合作，為其廣大的企業(yè)客戶提供精準(zhǔn)化信息服務(wù)。
• 銀行：依據(jù)其內(nèi)部的投訴數(shù)據(jù)，以及來自互聯(lián)網(wǎng)的網(wǎng)民評(píng)價(jià)數(shù)據(jù)，建立其服務(wù)質(zhì)量指數(shù)評(píng)估體系。

本文作者：白劍波

北京智慧星光信息技術(shù)有限公司總裁。北航計(jì)算機(jī)專業(yè)碩士。曾經(jīng)擔(dān)任翰云時(shí)代科技有限公司總裁，NOKIA位置服務(wù)部門大中國區(qū)產(chǎn)品總監(jiān)，甲骨文顧問咨詢服務(wù)部中國區(qū)實(shí)施總監(jiān)，Sun公司ISV工程部高級(jí)經(jīng)理，北航教師。