2023學(xué)年完整公開課版Variety特征

文本分析的4V特征之一Variety特征引語Variety特征引語/01

在線網(wǎng)絡(luò)環(huán)境中，文本類型數(shù)據(jù)的分析技術(shù)符合典型的大數(shù)據(jù)技術(shù)的基本特征，4V特征。引語Variety特征/02數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對(duì)于以往便儲(chǔ)存的以數(shù)據(jù)庫(kù)/文本為主的結(jié)構(gòu)變化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等。這些多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高要求。Variety特征

對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，可以直接采用統(tǒng)計(jì)推斷分析法、機(jī)器學(xué)習(xí)方法、深度學(xué)習(xí)方法進(jìn)行處理，這些數(shù)據(jù)分析方法在相關(guān)理論及技術(shù)應(yīng)用當(dāng)前已經(jīng)發(fā)展得非常成熟。然而，當(dāng)前非結(jié)構(gòu)化數(shù)據(jù)分析方法的發(fā)展阻力卻較大。尤其文本類型數(shù)據(jù)的復(fù)雜性、變化性都很高，當(dāng)前技術(shù)仍主要是將文本類型數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)，再通過傳統(tǒng)的數(shù)據(jù)挖掘方法進(jìn)行處理。Variety特征

文本類型數(shù)據(jù)的核心是人類社會(huì)的語言內(nèi)容，語言則是人的情感及行為的綜合體現(xiàn)。因此，文本類型數(shù)據(jù)本質(zhì)上就帶有大量人為的復(fù)雜性因素，其分析難度遠(yuǎn)遠(yuǎn)大于一般的結(jié)構(gòu)化數(shù)據(jù)。將文本類型數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)時(shí)需要一系列復(fù)雜、煩瑣的技術(shù)環(huán)節(jié)，這導(dǎo)致文本分析技術(shù)相對(duì)于數(shù)據(jù)挖掘技術(shù)的的發(fā)展滯后很多。文本分析技術(shù)在未來仍具有充足的探索空間。Variety特征

此外，數(shù)據(jù)在多樣性也要求分析文本數(shù)據(jù)時(shí)需要設(shè)計(jì)符合其基本特征的算法，這要求數(shù)據(jù)分析者要關(guān)注文本數(shù)據(jù)的產(chǎn)生過程和具體應(yīng)用場(chǎng)景。文本類型的數(shù)據(jù)會(huì)涉及不同有知識(shí)領(lǐng)域、不同的場(chǎng)景，同時(shí)以不同的表達(dá)方式呈現(xiàn)給用戶。這些特點(diǎn)，都是文本類型數(shù)據(jù)多樣性的具體表現(xiàn)。Variety特征

當(dāng)考慮數(shù)據(jù)的多樣性設(shè)計(jì)文本分析方法時(shí)，需要根據(jù)具體問題、場(chǎng)景有針對(duì)性地設(shè)計(jì)符合領(lǐng)域特征的特定方法，不能一概而論，正是由于這種原因，文本類型數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)相比，分析難度更大，分析者往往需要不斷地設(shè)計(jì)對(duì)實(shí)際問題具備深入的理解，也要對(duì)與文本分析技術(shù)相關(guān)的算法和原理具備強(qiáng)硬