大數(shù)據(jù)LJParser文本語義分析系統(tǒng)

時間：2017-02-03

　　隨著計算機技術和網(wǎng)絡技術的*發(fā)展，互聯(lián)網(wǎng)上共享的文本呈海量趨勢增長，包括各種環(huán)境下的大文本和社交媒體文本等。如何有效存儲、管理、檢索和使用這些文本數(shù)據(jù)，是擺在人們面前巨大的挑戰(zhàn)和亟待解決的研究問題。文本語義分析與挖掘是解決上述問題的基礎。
　　互聯(lián)網(wǎng)大環(huán)境下的共享文本具備特殊的屬性:1)半結構化;2)多尺度;3)海量;4)復雜關聯(lián);5)多樣化。LJParser文本語義分析系統(tǒng)結合人工智能、統(tǒng)計分析、自然語言處理、文本挖掘等技術，圍繞全文精準檢索、主題詞挖掘、主題模型聚類幾個研究內(nèi)容對不同的文本語料庫進行分析，以實現(xiàn)對不同尺度、不同領域文本的深入語義分析和理解。LJParser文本語義分析系統(tǒng)具體內(nèi)容:
　　(1)、為了有效融入人為的語義認知，并克服以往研究對象僅局限于特定語種文檔的缺陷，LJParser文本語義分析系統(tǒng)提出一種基于詞匯語義相關度計算的文檔語義特征提取，又名全文精準檢索。針對中英文語料庫，提出HWSC(HowNet&WordNetSemanticCompression)算法實現(xiàn)每篇文檔的代表性語義詞匯的提取。該算法分別利用HowNet和WordNet知識庫系統(tǒng)對中英文本進行詞匯語義相關度計算，并在其基礎上抽取重要主題的相關主題詞匯，以此過濾掉語義不相關詞匯，達到語義壓縮的目的。
　　(2)、文本數(shù)據(jù)的海量特性將導致主題瀏覽的困難。綜合考慮單個主題詞匯表達不完善、主題重要性標準不一等因素，LJParser文本語義分析系統(tǒng)提出一種融合詞組發(fā)現(xiàn)和主題排序的關鍵主題詞發(fā)現(xiàn)機制。在主題詞組發(fā)現(xiàn)模型LDA_col(LatentDirichletAllocation_Collocation)的基礎上進行詞組發(fā)現(xiàn)，利用GibbsSampling算法進行參數(shù)的有效估計，并針對LDA_col模型的不穩(wěn)定性進行改進，引入額外變量控制詞組和前綴詞匯的主題一致性。由于目前的主題模型輸出都需要人工瀏覽去發(fā)現(xiàn)自己感興趣的主題，而且不同用戶對主題的重要性定義存在差異，因此為了滿足用戶不同角度的需求，提出兩種重要主題排序機制，分別為基于主題覆蓋度(TopicCoverage，TC)和主題相似度(TopicSimilarity，TS)的方法。
　　(3)、針對文本內(nèi)容的多尺度特性，LJParser文本語義分析系統(tǒng)提出能同時適用于普通文本和大文本的基于主題分析的聚類算法。該方法從主題分析的角度出發(fā)，使得聚為同類的文檔含有相似的一個或多個主題。針對普通文檔，提出一種基于LDA(LatentDirichletAllocation)模型的聚類方法。
　　LJParser文本語義分析系統(tǒng)是一套專門針對原始文本集進行處理和加工的軟件，提供了中間件處理效果的可視化展示，也可以作為小規(guī)模數(shù)據(jù)的處理加工工具。用戶可以使用該軟件對自己的數(shù)據(jù)進行處理。
　　LJParser文本語義分析系統(tǒng)主要工作是解決如何面向不同領域、不同尺度的文本進行語義理解，使得語義分析的結果較有利于計算機對文本的自動理解及其他文本任務，如文本瀏覽、文本語義檢索、互聯(lián)網(wǎng)話題檢測與推薦以等。

詞條
詞條說明
靈玖航天咨詢大數(shù)據(jù)挖掘平臺初驗*
近日，經(jīng)過公司技術部門的不斷努力、銷售部門的積極協(xié)調(diào)，航天咨詢《航天咨詢數(shù)據(jù)搜索與挖掘平臺》項目初驗*。公司為客戶建設了一套基于互聯(lián)網(wǎng)大數(shù)據(jù)的數(shù)據(jù)搜索與挖掘平臺，并滿足將分散在互聯(lián)網(wǎng)中的航天領域信息和數(shù)據(jù)搜集起來，再通過大數(shù)據(jù)搜索與挖掘的技術手段，及時準確的進行分析、處理和提取，最后利用針對專業(yè)領域的數(shù)據(jù)搜索引擎進行查詢，幫助用戶**時間獲得重要的信息數(shù)據(jù)，從而解決客戶數(shù)據(jù)采集和挖掘的難題
敏感信息LJKeyScanner過濾系統(tǒng)的市場應用
當今時代是互聯(lián)網(wǎng)時代，互聯(lián)網(wǎng)作為這個時代的主題使得這個時代具有資源共享性和信息傳播性的特點，給人們的生活帶來了便利。網(wǎng)絡在為人們認識世界帶來便利的同時也為有害信息的廣泛傳播提供了便捷且廣泛的途徑。人們在享受互聯(lián)網(wǎng)帶來的便利的同時，也常常會受到一些非法信息的滋擾。因此信息安全問題對于維護網(wǎng)絡環(huán)境的健康有著十分重要的意義。目前網(wǎng)絡的過濾技術主要有三種,它們是基于URL過濾方式、基于文本的過濾方式和
NLPIR大數(shù)據(jù)處理技術智能挖掘數(shù)據(jù)語義
當今,信息技術為人類步入智能社會開啟了大門,帶動了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務、現(xiàn)代物流、網(wǎng)絡金融等現(xiàn)代服務業(yè)發(fā)展,催生了車聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能交通、智能城市、**裝備制造等新興產(chǎn)業(yè)發(fā)展.現(xiàn)代信息技術正成為各行各業(yè)運營和發(fā)展的引擎.但這個引擎正面臨著大數(shù)據(jù)這個巨大的考驗.各種業(yè)務數(shù)據(jù)正以幾何級數(shù)的形式爆發(fā),其格式、收集、儲存、檢索、分析、應用等諸多問題,不再能以傳統(tǒng)的信息處理技術加以解決,對
NLPIR中文信息系統(tǒng)洞察挖掘行業(yè)發(fā)展趨勢
進入21世紀，面對網(wǎng)絡時代信息的爆炸式增長，中文信息處理作為一項基礎性、普適特性的信息技術，面臨著挑戰(zhàn)和再次發(fā)展的機遇，在互聯(lián)網(wǎng)時代則顯示出其優(yōu)勢。它的開發(fā)利用關系到我國今后信息產(chǎn)業(yè)乃至社會經(jīng)濟的發(fā)展和安全，具有巨大的經(jīng)濟**和社會**。中文信息處理包括了有關中文信息的采集、存儲、傳輸和利用，是指利用電子計算機和現(xiàn)代通信、照明、排版、等自動化技術對漢字信息進行輸入輸出整理、加工、轉(zhuǎn)換、傳輸、復