馬爾可夫的案例
馬爾可夫鏈(Markov chain)隨機(jī)產(chǎn)生新的文檔
1 引言
使用馬爾可夫鏈(Markov chain)隨機(jī)產(chǎn)生新的文檔也是巖石邊坡工程大數(shù)據(jù)項(xiàng)目的其中一部分內(nèi)容，計(jì)劃單列一章討論這個主題(文本摘要生成的確定過程和隨機(jī)過程)。 這個筆記簡要描述了馬爾可夫鏈的工作機(jī)理(mk-1.py)。
2 工作機(jī)理
馬爾可夫鏈本質(zhì)上是一個詞匯接龍的游戲，把每一個單詞作為key, 然后尋找與其鄰接的單詞作為items, 如果items中有多個單詞，則隨機(jī)取出一個，于是形成一個鏈表結(jié)構(gòu)。首先準(zhǔn)備一個數(shù)據(jù)集，在本次試驗(yàn)中，選擇了20篇與巖橋相關(guān)的論文題目作為數(shù)據(jù)源，然后按照馬爾可夫鏈規(guī)則儲存在一個字典中。
展開 基于馬爾可夫鏈(markovify)文本生成代碼的改進(jìn)
第二種方法是馬爾可夫鏈《馬爾可夫鏈(Markov chain)隨機(jī)產(chǎn)生新的文檔》。這個筆記簡要記錄了對geotech-markovify-text-generation.py的改進(jìn)，這個改進(jìn)提高了生成句子的質(zhì)量。
2 改進(jìn)方法
盡管深度學(xué)習(xí)Transformers使用了大的模型GPT-2, 但測試結(jié)果顯示對于我們特定的專業(yè)領(lǐng)域，這些模型并不能給出令人滿意的結(jié)果，主要原因是這些模型中沒有包含專業(yè)的知識庫，因而生成的句子雜亂無章沒有邏輯，這也是我們努力改造馬爾可夫鏈的主要原因。另一方面，大而雜亂的數(shù)據(jù)集不能產(chǎn)生出合理的邏輯性非常強(qiáng)的句子，一個主題突出的數(shù)據(jù)集更容易產(chǎn)生出有實(shí)際意義的句子。因此改進(jìn)的第一步是合并了geotech-flashtext-passages.py中的算法，通過主題關(guān)鍵詞產(chǎn)生出一個聚合的小型數(shù)據(jù)集，把產(chǎn)生的這個數(shù)據(jù)集作為馬爾可夫鏈的輸入文件。
第二個改進(jìn)是增加了一個文本清理子程序，清除文件中存在的雜亂結(jié)構(gòu)，包括空行，無意義的字符以及小于一定長度的句子。
第三個改進(jìn)是在代碼中同時(shí)增加了兩個類POSifiedText_Spacy和POSifiedText_NLTK，用來改進(jìn)目前的markovify.Text方法。在POSifiedText_Spacy中，使用了最新的en_core_web_lg模型。這種改進(jìn)的優(yōu)點(diǎn)是極大地改善了生成句子的質(zhì)量，缺點(diǎn)是對于大的數(shù)據(jù)集，運(yùn)行時(shí)間變慢，特別是POSifiedText_Spacy方法，在一個40M的數(shù)據(jù)集測試中，訓(xùn)練時(shí)間花了接近50分鐘。
因此，目前的代碼中包括了三種句子生成方法。假如設(shè)定每種方法都產(chǎn)生5個句子，那么每次運(yùn)行能同時(shí)產(chǎn)生出15個句子。
展開 模擬退火算法優(yōu)化指派問題
這里要提的是退火算法中的馬爾可夫鏈。如果將每個特定時(shí)間序列上的解空間狀態(tài)看成離散的，并將這些離散狀態(tài)連成一條鏈的話。那么整個求解過程就是一條馬爾可夫鏈，這一個時(shí)刻的狀態(tài)，只和上一個相鄰的時(shí)間點(diǎn)上的狀態(tài)相關(guān)，而與之前的時(shí)間點(diǎn)狀態(tài)都無關(guān)。這聽起來有點(diǎn)像還錢。我不管誰欠你的錢，但是我只知道你欠我錢，我只管你要。SA中馬爾可夫鏈的長度就是模擬退火中溫度的變化。
還有一個屬于模擬退火算法的特色概念，也就是它跳出局部極小值解的方法：將原有的目標(biāo)函數(shù)值和新求出的目標(biāo)函數(shù)值相減，得出一個delta值。如果這個值是小于零的，證明解優(yōu)化，否則的話，就以一定的概率去接受它。這個概率是隨著不同的溫度和不同delta變化而變化的。
展開 巖石邊坡工程的數(shù)據(jù)挖掘(Data Mining)
文本摘要生成的確定過程和隨機(jī)過程
PyTextRank---文本關(guān)鍵字(keywords)的自動取出
使用Trigram獲取文檔的中心思想
5 主題聚合
主題聚合使用了兩個算法：LDA和Transformer
LDA Topic Modeling(主題建模)
使用Transformers確定句子之間的相似度
6 生成新的句子
生成新的句子主要使用了馬爾可夫鏈
馬爾可夫鏈(Markov chain)隨機(jī)產(chǎn)生新的文檔
利用文本相似度聚類產(chǎn)生能夠再學(xué)習(xí)的新文檔
7 應(yīng)用
目前，這個數(shù)據(jù)挖掘工作主要的應(yīng)用領(lǐng)域包括雙語教學(xué)，產(chǎn)生新的論文主題以及生成論文內(nèi)容等。
非結(jié)構(gòu)化的文獻(xiàn)快速聚合: Synthetic Rock Mass
公眾號文章的自我聚合: 巖橋(Rock Bridge/Step-Path)
畢業(yè)論文查重就是一個坑
巖石邊坡工程大數(shù)據(jù)系統(tǒng)設(shè)計(jì)
Data Mining---巖土工程的數(shù)據(jù)挖掘
展開 
新書推薦(3)——《現(xiàn)代優(yōu)化計(jì)算方法》
目錄：
第1章 概論
1.1 組合最優(yōu)化問題
1.2 計(jì)算復(fù)雜性的概念
1.3 鄰域的概念
1.4 啟發(fā)式算法
1.5 NP,NP完全和NP難
1.6 多項(xiàng)式時(shí)間迫近格式
1.7 小結(jié)
練習(xí)題
參考文獻(xiàn)
第2章 禁忌搜索算法
2.1 局部搜索
2.2 禁忌搜索
2.3 技術(shù)問題
2.4 應(yīng)用案例——圖節(jié)點(diǎn)著色和車間作業(yè)排序
練習(xí)題
參考文獻(xiàn)
第3章 模擬退火算法
3.1 模擬退火算法及模型
3.2 馬爾可夫鏈
3.3 時(shí)齊算法的收斂性
3.4 非時(shí)齊算法收斂性簡介
3.5 實(shí)現(xiàn)的技術(shù)問題
3.6 應(yīng)用案例——下料問題
練習(xí)題
參考文獻(xiàn)
第4章 遺傳算法
4.1 遺傳算法
4.2 模板理論
4.3 馬爾可夫鏈?zhǔn)諗糠治?4.4 實(shí)現(xiàn)的技術(shù)問題
4.5 遺傳模擬退火算法
4.6 應(yīng)用案例——生產(chǎn)批量問題
練習(xí)題
參考文獻(xiàn)
第5章 蟻群優(yōu)化算法
5.1 蟻群優(yōu)化算法的概念
5.2 算法模型和收斂性分析
5.3 技術(shù)問題
5.4 應(yīng)用案例——醫(yī)學(xué)診斷的數(shù)據(jù)挖掘
練習(xí)題
參考文獻(xiàn)
第6章 人工神經(jīng)網(wǎng)絡(luò)
6.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念
6.2 單層前向神經(jīng)網(wǎng)絡(luò)
6.3 多層前向神經(jīng)網(wǎng)絡(luò)
6.4 競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)
6.5 反饋型神經(jīng)網(wǎng)絡(luò)
練習(xí)題
參考文獻(xiàn)
第7章 拉格朗日松弛算法
7.1 基于規(guī)劃論的松弛方法
7.2 拉格朗日松弛理論
7.3 拉格朗日松弛的進(jìn)一步討論
7.4 拉格朗日松弛算法
7.5 應(yīng)用案例——能力約束單機(jī)排序問題
練習(xí)題
參考文獻(xiàn)
索引
展開 《MATLAB工程數(shù)學(xué)——MATLAB實(shí)用指南系列》
目錄
第1篇 統(tǒng)計(jì)工具箱
第1章 統(tǒng)計(jì)工具箱簡介
第2章 概率論
第3章 樣本描述
第4章 方差分析
第5章 假設(shè)檢驗(yàn)
第6章 回歸分析
第7章 非參數(shù)檢驗(yàn)
第8章 多元方差分析
第9章 聚類分析
第10章 判別分析
第11章 主成分分析
第12章 因子分析
第13章 隱馬爾可夫模型
第14章 多維尺度分析
第15章 決策樹
第16章 統(tǒng)計(jì)過程控制
第17章 試驗(yàn)設(shè)計(jì)
第18章 統(tǒng)計(jì)圖
第19章 文件輸入/輸出
第20章 統(tǒng)計(jì)演示
第2篇 優(yōu)化工具箱
第21章 優(yōu)化工具箱概述
第22章 無約束最優(yōu)化問題
第23章 有約束最優(yōu)化問題
第24章 二次規(guī)劃
第25章 0-1規(guī)劃
第26章 多目標(biāo)規(guī)劃
第27章 最大最小化
第28章 半無限問題
第29章 最小二乘問題
第30章 方程求解
……
第3篇 偏微分方程數(shù)值解工具箱
第4篇 樣條工具箱
第5篇 曲線擬合工具箱
參考文獻(xiàn)
展開 低空無人機(jī)自主避障算法綜述
3.2 馬爾可夫決策過程
馬爾可夫決策過程(Markov Decision Process,MDP)最早由BELLMAN[40]提出，其用于具有馬爾可夫性質(zhì)的環(huán)境中，通過模擬智能體與環(huán)境交互獲得回報(bào)，是在不確定性動態(tài)系統(tǒng)中最優(yōu)化的決策方法。
針對多旋翼無人機(jī)在不確定環(huán)境下的避障問題，MUELLER等[41]提出將無人機(jī)碰撞過程表述為部分可觀察馬爾可夫決策過程，并通過值迭代求解可行的避障動作。但是該算法需要通過離線調(diào)整參數(shù)以達(dá)到最佳效果，無法適用于不同情形下的應(yīng)用。其次，該算法為了保證實(shí)時(shí)性，需要將無人機(jī)速度、位置等狀態(tài)信息進(jìn)行離散化處理，這意味著無人機(jī)速度無法在性能限制內(nèi)進(jìn)行連續(xù)變化。
BERTRAM等[42]提出基于馬爾可夫決策過程的多智能體分布軌跡規(guī)劃算法，通過構(gòu)建正負(fù)獎勵以適應(yīng)三維環(huán)境不同高度下的避障。但是該算法需要根據(jù)空域內(nèi)的環(huán)境特征提前構(gòu)建負(fù)值獎勵，無法適用于陌生環(huán)境，并且不能保證避障機(jī)動時(shí)的最小化軌跡偏離程度。
針對利用蒙特卡羅樹搜索解決無人機(jī)避障無法獲得最優(yōu)航跡以及在面對凹形障礙時(shí)算法性能下降的問題，文獻(xiàn)[43]提出結(jié)合跳點(diǎn)搜索算法在全局規(guī)劃上的優(yōu)勢，建立離散路徑點(diǎn)引導(dǎo)無人機(jī)，同時(shí)將線性系數(shù)引入獎勵函數(shù)來權(quán)衡無人機(jī)在避障過程中避障效率和最優(yōu)路徑的關(guān)系。但是該算法需要通過先驗(yàn)的地形環(huán)境來建立路徑點(diǎn)，不適用于陌生環(huán)境。此外，路徑點(diǎn)的間隔距離無法自適應(yīng)，不能直接應(yīng)用于任何場景，其算法的通用性有待提高。
3.3 智能算法
JULIAN等[44]提出采用壓縮深度神經(jīng)網(wǎng)絡(luò)以優(yōu)化避障策略中的離散數(shù)值表，通過非對稱損失函數(shù)和梯度下降算法對數(shù)值表進(jìn)行逼近，從而得到一個近似表。但是該算法依賴于原始數(shù)值表的性能，由于采用了集中式的方法控制無人機(jī)避障，只能應(yīng)用于合作式避障。當(dāng)無人機(jī)面對外來入侵飛行器或者其他非合作動態(tài)障礙時(shí)，無人機(jī)將無法獨(dú)立進(jìn)行避障。
展開 《灰色系統(tǒng)理論及其應(yīng)用(第三版) 》
其中序列算子，緩沖算子公理系統(tǒng)及系列弱化和強(qiáng)化算子、灰數(shù)灰度測度公理、廣義灰色關(guān)聯(lián)度（灰色絕對關(guān)聯(lián)度、灰色相對關(guān)聯(lián)度、灰色綜合關(guān)聯(lián)度），定權(quán)灰色聚類評估和基于三角白化權(quán)函數(shù)的灰評估新方法，LPGP漂移及定位求解，GM(1,1)模型的適用范圍，以及灰色經(jīng)濟(jì)計(jì)量學(xué)模型(G-E)，灰色生產(chǎn)函數(shù)模型(G-C-D)，灰色投入產(chǎn)出模型(G-I-O)、灰色馬爾可夫模型(G-M)和灰色博弈模型（G-G）等系作者首次提出。
本書適于作高等院校理、工、農(nóng)、醫(yī)、天、地、生及經(jīng)濟(jì)、管理類各專業(yè)大學(xué)生和研究生教材，亦可供政府部門、科研機(jī)構(gòu)及企事業(yè)單位的科技工作者、管理干部以及系統(tǒng)分析、市場預(yù)測、金融決策、資產(chǎn)評估、企業(yè)策劃人員參考。
展開 申請兌換《現(xiàn)代數(shù)學(xué)手冊：隨機(jī)數(shù)學(xué)卷》
現(xiàn)代數(shù)學(xué)手冊：隨機(jī)數(shù)學(xué)卷
作者: 《現(xiàn)代數(shù)學(xué)手冊 委員會
isbn: 7560921752
定價(jià): 88
出版社: 華中科技大學(xué)出版社
出版年: 2000-12-1
隨機(jī)數(shù)學(xué)卷
第1篇 概率論
第2篇 數(shù)理統(tǒng)計(jì)
第3篇 試驗(yàn)設(shè)計(jì)
第4篇 抽樣調(diào)查
第5篇 質(zhì)量管理
第6篇 線性模型
第7篇 多元統(tǒng)計(jì)分析
第8篇 貝葉斯統(tǒng)計(jì)
第9篇 穩(wěn)健統(tǒng)計(jì)
第10篇 蒙特卡羅法
第11篇 現(xiàn)代統(tǒng)計(jì)計(jì)算方法
第12篇 隨機(jī)過程
第13篇 時(shí)間序列分析
第14篇 隨機(jī)分析
第15篇 排隊(duì)論
第16篇 庫存論
第17篇 馬爾可夫決策過程
第18篇 可靠性與生存分析
第19篇 決策分析
[可靠性軟件介紹]可靠性、維修性和安全性工程設(shè)計(jì)分析Isograph
功能集成
Isograph 軟件集成了以下可靠性、維修性、綜合保障分析工作內(nèi)容：
※ Reliability Prediction －可靠性預(yù)計(jì)
※ Maintainability Prediction －維修性預(yù)計(jì)（ MTTR 預(yù)計(jì)）
※ Reliability Block Diagram －可靠性框圖
※ FMEA / FMECA －故障模式、影響及危害性分析
※ Fault Tree Analysis －故障樹分析
※ Event Tree Analysis －事件樹分析
※ Markov Analysis －馬爾可夫過程分析
※ Reliability-Centred Maintenance －以可靠性為中心的維修工作分析
※ Hazop Analysis －風(fēng)險(xiǎn)性及可行性分析
※ Weibull Analysis －威布爾故障數(shù)據(jù)分析
※ LccWare －壽命周期費(fèi)用分析
※ AvSim －高級仿真分析
項(xiàng)目集成
※ 系統(tǒng)、分系統(tǒng)、設(shè)備、部件、組件、元器件的統(tǒng)一分析和管理
※ 支持工程項(xiàng)目的分離與合并
※ 自動實(shí)現(xiàn)產(chǎn)品中各層次單元的數(shù)據(jù)傳遞關(guān)系
※ 最大限度地保證可靠性設(shè)計(jì)分析工作與產(chǎn)品研制狀態(tài)的一致性
數(shù)據(jù)集成
※ 通過數(shù)據(jù)共享和數(shù)據(jù)鏈接技術(shù)實(shí)現(xiàn)數(shù)據(jù)集成
※ 軟件內(nèi)部的數(shù)據(jù)鏈接由系統(tǒng)自動實(shí)現(xiàn)
※ 軟件與外部接口的數(shù)據(jù)鏈接由用戶自由指定
展開 Python機(jī)器學(xué)習(xí)經(jīng)典實(shí)例(中英文版本)PDF高清文檔下載 Python小白龍
Python機(jī)器學(xué)習(xí)經(jīng)典實(shí)例首先通過實(shí)用的案例介紹機(jī)器學(xué)習(xí)的基礎(chǔ)知識，然后介紹一些稍微復(fù)雜的機(jī)器學(xué)習(xí)算法，例如支持向量機(jī)、極端隨機(jī)森林、隱馬爾可夫模型、條件隨機(jī)場、深度神經(jīng)網(wǎng)絡(luò)，等等。
用最火的Python語言、通過各種各樣的機(jī)器學(xué)習(xí)算法來解決實(shí)際問題！
書中介紹的主要問題如下。
探索分類分析算法并將其應(yīng)用于收入等級評估問題
使用預(yù)測建模并將其應(yīng)用到實(shí)際問題中
了解如何使用無監(jiān)督學(xué)習(xí)來執(zhí)行市場細(xì)分
探索數(shù)據(jù)可視化技術(shù)以多種方式與數(shù)據(jù)進(jìn)行交互
了解如何構(gòu)建推薦引擎
理解如何與文本數(shù)據(jù)交互并構(gòu)建模型來分析它
使用隱馬爾科夫模型來研究語音數(shù)據(jù)并識別語音
全網(wǎng)最全Python必讀書藉合集（PDF文檔免費(fèi)下載）
目錄
第 1 章 監(jiān)督學(xué)習(xí)
第 2 章 創(chuàng)建分類器
第 3 章 預(yù)測建模
第 4 章 無監(jiān)督學(xué)習(xí)——聚類
第 5 章 構(gòu)建推薦引擎
第 6 章 分析文本數(shù)據(jù)
第 7 章 語音識別
第 8 章 解剖時(shí)間序列和時(shí)序數(shù)據(jù)
第 9 章 圖像內(nèi)容分析
第 10 章 人臉識別
第 11 章 深度神經(jīng)網(wǎng)絡(luò)
第 12 章 可視化數(shù)據(jù)
展開 
機(jī)器學(xué)習(xí)入門之隱馬爾科夫模型
實(shí)際上隱馬爾可夫模型可以有更高階的建模，結(jié)合其他數(shù)據(jù)處理方法，拓展到智能汽車，還可以用于很多方面，例如：
通過輸入的語音推算駕駛員意圖
通過觀測前車運(yùn)動變量推算前車換道意圖
通過觀測輸入的軌跡點(diǎn)推算真實(shí)道路線
隱馬爾科夫模型的精髓在于通過建立“隱藏“變量，將觀測變量的時(shí)序相關(guān)性抽象到隱藏變量上。在日常生活中，我們常稱這種感覺為”第六感“。在機(jī)器學(xué)習(xí)中，我們稱這種感覺為”隱馬爾科夫模型“。
當(dāng)然隱馬爾可夫模型也不是萬能的，實(shí)際中往往需要花費(fèi)大量的時(shí)間優(yōu)化模型和調(diào)參，才能達(dá)到“能用“的程度。最后引用George Box的一句名言作為結(jié)尾：“All models are wrong,but some are useful.”
參考來源：
Hidden Markov ModelsFundamentals，http://cs229.stanford.edu/section/cs229-hmm.pdf
https://hmmlearn.readthedocs.io/en/latest/api.html#hmmlearn-bas
展開 近十年的VI-SLAM算法綜述與發(fā)展
EKF 使用了馬爾可夫假設(shè)來實(shí)現(xiàn)其遞歸形式，由于使用了馬爾可夫假設(shè)，一旦濾波器建立在該假設(shè)上就無法擺脫它。包括IEKF 在內(nèi)，雖然 IEKF 一次迭代了一個時(shí)間步長，但它仍然依賴于馬爾可夫假設(shè)，而且僅在一個時(shí)刻上進(jìn)行了迭代，并非在整個軌跡上。
本文比較了幾種代表性的 VI-SLAM 框架，如表 1 所示。可以看出，目前主流的 VI-SLAM 實(shí)現(xiàn)方法以緊耦合的優(yōu)化方法為主。相較于松耦合的方法，把 IMU 狀態(tài)與相機(jī)狀態(tài)合并在一起進(jìn)行狀態(tài)估計(jì)的緊耦合方法具有更高的精度。而由于基于濾波的方法具有馬爾可夫性，無法考慮到某時(shí)刻狀態(tài)與之前所有時(shí)刻狀態(tài)的關(guān)系，目前普遍認(rèn)為在計(jì)算資源足夠的情況下，基于優(yōu)化的方法會得到更精確的效果。但是在計(jì)算資源受限，或者移動機(jī)器人位姿軌跡比較簡單的場合里，基于濾波的方法仍然是一種有效的方式。
5. 展望
5.1 與深度學(xué)習(xí)結(jié)合
構(gòu)建語義地圖、在幀間匹配和回環(huán)檢測中采用 深 度 學(xué) 習(xí) 的 方 法 是 目 前 SLAM 的 研 究 熱 點(diǎn) 之一 。深度學(xué)習(xí)方法的引入使移動機(jī)器人可以理解周圍環(huán)境的語義信息。完成一些更復(fù)雜的任務(wù)。但深度學(xué)習(xí)方法對于計(jì)算資源的需求巨大,在硬件條件較差的嵌入式場景難以使用,需要研究人員進(jìn)一步地改進(jìn)網(wǎng)絡(luò)。
5.2 輕量化
SLAM 本身是為了給上層應(yīng)用提供自身位姿估計(jì)，在實(shí)際應(yīng)用中,研究人員并不希望算法占用太多運(yùn)算資源。使用者希望 SLAM 框架能夠輕量化，不影響移動機(jī)器人或者手機(jī)移動端所要完成的其他工作。相比于激光 SLAM 等成本高昂的方法，由于 VI-SLAM 系統(tǒng)只使用相機(jī)和慣性傳感器，在無人機(jī)或手持移動設(shè)備上良好運(yùn)行 SLAM 程序成為可能。
展開 開放式文本生成(Open-Ended Text Generation)
我們以前使用馬爾科夫鏈產(chǎn)生新的文本《馬爾可夫鏈(Markov chain)隨機(jī)產(chǎn)生新的文檔》,可以認(rèn)為是續(xù)寫句子的一種方法。在開放式文本生成中，已知一個給定的句子，目標(biāo)是按照這個句子創(chuàng)建一個連貫的文本，使得句子能夠延續(xù)下去。Transformers的管道名為"text-generation"，其構(gòu)建基礎(chǔ)是因果語言模擬(causal language modeling), 默認(rèn)的模型是GPT-2，Top-K采樣。
from transformers import pipelinetext_generator = pipeline("text-generation")
管道對象調(diào)用方法generate()來生成文本。可以用max_length和do_sample方法重載默認(rèn)參數(shù)。在下面的測試中，除了使用GPT-2外，也使用distilgpt2和gpt2-large(3.25G)進(jìn)行了觀察。
2 實(shí)例
(1) 輸入的文本 text = "These solutions have been combined with probabilistic Monte Carlo methods to identify critical step paths."【這些解決方案與概率蒙特卡洛方法相結(jié)合，以確定關(guān)鍵階梯路徑。】
生成的文本如下：
The study was supported by the National Science Foundation. The results of the study are published in the journal Nature.
展開 巖石邊坡工程大數(shù)據(jù)處理---階段性總結(jié)(R1)
3.1 運(yùn)行環(huán)境
由于在本項(xiàng)目中使用了多種庫，因此針對不同的庫設(shè)置了不同的虛擬環(huán)境，主要包括: (1) base(root); (2) Spacy; (3) Bertopic; (4) Tensorflow; (5) Flair; (6) Transformers
3.2 主題模擬和相似性查詢
使用聯(lián)合的方法進(jìn)行主題模擬和相似性查詢，主要包括:
(1) geotech-flashtext-passages.py 根據(jù)不同的短語組合，聚合出相應(yīng)的段落；geotech-flashtext-words-combination.py是一個變體，把整個文檔劃分為單句進(jìn)行聚合，使用了C(n,3)的組合算法；
(2) geotech-PyTextRank-keywords-summarization.py 自動提取文檔中的關(guān)鍵短語并進(jìn)行排序，同時(shí)進(jìn)行文檔總結(jié)；
(3) geotech-doc2vec-documents-similarity.py 從文檔中產(chǎn)生相似性段落，提取語義相關(guān)的短語, 使用LDA算法進(jìn)行主題聚合；
(4) geotech-markovify-text-generation.py 使用馬爾可夫鏈算法生成新的句子;
(5) geotech-bertopic-topic-modeling.py 使用Transformers算法聚合主題;
(6) geotech-top2vec-sentences.py 使用Transformers算法聚合主題;
(7) geotech-sklearn-similarity-query.py 使用sklearn算法進(jìn)行句子的相似性查詢;
(8) geotech-st-similarity.py 使用SentenceTransformers進(jìn)行相似性查詢；
(9) geotech-st-lexrank-summarization.py
展開 