1 引言

《GeotechSet數(shù)據(jù)集在GPT2上的訓(xùn)練過(guò)程》訓(xùn)練出一個(gè)Geotechset試驗(yàn)?zāi)Ｐ停?使用了僅450k的原始數(shù)據(jù)集，在此基礎(chǔ)上，把原始數(shù)據(jù)擴(kuò)到了目前的5.3M進(jìn)行了試驗(yàn)，數(shù)據(jù)范圍仍然集中在巖石工程。這個(gè)筆記回顧了參數(shù)的設(shè)置和生成的結(jié)果。

2 訓(xùn)練參數(shù)設(shè)置

與上一個(gè)版本相比，這個(gè)版本把訓(xùn)練循環(huán)次數(shù)num_train_epochs的數(shù)值由原來(lái)的3改為4，這將增加結(jié)果的可靠度，其它參數(shù)沒(méi)有改變。完整的輸入?yún)?shù)如下：

--output_dir=mwu 

--model_type=gpt2 

--model_name_or_path=gpt2 

--do_train --train_data_file=./input.txt 

--per_device_train_batch_size=2 

--dataloader_num_workers=1 

--block_size 256 

--save_steps 5000 

--num_train_epochs=4

訓(xùn)練過(guò)程的參數(shù)總結(jié)如下: 

Num examples = 5250

Num Epochs = 4

Instantaneous batch size per device = 2

Total train batch size (w. parallel, distributed & accumulation) = 2

Gradient Accumulation steps = 1

Total optimization steps = 10500

這個(gè)訓(xùn)練總共運(yùn)行了32分鐘，新的模型如下所示。

3 集成aitextgen

aitextgen目前的版本是V0.5.0(5/17/2021), 它使用OpenAI的GPT-2和EleutherAI的GPT Neo/GPT-3架構(gòu)進(jìn)行基于文本的人工智能訓(xùn)練，利用PyTorch、HuggingFace Transformers和pytorch-lightning，對(duì)使用GPT-2的文本生成進(jìn)行了優(yōu)化。aitextgen能直接使用我們訓(xùn)練出來(lái)的模型，因此在原有代碼的基礎(chǔ)上加入了這個(gè)庫(kù)。

4 運(yùn)行參數(shù)設(shè)置

以"rock toppling failure"作為引導(dǎo)短語(yǔ)運(yùn)行g(shù)eotech-data-finetune.py，在這個(gè)代碼中，目前共設(shè)置4種方法產(chǎn)生結(jié)果，為了簡(jiǎn)化結(jié)果，每種方法僅產(chǎn)生一個(gè)句子。模型運(yùn)行參數(shù)如下所示。

outputs = model.generate(    input_ids,    max_length = 100,    early_stopping=True,    num_return_sequences=1,    top_k=60,    top_p = 0.90,    do_sample=True)

5 運(yùn)行結(jié)果

運(yùn)行結(jié)果總結(jié): 《巖石傾倒破壞》

(1) 巖橋是巖石邊坡穩(wěn)定性的重要組成部分。在傳統(tǒng)的巖橋分析方法中，通常假設(shè)巖橋位于相鄰的不連續(xù)體尖端之間的最短路徑，但實(shí)際上，有其它因素也會(huì)影響邊坡的穩(wěn)定性，包括節(jié)理間距、不連續(xù)體的貫通度以及巖石的內(nèi)摩擦角。Santos等人(2018)研究了巖橋厚度對(duì)邊坡破壞的影響。在這項(xiàng)研究中，通過(guò)改變巖橋厚度從0.5到1.0毫米來(lái)模擬平面內(nèi)巖橋破壞。圖1中的巖橋厚度使用了Jennings(1970)介紹的、由Sirovision(1983)開(kāi)發(fā)的等效不連續(xù)模型。在等效不連續(xù)模型中，一般假定節(jié)理間距等于1米，并與邊坡寬度相似或小于斜坡寬度(圖2)。等效不連續(xù)模型還假定，當(dāng)節(jié)理間距等于邊坡長(zhǎng)度時(shí)，剪應(yīng)力等于法向應(yīng)力(圖3)。然而，模型中連接面的應(yīng)力分布是非常不同的。

(2) Stead等人(2004)使用三維DEM模型3DEC模擬了邊坡的平面，楔形和傾倒破壞分析，用來(lái)評(píng)價(jià)邊坡坡腳處開(kāi)挖對(duì)邊坡的穩(wěn)定性影響。在他們的分析中考慮了巖橋的角度(rock bridge angle)對(duì)穩(wěn)定性的影響。他們發(fā)現(xiàn)，階梯式破壞表現(xiàn)出平面和楔形破壞的特點(diǎn)，特別是巖石的凝聚破壞(coalescence failure)。

(3) 本文提出了一種新的方法描述巖體中離散裂縫網(wǎng)絡(luò)(DFN)特性的空間分布。聯(lián)合使用DFN和解析解研究巖體中的DFN特性的空間分布，重點(diǎn)考慮隨機(jī)網(wǎng)格中DFN特性的空間分布。發(fā)現(xiàn)新的破壞模式是多模式的階梯式破壞，它與普通階梯式破壞的區(qū)別在于，與非貫通性不連續(xù)體體相交的巖石中可能會(huì)發(fā)生傾到破壞。

(4) 不過(guò)，盡管這種方法在我們的試驗(yàn)中有效，而且這是邊坡破壞面形成的一個(gè)重要進(jìn)展，但是還沒(méi)有被其它的試驗(yàn)進(jìn)行過(guò)驗(yàn)證。

6 結(jié)束語(yǔ)

新的GeotechSet模型擴(kuò)展了原始數(shù)據(jù)集(5.3M)，并且對(duì)數(shù)據(jù)進(jìn)行了手動(dòng)清洗，新的句子生成代碼集成了aitextgen，從而在某種程度上增強(qiáng)了結(jié)果的可靠性。我們將繼續(xù)擴(kuò)展原始數(shù)據(jù)集。