
發(fā)布
注冊(cè)
/
登錄NLP
關(guān)注創(chuàng)建者:lyzhang 創(chuàng)建時(shí)間:2016-12-08

NLP的實(shí)例教程
自然語言處理 (NLP) 的局限性是什么?
其中之一是改進(jìn)交互式對(duì)話系統(tǒng)中的自然語言處理,其中包括基于知識(shí)的對(duì)話和對(duì)話代理,例如 Siri 或 Alexa —— 我們每天使用的這些助手。然而,在它們能夠像人類一樣做出反應(yīng)之前,還有很長的路要走。
另一個(gè)限制是,大多數(shù)機(jī)器學(xué)習(xí)算法并不打算用于聊天機(jī)器人等實(shí)時(shí)情況,而是用于離線處理具有大量輸入變量和訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)集 —— 這意味著仍然沒有辦法預(yù)測(cè)未來事件或每種可能的情況。
我們想通過自然語言處理 (NLP) 實(shí)現(xiàn)什么?
科學(xué)家們希望創(chuàng)建能夠理解句子的含義和意圖的算法,并且盡可能少地使用單詞。他們打算創(chuàng)建一套算法,能夠掌握句子的含義和意圖,以便從中提取信息。這就是為什么我們想要通過自然語言處理實(shí)現(xiàn)的目標(biāo)仍然沒有限制,只要它支持人類日常生活中的活動(dòng)。他們說,開發(fā) NLP 對(duì)日常生活中的人類有很大幫助。NLP 的發(fā)展背后有一些威脅,但也有很多機(jī)會(huì)。
自然語言處理幫助人們?cè)谌粘I钪懈骼卣f話和閱讀,并讓他們打字的速度比在鍵盤上寫句子的速度更快。但主要威脅之一是,一些專家表示,開發(fā)自然語言處理將使人類失業(yè),因?yàn)樗麄儗⒈粰C(jī)器取代。
然而,也有人說自然語言處理會(huì)給人類帶來前所未有的新工作和機(jī)會(huì),因?yàn)樗珡?fù)雜了。
展開 1.命令格式
ADRAG, NL1, NL2, NL3, NL4, NL5, NL6, NLP1, NLP2, NLP3, NLP4, NLP5, NLP6
其中,
NL1, NL2, NL3, NL4, NL5, NL6:待掃描線的線號(hào),這些線必須是不間斷的。如果NL1=P,則激活圖形拾取功能,忽略命令的其它內(nèi)容。如果NL1=ALL,則沿路徑掃描所有的線(除定義掃描路徑的線外)。此外,NL1也可以是組件名。
NLP1, NLP2, NLP3, NLP4, NLP5, NLP6:定義掃描路徑的線號(hào),這些線必須是不間斷的。
2.操作路徑
Main Menu >Preprocessor >Modeling >Operate >Extrude >Lines >Along Lines
3.實(shí)例
輸入命令:
/PREP7
K,1,1,0,0
K,2,0,0,0
K,3,0,1,0
K,4,1,1,0
LSTR,1,2
LSTR,2,3
LSTR,3,4
K,5,0,0,1
K,6,0,0,3
LSTR,5,6
ADRAG,1,2,3,,,,4
則生成的圖形如圖1所示
圖1 生成的圖形
展開 自然語言處理,簡(jiǎn)稱 NLP,是人工智能領(lǐng)域的一個(gè)子集,目的是為了讓計(jì)算機(jī)理解并處理人類語言。讓我們來看看 NLP 是如何工作的,并且學(xué)習(xí)一下如何用 Python 寫出能夠從原始文本中提取信息的程序。
注意:如果你不關(guān)心 NLP 是如何工作的,只想剪切和粘貼一些代碼,直接跳過至“用 Python 處理 NLP 管道”部分。
計(jì)算機(jī)能理解語言嗎?
自從計(jì)算機(jī)誕生以來,程序員們就一直嘗試去寫出能夠理解像英語這樣的語言的程序。這其中的原因顯而易見 —— 幾千年來,人類都是用寫的方式來記錄事件,如果計(jì)算機(jī)能夠讀取并理解這些數(shù)據(jù)將會(huì)對(duì)人類大有好處。
目前,計(jì)算機(jī)還不能像人類那樣完全了解英語 —— 但它們已經(jīng)能做許多事了!在某些特定領(lǐng)域,你能用 NLP 做到的事看上去就像魔法一樣。將 NLP 技術(shù)應(yīng)用到你的項(xiàng)目上能夠?yàn)槟愎?jié)約大量時(shí)間。
更好的是,在 NLP 方面取得的最新進(jìn)展就是可以輕松地通過開源的 Python 庫比如 spaCy、textacy 和 neuralcoref 來進(jìn)行使用。你需要做的只是寫幾行代碼。
從文本中提取含義是很難的
讀取和理解英語的過程是很復(fù)雜的 —— 即使在不考慮英語中的邏輯性和一致性的情況下。比如,這個(gè)新聞的標(biāo)題是什么意思呢?
環(huán)境監(jiān)管機(jī)構(gòu)盤問了非法燒烤的業(yè)主。(“Environmental regulators grill business owner over illegal coal fires.”)
環(huán)境監(jiān)管機(jī)構(gòu)就非法燃燒煤炭問題對(duì)業(yè)主進(jìn)行了詢問?或者按照字面意思,監(jiān)管機(jī)構(gòu)把業(yè)主烤了?正如你所見,用計(jì)算機(jī)來解析英語是非常復(fù)雜的一件事。
在機(jī)器學(xué)習(xí)中做一件復(fù)雜的事通常意味著建一條管道。這個(gè)辦法就是將你的問題分成細(xì)小的部分,然后用機(jī)器學(xué)習(xí)來單獨(dú)解決每一個(gè)細(xì)小的部分。
展開 1 引言
在自然語言處理NLP中,我們需要把一個(gè)段落劃分為單句。英語中單句的劃分是以句號(hào)"."為界的,也就是說,只要遇到"."就開始斷句。但如果句子中包含有Mr., Ph.D., Jr. 這樣的單詞時(shí), 句子就不應(yīng)該在此斷開。幸運(yùn)的是,nltk的tokenize已經(jīng)考慮了這些特殊詞匯。例如這樣一個(gè)段落:mytext ="Mr. Johnson Jr. got his Ph.D. in U.S.A but he worked for ABCD Associatess Ltd. in Canada. He had wide reaserch interests in geotechnical engineering, e.g. slope stability, underground excavation, machine foundation, earthquake engineering, etc. " .
from nltk import tokenizemytext = tokenize.sent_tokenize(mytext)
不過,tokenize把這個(gè)段落劃分成了三個(gè)句子,它未能正確處理"e.g."后的斷句問題.
(1) Mr. Johnson Jr. got his Ph.D. in U.S.A but he worked for ABCD Associatess Ltd. in Canada.
(2) He had wide reaserch interests in geotechnical engineering, e.g.
展開 NLP、NLG 和 NLU 之間的差異
自然語言處理 (NLP)、自然語言生成 (NLG) 和自然語言理解 (NLU) 是自然語言處理的三個(gè)不同但相互關(guān)聯(lián)的領(lǐng)域。以下是它們之間差異的簡(jiǎn)要概述:
自然語言處理
自然語言生成
自然語言理解
定義
自然語言處理 (NLP) 是一個(gè)研究人類語言和計(jì)算機(jī)如何交互的大型科學(xué)領(lǐng)域。它包括有關(guān)口語的理解、解釋和生產(chǎn)的所有活動(dòng)。
NLG 是 NLP 的一個(gè)子集,專注于計(jì)算機(jī)生成的類似于人類的語言。它需要將信息或結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為以自然語言編寫的文本。
NLU 是 NLP 的一個(gè)子集,主要關(guān)注計(jì)算機(jī)如何理解和解釋人類語言。它需要從文本信息中獲得意義。
目標(biāo)
自然語言處理 (NLP) 的目標(biāo)是使計(jì)算機(jī)能夠理解、解釋和生成有意義的、與上下文相關(guān)的人類語言。
自然語言生成 (NLG) 的目標(biāo)是生成合乎邏輯、適合上下文且聽起來像人類語音的文本。目標(biāo)是生成人類可讀的報(bào)告、摘要或內(nèi)容的應(yīng)用程序經(jīng)常使用它。
NLU 旨在賦予機(jī)器理解人類語言的含義、上下文和意圖的能力。這包括情感分析、語言理解和實(shí)體識(shí)別等任務(wù)。
應(yīng)用
自然語言處理 (NLP) 應(yīng)用于多個(gè)領(lǐng)域,例如語音識(shí)別、機(jī)器翻譯、情感分析和信息檢索。
展開 
NLP的相關(guān)專題、標(biāo)簽、搜索
NLP的最新內(nèi)容
春耕圖鑒上新:“聰明的農(nóng)具”,科技感拉滿1個(gè)月前
infogram.com/newman-testamur-1h7v4pdvvkj184k
https://infogram.com/ncl-testamur-1h1749w0083zl2z
https://infogram.com/middlesex-testamur-1h984wvww8zwz2p
https://infogram.com/mmu-testamur-1hnq41oyy1nlp23
AI輔助評(píng)審:集成自然語言處理(NLP)技術(shù),可自動(dòng)解析評(píng)審意見中的關(guān)鍵術(shù)語(如“阻抗不匹配”“時(shí)序違規(guī)”),并關(guān)聯(lián)至設(shè)計(jì)文件的對(duì)應(yīng)區(qū)域。實(shí)測(cè)顯示,該功能使評(píng)審報(bào)告生成時(shí)間從4小時(shí)/版縮短至0.5小時(shí)/版。
2、行業(yè)應(yīng)用案例
汽車電子功能安全評(píng)審:在ISO 26262 ASIL D級(jí)項(xiàng)目中,ERS支持故障注入分析(FIA)及安全機(jī)制驗(yàn)證(如看門狗定時(shí)器、冗余設(shè)計(jì))。
利用大語言模型進(jìn)行實(shí)體關(guān)系抽取,比傳統(tǒng) NLP 技術(shù)(如 NER)在中文場(chǎng)景下更為高效。舉例來說,我們可以抽取出“三元組”:如“壁厚產(chǎn)品”關(guān)聯(lián)“保壓時(shí)間大于 5 秒”、“飛邊缺陷”對(duì)應(yīng)“鎖模力不足”、“材料 ABS”對(duì)應(yīng)“最佳熔融溫度為 220-240°C”等。這些三元組可通過圖數(shù)據(jù)庫進(jìn)行存儲(chǔ)與檢索。
通過了解這些 AI 驅(qū)動(dòng)的工具,學(xué)習(xí)者將能夠?qū)⒆匀徽Z言處理 (NLP)、機(jī)器學(xué)習(xí)和生成式 AI 功能整合到他們的應(yīng)用程序中,使其更加智能和高效。隨著課程的進(jìn)行,學(xué)生將學(xué)習(xí)如何使用 Spring Boot 構(gòu)建 AI 驅(qū)動(dòng)的 REST API。本模塊強(qiáng)調(diào)動(dòng)手開發(fā),指導(dǎo)學(xué)習(xí)者完成創(chuàng)建、配置和部署 AI 增強(qiáng)型 API 的過程。
oVllVLeioZyOqtoEqTTSqUSqyTCt5dfZB50Otuxm71FJp+31FZcKv6ShoYpZqiaYhYzEu3aEBB3s2dgiBDs7gKCWx1OVK1urLpBT2+2JXXC5SQUsNPTRstQsrnEgkMRO0biJfqZFdVjjIkAAfDZvbNutlf3ktHH8kyq2iw4lDDtGh9VZtU0NilavruI3IlLjU0D6BMdxourRZWLCqhqVJei3S6zCFe6+o99gulcs8Nlp6l5LBaKtm2IjOyy3OuROAOParKwiX
**非結(jié)構(gòu)化數(shù)據(jù)治理**:
- 對(duì)設(shè)計(jì)文檔中的注釋、版本記錄等非結(jié)構(gòu)化數(shù)據(jù),應(yīng)用自然語言處理(NLP)識(shí)別敏感信息。
- 某航空企業(yè)通過NLP脫敏,使技術(shù)文檔共享合規(guī)率提升至99.2%。
簡(jiǎn)單的像正則表達(dá)式,<strong>能快速定位符合特定合規(guī)格式的數(shù)據(jù)</strong>;復(fù)雜的如前沿的自然語言處理(NLP)技術(shù),可<strong>精準(zhǔn)識(shí)別數(shù)據(jù)里的合規(guī)相關(guān)實(shí)體(如具體法規(guī)條款、合規(guī)流程中的關(guān)鍵步驟)以及它們之間的關(guān)聯(lián)。</strong></p><p><br></p><p>比如,從企業(yè)業(yè)務(wù)流程數(shù)據(jù)里,解析工具能提煉出“接觸客戶敏感信息前需完成三級(jí)安全認(rèn)證”這類關(guān)鍵合規(guī)準(zhǔn)則。
NLP、NLG 和 NLU 之間的差異
自然語言處理 (NLP)、自然語言生成 (NLG) 和自然語言理解 (NLU) 是自然語言處理的三個(gè)不同但相互關(guān)聯(lián)的領(lǐng)域。
這主要是通過自然語言處理 (NLP) 實(shí)現(xiàn)的,其中包括:
文本分析:使用 NLP 進(jìn)行主要文本分析,例如情感分析和主題建模。
機(jī)器翻譯:傾向于提出一種解決方案,當(dāng)機(jī)器系統(tǒng)嘗試將文本從一種語言翻譯成另一種語言(如 Google 翻譯)時(shí),由機(jī)器系統(tǒng)完成。
它還包括要點(diǎn) 什么是 LLM、它的定義、演變和里程碑、示例(GPT、BERT 等),以及 LLM 與傳統(tǒng) NLP,ChatGPT 完全錯(cuò)過了這一點(diǎn)。
DeepSeek 甚至展示了它得出結(jié)論的思維過程,老實(shí)說,我第一次看到這個(gè)時(shí),我很驚訝。雖然我們距離真正的通用人工智能還有很長的路要走,但看到機(jī)器以這種方式思考表明已經(jīng)取得了很大的進(jìn)步。