自然語言處理的案例
自然語言處理（NLP）的歷史及其發(fā)展方向
自然語言處理 (NLP) 的局限性是什么？
其中之一是改進交互式對話系統(tǒng)中的自然語言處理，其中包括基于知識的對話和對話代理，例如 Siri 或 Alexa —— 我們每天使用的這些助手。然而，在它們能夠像人類一樣做出反應(yīng)之前，還有很長的路要走。
另一個限制是，大多數(shù)機器學習算法并不打算用于聊天機器人等實時情況，而是用于離線處理具有大量輸入變量和訓練數(shù)據(jù)集的數(shù)據(jù)集 —— 這意味著仍然沒有辦法預測未來事件或每種可能的情況。
我們想通過自然語言處理 (NLP) 實現(xiàn)什么？
科學家們希望創(chuàng)建能夠理解句子的含義和意圖的算法，并且盡可能少地使用單詞。他們打算創(chuàng)建一套算法，能夠掌握句子的含義和意圖，以便從中提取信息。這就是為什么我們想要通過自然語言處理實現(xiàn)的目標仍然沒有限制，只要它支持人類日常生活中的活動。他們說，開發(fā) NLP 對日常生活中的人類有很大幫助。NLP 的發(fā)展背后有一些威脅，但也有很多機會。
自然語言處理幫助人們在日常生活中更流利地說話和閱讀，并讓他們打字的速度比在鍵盤上寫句子的速度更快。但主要威脅之一是，一些專家表示，開發(fā)自然語言處理將使人類失業(yè)，因為他們將被機器取代。
然而，也有人說自然語言處理會給人類帶來前所未有的新工作和機會，因為它太復雜了。
展開 基于python的神經(jīng)網(wǎng)絡(luò)在圖像識別和自然語言處理上的應(yīng)用
隨著計算機算力的不斷增長，基于機器學習（神經(jīng)網(wǎng)絡(luò)）的方法成為了自然語言處理以及計算機圖像識別的新范式。在自然語言處理方面，RNN、LSTM等方法能夠有效提取語言之間的前后順序和相互關(guān)系，在機器翻譯、語言生成等任務(wù)取得了非常好的效果。在圖像識別、圖像檢測等方面，CNN等方法能夠有效提取圖像之中的模式，刷新了傳統(tǒng)圖像識別方法的效果。
針對自然語言處理（NLP），最常用的是長短期記憶網(wǎng)絡(luò)，通常被稱為 LSTM，是一種特殊的 RNN，能夠?qū)W習長期依賴性。LSTM 的關(guān)鍵是細胞狀態(tài)，細胞狀態(tài)有點像傳送帶。它貫穿整個鏈條，只有一些次要的線性作用。信息很容易以不變的方式流過。圖示如下所示：
根據(jù)常用數(shù)據(jù)集，通過編程實現(xiàn)，這里通常使用pytorch進行實現(xiàn)，部分代碼如下所示：
訓練過程中，loss不斷降低，如下圖所示：
可以看出啦，與RNN相比，LSTM的loss值更低，能夠有效有效處理長序列等類型的數(shù)據(jù)，廣泛應(yīng)用在機器翻譯，語言生成等方面的應(yīng)用。
在圖像處理方面，最常用的是卷積神經(jīng)網(wǎng)絡(luò)（CNN），它受到人類視覺神經(jīng)系統(tǒng)的啟發(fā)。能夠有效的將大數(shù)據(jù)量的圖片降維成小數(shù)據(jù)量、能夠有效的保留圖片特征，符合圖片處理的原則。普通卷積神經(jīng)網(wǎng)絡(luò)如下所示：
同樣編程實現(xiàn)，部分代碼如下所示：
在訓練過程中可以得到以下結(jié)果：
可以看出，訓練過程中，loss值不斷下降，圖像識別率不斷上升，進一步對結(jié)果進行可視化，可以加深對卷積神經(jīng)網(wǎng)絡(luò)的理解。首先對卷積神經(jīng)網(wǎng)絡(luò)學習到的權(quán)重進行可視化，可以得到如下圖像：
不難看出，卷積神經(jīng)網(wǎng)絡(luò)能夠準確識別出物體，并賦以較高的權(quán)重，以影響識別結(jié)果。目前卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖片分類、檢索、目標定位檢測等領(lǐng)域。
由以上結(jié)果可以看出，神經(jīng)網(wǎng)絡(luò)逐漸成為了人工智能的代名詞，并在各個領(lǐng)域中取得良好的結(jié)果。
展開 人工智能 |自然語言生成
NLP、NLG 和 NLU 之間的差異
自然語言處理 （NLP）、自然語言生成 （NLG） 和自然語言理解 （NLU） 是自然語言處理的三個不同但相互關(guān)聯(lián)的領(lǐng)域。以下是它們之間差異的簡要概述：
自然語言處理
自然語言生成
自然語言理解
定義
自然語言處理 （NLP） 是一個研究人類語言和計算機如何交互的大型科學領(lǐng)域。它包括有關(guān)口語的理解、解釋和生產(chǎn)的所有活動。
NLG 是 NLP 的一個子集，專注于計算機生成的類似于人類的語言。它需要將信息或結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為以自然語言編寫的文本。
NLU 是 NLP 的一個子集，主要關(guān)注計算機如何理解和解釋人類語言。它需要從文本信息中獲得意義。
目標
自然語言處理 （NLP） 的目標是使計算機能夠理解、解釋和生成有意義的、與上下文相關(guān)的人類語言。
自然語言生成 （NLG） 的目標是生成合乎邏輯、適合上下文且聽起來像人類語音的文本。目標是生成人類可讀的報告、摘要或內(nèi)容的應(yīng)用程序經(jīng)常使用它。
NLU 旨在賦予機器理解人類語言的含義、上下文和意圖的能力。這包括情感分析、語言理解和實體識別等任務(wù)。
應(yīng)用
自然語言處理 （NLP） 應(yīng)用于多個領(lǐng)域，例如語音識別、機器翻譯、情感分析和信息檢索。
展開 [譯] 自然語言處理真是有趣！
原文作者：Adam Geitgey
譯文出自：掘金翻譯計劃
本文永久鏈接：github.com/xitu/gold-m…
譯者：lihanxiang
校對者：FesonX、leviding、sakila1012
計算機如何理解人類的語言
計算機擅長處理結(jié)構(gòu)化的數(shù)據(jù)，像電子表格和數(shù)據(jù)庫表之類的。但是我們?nèi)祟惖娜粘贤ㄊ怯迷~匯來表達的，而不是表格，對計算機而言，這真是件棘手的事。
遺憾的是，我們并不是生活在處處都是結(jié)構(gòu)化數(shù)據(jù)的時代。
這個世界上的許多信息都是非結(jié)構(gòu)化的 —— 不僅僅是英語或者其他人類語言的原始文本。我們該如何讓一臺計算機去理解這些非結(jié)構(gòu)化的文本并且從中提取信息呢？
自然語言處理，簡稱 NLP，是人工智能領(lǐng)域的一個子集，目的是為了讓計算機理解并處理人類語言。讓我們來看看 NLP 是如何工作的，并且學習一下如何用 Python 寫出能夠從原始文本中提取信息的程序。
注意：如果你不關(guān)心 NLP 是如何工作的，只想剪切和粘貼一些代碼，直接跳過至“用 Python 處理 NLP 管道”部分。
計算機能理解語言嗎？
自從計算機誕生以來，程序員們就一直嘗試去寫出能夠理解像英語這樣的語言的程序。這其中的原因顯而易見 —— 幾千年來，人類都是用寫的方式來記錄事件，如果計算機能夠讀取并理解這些數(shù)據(jù)將會對人類大有好處。
目前，計算機還不能像人類那樣完全了解英語 —— 但它們已經(jīng)能做許多事了！在某些特定領(lǐng)域，你能用 NLP 做到的事看上去就像魔法一樣。將 NLP 技術(shù)應(yīng)用到你的項目上能夠為你節(jié)約大量時間。
展開 
智能客服為啥總是不好用？
可即便如此，有這樣幾項技術(shù)的使用仍然潛移默化地改變著人們的生活，比如：人臉識別、自然語言處理等等。
前者不在本文的討論范圍內(nèi)，我們重點來聊一聊后者。
自然語言處理（Natural Language Processing），簡稱“NLP”，一種研究人與計算機交互的語言問題的一門學科。
其實在人工智能發(fā)展的初期，自然語言處理技術(shù)就被認為在未來可堪大用。比如，1966年，麻省理工學院的一名教授就創(chuàng)造了一款“準智能”對話機器人Eliza，來作為心理治療的輔助工具。
之所以稱其為“準智能”，是因為從原理上來說，Eliza的功能實現(xiàn)非常簡單，就是根據(jù)來訪者輸入的關(guān)鍵字匹配回答，就像是連線題一樣。
舉個例子，來訪者問：“我心情不好怎么辦？”Eliza就會根據(jù)“心情不好”這樣的詞語，匹配對應(yīng)的回答，比如：“你今天經(jīng)歷什么糟糕事了嗎？”
這種引導式、開放型的回應(yīng)常常讓來訪者感覺在與真人對話，要知道但那可是在1966年，Eliza能夠做到這樣，已經(jīng)足以讓世界驚嘆。
隨著技術(shù)的進步，自然語言處理技術(shù)已經(jīng)能夠應(yīng)對一些復雜的內(nèi)容，也正因如此，這項技術(shù)被用在了更加廣泛的場景，客服就是其中之一。
早期的“智能客服”其實并不智能，大多數(shù)的原理與Eliza并無二至，都是通過關(guān)鍵字匹配，實現(xiàn)所謂的“問答”；直到深度學習技術(shù)的出現(xiàn)，智能客服才有了新的進展。
二、能理解人話的“高智能”客服
深度學習技術(shù)的發(fā)展離不開三個要素：算法、算力、數(shù)據(jù)。
其中算法在無數(shù)科研人員的努力下已經(jīng)有了長足的進展，算力因為有了GPU這樣的產(chǎn)品而得到了保障，只有數(shù)據(jù)是隨著世界進入大數(shù)據(jù)時代才能夠大量提供的。
展開 人工智能產(chǎn)業(yè)的發(fā)展是什么樣的呢？
當下，人工智能產(chǎn)業(yè)出現(xiàn)了九大發(fā)展熱點領(lǐng)域，分別是芯片、自然語言處理、語音識別、機器學習應(yīng)用、計算機視覺與圖像、技術(shù)平臺、智能無人機、智能機器人、自動駕駛。
在美國AI創(chuàng)業(yè)公司中排名前三的領(lǐng)域為：自然語言處理、機器學習應(yīng)用和計算機視覺與圖像。
在中國AI創(chuàng)業(yè)公司中排名前三的領(lǐng)域為：計算機視覺與圖像、智能機器人和自然語言處理。
美國主導產(chǎn)業(yè)巨頭具有先發(fā)優(yōu)勢
巨頭通過招募AI高端人才、組建實驗室（見表2－2）等方式加快關(guān)鍵技術(shù)研發(fā)；同時，通過持續(xù)收購新興AI創(chuàng)業(yè)公司，爭奪人才與技術(shù)，并通過開源技術(shù)平臺，構(gòu)建生態(tài)體系。
表2－2 巨頭紛紛建立AI實驗室
中國AI產(chǎn)業(yè)未來在哪里？
放眼技術(shù)社會變遷，IT時代，Wintel聯(lián)盟一統(tǒng)江山；互聯(lián)網(wǎng)時代，谷歌、亞馬遜異軍突起、雄霸天下；移動時代，又有蘋果、谷歌引領(lǐng)世界潮流。現(xiàn)在，人工智能正在緩緩揭開時代變遷的新篇章。
與互聯(lián)網(wǎng)相似，中國將會成為AI應(yīng)用的最大市場，擁有豐富的應(yīng)用場景，擁有全球最多的用戶和活躍的數(shù)據(jù)生產(chǎn)主體。我們需要進一步加大基礎(chǔ)學科建設(shè)和人才培養(yǎng)，以便讓中國AI有機會走得更遠。
國家實力的提升來源于科技企業(yè)創(chuàng)新。美國以絕對實力處于領(lǐng)先地位，一批中國初創(chuàng)企業(yè)也在蓄勢待發(fā)。未來AI時代必然也會產(chǎn)生類似英特爾、微軟、谷歌、蘋果這樣的全球級企業(yè)。我們相信中國企業(yè)有機會成為人工智能時代的弄潮兒，在AI領(lǐng)域占有一席之地。
AI群雄逐鹿，天下未定，機遇和挑戰(zhàn)同在。讓我們保持冷靜的頭腦，見證這個偉大的時代吧。
來源：人工智能大健康
展開 巖石邊坡工程大數(shù)據(jù)處理---階段性總結(jié)(R1)
這部分內(nèi)容偏多，討論的都是些自然語言處理中最前沿的問題以及在本項目中的應(yīng)用，待以后補充。
3.4 訓練自己的模型
這是本項研究最激動人心的部分，基于GPT-2的預訓練集，我們已經(jīng)產(chǎn)生出一個微調(diào)的GeotechSet數(shù)據(jù)集，能夠應(yīng)用在巖土工程領(lǐng)域特別是巖石邊坡工程領(lǐng)域中。
4 結(jié)束語
這個筆記簡要描述了巖石邊坡工程大數(shù)據(jù)處理目前所作的工作，這也是階段研究報告的基本框架。目前正在修改與完善之中，最終稿爭取控制在150頁以內(nèi)。
人工智能：基礎(chǔ)、模型與應(yīng)用
課程從人工智能的基礎(chǔ)知識開始，包括其含義、特征、類型、核心組件，以及機器學習、深度學習、自然語言處理、計算機視覺和機器人等主要分支。它解釋了人工智能系統(tǒng)如何從數(shù)據(jù)中學習、識別模式、做出預測，并支持跨領(lǐng)域智能決策。學習者還將理解人工智能中使用的不同類型的數(shù)據(jù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化和合成數(shù)據(jù)。
《使用R的線性回歸：數(shù)據(jù)建模導論，第二版》
你將學
到的內(nèi)容
使用 PyTorch 庫
搭建深度學習環(huán)境 學習構(gòu)建圖像分類深度學習模型
使用卷積神經(jīng)網(wǎng)絡(luò)進行遷移學習
理解如何使用 PyTorch 進行自然語言處理
使用循環(huán)神經(jīng)網(wǎng)絡(luò)分類
文本 理解如何在多處理器和分布環(huán)境中
優(yōu)化 訓練、優(yōu)化和部署神經(jīng)網(wǎng)絡(luò)以實現(xiàn)最大準確性和性能
學習部署生產(chǎn)準備模型
這本書適合誰
熟悉機器學習但對深度學習還不熟悉的開發(fā)者和數(shù)據(jù)科學家，或希望用PyTorch訓練深度學習模型的現(xiàn)有深度學習從業(yè)者，都會覺得這本書很有用。具備Python編程知識將是額外的優(yōu)勢，而此前則無需接觸PyTorch。
?
什么是神經(jīng)網(wǎng)絡(luò)？ ￥2
卷積神經(jīng)網(wǎng)絡(luò) （CNN）：卷積神經(jīng)網(wǎng)絡(luò) （CNN） 是一種專為圖像處理而設(shè)計的專用人工神經(jīng)網(wǎng)絡(luò)。它采用卷積層從輸入圖像中自動學習分層特征，從而實現(xiàn)有效的圖像識別和分類。CNN 徹底改變了計算機視覺，在對象檢測和圖像分析等任務(wù)中發(fā)揮著關(guān)鍵作用。
遞歸神經(jīng)網(wǎng)絡(luò) （RNN）：一種用于順序數(shù)據(jù)處理的人工神經(jīng)網(wǎng)絡(luò)類型稱為遞歸神經(jīng)網(wǎng)絡(luò) （RNN）。它適用于上下文依賴關(guān)系至關(guān)重要的應(yīng)用程序，例如時間序列預測和自然語言處理，因為它利用反饋循環(huán)，使信息能夠在網(wǎng)絡(luò)中生存。
長短期記憶 （LSTM）：LSTM 是一種 RNN，旨在克服訓練 RNN 中的梯度消失問題。它使用存儲單元和門選擇性地讀取、寫入和擦除信息。
神經(jīng)網(wǎng)絡(luò)的簡單實現(xiàn)
代碼案例
?
展開 PyTextRank---文本關(guān)鍵字(keywords)的自動取出
1 引言
從文本中抽取出關(guān)鍵字是自然語言處理NLP的一個重要應(yīng)用領(lǐng)域。在《文本摘要生成的確定過程和隨機過程》中曾經(jīng)討論過兩種摘要的產(chǎn)生方法。不幸的是, Gensim從4.0版本開始，移除了summarization模塊(目前的安裝版本是V4.0.1)，因此不能再使用gensim產(chǎn)生摘要和關(guān)鍵字。作為一種代替，我們使用PyTextRank庫來取出關(guān)鍵字。
2 PyTextRank簡介
PyTextRank是TextRank的一個Python實現(xiàn)，而TextRank是一種基于圖的關(guān)鍵詞和句子的提取算法, 它類似于谷歌的頁面排名算法。作為spaCy管道的擴展，用于基于圖的自然語言處理以及相關(guān)知識圖譜實踐以及文本提取短語和簡要總結(jié)。PyTextRank目前安裝的版本是V3.1.1. 這個庫的主要用途包括：短語提取---即關(guān)鍵字提取, 從文本文件中獲取排名靠前的短語; 對文本文件進行低成本的提取總結(jié), 即產(chǎn)生摘要; 幫助從非結(jié)構(gòu)化的文本中推斷出概念，使之成為更多的結(jié)構(gòu)化表述, 即生成有意義的核心句子.
3 提取關(guān)鍵字
下面的例子顯示如何使用PyTextRank從一段文本中提取關(guān)鍵字. 這段文本取自Mandalawi M.A.等人(2019)的論文摘要. 該論文的題目是: Modelling and Analyses of Rock Bridge Fracture and Step-Path Failure in Open-Pit Mine Rock Slope(露天礦邊坡巖橋斷裂和階梯狀破壞的模擬與分析). 在原始的論文中, 作者給出的關(guān)鍵字有: Rock bridges, Rock slope stability, Tensile cracks, Shear cracks.
展開 
Clinc合作福特 提供車載語音識別技術(shù)
最近，亞馬遜推出了Alexa Auto SDK工具包，可讓研發(fā)人員將亞馬遜的自然語言處理技術(shù)應(yīng)用于信息娛樂系統(tǒng)。而且，谷歌的安卓汽車系統(tǒng)（Google’s Android Auto?）以及蘋果的CarPlay平臺也都支持語音交互功能。
大體來說，支持語音的產(chǎn)品使用率正在上升。全球性互聯(lián)網(wǎng)信息服務(wù)提供商ComScore公司估計，到2020年，50%的搜索將通過語音進行。全球頂尖戰(zhàn)略咨詢公司歐析企業(yè)管理咨詢（OC&C Strategy Consultants）預測，僅在未來三年內(nèi)，語音電子商務(wù)在美國的銷售額就可能達到400億美元（約合2715億元人民幣）。
生成對抗網(wǎng)絡(luò)的用例
這也可以擴展到其他領(lǐng)域，例如自然語言處理、語音處理等。例如，我們可以處理段落中的一些選定單詞，而無需修改整個段落。
的優(yōu)點或缺點：
生成對抗網(wǎng)絡(luò) （GAN） 用例的優(yōu)勢：
圖像合成：GAN 可以生成高質(zhì)量、逼真的圖像，可用于各種應(yīng)用程序，例如娛樂、藝術(shù)或營銷。
文本到圖像合成：GAN 可以從文本描述生成圖像，這對于生成插圖、動畫或虛擬環(huán)境非常有用。
圖像到圖像的翻譯：GAN 可以將圖像從一個域翻譯到另一個域，可用于著色、樣式傳輸或數(shù)據(jù)增強。
異常檢測：GAN 可以識別數(shù)據(jù)中的異常或異常值，這對于檢測欺詐、網(wǎng)絡(luò)入侵或醫(yī)療狀況非常有用。
數(shù)據(jù)增強：GAN 可以增加用于訓練深度學習模型的數(shù)據(jù)集的大小和多樣性，從而提高其性能、穩(wěn)健性或泛化性。
視頻合成：GAN 可以生成高質(zhì)量、逼真的視頻序列，可用于動畫、電影或視頻游戲。
音樂合成：GAN 可以生成新的原創(chuàng)音樂，這些音樂可用于音樂創(chuàng)作、表演或娛樂。
3D 模型合成：GAN 可以生成高質(zhì)量、逼真的 3D 模型，可用于建筑、設(shè)計或工程。
生成對抗網(wǎng)絡(luò) （GAN） 用例的缺點：
訓練難度： GAN 可能難以訓練并且需要大量計算資源，這可能會成為某些應(yīng)用程序的障礙。
過擬合：GAN 可能會過度擬合訓練數(shù)據(jù)，從而產(chǎn)生與訓練數(shù)據(jù)過于相似且缺乏多樣性的合成數(shù)據(jù)。
偏差和公平性：GAN 可以反映訓練數(shù)據(jù)中存在的偏差和不公平性，從而導致歧視性或有偏見的合成數(shù)據(jù)。
可解釋性和問責制：GAN 可能不透明且難以解釋或解釋，這使得確保其應(yīng)用程序的問責制、透明度或公平性具有挑戰(zhàn)性。
質(zhì)量控制：如果生成器和判別器沒有經(jīng)過適當?shù)挠柧殻珿AN 可能會生成不切實際或不相關(guān)的合成數(shù)據(jù)，這可能會影響結(jié)果的質(zhì)量。
展開 深度學習與大模型Transformer
基于Transformer的對話生成
3.基于 Transformer 的應(yīng)用
高頻問題：
1.如何應(yīng)用自注意力機制 2.如何應(yīng)用于自然語言處理與計算機視覺
關(guān)鍵點：
1.self-Attention機制 2.position
更多內(nèi)容請關(guān)注微信公眾號：人工智能技術(shù)與咨詢或登錄中國人工智能培訓網(wǎng)
數(shù)據(jù)科學20個最好的Python庫
NLTK (Commits: 13041, Contributors: 236)
官網(wǎng)：https://www.nltk.org/
NLTK 是一組庫，一個用于自然語言處理的完整平臺。在 NLTK 的幫助下，你可以以各種方式處理和分析文本，對文本進行標記和標記，提取信息等。NLTK 也用于原型設(shè)計和建立研究系統(tǒng)。
18. SpaCy (Commits: 8623, Contributors: 215)
官網(wǎng)：https://spacy.io/
SpaCy 是一個具有優(yōu)秀示例、API 文檔和演示應(yīng)用程序的自然語言處理庫。這個庫是用 Cython 語言編寫的，Cython 是 Python 的 C 擴展。它支持近 30 種語言，提供了簡單的深度學習集成，保證了健壯性和高準確率。SpaCy 的另一個重要特性是專為整個文檔處理設(shè)計的體系結(jié)構(gòu)，無須將文檔分解成短語。
19. Gensim (Commits: 3603, Contributors: 273)
官網(wǎng)：https://radimrehurek.com/gensim/
Gensim 是一個用于健壯語義分析、主題建模和向量空間建模的 Python 庫，構(gòu)建在Numpy和Scipy之上。它提供了流行的NLP算法的實現(xiàn)，如 word2vec。盡管 gensim 有自己的 models.wrappers.fasttext實現(xiàn)，但 fasttext 庫也可以用來高效學習詞語表示。
▌數(shù)據(jù)采集
20. Scrapy (Commits: 6625, Contributors: 281)
官網(wǎng)：https://scrapy.org/
Scrapy 是一個用來創(chuàng)建網(wǎng)絡(luò)爬蟲，掃描網(wǎng)頁和收集結(jié)構(gòu)化數(shù)據(jù)的庫。此外，Scrapy 可以從 API 中提取數(shù)據(jù)。由于該庫的可擴展性和可移植性，使得它用起來非常方便。
展開 