人工智能發展簡史
人工智能到底是什么？通常來說，人工智能（Artificial Intelligence）是研究、開發用于模擬、延伸和擴展人智能的理論、方法、技術及應用系統的一門新技術科學。人工智能領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。
但是事實上，給一門學科界定范圍是很難的，尤其對于一門正在快速發展的學科更是難上加難。即使是數學這樣成熟的學科，有時我們也很難梳理一個明確的邊界。而像人工智能這樣不斷擴展邊界的學科，更是很難做出一個相對準確的判斷。對于人工智能的應用已經擴展到各個領域，機械、電子、經濟甚至哲學，都有所設計。它的實用性極強，是一種極具代表性的多元跨專業學科。
基于AMiner科技情報引擎的梳理描繪，以河流圖的形式展示了人工智能在60多年中的發展歷史中取得的標志性成果。本文以該河流圖為基礎，系統的梳理了人工智能的發展過程及其標志性成果，希望能將這段60多年幾經沉浮的歷史，以一個更加清晰的面貌呈現出來。
第一章：起步期-20世紀50年代及以前
人工智能的起源可以追溯到以及阿蘭·圖靈（Alan Turing）1936年發表的《論可計算數及其在判定問題中的應用》。后來隨著克勞德·香農（Claude Shannon）在 1950 年提出計算機博弈。以及艾倫·麥席森·圖靈（Alan Mathison Turing）在 1954 年提出“圖靈測試”，讓機器產生智能這一想法開始進入人們的視野。
1956年達特茅斯學院召開了一個研討會，John McCarthy, Marvin Minsky, Nathaniel Rochester, 以及Claude Shannon等人正式提出“人工智能”這一概念。算法方面，1957年，Rosenblatt Frank提出感知機算法Perceptron，這不僅開啟了機器學習的浪潮，也成為后來神經網絡的基礎（當然追溯的話，神經網絡研究得追溯到1943年神經生理學家麥卡洛克（W. S. McCulloch）和皮茨（W. Pitts）的神經元模型）。
1.1 計算機象棋博弈（Programming a computer for playing chess）
克勞德·艾爾伍德·香農（Claude Elwood Shannon，1916年4月30日—2001年2月24日）是美國數學家、信息論的創始人。
香農是世界上首批提出“計算機能夠和人類進行國際象棋對弈”的科學家之一。1950年，他為《科學美國人》撰寫過一篇文章，闡述了“實現人機博弈的方法”；他設計的國際象棋程序，發表在同年《哲學雜志》上（計算機下棋程序 Programming a Computer for Playing Chess）。
香農把棋盤定義為二維數組，每個棋子都有一個對應的子程序計算棋子所有可能的走法，最后有個評估函數（evaluation function）。傳統的棋局都把下棋過程分為三個階段，開局、中局和殘局，不同階段需要不同的技術手段。而此論文也引用了馮·諾依曼的《博弈論》和維納的《控制論》。
這篇論文開啟了計算機下棋的理論研究，其主要思路在多年后的“深藍”及AlphaGo中仍能看到。1956年，在洛斯阿拉莫斯的MANIAC計算機上，他又展示了國際象棋的下棋程序。
1.2 圖靈測試（Turing Test）
艾倫·麥席森·圖靈（英語：Alan Mathison Turing，1912年6月23日—1954年6月7日），英國數學家、邏輯學家，被稱為計算機科學之父，人工智能之父。
1954年，圖靈測試（The Turing test）由圖靈發明，指測試者與被測試者（一個人和一臺機器）隔開的情況下，通過一些裝置（如鍵盤）向被測試者隨意提問。進行多次測試后，如果機器讓平均每個參與者做出超過30%的誤判，那么這臺機器就通過了測試，并被認為具有人類智能。圖靈測試一詞來源于計算機科學和密碼學的先驅艾倫·麥席森·圖靈寫于1950年的一篇論文《計算機器與智能》，其中30%是圖靈對2000年時的機器思考能力的一個預測，目前我們已遠遠落后于這個預測。
他實際提出了一種測試機器是不是具備人類智能的方法。即假設有一臺電腦，其運算速度非常快、記憶容量和邏輯單元的數目也超過了人腦，而且還為這臺電腦編寫了許多智能化的程序，并提供了合適種類的大量數據，那么，是否就能說這臺機器具有思維能力？
圖靈肯定機器可以思維的，他還對智能問題從行為主義的角度給出了定義，由此提出一假想：即一個人在不接觸對方的情況下，通過一種特殊的方式，和對方進行一系列的問答，如果在相當長時間內，他無法根據這些問題判斷對方是人還是計算機，那么，就可以認為這個計算機具有同人相當的智力，即這臺計算機是能思維的。這就是著名的“圖靈測試”（Turing Testing）。當時全世界只有幾臺電腦，其他幾乎所有計算機根本無法通過這一測試。
要分辨一個想法是“自創”的思想還是精心設計的“模仿”是非常難的，任何自創思想的證據都可以被否決。圖靈試圖解決長久以來關于如何定義思考的哲學爭論，他提出一個雖然主觀但可操作的標準：如果一臺電腦表現（act）、反應（react）和互相作用（interact）都和有意識的個體一樣，那么它就應該被認為是有意識的。
為消除人類心中的偏見，圖靈設計了一種“模仿游戲”即圖靈測試：遠處的人類測試者在一段規定的時間內，根據兩個實體對他提出的各種問題的反應來判斷是人類還是電腦。通過一系列這樣的測試，從電腦被誤判斷為人的幾率就可以測出電腦智能的成功程度。
圖靈預言，在20世紀末，一定會有電腦通過“圖靈測試”。2014年6月7日在英國皇家學會舉行的“2014圖靈測試”大會上，舉辦方英國雷丁大學發布新聞稿，宣稱俄羅斯人弗拉基米爾·維西羅夫（Vladimir Veselov）創立的人工智能軟件尤金·古斯特曼（Eugene Goostman）通過了圖靈測試。雖然“尤金”軟件還遠不能“思考”，但也是人工智能乃至于計算機史上的一個標志性事件。
1.3達特茅斯學院人工智能夏季研討會（Dartmouth Summer Research Conference on Artificial Intelligence）
1956年夏季，年輕的明斯基與數學家和計算機專家麥卡錫（John MeCarthy，1927—2011）等10人在達特茅斯學院（Dartmouth College辦了一個長達2個月的人工智能夏季研討會，認真熱烈地討論用機器模擬人類智能的問題。會上正式使用了人工智能（artificial intelligence，即 AI）這一術語。
這是人類歷史上第一次人工智能研討，標志著人工智能學科的誕生，具有十分重要的歷史意義，為國際人工智能的發展做出重要的開創性貢獻。會議持續了一個月，基本上以大范圍的集思廣益為主。這催生了后來人所共知的人工智能革命。1956年也因此成為了人工智能元年。會議的主要議題包括自動計算機、如何為計算機編程使其能夠使用語言、神經網絡、計算規模理論、自我改造、抽象、隨機性與創造性等。
1.4感知機（Perceptrons）
1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704計算機上模擬實現了一種他發明的叫做“感知機”（Perceptron）的神經網絡模型。羅森布拉特1962年出了本書：《神經動力學原理：感知機和大腦機制的理論》（Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms），基于MCP神經元提出了第一個感知器學習算法，同時它還提出了一個自學習算法，此算法可以通過對輸入信號和輸出信號的學習，自動獲取到權重系數，通過輸入信號與權重系數的乘積來判斷神經元是否被激活（產生輸出信號）。
感知機需要幾個二進制輸入， X1，X2，…Xn X1，X2，…Xn ，并產生一個二進制輸出：
上圖所示的 Perceptron Perceptron 有三個輸入，但是實際的輸入可能遠多于三個或是少與三個。 Rosenblatt Rosenblatt 提出了一個簡單的規則來計算輸出，他首先引入了 weights weights（權重）概念， ω1，ω2,... ω1，ω2,...。以實數權重 ω ω表示輸入到輸出的重要性，神經元的輸出 0 或 1 ，這取決于加權因子（即 weights weights）小于或大于某一閾值。就像權重，閾值為一個實數，是一個神經元的參數。
公式表示為：
這就是我們熟知的激活函數的最初形態， 0 0 狀態代表抑制， 1 1 狀態代表激活。這簡單的數學公式幫助我們了解 perceptrons perceptrons 是如何工作的。姑且我們把它理解為： 它是一種通過權衡輸入信息的重要性來決定你的輸出。
第二章：第一次浪潮期-20 世紀 60 年代
到了 20 世紀 60 年代，人工智能出現了第一次高潮，發展出了符號邏輯，解決了若干通用問題，初步萌芽了自然語言處理和人機對話技術。其中的代表性事件是丹尼爾·博布羅（Daniel Bobrow）在1964年發表了Natural Language Input for a Computer Problem Solving System，以及約瑟夫·維森鮑姆（Joseph Weizenbaum）在1966年發表了ELIZA—A Computer Program for the Study of Natural Language Communication between Man and Machine。
早期的人工智能更多的側重描述邏輯和通用問題求解上，到了60年代末，愛德華·費根鮑姆（Edward Feigenbaum）提出首個專家系統DENDRAL，并對知識庫給出了初步的定義，這也孕育了后來的第二次人工智能浪潮。當然這個時期更重要的情況是大家對人工智能的熱情逐漸褪去，人工智能的發展也進入了一輪跨度將近十年的“寒冬”。
2.1 模式識別 （Pattern Recognition）
1961年，Leonard Merrick Uhr 和 Charles M Vossler發表了題目為A Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators 的模式識別論文，該文章描述了一種利用機器學習或自組織過程設計模式識別程序的嘗試。程序啟動時不僅不知道要輸入的特定模式，而且沒有任何處理輸入的運算符。算符是由程序本身生成和提煉的，它是問題空間的函數，也是處理問題空間的成功和失敗的函數。程序不僅學習有關不同模式的信息，而且至少在一定程度上，它還學習或構造適合于分析輸入到它特定模式集的二級代碼。這也是第一個機器學習程序。
2.2人機對話（Human computer coversation）
1966 年，麻省理工學院的計算機科學家Joseph Weizenbaum 在 ACM 上發表了題為《 ELIZA，一個研究人機自然語言交流的計算機程序》（ELIZA-a computer program for the study of natural language communication between man and machine）的文章。文章描述了這個叫作 ELIZA 的程序如何使人與計算機在一定程度上進行自然語言對話成為可能。Weizenbaum 開發了最早的聊天機器人 ELIZA，用于在臨床治療中模仿心理醫生。
ELIZA 的實現技術是通過關鍵詞匹配規則對輸入進行分解，而后根據分解規則所對應的重組規則來生成回復。簡而言之，就是將輸入語句類型化，再翻譯成合適的輸出。雖然 ELIZA 很簡單，但 Weizenbaum 本人對 ELIZA 的表現感到吃驚，隨后撰寫了《計算機的能力和人類的推理》（Computer Power and Human Reason）這本書，表達他對人工智能的特殊情感。ELIZA 如此出名，以至于 Siri 也說 ELIZA 是一位心理醫生，是她的啟蒙老師。
2.3專家系統DENTRAL（Expert Systems）
1968年，在美國國家航空航天局要求下，愛德華·費根鮑姆（Edward Feigenbaum）提出首個專家系統DENDRAL，并對知識庫給出了初步的定義，這也孕育了后來的第二次人工智能浪潮。當然這個時期更重要的情況是大家對人工智能的熱情逐漸褪去，人工智能的發展也進入了一輪跨度將近十年的“寒冬”。該系統具有非常豐富的化學知識，可根據質譜數據幫助化學家推斷分子結構。這個系統的完成標志著專家系統的誕生。在此之后, 麻省理工學院開始研制MACSYMA系統，經過不斷擴充, 它能求解600多種數學問題。
現在，專家系統(Expert System,簡稱ES)是人工智能(Artificial Intelligence,簡稱AI)的一個重要分支,同自然語言理解,機器人學并列為AI的三大研究方向。
第三章：第二次浪潮期-20世紀70年代末、80年代
20世紀70年代末、80年代初，人工智能進入了第二次浪潮，其中代表性的工作是1976年蘭德爾·戴維斯（Randall Davis）構建和維護的大規模的知識庫，1980年德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出的非單調邏輯，以及后期出現的機器人系統。
1980年，漢斯·貝利納（Hans Berliner）打造的計算機戰勝雙陸棋世界冠軍成為標志性事件。隨后，基于行為的機器人學在羅德尼·布魯克斯（Rodney Brooks）和薩頓（R. Sutton）等人的推動下快速發展，成為人工智能一個重要的發展分支。這其中格瑞·特索羅（Gerry Tesauro）等人打造的自我學習雙陸棋程序又為后來的增強學習的發展奠定了基礎。
機器學習算法方面，這個時期可謂是百花齊放，百家爭鳴。Geoffrey Hinton等人提出的多層感知機，解決了Perceptron存在的不能做非線性分類的問題；Judea Pearl倡導的概率方法和貝葉斯網絡為后來的因果推斷奠定基礎；以及機器學習方法在機器視覺等方向取得快速發展。
3.1知識表示（Knowledge Representation）
1975年，馬文·明斯基(Marvin Minsky)在論文《知識表示的框架》(A Framework for Representing Knowledge)中提出框架理論，用于人工智能中的“知識表示”。
明斯基框架不是一種單純的理論。除了數據結構上有單純的一面外，在概念上是相當復雜的。針對的是人們在理解事物情景或某一事件時的心理學模型。它將框架看作是知識的基本單位，將一組有關的框架連接起來整合成框架系統。系統中不同框架可用有共同節點，系統的行為由系統的子框架的具體功能來實現。推理過程由子框架的協調來完成?？蚣芾碚擃愃朴谌斯ぶ悄苤械拿嫦驅ο蠡绦蛟O計。它的成功之處是它利用框架這種結構將知識有機的整合起來，使其有一種特定的結構約束。同時保持了結構的相對獨立性、封閉性。
明斯基的框架理論體現出來的模塊化思想和基于事例的認知推理為其理論增添了永恒的魅力，這也是認知哲學家關注它的一個重要原因。作為認知可計算主義核心代表的明斯基將心智與計算機類比，把認知過程理解為信息加工過程，把一切智能系統理解為物理符號系統。雖然這樣做使人們能從環境到心智，又從心智到到環境的信息流中來分析問題，使心智問題研究具有實驗上的嚴格性。但是機械性的缺陷也非常明顯。
同時，框架跟軟件工程領域面向對象語言中的“類”相似，只是兩者的基本設計目標不同。
3.2啟發式搜索（Heristic Search）
Douglas Lenat（道格拉斯·布魯斯·勒納特）（生于1950年）是德克薩斯州奧斯汀市Cycorp公司的首席執行官，一直是人工智能領域的杰出研究者。他從事過機器學習（與他的AM和Eurisko程序）、知識表示、黑板系統和“本體工程”（在MCC和Cycorp的Cyc程序）。他還從事軍事模擬，并發表了一篇對傳統隨機突變達爾文學說的批判，這是基于他對尤里斯科的經驗。列納特是AAAI的最初成員之一。
在賓夕法尼亞大學，勒納特獲得數學和物理學士學位，并于1972年獲得應用數學碩士學位。1976年，他從斯坦福大學獲得博士學位，并發表論文《數學中發現的人工智能方法——啟發式搜索》。
該文章描述了一個名為“AM”的程序，它模擬了初等數學研究的一個方面：在大量啟發式規則的指導下開發新概念數學被認為是一種智能行為，而不是一種成品。本地啟發式通過一個議程機制、系統要執行的任務的全局列表以及每個任務合理的原因進行通信。一個單獨的任務可以指導AM定義一個新的概念，或者探索一個現有概念的某個方面，或者檢查一些經驗數據的規律性等。程序從議程中反復選擇具有最佳支持理由的任務，然后執行它。每個概念都是一個活躍的、結構化的知識模塊。最初提供了一百個非常不完整的模，每個模對應于一個基本的集合論概念（如并集）。這提供了一個明確但巨大的“空間”，AM開始探索。AM擴展了它的知識庫，最終重新發現了數百個常見的概念和定理。
3.3大規模知識庫構建與維護（Large Scale Knowledge-Base Construction）（已修改）
1976年，Randall Davis在斯坦福大學獲得人工智能博士學位，并發表文章 Applications of Meta Level Knowledge to the Construction, Maintenance and Use of Large Knowledge Bases，此文提出：使用集成的面向對象模型是提高知識庫（KB）開發、維護和使用的完整性的解決方案。共享對象增加了模型之間的跟蹤能力，增強了半自動開發和維護功能。而抽象模型是在知識庫構造過程中創建的，推理則是在模型初始化過程中執行的。
Randall Davis在基于知識的系統和人機交互領域做出了開創性的貢獻，發表了大約100多篇文章，并在多個系統的開發中發揮了核心作用。他和他的研究小組通過創建能夠理解用戶圖像、手勢和交談的軟件，開發先進的工具，并與計算機進行自然的多模式交互。
3.4計算機視覺（Computer Vision）
視覺計算理論（computational theory of vision）是在20世紀70年代由馬爾（David Marr）提出的概念，他在1982發表代表作《視覺計算理論》。他的工作同時對認知科學（CognitiveScience）也產生了很深遠的影響。
David Marr生于1945年1月19日，早年就讀于劍橋大學三一學院，獲得數學碩士、神經生理學博士學位，同時還受過神經解剖學、心理學、生物化學等方面的嚴格訓練。他在英國曾從事新皮層、海馬，特別是小腦方面的理論研究。
1974年訪問美國，并應M.Minsky教授之請，留在麻省理工學院開展知覺和記憶方面的研究工作。他從計算機科學的觀點出發，集數學、心理物理學、神經生理學于一體，首創人的視覺計算理論，使視覺研究的面貌為之一新。
他的理論由他創建的一個以博士研究生為主體的研究小組繼承、豐富和發展，并由其學生歸納總結為一本計算機視覺領域著作：Vision: A computational investigation into the human representation and processing of visual information，于他后發表。
計算機視覺是一門研究如何使機器“看”的科學，更進一步的說，就是指用攝影機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖像處理，用計算機處理成更適合人眼觀察或進行儀器檢測的圖像。學習和運算能讓機器能夠更好的理解圖片環境，并且建立具有真正智能的視覺系統。當下環境中存在著大量的圖片和視頻內容，這些內容亟需學者們理解并在其中找出模式，來揭示那些我們以前不曾注意過的細節。
3.5電腦擊敗世界雙陸棋冠軍（Computer beats world Backgammon champion）
1979 年 7 月，一款名為 BKG 9.8 的計算機程序在蒙特卡洛舉行的世界西洋雙陸棋錦標賽中奪得冠軍。這款程序的發明者是匹茲堡卡內基梅隆大學的計算機科學教授 Hans Berliner(漢斯·柏林格)，它在卡內基梅隆的一臺大型計算機上運行，并通過衛星連接到蒙特卡洛的一個機器人上。 這個名為 Gammonoid 的機器人胸前有一個西洋棋顯示屏，可以顯示它自己，以及其意大利對手 Luigi Villa 的動作。Luigi Villa 在短時間內擊敗了所有人類挑戰者，贏得了與 Gammonoid 對弈的權利。競賽的獎勵是五千美元，Gammonoid 最終以 7:1 贏得了比賽。
全世界都知道了：BKG9.8于1979年擊敗了西洋雙陸棋世界冠軍。
3.6專家系統（Expert System）
專家系統產生于六十年代中期，以Bruce G Buchanan在1968年發表的文章《 啟發式DENDRAL:一個在有機化學中生成解釋性假說的程序》為始。在美國國家航空航天局要求下，斯坦福大學成功研制了DENRAL專家系統，該系統具有非常豐富的化學知識，可根據質譜數據幫助化學家推斷分子結構。這個系統的完成標志著專家系統的誕生。在此之后, 麻省理工學院開始研制MACSYMA系統，現經過不斷擴充, 它能求解600多種數學問題。雖然它只有不到三十年的歷史，但其發展速度相當驚人，它的應用幾乎已滲透到自然界的各個領域。
專家系統定義為：使用人類專家推理的計算機模型來處理現實世界中需要專家作出解釋的復雜問題，并得出與專家相同的結論。簡專家系統可視作“知識庫(knowledge base)”和“推理機(inference machine)” 的結合。它同自然語言理解、機器人學并列為人工智能的三大研究方向，并且是人工智能中最活躍的分支。
3.7貝葉斯網絡（Baysian Network）
朱迪亞·珀爾(Judea Pearl)，以色列裔美國計算機科學家和哲學家，以倡導人工智能的概率方法和發展貝葉斯網絡而聞名（。他還因發展了一種基于結構模型的因果和反事實推理理論而受到贊譽。2011年，計算機械協會授予Judea Pearl圖靈獎，原因為——“通過發展概率和因果推理微積分對人工智能做出了根本性貢獻”。
貝葉斯網絡(Bayesian network)，又稱信念網絡(Belief Network)，或有向無環圖模型(directed acyclic graphical model)，是一種概率圖模型，于1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型，其網絡拓樸結構是一個有向無環圖(DAG)。
貝葉斯網絡的有向無環圖中的節點表示隨機變量{X1,X2,...,Xn}{X1,X2,...,Xn}
它們可以是可觀察到的變量，或隱變量、未知參數等。認為有因果關系（或非條件獨立）的變量或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是“因(parents)”，另一個是“果(children)”，兩節點就會產生一個條件概率值。
簡言之，把某個研究系統中涉及的隨機變量，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網絡。其主要用來描述隨機變量之間的條件依賴，用圈表示隨機變量(random variables)，用箭頭表示條件依賴(conditional dependencies)。
此外，對于任意的隨機變量，其聯合概率可由各自的局部條件概率分布相乘而得出：
P(x1,...,xk)=P(xk|x1,...,xk?1)...P(x2|x1)P(x1)
3.8基于行為的機器人（Behavior-based robotitcs）
1986年，Brooks發表論文《移動機器人魯棒分層控制系統》，標志著基于行為的機器人學的創立。文章介紹了一種新的移動機器人控制體系結構。為了讓機器人在不斷提高的能力水平上操作，建立了多層次的控制系統。層由異步模塊組成，這些模塊通過低帶寬信道進行通信。每個模塊都是一個相當簡單的計算機實例。較高級別的層可以通過抑制其輸出來容納較低級別的角色。但是，隨著更高級別的添加，較低級別繼續發揮作用。其結果是一個魯棒和靈活的機器人控制系統。該系統已用于控制移動機器人在無限制的實驗室區域和計算機機房中漫游。最終，它的目標是控制一個在我們實驗室的辦公區域徘徊的機器人，用一個內置的手臂來完成簡單的任務，繪制出周圍環境的地圖。
基于行為的機器人學的理論提出了與基于符號的人工智能完全不同的有關智能的觀點和結構,主要是實現以下二個觀念上的轉變：第一，智能不是符號化的模型；第二，智能不是由輸入得到輸出的計算過程。
第四章：平穩發展期-20世紀90年代
20世紀90年代，AI 出現了兩個很重要的發展：一方面是蒂姆·伯納斯·李（Tim Berners-Lee）在1998年提出的語義網，即以語義為基礎的知識網或知識表示。后來又出現了 OWL 語言和其他一些相關知識描述語言，這為知識庫的兩個核心問題：知識表達和開放知識實體，給出了一個可能的解決方案（盡管這一思路在后來一直沒有得到廣泛認可，直到2012年谷歌提出知識圖譜的概念，才讓這一方向有了明確的發展思路）。
另一個重要的發展是統計機器學習理論，包括Vapnik Vladimir等人提出的支持向量機、John Lafferty等人的條件隨機場以及David Blei和Michael Jordan等人的話題模型LDA?？偟膩碇v這一時期的主旋律是AI平穩發展，人工智能相關的各個領域都取得長足進步。
4.1支持向量機（Support Vector Machine）
1995年，Cortes和Vapnik首次提出支持向量機(Support Vector Machine)的概念，它在解決小樣本、非線性及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等其他機器學習問題中。
支持向量機（Support Vector Machine, SVM）是一類按監督學習（supervised learning）方式對數據進行二元分類的廣義線性分類器（generalized linear classifier），其決策邊界是對學習樣本求解的最大邊距超平面（maximum-margin hyperplane）。
同時，支持向量機方法是建立在統計學習理論的VC 維理論和結構風險最小原理基礎上的，根據有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度，Accuracy）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。
4.2條件隨機場（Conditional Random Fields）
John Lafferty于2001年首次提出條件隨機場模型，它是基于貝葉斯理論框架的判別式概率圖模型，當時用于文本的分割和標注，同時在許多自然語言處理任務中比如分詞、命名實體識別等表現尤為出色。CRF最早是針對序列數據分析提出的，現已成功應用于自然語言處理(NLP）、生物信息學、機器視覺及網絡智能等領域。
簡單地講，隨機場可以看成是一組隨機變量的集合（這組隨機變量對應同一個樣本空間）。當給每一個位置按照某種分布隨機賦予一個值之后，其全體就叫做隨機場。當然，這些隨機變量之間可能有依賴關系，一般來說，也只有當這些變量之間有依賴關系的時候，我們將其單獨拿出來看成一個隨機場才有實際意義。
設X與Y是隨機變量，P(Y|X)是在給定X的條件下Y的條件概率分布，若隨機變量Y構成一個由無向圖G=(V,E)表示的馬爾科夫隨機場，即：對任意的結點v成立，則稱條件概率分布P(Y|X)為條件隨機場。
這個概念看起來挺抽象的涉及到了很多其他的概念，此時如果你回去再看一遍開頭我們的定義部分，就會明白許多，所謂的條件隨機場不過是一組隨機變量X,Y形成的條件概率的集合，但是這個條件概率滿足了馬爾科夫獨立性假設/概率無向圖模型的條件，所以我們稱之為條件隨機場！ 上述定義的解釋也很直觀，那就是：所有不跟我直接相連的變量都跟我沒關系！
4.3“深藍”擊敗卡斯帕羅夫（Deep Blue Beats Kasparov）
1997年5月11日，舉世矚目的人與計算機大戰在經過6場拼殺后終見伯仲。盡管人腦戰勝電腦為民意所歸——據美國有限電視網與《今日美國》日報的民意調查，82%的人希望人腦取勝；盡管棋王堅信世界上最好的棋手可以利用創造力和想象力戰勝硅片——他認為：“在嚴肅而標準的國際象棋中，計算機在本世紀是不會得手的?！钡聦崉儆谛坜q，IBM"深藍"(Deep Blue)最終以3.5：2.5戰勝了國際象棋大師卡斯帕羅夫(Kasparov)，并成為紐約國際象棋人機賽110萬美元獎金的最終贏家，同時成為首臺打敗了國際象棋世界冠軍的電腦。其實正如IBM公司所說，無論鹿死誰手，人類都是最后贏家。
隨后數年，人們對待機器的態度漸漸恢復理性。個人計算機的功能大幅增強，智能手機如今可以同時運行和深藍一樣強大的象棋引擎與其他應用。更重要的是，得益于人工智能的最新進展，機器現在可以自己學習和探索游戲。
深藍的背后仍舊是人類為國際象棋對弈而設計的代碼規則。相比之下，Alphabet子公司DeepMind在2017年推出的程序AlphaZero，通過反復練習，可以自學成為大師級選手。甚至，AlphaZero還挖掘出一些新的策略，這些策略讓國際象棋專家都自嘆不如。
4.4語義網路徑圖（Semantic Web Road Map）
語義網(Semantic Web)是由萬維網聯盟的蒂姆·伯納斯·李(Tim Berners-Lee)在1998年提出的的一個概念，它的核心是：通過給萬維網上的文檔（如HTML）添加能夠被計算機所理解的語義(Meta data)，從而使整個互聯網成為一個通用的信息交換媒介），其最基本的元素就是語義鏈接(linked node)。
語義網是一個更官方的名稱，也是該領域學者使用得最多的一個術語，同時，也用于指代其相關的技術標準。在萬維網誕生之初，網絡上的內容只是人類可讀，而計算機無法理解和處理。比如，我們瀏覽一個網頁，我們能夠輕松理解網頁上面的內容，而計算機只知道這是一個網頁。網頁里面有圖片，有鏈接，但是計算機并不知道圖片是關于什么的，也不清楚鏈接指向的頁面和當前頁面有何關系。語義網正是為了使得網絡上的數據變得機器可讀而提出的一個通用框架?！癝emantic”就是用更豐富的方式來表達數據背后的含義，讓機器能夠理解數據?！癢eb”則是希望這些數據相互鏈接，組成一個龐大的信息網絡，正如互聯網中相互鏈接的網頁，只不過基本單位變為粒度更小的數據。
4.5主題建模（Topic Modeling）
在機器學習領域，LDA是兩個常用模型的簡稱：Linear Discriminant Analysis 和 Latent Dirichlet Allocation。本文的LDA僅指代Latent Dirichlet Allocation. LDA 在主題模型中占有非常重要的地位，常用來文本分類。
LDA由Blei、 David M.、Ng, Andrew Y.、Jordan于2003年提出，用來推測文檔的主題分布。它可以將文檔集中每篇文檔的主題以概率分布的形式給出，從而通過分析一些文檔抽取出它們的主題分布后，便可以根據主題分布進行主題聚類或文本分類。
LDA是一種非監督機器學習技術，可以用來識別大規模文檔集（document collection）或語料庫（corpus）中潛藏的主題信息。它采用了詞袋（bag of words）的方法，這種方法將每一篇文檔視為一個詞頻向量，從而將文本信息轉化為了易于建模的數字信息。但是詞袋方法沒有考慮詞與詞之間的順序，這簡化了問題的復雜性，同時也為模型的改進提供了契機。每一篇文檔代表了一些主題所構成的一個概率分布，而每一個主題又代表了很多單詞所構成的一個概率分布。
第五章：第三次浪潮期-2006年以后
第三次人工智能浪潮興起的標志可能要數2006杰弗里·辛頓（Geoffrey Hinton）等人提出的深度學習，或者說Hinton等人吹響了這次浪潮的號角。與之前最大的不同，這次引領浪潮沖鋒的是企業：塞巴斯蒂安·特龍（Sebastian Thrun）在谷歌領導了自動駕駛汽車項目；IBM 的沃森（Watson）于 2011 年在《危險邊緣》（Jeopardy）中戰勝人類、獲得冠軍；蘋果在 2011 年推出了自然語言問答工具 Siri 等；2016年谷歌旗下DeepMind公司推出的阿爾法圍棋（AlphaGo）戰勝圍棋世界冠軍李世石等。可以說這次人工智能浪潮的影響是前所未有的。
5.1波士頓動力公司（Boston Dynamics）
波士頓動力公司（英語：Boston Dynamics）創辦與是一家美國的工程與機器人設計公司，此公司的著名產品包含在國防高等研究計劃署（DARPA）出資下替美國軍方開發的四足機器人：波士頓機械狗，以及DI-Guy，一套用于寫實人類模擬的現成軟件（COTS）。此公司早期曾和美國系統公司一同接受來自美國海軍航空作戰中心訓練處（NAWCTSD）的一份合約，該合約的內容是要以DI-Guy人物的互動式3D電腦模擬，取代海軍飛機彈射任務訓練影片。
該公司由Marc Raibert和其合伙人一起創辦。Marc Raibert是著名的機器人學家。其28歲畢業于MIT，隨后在CMU擔任過副教授，并且在那里建立了CMUleg實驗室研究與機器人有關的控制和視覺處理相關的技術。在37歲時回到MIT的繼續從事機器人相關的科研和教學工作。在1992年，其與合伙人一起創辦了Boston Dynamics這家公司，開啟了機器人研究的新紀元。
波士頓動力公司于 2005 年推出一款四足機器人——big Dog ，它被人們親切地稱為 “大狗”，也正是這款四足機器人讓波士頓動力公司名聲大噪。大狗拋開傳統的輪式或履帶式機器人，轉而研究四足機器人，是因為四足機器人能夠適應更多地形地貌，通過性能更強。同時，在波士頓動力公司發布的宣傳視頻中，Big Dog 在裝載著重物的情況下，仍能對人類從其側面的踢踹做出靈敏的反應，始終保持站立的姿態。
在2013年12月13日，波士頓動力公司被Google收購。2017年6月9日軟銀以不公開的條款收購谷歌母公司Alphabet旗下的波士頓動力公司。
5.2遷移學習（Transfer Learning）
遷移學習是機器學習的一個重要分支，是指利用數據、任務、或模型之間的相似性，將在源領域學習過的模型，應用于新領域的一種學習過程。比如我們大部分人學摩托車的時候，都是把騎自行車的經驗遷移了過來。
2010年時Sinno Jialin Pan和 Qiang Yang發表文章《遷移學習的調查》，詳細介紹了遷移學習的分類問題。當以遷移學習的場景為標準時分為三類：歸納式遷移學習（Inductive Transfer Learning）、直推式遷移學習（Transductive Transfer Learning）、和直推式遷移學習(Unsupervised Transfer Learning)。
深度遷移學習主要就是模型的遷移，一個最簡單最常用的方法就是fine-tuning，就是利用別人已經訓練好的網絡，針對目標任務再進行調整。近年來大火的BERT、GPT、XLNET等都是首先在大量語料上進行預訓練，然后在目標任務上進行fine-tuning。
5.3 IBM沃森挑戰史上最強Jeopardy?。↖BM Watson wins Jeopardy?。?/h3>
Watson是一種能夠回答自然語言提出的問題的問答計算機系統，由主要研究員David Ferrucci領導的研究小組在IBM的DeepQA項目中開發。Watson以IBM的創始人兼第一任首席執行官工業家Thomas J. Watson的名字命名。
最初開發Watson計算機系統是為了回答測驗節目 Jeopardy！中的問題，并且在2011年參與Jeopardy比賽與與冠軍布拉德·魯特（Brad Rutter）和肯·詹寧斯（Ken Jennings）競爭。最終贏得了勝利贏得一百萬美元的冠軍獎金。
Waston運行機制：
Watson是作為問題解答（QA）計算系統被創建的，它將高級自然語言處理，信息檢索，知識表示，自動推理和機器學習技術應用于開放域問題解答領域。
QA技術與文檔搜索之間的主要區別在于，文檔搜索采用關鍵字查詢并返回按與查詢相關性排序的文檔列表（通常基于受歡迎程度和頁面排名），而QA技術則采用以自然語言，試圖更詳細地理解它，以此反饋出對該問題的精確答案。創建是IBM時表示，“有100多種不同的技術用于分析自然語言，識別來源，查找和生成假設，查找和評分證據以及合并和排列假設?！?nbsp;近年來，Watson的功能得到了擴展，Watson的工作方式也發生了變化，以利用新的部署模型（IBM Cloud上的Watson）以及不斷發展的機器學習功能和開發人員和研究人員可用的優化硬件。它不再是單純的問答（QA）計算系統的Q＆A對設計的，但現在可以“看”，“聽”，“讀”，“講”，“味道”，“解釋”，“學習”和“推薦'。
Watson中使用的IBM Deep QA的高級體系結構
大衛·費魯奇（David Ferrucci）是首席研究員，他在2007年至2011年帶領IBM和學術研究人員及工程師組成的團隊，開發了贏得Jeopardy的沃森計算機系統。
Ferrucci 于1994年畢業于曼哈頓學院，獲得生物學學士學位，并于Rensselaer理工學院獲得博士學位。計算機科學學位，專門研究知識表示和推理。[2] 他于1995年加入IBM的Thomas J. Watson，并于2012年離開，加入Bridgewater Associates。[3]他還是Elemental Cognition的創始人，首席執行官兼首席科學家，該公司致力于探索自然學習這一新的研究領域，Ferrucci將其描述為“人工智能，它以人們的方式理解世界”。
5.4谷歌自動駕駛汽車（Google self-driving car）
Google的自動駕駛技術開發始于2009年1月17日，一直在在該公司秘密的X實驗室中進行，在2010年10月9日《紐約時報》透露其存在之后，當天晚些時候，谷歌通過正式宣布了自動駕駛汽車計劃。該項目由斯坦福大學人工智能實驗室（SAIL）的前負責人塞巴斯蒂安·特倫（Sebastian Thrun ）和510系統公司和安東尼機器人公司的創始人安東尼·萊萬多夫斯基（Anthony Levandowski）發起。
在Google工作之前，Thrun和包括Dmitri Dolgov，Anthony Levandowski和Mike Montemerlo在內的15位工程師共同為SAIL開展了名為VueTool的數字地圖技術項目。許多團隊成員在2005 DARPA大挑戰賽上見面，Thrun和Levandowski都有團隊競爭自動無人駕駛汽車挑戰。在2007年，Google收購了整個VueTool團隊，以幫助推進Google的街景技術。
作為街景服務開發的一部分，購買了100輛豐田普銳斯，并配備了萊康多夫斯基公司510 Systems開發的Topcon盒，數字地圖硬件。2008年，街景小組啟動了“地面真相”項目，目的是通過從衛星和街景中提取數據來創建準確的路線圖。這為Google的自動駕駛汽車計劃奠定了基礎。
2014年5月下旬，Google展示了其無人駕駛汽車的新原型，該汽車無方向盤，油門踏板或制動踏板，并且100％自治。12月，他們展示了一個功能完備的原型，計劃從2015年初開始在舊金山灣區道路上進行測試。這款車名Firefly，旨在用作實驗平臺和學習，而不是大量生產。
2015年，聯合創始人Anthony Levandowski和CTO Chris Urmson離開了該項目。2015年8月，Google聘用了現代汽車前高管約翰·克拉夫奇克（John Krafcik）作為首席執行官。 2015年秋天，Google向總工程師納撒尼爾·費爾菲爾德（Nathaniel Fairfield）的合法盲人朋友提供了“世界上第一個完全無人駕駛的公共道路上的騎行服務” 。這次乘車之旅由得克薩斯州奧斯汀市圣塔克拉拉谷盲中心的前首席執行官史蒂夫·馬漢（Steve Mahan）乘車。這是公共道路上的第一個完全無人駕駛的汽車。它沒有測試駕駛員或警察護送，也沒有方向盤或地板踏板。截至2015年底，這輛汽車已實現超過100萬英里的自駕里程。
2016年12月，該部門從Google獨立出來，更名為Waymo，并拆分為Alphabet的新部門。這意味著Google在主線業務中放棄了自動駕駛汽車項目。
5.5谷歌知識圖譜（Google Knowledge graph）
谷歌知識圖譜（英語：Google Knowledge Graph，也稱Google知識圖）是Google的一個知識庫，其使用語義檢索從多種來源收集信息，以提高Google搜索的質量。知識圖譜2012年加入Google搜索，2012年5月16日正式發布。
Google Knowledge Graph 是 Google 一個相當有野心的計劃 -- 在這里 Google 為字串賦予了意義，而不只是單純的字串而已。以 Google 自己的例子來說，當你在英文 Google 上搜索泰姬馬哈陵（Taj Mahal）的時候，傳統的搜索會試著比對這個字串和 Google 扒下來的巨大文章庫，找出最合適的結果，并依照 Google 神秘的演算法進行排序；但在 Google Knowledge Graph 里 Taj Mahal 會被理解成一個「東西」，并在搜索結果的右側顯示它的一些基本資料，像是地理位置、Wiki 的摘要、高度、建筑師等等，再加上一些和它類似的「東西」，例如萬里長城等。
當然，Google 也了解「Taj Mahal」不見得一定是指泰姬馬哈陵 -- 這就是 Knowledge graph 的威力顯現出來的時候了。在泰姬馬哈陵的框框底下還有兩個常見的「Taj Mahal」，一個是歌手，另一個是一間賭場，正常狀況下你如果想找這兩個 Taj Mahal，卻打不對關鍵字的話，有可能搜索結果會被最有名的那個淹沒，但 Google Knowldge Graph 可以協助你找到你要的那個特定的內容。
Google 希望藉由 Knowledge Graph 來在普通的字串搜索上疊一層相互之間的關系，協助使用者更快找到所需的資料的同時，也可以更了解使用者需要的是什么，從而往以「知識」為基礎的搜索更近一步。目前 Google 的這張 Knowledge Graph 已經有五億樣「東西」在上面，產生 35 億個屬性和相互關系，未來當然還會再繼續擴充下去。繼續閱讀里有 Google 的介紹視頻，可惜目前只支持英文，不知道還要多久才會支持中文呢。
Knowledge Graph的歷史
這些內容是怎么來的呢？當然，不可能完全靠google自己搜索數據得到，因為，這個數據實在是太龐大了。
比如說，其中有部分數據來源于The World Factbook（世界概況） - CIA（中央情報局）：《世界概況》是由美國中央情報局出版的調查報告，發布世界各國及地區的概況，例如人口、地理、政治及經濟等各方面的統計數據。因中央情報局屬美國政府部門，所以其資料格式、體例、內容皆需符合美國政府的官方需要及立場資料則是由美國國務院、美國人口調查局、國防部等部門及其轄下的相關單位提供。（google）
還有數據來自freebase：Freebase是一個由元數據組成的大型合作知識庫，內容主要來自其社區成員的貢獻。它整合了許多網上的資源，包括部分私人wiki站點中的內容。Freebase致力于打造一個允許全球所有人（和機器）快捷訪問的資源庫。它由美國軟件公司Metaweb開發并于2007年3月公開運營。2010年7月16日被谷歌收購。 2014年12月16日，Google宣布將在六個月后關閉Freebase，并將全部數據遷移至維基數據。
當然，還有大名鼎鼎的wikipedia。
在2012年的時候，google的語義網絡就已經包含了超過5億7千萬個對象實體，而且對象實體之間超過了180億的史實和關系。這些數據用于理解我們輸入到搜索欄中的關鍵字。
在2012年12月4日，Knowledge Graph被翻譯成了七中語言，其中包括了：西班牙語，法語，德語，葡萄牙語，日語，俄語和意大利語。
5.6 AlexNet
AlexNet是一種卷積神經網絡(CNN)，由亞歷克斯·克里澤夫斯基（Alex Krizhevsky）設計,與伊爾亞?蘇茨克維（Ilya Sutskever）和克里澤夫斯基的博士導師杰弗里·辛頓（Geoff Hinton）共同發表. AlexNet參加了2012年9月30日舉行的ImageNet大規模視覺識別挑戰賽，達到最低的15.3%的Top-5錯誤率，比第二名低10.8個百分點,至此一戰成名。原論文的主要結論是，模型的深度對于提高性能至關重要，AlexNet的計算成本很高，但因在訓練過程中使用了圖形處理器（GPU）而使得計算具有可行性 。
克里熱夫斯基（Krizhevsky）出生于烏克蘭，在加拿大長大，當時他與杰弗里·辛頓（Geoff Hinton）接觸，打算在多倫多大學（University of Toronto）從事AI的計算機科學博士學位研究。在讀研究生時，克里熱夫斯基就在閱讀由其導師辛頓（Hinton）發明的一種早期算法的論文，該算法稱為““restricted Boltzmann machine”。此時他已經發現圖形處理器（GPU）與restricted Boltzmann machines一起使用的前景，而不是中央處理器（CPU）。他認為，如果可以在其他具有更多層（或稱為“深度神經網絡”）的神經網絡上使用這些GPU，則可以提高深度神經網絡的處理速度并創建更好的算法。在算法準確性方面可以迅速超越其他最新基準。
在他發現之后不久，2011年，辛頓的另一個研究生Sutskever就了解了ImageNet數據集。ImageNet有超過一百萬張圖像，是專門為多倫多團隊試圖解決的計算機視覺算法而設計的。“我意識到他的代碼能夠解決ImageNet，” Sutskever說?！爱敃r的實現還不是很明顯。”
兩個人經過一番研究后，克里熱夫斯基使用他的GPU加速代碼的增強功能來訓練數據集上的神經網絡。更高的計算速度使網絡可以在五六天內處理數百萬張圖像，而不是以前需要花費的幾周甚至幾個月的時間。所有可以處理的額外數據使神經網絡在分辨圖像中對象之間的差異方面具有空前的敏感性。
之后，二人和其導師辛頓一起參加了2012年的ImageNet競賽。該競賽是對AI的一種測試，其中包括龐大的在線圖像數據庫。這項比賽對全世界的所有人都開放，旨在評估為大規模物體檢測和圖像分類而設計的算法。關鍵不僅僅在于贏得勝利，還在于檢驗一個假設：如果使用正確的算法，那ImageNet數據庫中的大量數據可能是釋放AI潛力的關鍵。最后他們以錯誤率低于第二名10.8％的巨大優勢擊敗其他所有研究實驗室。
然而最開始的時候，Hinton是反對這種想法的，因為他認為，仍然需要告知神經網絡哪些對象位于哪些圖像中，而不是學習標簽本身。盡管持懷疑態度，他但仍以顧問身份為該項目做出了貢獻?？死餆岱蛩够鶅H僅用了六個月的時間就讓他的神經網絡就達到了ImageNet的圖像分類基準，然后又花了六個月才能達到團隊提交的結果。
最終的克里熱夫斯基神經網絡框架在AI領域的一項開創性研究論文中得到了驗證，該論文首先在ImageNet挑戰之后于2012年在AI最大的年度會議上提出。
現在的神經網絡框架通稱為AlexNet，但最初并未使用該名稱。在ImageNet挑戰之后，Google任命了名叫Wojciech Zaremba的實習生（現為OpenAI的機器人負責人）在克里熱夫斯基的基礎上重新編寫了一套框架作為該公司的論文。由于Google具有按照其創建者命名神經網絡的傳統，因此該公司對克里熱夫斯基的神經網絡的近似版本最初稱為WojNet。但是隨后Google贏得了邀請克里熱夫斯基的爭奪戰，并收購了其神經網絡，此后名稱已正確更改為AlexNet。
5.7變分自編碼器VAE（Variational Auto-Encoder）
VAE，也可以叫做變分自編碼器，屬于自動編碼器的變體。VAE于2013年，由Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》發表。
自動編碼器是一種人工神經網絡，用于學習高效的數據值編碼以無監督方式。自動編碼器的目的是通過訓練網絡忽略信號“噪聲” 來學習一組數據的表示（編碼），通常用于降維?；灸Ｐ痛嬖趲追N變體，其目的是強制學習的輸入表示形式具有有用的屬性。
與經典（稀疏，去噪等）自動編碼器不同，變分自動編碼器（VAE）是生成模型，例如生成對抗網絡。文章重點解決，在存在具有難解的后驗分布的連續潛在變量和大型數據集的情況下，如何在定向概率模型中進行有效的推理和學習。他們引入了一種隨機變分推理和學習算法，該算法可以擴展到大型數據集，并且在某些微分可微性條件下甚至可以在難處理的情況下工作。
作者證明了變化下界的重新參數化產生了一個下界估計量，該估計量可以使用標準隨機梯度方法直接進行優化。 其次表明，對于每個數據點具有連續潛在變量的iid數據集，通過使用擬議的下界估計器將近似推理模型（也稱為識別模型）擬合到難處理的后驗，可以使后驗推理特別有效。
主要提出者Durk Kingma（Diederik P. Kingma），目前就職于Google。 在加入Google之前，于2017年獲得阿姆斯特丹大學博士學位，并于2015年成為OpenAI創始團隊的一員。 他主要研究的方向為：推理，隨機優化，可識別性。其中的研究成就包括變分自編碼器（VAE）（一種用于生成建模的有原則的框架）以及廣泛使用的隨機優化方法Adam。
5.8生成對抗網絡GAN（Generative Adversarial Network）
生成對抗網絡（Generative Adversarial Network，簡稱GAN）是非監督式學習的一種方法，通過讓兩個神經網絡相互博弈的方式進行學習。該方法由伊恩·古德費洛等人于2014年提出。生成對抗網絡由一個生成網絡與一個判別網絡組成。生成網絡從潛在空間（latent space）中隨機取樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。判別網絡的輸入則為真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中盡可能分辨出來。而生成網絡則要盡可能地欺騙判別網絡。兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。
框架中同時訓練兩個模型：捕獲數據分布的生成模型G，和估計樣本來自訓練數據的概率的判別模型D。G的訓練程序是將D錯誤的概率最大化。這個框架對應一個最大值集下限的雙方對抗游戲。可以證明在任意函數G和D的空間中，存在唯一的解決方案，使得G重現訓練數據分布，而D=0.5。在G和D由多層感知器定義的情況下，整個系統可以用反向傳播進行訓練。在訓練或生成樣本期間，不需要任何馬爾科夫鏈或展開的近似推理網絡。實驗通過對生成的樣品的定性和定量評估證明了本框架的潛力
生成對抗網絡常用于生成以假亂真的圖片。此外，該方法還被用于生成影片、三維物體模型等。雖然生成對抗網絡原先是為了無監督學習提出的，它也被證明對半監督學習、完全監督學習、強化學習是有用的。
GAN的提出者伊恩·古德費洛，曾就讀于斯坦福大學，在那里獲得了了計算機科學學士和碩士學位，之后在Yoshua Bengio和Aaron Courville 的指導下于蒙特利爾大學獲得機器學習博士學位。畢業后，Goodfellow加入Google，成為Google Brain研究小組的成員。2015年他離開了Google，加入了新成立的OpenAI研究所。2017年3月回到Google Research。
Goodfellow最知名的成就就是發明了GAN,被譽為GAN之父。同時他還是 Deep Learning 教材的主要作者。在Google，他開發了一個系統，該系統使Google Maps能夠自動轉錄街景汽車拍攝的照片中的地址，并展示了機器學習系統的安全漏洞。
2017年，Goodfellow被《MIT技術評論》的35位35歲以下的創新者所引用。在2019年，他被列入《外交政策》的100位全球思想家名單。
5.9隨機失活（Dropout）
隨機失活（dropout）是對具有深度結構的人工神經網絡進行優化的方法，在學習過程中通過將隱含層的部分權重或輸出隨機歸零，降低節點間的相互依賴性（co-dependence ）從而實現神經網絡的正則化（regularization），降低其結構風險（structural risk）。2014年，針對神經網絡容易過擬合的問題，Srivastava和Hinton等人完整的對dropout進行了描述，并證明了比當時使用的其他正則化方法有了重大改進。實證結果也顯示dropout在許多基準數據集上獲得了優秀的結果。
2012年，Hinton和Srivastava等人首先提出了Dropout的思想。2013年，Li Wan和Yann LeCun等人介紹了Drop Connect，是另一種減少算法過擬合的正則化策略，是 Dropout 的一般化。在 Drop Connect 的過程中需要將網絡架構權重的一個隨機選擇子集設置為零，取代了在 Dropout 中對每個層隨機選擇激活函數的子集設置為零的做法。Drop Connect 和 Dropout 相似的地方在于它涉及在模型中引入稀疏性，不同之處在于它引入的是權重的稀疏性而不是層的輸出向量的稀疏性。2014年，針對神經網絡容易過擬合的問題，Srivastava和Hinton等人完整的對dropout進行了描述，并證明了比當時使用的其他正則化方法有了重大改進。實證結果也顯示dropout在許多基準數據集上獲得了優秀的結果。自2014年Srivastava和Hinton等人的論文發表后，Dropout很快受到了各類研究的青睞。在批歸一化(BN)提出之前，Dropout 幾乎是所有的最優網絡的標配，直到Ioffe & Szegedy 于 2015 提出批歸一化（BN）技術，通過運用該技術，不僅可以加速現代模型的速度，而且可以以正則項的形式來提高基線水平。因此，批歸一化幾乎應用在近期所有的網絡架構中，這說明了它強大的實用性和高效性。
5.10深度學習（Deeping Learning）
深度學習（Deeping Learning）可以作為機器學習最重要的一個分支。2006年，被稱為深度學習元年。2006年杰弗里 ·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。杰弗里 ·辛頓也因此被稱為深度學習之父。2015年，杰弗里 ·辛頓等人在世界頂級學術期刊 《自然》 發表的一篇文章中詳細的給出了 “梯度消失”問題的解決方案 —— 通過無監督的學習方法逐層訓練算法，再使用有監督的反向傳播算法進行調優。該深度學習方法的提出，立即在學術圈引起了巨大的反響，以斯坦福大學、多倫多大學為代表的眾多世界知名高校紛紛投入巨大的人力、財力進行深度學習領域的相關研究。而后又在迅速蔓延到工業界中。因為在深度學習方面做出的突出貢獻，2019年3月27日，ACM（美國計算機協會）宣布，有“深度學習三巨頭”之稱Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎，這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。
2012年，在著名的ImageNet圖像識別大賽中， 杰弗里 ·辛頓領導的小組采用深度學習模型AlexNet一舉奪冠。同年，由斯坦福大學著名的吳恩達教授和世界頂尖計算機專家Jeff Dean共同主導的深度神經網絡 —— DNN技術在圖像識別領域取得了驚人的成績，在ImageNet評測中成功的把錯誤率從26％降低到了15％。深度學習算法在世界大賽的脫穎而出，也再一次吸引了學術界和工業界對于深度學習領域的關注。
隨著深度學習技術的不斷進步以及數據處理能力的不斷提升，2014年，Facebook基于深度學習技術的DeepFace項目，在人臉識別方面的準確率已經能達到97%以上，跟人類識別的準確率幾乎沒有差別。這樣的結果也再一次證明了深度學習算法在圖像識別方面的一騎絕塵。
杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計算機學家、心理學家，被稱為“神經網絡之父”、“深度學習鼻祖”。他研究了使用神經網絡進行機器學習、記憶、感知和符號處理的方法，并在這些領域發表了超過200篇論文。他是將（Backpropagation）反向傳播算法引入多層神經網絡訓練的學者之一，他還聯合發明了波爾茲曼機（Boltzmann machine）。他對于神經網絡的其它貢獻包括：分散表示（distributed representation）、時延神經網絡、專家混合系統（mixtures of experts）、亥姆霍茲機（Helmholtz machines）等。
1970年，Hinton在英國劍橋大學獲得文學學士學位，主修實驗心理學；1978年，他在愛丁堡大學獲得哲學博士學位，主修人工智能。此后Hinton曾在薩塞克斯大學、加州大學圣迭戈分校、劍橋大學、卡內基梅隆大學和倫敦大學學院工作。2012年，Hinton獲得了加拿大基廉獎（Killam Prizes，有“加拿大諾貝爾獎”之稱的國家最高科學獎）。Hinton是機器學習領域的加拿大首席學者，是加拿大高等研究院贊助的“神經計算和自適應感知”項目的領導者，是蓋茨比計算神經科學中心的創始人，目前擔任多倫多大學計算機科學系教授。
5.11殘差網絡（ResNet）
殘差網絡（ResNet）是由來自Microsoft Research的4位學者，分別是Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun提出的卷積神經網絡，在2015年的ImageNet大規模視覺識別競賽（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中獲得了圖像分類和物體識別的優勝。殘差網絡的特點是容易優化，并且能夠通過增加相當的深度來提高準確率。其內部的殘差塊使用了跳躍連接，緩解了在深度神經網絡中增加深度帶來的梯度消失問題。
殘差網絡的主要提出者何凱明，2003年廣東省理科高考狀元，曾就讀于清華基礎科學班并在香港中文大學攻讀研究生。2011年獲得博士學位后加入曾在微軟亞洲研究院（MSRA）工作。他的主要研究方向是計算機視覺和深度學習。目前就職于Facebook AI Research（FAIR）
他的論文Deep Residual Networks(ResNets)是2019年Google Scholar Metrics中所有領域中被引用最多的論文。ResNets的應用還包括語言、語音和AlphaGo。
5.12TensorFlow
TensorFlow是一個基于數據流編程（dataflow programming）的符號數學系統，被廣泛應用于各類機器學習（machine learning）算法的編程實現，其前身是谷歌的神經網絡算法庫DistBelief。自2015年11月9日起，TensorFlow依據阿帕奇授權協議（Apache 2.0 open source license）開放源代碼。TensorFlow擁有多層級結構，可部署于各類服務器、PC終端和網頁并支持GPU和TPU高性能數值計算，被廣泛應用于谷歌內部的產品開發和各領域的科學研究。TensorFlow由谷歌人工智能團隊谷歌大腦（Google Brain）開發和維護，擁有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在內的多個項目以及各類應用程序接口（Application Programming Interface, API）。
TensorFlow的 Tensor（張量）表示無限的數據，Flow表示節點，流程和處理。就如同神經信號在大腦內縱橫馳騁，TensorFlow模擬了一個人造的大腦。TensorFlow內核定義了一系列的深度學習方法：卷積神經網絡，使用 GPU 的反向傳播算法，交叉熵。神經網絡的每一層都可以映射到一個或者多個方法，方便擴展其它深度學習算法，同時架構適合在高性能計算機系統中工作，和底層的具體計算機硬件無關。
TensorFlow可以利用一個長短期記憶神經網絡將輸入序列映射到多維序列，同時使用另一個長短期記憶神經網絡從多維序列中生成輸出序列。想象一下，如果輸入序列是英文，輸出序列是中文，TensorFlow就組成了一個智能翻譯系統；如果輸入序列是問題，輸出序列是答案，TensorFlow就組成了一個Siri；如果輸入序列是圖片，輸出序列是文字，TensorFlow就組成了一個圖片識別系統。還有很多種如果，讓TensorFlow有了無限的可能。
5.13 OpenAI
OpenAI，由諸多硅谷大亨聯合建立的人工智能非營利組織。2015年馬斯克與其他硅谷科技大亨進行連續對話后，決定共同創建OpenAI，希望能夠預防人工智能的災難性影響，推動人工智能發揮積極作用。特斯拉電動汽車公司與美國太空技術探索公司SpaceX創始人馬斯克、Y Combinator總裁阿爾特曼、天使投資人彼得·泰爾（Peter Thiel）以及其他硅谷巨頭2014年12月份承諾向OpenAI注資10億美元。
OpenAI的使命是確保通用人工智能 (Artificial General Intelligence, AGI)，即一種高度自主且在大多數具有經濟價值的工作上超越人類的系統，將為全人類帶來福祉。不僅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意幫助其它研究機構共同建造出這樣的通用人工智能以達成他們的使命。
5.14索菲亞機器人（Sophia）
索菲亞是由中國香港的漢森機器人技術公司（Hanson Robotics）開發的類人機器人，是歷史上首個獲得公民身份的一臺機器人。索菲亞看起來就像人類女性，擁有橡膠皮膚，能夠表現出超過62種面部表情。索菲亞“大腦”中的計算機算法能夠識別面部，并與人進行眼神接觸。
2016年3月，在機器人設計師戴維·漢森（David Hanson）的測試中，與人類極為相似的人類機器人索菲亞（Sophia）自曝愿望，稱想去上學，成立家庭。索菲亞看起來就像人類女性，擁 有橡膠皮膚，能夠使用很多自然的面部表情。索菲亞“大腦”中的計算機算法能夠識別面部，并與人進行眼神接觸。索菲亞的皮膚使用名為Frubber的延展性 材料制作，下面有很多電機，讓它可以做出微笑等動作。此外，索菲亞還能理解語言和記住與人類的互動，包括面部。隨著時間推移，它會變得越來越聰明。漢森說：“它的目標就是像任何人類那樣，擁有同樣的意識、創造性和其他能力。
2017年10月26日，沙特阿拉伯授予香港漢森機器人公司生產的機器人索菲亞公民身份。作為史上首個獲得公民身份的機器人，索菲亞當天在沙特說，它希望用人工智能“幫助人類過上更美好的生活”，人類不用害怕機器人，“你們對我好，我也會對你們好”。
5.15阿爾法圍棋（AlphaGo）
阿爾法圍棋（AlphaGo）是一款圍棋人工智能程序。其主要工作原理是“深度學習”?！吧疃葘W習”是指多層的人工神經網絡和訓練它的方法。一層神經網絡會把大量矩陣數字作為輸入，通過非線性激活方法取權重，再產生另一個數據集合作為輸出。這就像生物神經大腦的工作機理一樣，通過合適的矩陣數量，多層組織鏈接一起，形成神經網絡“大腦”進行精準復雜的處理，就像人們識別物體標注圖片一樣。它第一個擊敗人類職業圍棋選手、第一個戰勝圍棋世界冠軍的人工智能機器人，由谷歌（Google）旗下DeepMind公司戴密斯·哈薩比斯領銜的團隊開發。其主要工作原理是“深度學習”。
2016年3月，AlphaGo與圍棋世界冠軍、職業九段棋手李世石進行圍棋人機大戰，以4比1的總比分獲勝；2016年末2017年初，該程序在中國棋類網站上以“大師”（Master）為注冊賬號與中日韓數十位圍棋高手進行快棋對決，連續60局無一敗績；2017年5月，在中國烏鎮圍棋峰會上，它與排名世界第一的世界圍棋冠軍柯潔對戰，以3比0的總比分獲勝。圍棋界公認阿爾法圍棋的棋力已經超過人類職業圍棋頂尖水平，在GoRatings網站公布的世界職業圍棋排名中，其等級分曾超過排名人類第一的棋手柯潔。
2017年5月27日，在柯潔與阿爾法圍棋的人機大戰之后，阿爾法圍棋團隊宣布阿爾法圍棋將不再參加圍棋比賽。2017年10月18日，DeepMind團隊公布了最強版阿爾法圍棋，代號AlphaGo Zero。
舊版的AlphaGo主要由幾個部分組成：一、策略網絡（Policy Network），給定當前局面，預測并采樣下一步的走棋；二、快速走子（Fast rollout），目標和策略網絡一樣，但在適當犧牲走棋質量的條件下，速度要比策略網絡快1000倍；三、價值網絡（Value Network），給定當前局面，估計是白勝概率大還是黑勝概率大；四、蒙特卡洛樹搜索（Monte Carlo Tree Search），把以上這四個部分連起來，形成一個完整的系統。阿爾法圍棋（AlphaGo）是通過兩個不同神經網絡“大腦”合作來改進下棋。這些“大腦”是多層神經網絡，跟那些Google圖片搜索引擎識別圖片在結構上是相似的。它們從多層啟發式二維過濾器開始，去處理圍棋棋盤的定位，就像圖片分類器網絡處理圖片一樣。經過過濾，13個完全連接的神經網絡層產生對它們看到的局面判斷。這些層能夠做分類和邏輯推理。
新版的AlphaGo名為AlphaGo Zero在此前的版本的基礎上，結合了數百萬人類圍棋專家的棋譜，以及強化學習進行了自我訓練。它與舊版最大的區別是，它不再需要人類數據。也就是說，它一開始就沒有接觸過人類棋譜。研發團隊只是讓它自由隨意地在棋盤上下棋，然后進行自我博弈。
據阿爾法圍棋團隊負責人大衛·席爾瓦（Dave Sliver）介紹，AlphaGo Zero使用新的強化學習方法，讓自己變成了老師。系統一開始甚至并不知道什么是圍棋，只是從單一神經網絡開始，通過神經網絡強大的搜索算法，進行了自我對弈。隨著自我博弈的增加，神經網絡逐漸調整，提升預測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓練的深入，阿爾法圍棋團隊發現，AlphaGo Zero還獨立發現了游戲規則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。
AlphaGo Zero僅用了單一的神經網絡。在此前的版本中，AlphaGo用到了“策略網絡”來選擇下一步棋的走法，以及使用“價值網絡”來預測每一步棋后的贏家。而在新的版本中，這兩個神經網絡合二為一，從而讓它能得到更高效的訓練和評估。同時AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠地是其高質量的神經網絡來評估下棋的局勢。
AlphaGo的主要設計者，戴密斯·哈薩比斯（Demis Hassabis），人工智能企業家，DeepMind Technologies公司創始人，人稱“阿爾法圍棋之父”。4歲開始下國際象棋，8歲自學編程，13歲獲得國際象棋大師稱號。17歲進入劍橋大學攻讀計算機科學專業。在大學里，他開始學習圍棋。2005年進入倫敦大學學院攻讀神經科學博士，選擇大腦中的海馬體作為研究對象。兩年后，他證明了5位因為海馬體受傷而患上健忘癥的病人，在暢想未來時也會面臨障礙，并憑這項研究入選《科學》雜志的“年度突破獎”。2011年創辦DeepMind Technologies公司，以“解決智能”為公司的終極目標。
5.16 聯邦學習（Federated Learning）
聯邦學習（又稱協作學習）是一種機器學習技術， 2016 年由谷歌最先提出，它在多個持有本地數據樣本的分散式邊緣設備或服務器上訓練算法，而不交換其數據樣本。這種方法與傳統的集中式機器學習技術形成鮮明對比，傳統的集中式機器學習技術將所有的數據樣本上傳到一個服務器上，而更經典的去中心化方法則假設本地數據樣本是完全相同分布的。
聯邦學習能夠使多個參與者在不共享數據的情況下建立一個共同的、強大的機器學習模型，從而解決數據隱私、數據安全、數據訪問權限和異構數據的訪問等關鍵問題。其應用遍布國防、電信、物聯網或制藥等多個行業。
聯邦學習原本用于解決安卓手機終端用戶在本地更新模型的問題，其設計目標是在保障大數據交換時的信息安全、保護終端數據和個人數據隱私、保證合法合規的前提下，在多參與方或多計算結點之間開展高效率的機器學習。其中，聯邦學習可使用的機器學習算法不局限于神經網絡，還包括隨機森林等重要算法。聯邦學習有望成為下一代人工智能協同算法和協作網絡的基礎。
5.17 BERT
BERT的全稱為Bidirectional Encoder Representation from Transformers，是一個預訓練的語言表征模型。BERT論文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding于2018年發表，它強調了不再像以往一樣采用傳統的單向語言模型或者把兩個單向語言模型進行淺層拼接的方法進行預訓練，而是采用新的masked language model（MLM），以致能生成深度的雙向語言表征。發表時提及在11個NLP（Natural Language Processing，自然語言處理）任務中獲得了新的state-of-the-art的結果，令人目瞪口呆。
該模型有以下主要優點：
1）采用MLM對雙向的Transformers進行預訓練，以生成深層的雙向語言表征。
2）預訓練后，只需要添加一個額外的輸出層進行fine-tune，就可以在各種各樣的下游任務中取得state-of-the-art的表現。在這過程中并不需要對BERT進行任務特定的結構修改。
BERT的本質上是通過在海量的語料的基礎上運行自監督學習方法為單詞學習一個好的特征表示，所謂自監督學習是指在沒有人工標注的數據上運行的監督學習。在以后特定的NLP任務中，我們可以直接使用BERT的特征表示作為該任務的詞嵌入特征。所以BERT提供的是一個供其它任務遷移學習的模型，該模型可以根據任務微調或者固定之后作為特征提取器。BERT的源碼和模型2018年10月31號已經在Github上開源，簡體中文和多語言模型也于11月3號開源。
第六章 展望未來十年
人工智能，未來已來。2015年，張鈸院士提出第三代人工智能體系的雛形。2017 年，美國國防高級研究計劃局（DARPA） 發起 XAI 項目，核心思想是從可解釋的機器學習系統、人機交互技術以及可解釋的心理學理論3個方面，全面開展可解釋性 AI 系統的研究。自2017年開始，人工智能連續三年被列入政府工作報告中。
2019年，人工智能行業徹底告別了“喊口號”“包裝概念”的時代，步入穩步發展的軌道。人工智能的技術和應用開始在各個行業落地，人工智能的成果和場景實踐層出不窮。例如NVDIA 開源的 StyleGAN、谷歌量子霸權論文正式登上Nature、波士頓動力機器狗Spot即將商用、阿里推出了這款全球最強的 AI芯片——含光800、AI換臉、AI“人臉識別”協助警方等等。這些大事件都表明人工智能技術已經越來越“接地氣”，進入到人們的生活中，而不是停留在研究和實驗當中。人工智能被正式列入新增審批本科專業名單。
2020年，在全球抗擊疫情的背景下，當人與人之間的交往受到限制的時候，人工智能被賦予了更多期待和重任。它在信息收集、數據匯總及實時更新、流行病調查、疫苗藥物研發、新型基礎設施建設等領域大顯身手。與此同時，隨著新技術新業態的不斷涌現，人工智能凝聚全球智慧、助力全球經濟復蘇的力量更加凸顯。
2020年3月4日，中央明確指示要加快推進國家規劃已明確的重大工程和基礎設施建設，人工智能被列入新基建范疇，它將是新一輪產業變革的核心驅動力，重構生產、分配、交換、消費等經濟活動各環節，催生新技術、新產品、新產業。
2020年8月5日、國家標準化管理委員會、中央網信辦、國家發展改革委、科技部、工業和信息化部，五部門聯合印發《國家新一代人工智能標準體系建設指南》，指南中，提出了具體的國家新一代人工智能標準體系建設思路、建設內容，并附上了人工智能標準研制方向明細表，在國家層面進一步規范了人工智能的應用體系，明確了其發展方向。
未來是屬于人工智能的。人工智能將會融入我們每個人的生活，變得無處不在。任何技術的發展都是有高峰和低谷，人工智能的發展也一樣。因此我們在保持樂觀態度的同時，也有保留理智。不過分夸大其作用，盲目從眾，而是正確引導，穩步發展。真正將人工智能的長處發揮出來，改善人類生活，助力經濟發展。
文章來源：學術頭條
免責聲明：本文系網絡轉載，版權歸原作者所有。如涉及版權，請聯系刪除！
工程師必備
- 項目客服
- 培訓客服
- 平臺客服
TOP
