樸素貝葉斯
關注創建者：博集華仿 創建時間：2019-12-18
樸素貝葉斯的實例教程
摘要：本文演示orange的貝葉斯使用方法
01 概覽
說明：
1 訓練集（軟件會自動給你的數據確定type和role，但往往不是你想要的，需要收到修改）
2 樸素貝葉斯（居然沒有任何參數設置）
3 測試集（最后一行必須skip，不然無法預測）
04 預測結果（尚算準確）
05 筆者無法實現得分分析，這是筆者使用orange，總是遇到的問題，分類問題，無法評分，不會操作。
摘要：本文主要展示樸素貝葉斯模型在分類中的使用，包含三種：高斯貝葉斯，多項式貝葉斯，伯努利貝葉斯（二項貝葉斯）；
00 安裝scikit-learn庫
pip install scikit-learn
01 獲取sklearn圖像識別素材
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets, naive_bayes
digits=datasets.load_digits()
dex1=np.random.choice(1797,1500,replace=False)
dex2=[]
for i in range(1797):
if i not in dex1:
dex2.append(i)
train_x=digits.data[dex1]
train_y=digits.target[dex1]
test_x=digits.data[dex2]
test_y=digits.target[dex2]
02 高斯貝葉斯模型
classi=naive_bayes.GaussianNB()
classi.fit(train_x,train_y)
classi.score(test_x,test_y)
Out[44]: 0.835016835016835
classi.predict(test_x)
Out[45]:
array([0, 7, 1, 3, 7, 5, 4, 7, 8, 0, 1, 6, 3, 3, 4, 5, 1, 7, 7, 5, 8, 8,
1, 8, 3, 6, 8, 0, 7, 7, 3, 8, 7, 1, 3, 7, 3, 9, 0, 6, 9, 7,
展開 04 在上文中，已經指明，樸素貝葉斯的最優解約束條件是有根據的，即貝葉斯定理。而高斯分布，伯努利分布等即使構造表達式的不同方式。這里的最優解約束條件不是為了評價數據符合各種假設分布的程度。就像在有限元中，最小勢能原理并不是評價形函數的準則，只是不同的形函數在最小勢能原理下最終會得到不然的答案。
05 在K-NN模型中，筆者認為，最優解約束條件是人為賦予的評價準則，該約束條件評價了測試特征接近訓練特征的程度，越接近，則標簽值越接近。
06 由此我們可以看出，不同情況下，需要使用不同的機器學習模型，就像不同的結構問題，需要不同的單元，不同的網格劃分一樣，具備一定的靈活性 。這從原理上，已經決定了這個屬性。
展開 473
12.3.1 算法描述 473
12.3.2 先驗概率計算 474
12.3.3 最大后驗概率 474
12.3.4 算法實現 474
12.4 自然語言處理 480
12.4.1 NLTK簡介 480
12.4.2 NLTK與jieba的配置 481
12.4.3 中文分詞并標注詞性 483
12.4.4 詞特征指標分析 484
12.4.5 Web文檔分析 499
12.4.6 Web文檔的樸素貝葉斯分類 503
12.4.7 語法結構分析 515
12.4.8 Web文檔聚類 518
12.5 小結 526
思考題 526
1.樸素貝葉斯模型原理
2.Python Spark貝葉斯模型程序設計
十二、Python Spark邏輯回歸
1.邏輯回歸原理
2.Python Spark邏輯回歸程序設計
十三、Python Spark回歸分析
1.大數據分析
2.數據集介紹
3.Python Spark回歸程序設計
十四、Spark ML Pipeline 機器學習流程分類
1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等
2.使用Spark ML Pipeline 機器學習流程分類程序設計
十五、Python Spark 創建推薦引擎
1.推薦算法
2.推薦引擎大數據分析使用場景
3.推薦引擎設計
十六、項目實踐
1.日志分析系統與日志挖掘項目實踐
a、Hadoop，Spark，ELK技術構建日志數據倉庫
b、互聯網微博日志分析系統項目
1.推薦系統項目實踐
a、電影數據分析與個性化推薦關聯分析項目
展開 
樸素貝葉斯的最新內容
模型選擇與訓練
系統提供了三種經典的機器學習模型供用戶選擇：
樸素貝葉斯 (MultinomialNB)
邏輯回歸 (Logistic Regression)
支持向量機 (SVM)
用戶可以通過命令行參數靈活切換模型，并自定義超參數（如 `alpha`、`ngram`）。
全書共 14 章，系統性地以數據挖掘和機器學習的經典算法為主線來組織內容，涵蓋數據挖掘的基礎知識、數據統計與可視化、數據預處理、關聯規則挖掘、回歸分析、決策樹、模型評估與集成學習、樸素貝葉斯、K 近鄰、支持向量機、神經網絡、聚類分析、文本分析，以及 RapidMiner 的高階功能等。
在本推文中介紹四類常用參數自動標定方案，分別是單純形方案，粒子群方案，遺傳算法方案，以及貝葉斯優化ego方案。
單純形方案實現最簡單，適用于少參數，更窄的初始區間
粒子群方案，遺傳算法方案適用于多參數更大的空間適合全局搜索
ego方案相比于其余三類方案的優勢體現為
EGO使用代理模型（如高斯過程回歸）來預測目標函數，極大減少了實際函數評估次數。
EGO在每一步都智能選擇下一個最值得評估的位置
自主原創的一個創新性高的matlab程序，實現了數據的聚類過程，主要使用了k-means算法和Gaussian Mixture Model (GMM) 結合 Expectation-Maximization (EM) 算法，以及Variational Bayes EM (VBEM) 算法，程序我附帶了非常詳細的注釋，絕對能看懂。
給出評價指標并得到評估結果
十、Python Spark支持向量機
1.支持向量機SVM 原理與算法
2.Python Spark SVM程序設計
1.數據準備
2.建立SVM模型，訓練模型
3.評估參數并找出最優參數
4.根據模型進行預測
十一、Python Spark 貝葉斯模型
1.樸素貝葉斯模型原理
基于CFD仿真、元建模和貝葉斯推斷方法的離心泵優化設計
Spark集成開發環境部署配置
2.Spark數據分析庫MLlib的開發部署
九、Python Spark決策樹二分類與多分類
1.決策樹原理
2.大數據問題
3.決策樹二分類
4.決策樹多分類
十、Python Spark支持向量機
1.支持向量機SVM 原理與算法
2.Python Spark SVM程序設計
十一、Python Spark 貝葉斯模型
1.樸素貝葉斯模型原理
集成開發環境 ：1.Python Spark集成開發環境部署配置；2.Spark數據分析庫MLlib的開發部署
九、Python Spark決策樹二分類與多分類 ：1.決策樹原理；2.大數據問題；3.決策樹二分類；4.決策樹多分類
十、Python Spark支持向量機 ：1.支持向量機SVM 原理與算法；2.Python Spark SVM程序設計
十一、Python Spark 貝葉斯模型 ：1.樸素貝葉斯模型原理
常見算法包括：樸素貝葉斯算法，平均單依賴估計（Averaged One-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）。
11. 基于核的算法基于核的算法中最著名的莫過于支持向量機（SVM）了。基于核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。
看貝葉斯的時候公式比較復雜，先驗概率，后驗概率還有似然概率，還有邊緣概率還是有點不友好，這里主要從一個簡單的例子出手，寫一下貝葉斯是如何運行的。出于簡單，這里的分布函數采用高斯分布。
分布函數
首先看一下正態分布，它的概率密度可以用如下的函數表示
對此，我們可以用如下的代碼描述
def nor_dis(x,segma,miu):
f=(1/np.sqrt
