SVM的案例
sklearn中支持向量機（SVM）用于回歸
摘要：本文使用SVM進行回歸；
00 獲取sklearn中糖尿病患者數據
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets, svm
diabetes=datasets.load_diabetes()
train_x=diabetes.data[:342,:]
train_y=diabetes.target[:342]
test_x=diabetes.data[342:,:]
test_y=diabetes.target[342:]
01 SVM線性回歸
regre=svm.LinearSVR()
regre.fit(train_x,train_y)
regre.score(test_x,test_y)
Out[36]: -0.3826827941256945
regre.coef_
Out[37]:
array([ 2.49261883, 0.25752362, 6.21448813, 4.90032452, 2.70896776,
2.61597544, -4.9194174 , 5.41655006, 6.48684744, 3.7077186 ])regre.intercept_
Out[38]: array([103.12986397])
regre.n_iter_
Out[39]: 9
考察參數loss的影響：
regre=svm.LinearSVR(loss='epsilon_insensitive')
regre.fit(train_x,train_y)
regre.score(test_x,test_y)
Out[40]: -0.38589592979512455
展開 sklearn中支持向量機（SVM）用于分類
摘要：本文使用SVM進行分類；
00 獲取sklearn中鳶尾花數據
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets, svm
iris=datasets.load_iris()
dex1=np.random.choice(150,size=120,replace=False)
dex2=[]
for i in range(150):
if i not in dex1:
dex2.append(i)
train_x=iris.data[dex1,:]
train_y=iris.target[dex1]
test_x=iris.data[dex2,:]
test_y=iris.target[dex2]
01 SVM線性分類
classi=svm.LinearSVC(max_iter=5000)
classi.fit(train_x,train_y)
classi.coef_
Out[21]:
array([[ 0.18423835, 0.45122936, -0.80794123, -0.4507153 ],
[ 0.07950217, -0.8192085 , 0.42309252, -0.99830954],
[-0.96954958, -0.97387786, 1.54891257, 1.68449995]])
classi.intercept_
Out[22]: array([ 0.109562 , 1.31266596, -1.50936256])
classi.n_iter_
Out[23]: 3038
classi.score(test_x
展開 基于網格式搜索SVM方法的電力負荷預測
網絡搜索支持向量機（svm）預測方法以歷史的電力負荷為依據，不需要專家經驗，只需對樣本進行訓練，就可以逼近輸入/輸出的關系。
本課題采用網絡搜索svm的方法對電力負荷進行預測系統的設計。支持向量機（Support Vector Machine，SVM）最先由Cortes和Vapnik提出，它是一種有監督的模式識別方法。它的主要思想是建立一個分類決策面。SVM利用核函數將數據映射到高維空間，使其盡可能的線性可分。常用的核函數包括線性核函數、多項式核、徑向基核（RBF）、傅里葉核、樣條核和Sigmoid核函數等。通過比較這些核函數適用的數據特點，無論樣本數據特點是高維還是低維，數據量大還是小，RBF核函數展現了很好的分類性能。因此，選擇RBF作為SVM的分類核函數。
可以看出，優化問題取決于兩個重要參數c和g，這兩個參數會影響SVM的預測性能。SVM預測問題取決于兩個重要參數c和g，這兩個參數會影響SVM的預測性能。為了提高模型的預測性能，引入網格式搜索法（GS）優化模型建立過程中的兩個重要參數。同時避免模型過學習和欠學習的現象發生，采用5倍交叉驗證法以訓練集最小均方根誤差為適應度函數來進行參數尋優。當達到最小均方根誤差時，所得到的c和g為最佳參數。GS中，以0.5為間隔進行全局搜索，c和g的范圍均是（2-10, 210）
總之SVM預測過程為：
（1）輸入數據，規定訓練輸入、訓練輸出、預測輸入和預測輸出
（2）為加快網絡收斂速度，進行數據歸一化處理
（3）參數尋優，網格數搜索開始
（4）得到最優參數建立預測模型，避免模型過學習和欠學習的現象發生，采用5倍交叉驗證法以訓練集最小均方根誤差為適應度函數來進行參數尋優。當達到最小均方根誤差時，所得到的c和g為最佳參數。
展開 38基于matlab的期貨預測，利用PSO優化SVM和未優化的SVM進行對比 ￥15.9
基于matlab的期貨預測，利用PSO優化SVM和未優化的SVM進行對比，得到實際輸出和期望輸出結果。線性核函數、多項式、RBF核函數三種核函數任意可選，并給出均方根誤差，相對誤差等結果，程序已調通，可直接運行。
直流無刷驅動MS4932三相正弦波 DC 電機控制器 三相有感正弦波BLDC預驅動，支持空間向量調制（SVM)
正弦波形發生器
MS4932/MS4932N 包含一個正弦波 PWM 空間向量調整(SVM)。通過電機霍爾信號，角度檢測電路推算電機轉子位置。將 60°分為 32 份，通過 PWM 工作后，馬達的每一相的電流為正弦波。各相位之間的角度為 120°。
添加圖片注釋，不超過 140 字（可選）
添加圖片注釋，不超過 140 字（可選）
電流反饋和保護
電流反饋電路提供兩個功能： (1) 為電機控制提供電流反饋信號；(2) 過流保護。I_IN 引腳輸出一個 50μA 的電流，從而產生一個直流基準，用來防止負電壓。公式 (1)為 I_FB 和 I_IN 的關系，建議在I_IN 上提供 0.5V 直流電壓偏置。I_IN 最大電壓是 1V。
展開 數據特征的優化選擇方法（feature_selection）
. , 0.4, 1.6, 3.6])
x_kbest=selectpercen.transform(x)
02 權重法
獲取sklearn中的鳶尾花數據
import numpy as np
from sklearn import datasets, svm
import sklearn.feature_selection as selection
iris=datasets.load_iris()
x=iris.data
y=iris.target
selectrfe=selection.RFE(estimator=svm.LinearSVC(max_iter=10000),n_features_to_select=2)
selectrfe.fit(x,y)
x_rfe=selectrfe.transform(x)
selectrfe.support_
Out[149]: array([False, True, False, True])
selectrfe.ranking_
Out[150]: array([3, 1, 2, 1])
selectrfe.score(x,y)
Out[151]: 0.9466666666666667
特征選擇不一定會提高預測性能，比如不去除特征，預測得分更高：
classi=svm.LinearSVC(max_iter=10000)
classi.fit(x,y)
classi.score(x,y)
Out[152]: 0.9666666666666667
selectrfecv=selection.RFECV(estimator=svm.LinearSVC(max_iter=10000),cv=3)
selectrfecv.fit
展開 ANSYS在荷載步之間改變材料屬性例子
最終泊松比為0.499
SVM=0. !VON MISES應力
!*
ET,1,SOLID45
!*
!*
MP,EX,1,30E3
MP,NUXY,1,EMU0
!建立模型
BLC4,0,0,100,100,100
ESIZE,100,0,
VMESH,ALL
/SOLU
!輸出RESTART文件
RESCONTRL,DEFINE,ALL,-1,1
NLGEOM,1
D,2,ALL
D,4,UY
D,5,UY
D,6,UY
D,5,UX
FINISH
SAVE
!分步加載
*DO,I,1,NSTEP
FINISH
/SOLU
!使用重啟動功能
*IF,I,GT,1,THEN
ANTYPE,,REST,
PARRES, CHANGE , PARAM, TXT,
*ENDIF
! 如果荷載超過強度的50%，則線性提高泊松比
*IF,SVM,GE,FC*0.5,THEN
MP,EX,1,30E3
MP,NUXY,1,EMU0+(EMUU-EMU0)*(SVM/FC-0.5)/0.5
*ENDIF
!得到下一步荷載
FORCE=FORCE+1
!加載
SFE,ALL,4,PRES, , FORCE, , ,
SOLVE
FINISH
/POST1
!得到VON MISES應力
*GET,SVM,ELEM,1,NMISC, 4
PARSAV, ALL, PARAM, TXT,
FINISH
*ENDDO
[/Money]
展開 基于灰狼算法優化支持向量機的matlab算法
三、代碼實戰
以GWO優化SVM的多分類問題為例，GWO優化SVM的超參數C和g.
關于“人工智能與機器學習”python-深度學習
1.線性可分支持向量機
（1）軟間隔
（2）損失函數的理解
（3）核函數的原理和選擇
（4）SMO算法
（5）支持向量回歸SVR
（6）多分類SVM
代碼和案例實踐：
1.原始數據和特征提取
2.調用開源庫函數完成SVM
3.葡萄酒數據分類
4.數字圖像的手寫體識別
5.MNIST手寫體識別
6.SVR用于時間序列曲線預測
7.SVM、Logistic回歸、隨機森林三者的橫向比較
第
五
節
聚類算法
1.無監督學習之聚類算法
（1）聚類的基本概念
（2）聚類的評價
（3）扁平聚類及 k-Means、k-Means++算法
（4）層次聚類及 HAC 算法
（5）其他聚類算法(DBSCAN/SOM/譜聚類)
代碼和案例實踐：
1.鳶尾花聚類分析
2.社交網絡人群分析
3.銀行客戶分組與畫像
第
六
節
卷積神經網絡CNN
1.神經網絡結構，濾波器，卷積
2.池化，激活函數，反向傳播
3.目標分類與識別、目標檢測與追蹤
4.AlexNet、VGGNet、GoogleLeNet
5.Inception-V3/V4
6.ResNet、DenseNet
代碼和案例實踐：
1．數字圖片分類
2．卷積核與特征提取
3．以圖搜圖
4．人證合一
5．卷積神經網絡調參經驗分享
第
七
節
圖像視頻的定位與識別
1.視頻關鍵幀處理
2.物體檢測與定位
3.RCNN，Fast-RCNN，Faster-RCNN，MaskRCNN
展開 一文熟悉視頻目標跟蹤
２．判別式模型
基于SVM的跟蹤算法：
早在2001年，Avidan將支持向量機（Support Vector Machine，SVM）用于視頻目標跟蹤，通過ＳＶＭ學習的分類器模型來區分正負樣本。
隨后，各種改進的ＳＶＭ跟蹤器不斷涌現。
Supancic等人提出了基于自步學習（Self-paced learning）的SVM跟蹤器。
Hare等人提出了結構化輸出的ＳＶＭ跟蹤算法Struck，在當時取得了令人印象深刻的性能。
Zhang等人在2014年提出了基于熵最小化原則的集成式ＳＶＭ跟蹤框架，達到了十分魯棒的預測結果。
隨著深度學習的興起，將神經網絡和ＳＶＭ算法結合的CNN-SVM跟蹤器大幅度超越了之前采用手工特征的SVM跟蹤器。
基于相關濾波器的跟蹤算法：相關濾波器（Correlation Filter，CF）通過學習一個具有區分力的濾波器來處理待跟蹤圖片，其輸出結果為一個響應圖，表示目標在后續幀中不同位置的置信度。相關濾波器通過利用循環樣本和循環矩陣的性質求解嶺回歸問題，得到了頻域上的高效閉合解，計算效率十分出色。但由于相關濾波器的學習過程中引入了循環樣本，這些樣本不可避免地帶來了邊界效應，因此傳統的相關濾波器算法在如何抑制邊界效應上開展了大量的研宄，典型的工作包括SRDCF、BACF等。此外，許多先進的技術也融入在相關濾波器算法中，如結合多種核函數和粒子濾波器結合適用于長時跟蹤的重檢測、集成學習等。
隨著深度學習的日益發展，深度學習和相關濾波器的結合受到了廣泛的關注。早期的工作中，研究人員探索如何將離線訓練好的深度特征和相關濾波器進行結合。典型的工作HCF提出將不同層的深度特征分別訓練相關濾波器并進行由粗到精（coarse to fine）的融合。
展開 大數據—人工智能領域高水平會議及熱點技術匯總
原理與算法
2.Python Spark SVM程序設計
十一、Python Spark 貝葉斯模型
1.樸素貝葉斯模型原理
2.Python Spark貝葉斯模型程序設計
十二、Python Spark邏輯回歸
1.邏輯回歸原理
2.Python Spark邏輯回歸程序設計
十三、Python Spark回歸分析
1.大數據分析
2.數據集介紹
3.Python Spark回歸程序設計
十四、Spark ML Pipeline 機器學習流程分類
1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等
2.使用Spark ML Pipeline 機器學習流程分類程序設計
十五、Python Spark 創建推薦引擎
1.推薦算法
2.推薦引擎大數據分析使用場景
3.推薦引擎設計
十六、項目實踐
1.日志分析系統與日志挖掘項目實踐
a、Hadoop，Spark，ELK技術構建日志數據倉庫
b、互聯網微博日志分析系統項目
1.推薦系統項目實踐
a、電影數據分析與個性化推薦關聯分析項目
展開 
17個機器學習的常用算法
基于核的算法基于核的算法中最著名的莫過于支持向量機（SVM）了。基于核的算法把輸入數據映射到一個高階的向量空間， 在這些高階向量空間里， 有些分類或者回歸問題能夠更容易的解決。常見的基于核的算法包括：支持向量機（Support Vector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等。
12.聚類算法聚類，就像回歸一樣，有時候人們描述的是一類問題，有時候描述的是一類算法。聚類算法通常按照中心點或者分層的方式對輸入數據進行歸并。所以的聚類算法都試圖找到數據的內在結構，以便按照最大的共同點將數據進行歸類。常見的聚類算法包括 k-Means算法以及期望最大化算法（Expectation Maximization， EM）。
13. 關聯規則學習關聯規則學習通過尋找最能夠解釋數據變量之間關系的規則，來找出大量多元數據集中有用的關聯規則。常見算法包括 Apriori算法和Eclat算法等。
14. 人工神經網絡人工神經網絡算法模擬生物神經網絡，是一類模式匹配算法。通常用于解決分類和回歸問題。人工神經網絡是機器學習的一個龐大的分支，有幾百種不同的算法。（其中深度學習就是其中的一類算法，我們會單獨討論），重要的人工神經網絡算法包括：感知器神經網絡（Perceptron Neural Network）, 反向傳遞（Back Propagation）， Hopfield網絡，自組織映射（Self-Organizing Map, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）。
15. 深度學習深度學習算法是對人工神經網絡的發展。
展開 巖爆預測文獻回顧(Prediction of Rock Burst) (5) [2006-2008]
Ru (2007) <PSO-SVM MODEL FOR PREDICTION OF ROCK BURST>使用時間序列分析進行巖爆預測, 用支持向量機(SVM)建立時間序列之間的非線性關系，用粒子群優化(PSO)進行選擇，提出了PSO-SVM方法。Zhu (2008) <Rockburst prediction analysis based on v-SVR algorithm>選擇巷道壁巖石的最大切向應力、巖石單軸抗拉強度、巖石單軸抗壓強度、彈性能量指數作為參數，提出了基于v-SVR（支持向量回歸support vector regression）的巖爆預測模型方法。結果顯示該方法比灰色理論和經典的SVR更準確，與GA-BP神經網絡算法相似。
Ding (2006) <The Research of Prediction Technology of Rock Burst> 根據巖爆問題和聲發射技術的發展，總結了聲發射和巖石的特征參數，采用由簡單的BP網絡組成的多神經網絡分類器，按(順序)合成參數來預測巖爆。Yang (2008) <Prediction Forecast of Rockburst Based on RBF Neural Network> 利用神經網絡工具箱RBF網絡進行巖爆預測。Wei (2008) <Combined optimization model of rock-burst prediction based on chaos optimization and BP neural networks> 將混沌優化算法與BP神經網絡算法相結合，預測淮北礦務局石臺煤礦的巖爆。
展開 徑向基函數內核 – 機器學習 ￥5
輸出：
在 XOR運算上應用 RBF
? 徑向基函數核的實際應用
RBF內核的多功能性和有效性使其適用于各種機器學習任務，包括：
? 支持向量機（SVM）：在SVM中，RBF內核通常用于將數據點映射到更高維的空間，在該空間中可以構建線性決策邊界以分隔類。
? 核化嶺回歸：在回歸任務中，RBF核可用于執行核化嶺回歸，從而允許模型捕獲特征和目標變量之間的非線性關系。
? 聚類：RBF內核還可以用于內核化聚類算法，例如頻譜聚類，它有助于捕獲數據的局部結構，以便將相似的數據點分組在一起。
? 降維：在流形學習和非線性降維技術中，如t分布式隨機鄰域嵌入（t-SNE），RBF內核用于定義高維空間中數據點之間的相似性。
python案例代碼
展開 對象檢測 vs 對象識別 vs 圖像分割
編輯
對象識別
使用機器學習進行對象識別
HOG（定向梯度直方圖）特征提取器和 SVM（支持向量機）模型：在深度學習時代之前，它是一種最先進的對象檢測方法。它采用正（包含對象的圖像）和負（不包含對象的圖像）樣本的直方圖描述符，并在此基礎上訓練我們的 SVM 模型。
特征袋模型：就像 Bag of words 將文檔視為無序的單詞集合一樣，這種方法也將圖像表示為無序的圖像特征集合。這方面的示例包括 SIFT、MSER 等。
Viola-Jones 算法：該算法廣泛用于圖像中或實時的人臉檢測。它從圖像中執行類似 Haar 的特征提取。這將生成大量特征。然后，這些特征將傳遞到提升分類器中。這將生成提升分類器的級聯來執行圖像檢測。需要將圖像傳遞給每個分類器，以生成正 （找到人臉） 結果。Viola-Jones 的優點是它的檢測時間為 2 fps，可用于實時人臉識別系統。
使用深度學習進行對象識別
卷積神經網絡 （CNN） 是進行對象識別的最流行的方法之一。它被廣泛使用，并且大多數最先進的神經網絡將此方法用于各種與對象識別相關的任務，例如圖像分類。此 CNN 網絡將圖像作為輸入并輸出不同類別的概率。如果圖像中存在對象，則其輸出概率很高，否則其余類的輸出概率可以忽略不計或較低。深度學習的優勢在于，與機器學習相比，我們不需要從數據中進行特征提取。
?
編輯
對象識別的挑戰：
由于我們采用 CNN 模型的最后一個（完全連接）層生成的輸出是一個類標簽。因此，如果圖像中存在多個類標簽，則簡單的 CNN 方法將不起作用。
展開 