分類與回歸的案例
184基于matlab的相關向量機（RVM）回歸和分類算法 ￥12.2
基于matlab的相關向量機（RVM）回歸和分類算法。該算法基于貝葉斯稀疏核?法，避免了支持向量機（SVM）的主要局限性。RVM關鍵是為每個權參數 都引入一個單獨的超參數 ，而不是一個共享超參數。程序已調通，可直接運行。
徑向基函數內核 – 機器學習 ￥5
? 徑向基函數內核
? 將線性算法轉換為無限維非線性分類器和回歸器
? 為什么 Radial Basis Kernel 如此強大？
o 使用RBF Kernel輕松擬合一些復雜數據集：
? 用于XOR分類的徑向基函數神經網絡
? 徑向基函數核的實際應用
? 什么是Kernel Function？
核函數用于將n維輸入轉換為m維輸入，其中m遠高于n，然后有效地找到更高維的點積。使用內核的主要思想是：高維的線性分類器或回歸曲線在低維變成非線性分類器或回歸曲線。
? 徑向基函數內核
徑向基函數 （RBF） 內核，也稱為高斯內核，是使用最廣泛的內核函數之一。它的工作原理是根據數據點在輸入空間中的歐幾里得距離來測量數據點之間的相似性。從數學上講，兩個數據點之間的 RBF 內核x和x’定義為：
注意：exp(x)等于 e^x
? ∣x–x'∣2表示兩個數據點之間的平方歐幾里得距離。
? σ是一個稱為 bandwidth 或 width of the kernel 的參數，用于控制決策邊界的平滑度。
如果我們展開上述指數表達式，它將上升到x和x'的無限次方，作為ex包含無限項到x的無限冪，因此它涉及無限維度中到無限冪的項。
? 將線性算法轉換為無限維非線性分類器和回歸器
如果我們在RBF內核上應用任何算法，如感知器算法或線性回歸，實際上我們會將我們的算法應用于我們創建的新無限維數據點。因此，它將給出一個無限維的超平面，在返回到我們的原始維度后，這將給出一個非常強的非線性分類器或回歸曲線。
因此，盡管我們應用了線性分類器/回歸，但它會給出一個非線性分類器或回歸線，這將是一個無限冪的多項式。作為無限冪的多項式，徑向基核是一個非常強大的核，它可以給出適合任何復雜數據集的曲線。
展開 17個機器學習的常用算法
算法類似性根據算法的功能和形式的類似性，我們可以把算法分類，比如說基于樹的算法，基于神經網絡的算法等等。當然，機器學習的范圍非常龐大，有些算法很難明確歸類到某一類。而對于有些分類來說， 同一分類的算法可以針對不同類型的問題。這里，我們盡量把常用的算法按照最容易理解的方式進行分類。
6. 回歸算法：回歸算法是試圖采用對誤差的衡量來探索變量之間的關系的一類算法。回歸算法是統計機器學習的利器。在機器學習領域，人們說起回歸，有時候是指一類問題，有時候是指一類算法，這一點常常會使初學者有所困惑。常見的回歸算法包括：最小二乘法（Ordinary Least Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（Multivariate Adaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）
7. 基于實例的算法基于實例的算法常常用來對決策問題建立模型，這樣的模型常常先選取一批樣本數據，然后根據某些近似性把新數據與樣本數據進行比較。通過這種方式來尋找最佳的匹配。因此，基于實例的算法常常也被稱為“贏家通吃”學習或者“基于記憶的學習”。常見的算法包括 (KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射算法（Self-Organizing Map ， SOM）。
8. 正則化方法正則化方法是其他算法（通常是回歸算法）的延伸，根據算法的復雜度對算法進行調整。正則化方法通常對簡單模型予以獎勵而對復雜算法予以懲罰。
展開 計算機視覺四大基本任務(分類、定位、檢測、分割)
圖像中的候選區域大小和長寬比不同，直接回歸比對錨盒坐標修正訓練起來更困難。(2). conv5特征感受野很大，很可能該感受野內包含了不止一個目標，使用多個錨盒可以同時對感受野內出現的多個目標進行預測。(3). 使用錨盒也可以認為這是向神經網絡引入先驗知識的一種方式。我們可以根據數據中包圍盒通常出現的形狀和大小設定一組錨盒。錨盒之間是獨立的，不同的錨盒對應不同的目標，比如高瘦的錨盒對應于人，而矮胖的錨盒對應于車輛。
R-FCN Faster R-CNN在RoI pooling之后，需要對每個候選區域單獨進行兩分支預測。R-FCN旨在使幾乎所有的計算共享，以進一步加快速度。由于圖像分類任務不關心目標具體在圖像的位置，網絡具有平移不變性。但目標檢測中由于要回歸出目標的位置，所以網絡輸出應當受目標平移的影響。為了緩和這兩者的矛盾，R-FCN顯式地給予深度卷積特征各通道以位置關系。在RoI匯合時，先將候選區域劃分成3×3的網格，之后將不同網格對應于候選卷積特征的不同通道，最后每個網格分別進行平均匯合。R-FCN同樣采用了兩分支(分類+回歸)輸出。
小結 基于候選區域的目標檢測算法通常需要兩步：第一步是從圖像中提取深度特征，第二步是對每個候選區域進行定位(包括分類和回歸)。其中，第一步是圖像級別計算，一張圖像只需要前饋該部分網絡一次，而第二步是區域級別計算，每個候選區域都分別需要前饋該部分網絡一次。因此，第二步占用了整體主要的計算開銷。R-CNN, Fast R-CNN, Faster R-CNN, R-FCN這些算法的演進思路是逐漸提高網絡中圖像級別計算的比例，同時降低區域級別計算的比例。R-CNN中幾乎所有的計算都是區域級別計算，而R-FCN中幾乎所有的計算都是圖像級別計算。
展開 
基于深度學習的目標檢測算法面試必備（RCNN~YOLOv5）
兩階段目標檢測算法因需要進行兩階段的處理：1）候選區域的獲取，2）候選區域分類和回歸，也稱為基于區域（Region-based）的方。與單階段目標檢測算法的區別：通過聯合解碼同時獲取候選區域、類別
什么是多階段目標檢測算法？
【技術】DTEmpower核心功能技術揭秘（1） - HierachicalStratify分層分類技術
圖2 DTEmpower的HierachicalStratify分層分類技術有效緩解工業設計段數據規模小、分布不一致等導致的模型精度差的問題
基于以上思考，天洑軟件通過自研的HierachicalStratify分層分類技術作為數據前處理功能，輔助用戶通過挖掘訓練集內部的多種混合模式，單一模式下的子數據集的分布一致性將得到較大提升，而后用戶即便使用常見的開源機器學習算法，也可以得到性能更好的模型。
通過這種分而治之的解構方式，HierachicalStratify分層分類技術可有效均衡“數據規模投入”和“訓練模型精度”之間的矛盾，為在實際工業應用中落地數據驅動技術掃清了障礙。該技術目前已集成于天洑DTEmpower軟件之中。
HierachicalStratify分層分類技術模塊解構
HierachicalStratify分層分類技術模塊采用無監督聚類算法、有監督分類算法和回歸算法作為組合解決方案，其中數據處理的順序如下：
第一步，采用無監督聚類算法用于前置分割用戶提供的數據集，根據用戶指定的參數配置，形成相應的數據子集分割方案；
第二步，采用有監督分類算法作為中段的分類器，用于判別新進數據樣本的子類歸屬，從而決定要激活的回歸模型；
最后，使用機器學習回歸算法，在用戶提供的數據集上驗證HierachicalStratify分層分類技術是否可以有效地提升當前建模效果。
展開 什么是徑向基函數神經網絡？
RBF Networks 以其獨特的三層架構和通用逼近功能而聞名，在分類和回歸問題中提供更快的學習速度和高效的性能。本文深入探討了 RBF 神經網絡的工作原理、架構和應用。
什么是徑向基函數？
徑向基函數 （RBF） 是一類特殊的前饋神經網絡，由三層組成：
Input Layer（輸入層）：接收輸入數據并將其傳遞到隱藏層。
隱藏層：RBF 神經元處理數據的核心計算層。
Output Layer：生成網絡的預測，適用于分類或回歸任務。
RBF 網絡如何運作？
RBF 網絡在概念上類似于 K 最近鄰 （k-NN） 模型，盡管它們的實現方式不同。基本思想是，項目的預測目標值受附近具有相似預測變量值的項目的影響。以下是 RBF Networks 的運作方式：
Input Vector：網絡接收需要分類或回歸的 n 維輸入向量。
RBF 神經元：隱藏層中的每個神經元都代表訓練集中的原型向量。 該網絡計算輸入向量和每個神經元中心之間的歐幾里得距離。
激活函數：使用徑向基函數（通常是高斯函數）轉換歐幾里得距離，以計算神經元的激活值。該值隨著距離的增加而呈指數級減小。
Output Nodes （輸出節點）：每個輸出節點都根據所有 RBF 神經元的激活值的加權總和計算分數。對于分類，將選擇得分最高的類別。
RBF 的主要特征
徑向基函數：這些是僅取決于與中心點的距離的實值函數。Gaussian 函數是最常用的類型。
維度：網絡的維度對應于預測變量的數量。
中心和半徑：每個 RBF 神經元都有一個中心和一個半徑 （散布）。半徑會影響每個神經元對輸入空間的影響范圍。
展開 機器學習 |使用 Python 的多元線性回歸
?
線性回歸是預測分析的基本常用方法。它是一種用于對因變量和一個自變量之間的關系進行建模的統計方法。 多元線性回歸只是它的擴展版本。它嘗試對兩個或多個特征之間的關系進行建模，以擬合線性方程來預測一個因變量。
多元線性回歸的步驟
執行多元線性回歸的步驟幾乎與簡單線性回歸的步驟相似 d不同 在評估中。我們可以使用它來找出哪個因素對預測輸出的影響最大，以及不同的變量如何相互關聯。
多元線性回歸的方程為：
y=β0+β1X1+β2X2+?+βnXn?
y是因變量
X1,X2,?XnX1?,X2?，?Xn?是自變量
β0β0?是截距
β1,β2,?βnβ1?,β2?，?βn?是斜率
該算法的目標是找到可以根據自變量預測值的最佳擬合線方程。回歸模型從數據集中學習一個函數（具有已知的 X 和 Y 值），并使用它來預測未知 X 的 Y 值。
使用虛擬變量處理分類數據
在多元回歸模型中，我們經常會遇到分類數據，例如性別（男性/女性）、位置（城市/農村）等。由于回歸模型通常需要數字輸入，因此必須將分類數據轉換為可用形式。
這就是 Dummy Variables 發揮作用的地方。虛擬變量是二進制變量（0 或 1），表示每個類別的存在或不存在。例如：
男性：如果男性為 1，否則為 0
女性：如果女性為 1，否則為 0
?
編輯
在多個類別的情況下（例如，顏色：“紅色”、“藍色”、“綠色”），我們為每個類別創建一個虛擬變量，排除一個以避免多重共線性（下面解釋）。
展開 使用線性回歸預測降雨量 ￥2
?
降雨預測是機器學習的常見應用，而線性回歸是一種簡單而有效的技術，可用于此目的。在此任務中，目標是根據歷史數據預測降雨量。
線性回歸是一種監督式學習算法，用于對因變量與一個或多個自變量之間的關系進行建模。在這種情況下，因變量是降雨量，自變量是用于預測降雨量的特征，例如溫度、濕度、風速等。
第一步是收集歷史數據，其中包括降雨量和自變量的相應值。收集數據后，需要對其進行清理和預處理，以刪除任何異常值或缺失值。
接下來，將數據分為兩組：訓練集和測試集。訓練集用于訓練模型，而測試集用于評估其性能。
要執行線性回歸，我們首先需要定義一個假設函數，將輸入變量映射到輸出變量。在這種情況下，假設函數是以下形式的線性方程：
y = b0 + b1x1 + b2x2 + ... + bnxn
其中 y 是預測的降雨量，x1， x2， ...， xn 是輸入變量，b0， b1， b2， ...， bn 是在訓練期間學習的系數。
為了訓練模型，我們需要找到使訓練集中預測值與實際值之間的差異最小的系數值。這是通過使用梯度下降或其他一些優化算法最小化均方誤差 （MSE） 來實現的。
訓練模型后，它可用于預測新輸入值的降雨量。可以使用各種指標來評估模型的性能，例如決定系數 （R^2）、均方誤差 （MSE） 和均方根誤差 （RMSE）。
總之，線性回歸是一種簡單而有效的技術，可用于根據歷史數據預測降雨量。該過程包括收集和預處理數據、定義假設函數、訓練模型以及評估其性能。
先決條件：線性回歸
降雨預測是科學技術用于預測一個地區的降雨量的應用。準確確定降雨量對于有效利用水資源、作物生產力和水結構的預先規劃非常重要。在本文中，我們將使用線性回歸來預測降雨量。線性回歸告訴我們可以預期的降雨量。該數據集是來自德克薩斯州奧斯汀的公共天氣數據集，可在 Kaggle 上使用。
展開 奕炫破萬，風神回歸
作者丨羅超
責編丨徐進凱
編輯丨別致
“憋屈”許久的東風風神，終于迎來自己的高光時刻……
9月份，東風風神延續了強勁的市場姿態，銷量再次沖入新高點，達到14,403輛，同比大幅增長128%；至此，前9個月的累計銷量來到7.61萬輛，同比增長了67.1%，這意味著東風風神今年前三季度的銷量已經正式超過去年全年銷量。
東風風神顯然不會知足。在剛剛過去的10月份，東風風神的終端零售進一步達到15,176輛，同比增長了117%，今年以來的累計銷量已經達到94,459輛，同比大幅增長了85%，如今東風風神向前走得每一步都是對過往的超越。
“拼命了”
當“必須拼命了，不拼命的話就沒有聲音了”的呼吁在東風風神的內部回蕩，年初那份原本不被看好的“軍令狀”便有了功成愿遂的希望。現在看來，只要東風風神能夠保持目前“向上而生”的進攻狀態，那么10萬輛的市場門檻便觸手可及，12萬的銷量目標亦是近在咫尺。
在缺芯潮席卷整個行業的大環境下，9月份，乘用車市場零售量僅為158.2萬輛，同比下降了17.3%，豐田、大眾等傳統合資豪強紛紛折戟沉沙，而恰恰是以東風風神為代表的自主品牌勢不可擋，成為車市中難能可貴的一抹亮色。
經歷過一段時間的艱難轉型，飽經風霜的東風風神逐漸找到了自己“重回賽道”的節奏與希望，而承載起這份希望的便是集東風之力打造的奕炫家族。數據顯示，9月份奕炫家族的銷量首度破萬，達到10,207輛，同比增幅234.5%，領跑整個轎車市場。
不可否認
展開 線性回歸-sklearn（python）
, 3.0804742 , 2.00354529, 0.59170079,
0.32935072, -1.88302997, 2.31361467, 3.07962468, 1.76365421])
regre.intercept_
Out[38]: array([152.01410108])
regre.score(test_x,test_y)
Out[39]: 0.008764469066067981
ElastieNet回歸中alpha，l1_ratio參數對score的影響：
regre=linear_model.ElasticNet(alpha=0.01,l1_ratio=0.01)
regre.fit(train_x,train_y)
regre.coef_
regre.intercept_
regre.predict(test_x)
regre.score(test_x,test_y)
Out[40]: 0.3009856651603322
總結：
01 線性回歸分為：一元線性回歸和多元線性回歸；本文展示的是10個自變量的多元回歸，所以coef_有10個。
02 嶺回歸，Lasso回歸，ElasticNet回歸中，alpha參數默認為1。
03 ElasticNet回歸中，l1_ratio參數默認為0.5。
04 線性回歸其實就是數值分析中的線性擬合。
展開 
statsmodels中的線性回歸（OLS）
摘要：statsmodels是python專門關于統計學的第三方庫，本文只涉及普通最小二乘策略下的線性回歸內容。并與scikit-learn進行一點對比。
00 導入所需庫
import numpy as np
import statsmodels.api as sm
import matplotlib.pyplot as plt
01 普通線性回歸（OLS）
線性回歸的數學模型（常數項 ，系數，噪聲）：
nobs = 100
X = np.random.random((nobs, 2))
beta = [1, 5]
e = np.random.random(nobs)
y = np.dot(X, beta) +e
results = sm.OLS(y, X).fit()
print(results.summary())
這有點問題，沒有常數項。如果要帶上常數項，需要在特征集中插入1；
nobs = 100
X = np.random.random((nobs, 2))
X = sm.add_constant(X)
beta = [3, 1, 5]
e = np.random.random(nobs)
y = np.dot(X, beta)+e
results = sm.OLS(y, X).fit()
print(results.summary())
在同樣數據的基礎上，使用sklearn，結果一樣，但方法略有區別：
from sklearn import linear_model
regre=linear_model.LinearRegression()
regre.fit(X,y)
regre.coef_
Out[81]: array([0.
展開 今天起回歸，一起學習一起進步
18年離開了AECC，在SIASUN干了兩年非標自動化機械設計工程師，收貨頗多。奈何非標自動化很吃身體本錢。。。早已不是當年應屆的勇猛之人，只能揮手離開。機緣巧合來到了AECC GT，成為了一名總體結構設計師。從今天起與技術鄰里的各位大牛們一起，共同學習共同進步
機器學習回歸模型相關重要知識點總結
來源：機器學習研習院
回歸分析為許多機器學習算法提供了堅實的基礎。在這篇文章中，我們將總結 10 個重要的回歸問題和5個重要的回歸問題的評價指標。
1、線性回歸的假設是什么？
線性回歸有四個假設
線性：自變量（x）和因變量（y）之間應該存在線性關系，這意味著x值的變化也應該在相同方向上改變y值。
獨立性：特征應該相互獨立，這意味著最小的多重共線性。
正態性：殘差應該是正態分布的。
同方差性：回歸線周圍數據點的方差對于所有值應該相同。
2、什么是殘差，它如何用于評估回歸模型？
殘差是指預測值與觀測值之間的誤差。它測量數據點與回歸線的距離。它是通過從觀察值中減去預測值的計算機。
殘差圖是評估回歸模型的好方法。它是一個圖表，在垂直軸上顯示所有殘差，在 x 軸上顯示特征。如果數據點隨機散布在沒有圖案的線上，那么線性回歸模型非常適合數據，否則我們應該使用非線性模型。
3、如何區分線性回歸模型和非線性回歸模型？
兩者都是回歸問題的類型。兩者的區別在于他們訓練的數據。
線性回歸模型假設特征和標簽之間存在線性關系，這意味著如果我們獲取所有數據點并將它們繪制成線性（直線）線應該適合數據。
非線性回歸模型假設變量之間沒有線性關系。非線性（曲線）線應該能夠正確地分離和擬合數據。
展開 《使用R的線性回歸：數據建模導論，第二版》
《使用R的線性回歸：數據建模導論，第二版》以非正式教程風格呈現了基礎數據建模技術之一。學習如何通過詳細的逐步流程預測測量數據的系統輸出，以開發、訓練和測試可靠的回歸模型。關鍵建模和編程概念通過R語言直觀描述。
Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python
2018年12月24日 |ISBN：1789534092 |英文 |160頁 |真實（PDF，EPUB）+代碼 |40 MB
通過構建卷積神經網絡和循環神經網絡，深入了解深度學習和PyTorch，適用于圖像分類、遷移學習和自然語言處理等實際應用場景。
主要特點
清晰簡潔的解釋
提供深度學習模型
的重要見解 關鍵概念的實際演示
書籍簡介
PyTorch 功能強大且易于學習。它提供先進功能，如支持多處理器、分布式和并行計算。這本書是想利用 PyTorch 探索深度學習、利用其強大能力的人士的絕佳入門。
本書將向你介紹PyTorch深度學習庫，并教你如何輕松訓練深度學習模型。我們將使用PyTorch搭建深度學習環境，然后訓練和部署不同類型的深度學習模型，如CNN、RNN和自編碼器。
你將學習如何通過調整超參數來優化模型，以及如何在多處理器和分布式環境中使用 PyTorch。我們將討論長短期記憶網絡（LSTMs），并構建一個用于預測文本的語言模型。
展開 