正則化的案例
數據的格式化方法（編碼，規范化，正則化）
本文研究數據編碼，數據規范化（標準化），數據正則化。
材料物性參數識別的梯度正則化方法.PDF
材料物性參數識別的梯度正則化方法.PDF
Prodways攜手Oqton全自動生產系統，全面進軍數字化口腔正畸市場
通過數字化工作流，客戶可以更智能、更高效地工作，并幫助轉變實驗室技術人員的工作，而他們可以更專注于增值任務，并開發與3D打印相關的新技能。
ProMaker LD20 3D打印機保留了MOVINGLight技術的優勢，并為該技術增添了無與倫比的分辨率，結合高尺寸精度和吞吐量，在緊湊的設計中縮減了每個部件的成本。該技術專為3D打印對準器和正畸模具而設計，隨著時間的推移，其磨損和撕裂仍然能保持在極小的范圍內。在不犧牲速度和質量的前提下降低了操作成本，從而實現了高容量打印，同時降低了每個部件的成本。
Copyright @Prodways
經過驗證的合作伙伴網絡，用于改進客戶的數字工作流程。為客戶的實驗室選擇正確的解決方案來優化整體數字工作流程非常重要。
軟件和3D打印機這樣的硬件之間的互聯互通至關重要，選擇一個具有合作伙伴網絡的完整數字牙科工作流程是一項戰略優勢，許多生產問題都能通過軟件和硬件的完美協調來解決。攜手Oqton與3Shape，Prodways更與Hamer(熱成型和吸塑包裝機)和Digital Dental(矯正器切削解決方案)合作，為客戶提供最優的、端到端的完整數字化口腔正畸生產流程解決方案，幫助客戶減少停機時間、降低生產成本，協助技師提升生產效率，獲得數字化口腔正畸賽道先機。
參考文獻：Prodways：3D Dental Lab Solutions: How to Optimize Your Digital Workflow
展開 Oqton“0鍵” 24小時全自動3D打印產線排版，賦能數字化口腔正畸大生產
數字化口腔作為3D打印技術最成熟的細分市場應用之一，在不知不覺中走入我們的日常生活。鑒于每位患者的差異特性，齒科醫療的個性化定制需求與3D打印的技術特點完美匹配。
從早期的DLP技術通過價廉物美的特點敲開齒科市場的大門，到如今簡單易用的椅旁方案被牙醫、正畸醫生和口腔外科醫生廣泛接受，3D打印正在幫助齒科行業完成從數字化生產到智能化生產的轉變，并深入滲透到種植牙、隱形正畸、手術導板等多個應用場景。
△專利研發多層冠橋排版自動算法 ? Oqton
3D打印在齒科行業最為常見的應用包括牙模、正畸、金屬牙冠牙橋、金屬支架、手術導板等。無論是采用光敏樹脂固化還是金屬粉末熔融，都需要針對模型進行數據準備，包括文件導入和修復、模型識別和擺放、面向生產的模型優化、支撐排版、切片等步驟。
Oqton MOS系統是一款人工智能的云端生產管理系統，不僅從計算機輔助制造（CAM）工藝自動化層面，更協助制造企業從精益柔性生產管理維度釋放生產力。
因此，以3D打印為例，Oqton MOS不僅提供單版次的自動化數據準備/數據預處理（CAM），從產程計劃上更提過多版次的產線全自動排版。
Oqton MOS正畸牙模產線全自動排版
△24小時 產線排版功能 上線，全程無需人工干預 ? Oqton
3D打印是隱形正畸牙套（矯治器）目前的最佳生產工藝，更是口腔數字化向傳統制造進行深度滲透的必然結果。然而單病例多牙套、多生產工序、和合規要求產程可追溯，都給制造企業帶來巨大的挑戰。
其中3D打印牙模更是產程節拍的關鍵一環。
全自動產線排版只實現一個功能：對數字化病例管理的牙模進行24小時、無間斷（面片修復檢查、底部切平、模型鏤空、腔體加強筋設計、外形補償縮放、系統打標）超高密度排版。
展開 
COMSOL鋰電池技術仿真與應用(八)鈉電正負極預鈉化&補鈉過程機理研究
因此，對鈉離子電池電極材料的預鈉化成為上述問題的一種重要解決手段。
負極預鈉化
負極預鈉化按照預鈉化方法的原理不同可分為物理預鈉化、電化學預鈉化和化學反應預鈉化。
物理預鈉化
物理預鈉化是將鈉粉或鈉箔在一定的壓力下直接輥壓到極片表面，或者將鈉金屬粉末加入到漿料中，與活性物質、導電劑、黏結劑混合均勻后制成電極，從而實現預鈉化的目的。但是，金屬鈉的質地柔軟，難以形成穩定的粉末。并且與金屬鋰相同，金屬鈉的活性極高，難以在空氣中穩定和安全地存放，因此，使用金屬鈉粉末的預鈉化方法只能夠在無氧無水的手套箱中進行。同時，鈉金屬粉末的制造過程繁瑣、難度大，使得制造成本高昂，且當金屬鈉粉末與負極進行壓力涂覆時還存在熱失控的風險，安全性也無法得到很好地保障。此外，過量的鈉粉投入會促進鈉枝晶的生長，引發安全問題，因此金屬鈉 的使用量需要經過精確的計算。因此，考慮到金屬鈉粉末的成本、安全性等問題，物理預鈉化方法尚不成熟，難以實現商業化生產。
電化學預鈉化
電化學預鈉化是先將電池負極與金屬鈉輔助電極組裝成半電池，經過一定的循環或達到一定的電位后將半電池拆卸，然后與電池正極組裝成全電池以達到預鈉化的目的。在使用電化學預鈉化方法時 需要注意幾點：
①預鈉化的循環過程都必須在較低的電流密度下進行，以確保電化學過程的完整性和均勻性
②必須完成足夠的循環，使副反應充分完成，保證生成的SEI膜的穩定性。
展開 如何處理 TensorFlow 模型中的過擬合？ ￥5
增強的模型結構：該模型采用 三層設置 ，集成 L2 正則化以懲罰大權重并減少過度擬合。
XGBoost 工作原理詳解
近似貪心算法
為高效處理大型數據集，XGBoost 采用近似方法尋找最優分裂：
? 加權分位數：快速估算最優分裂點，無需遍歷所有可能
? 效率優勢：在降低計算開銷的同時保持預測準確性
? 適用場景：適用于全量評估成本過高的大型數據集
XGBoost 的優勢
? 可擴展性強：支持處理數百萬條記錄的大型數據集
? 并行計算支持：支持并行處理和 GPU 加速，提升訓練效率
? 參數可定制：提供豐富的可調整參數和正則化選項，便于模型微調
? 特征重要性分析：內置特征重要性評估功能，助力數據洞察
? 多語言支持：支持多種編程語言，被數據科學家廣泛應用
XGBoost 的劣勢
? 計算開銷大：對計算資源要求較高，不適用于資源受限的系統
? 對噪聲和異常值敏感：需進行細致的數據預處理
? 過擬合風險：在小數據集或決策樹數量過多時易發生過擬合
? 可解釋性有限：相比簡單模型（如單棵決策樹），可解釋性較弱，在醫療、金融等對可解釋性要求較高的領域需謹慎使用
課后問題
1. XGBoost 如何改進傳統梯度提升算法？
A. 用神經網絡替代決策樹
B. 速度更慢但準確性更高
C. 采用并行處理和正則化
D. 不使用提升策略
2. XGBoost 采用哪種正則化方式？
A. 僅 L1 正則化
B. 僅 L2 正則化
C. 同時支持 L1 和 L2 正則化
3. XGBoost 中“max_depth”參數的作用是？
A. 控制提升迭代次數
B. 控制每棵決策樹的深度
C. 控制每個葉節點的最小樣本數
D. 控制使用的特征數量
4. XGBoost 和 LightGBM 中的特征重要性分析如何助力模型解釋？
A. 基于特征的影響程度進行排序
B.
展開 三維重建與自動駕駛的契合點在哪里？盤一盤近幾年SOTA方法！
代價體正則化目標是根據代價空間C得到概率空間P，使用類似于3D-UNet的編碼器-解碼器結構，以相對較低的內存和計算成本，從一個大的感受野聚集相鄰的信息。深度圖初始估計目標是從概率空間P中獲取深度圖。深度圖優化是利用參考圖像的邊界信息優化深度圖。損失計算過程使用L1損失，分別對初始深度圖和優化深度圖進行損失計算，再以權重系數λ相加，λ一般設置為1.0。
2、R-MVSNet(CVPR2019)
R-MVSNet:Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference.
R-MVSNet是對MVSNet對改進，其要解決的問題是代價體正則化過程中內存過大問題。主要創新點有
在代價體正則化過程，把3D卷積換成GRU時序模型來降低模型大小
將原始的回歸問題換成多分類問題計算交叉熵損失
為產生具有亞像素精度的深度估計，對初始網絡得到的深度圖進行變分深度圖細化。
優缺點：降低了模型的內存消耗，增強了模型的可擴展性，但增加了模型的訓練時間。R-MVSNet核心思想是利用GRU，將普通正則化一次性在多個深度上進行的過程，轉為逐個深度進行、并利用了上一個深度的輸出，即將深度尺度看作循環神經網絡的時間尺度，從而將原來D個深度樣本時需要的內存T減小到了T/D。
展開 非線性時間序列分析及其應用
5.4.1 奇異值分解
5.4.2 最小二乘估計
5.4.3 正則化估計
5.4.4 基于正則化的局部線性和局部多項式預測的步驟
5.4.5 Lorenz系統的仿真模擬
5.5 基于正則化的多變量非線性時間序列的自適應預測方法
5.5.1 基于正則化的自適應預測的步驟
5.5.2 Henon映射的仿真檢驗
第六章 非線性時間序列分析法在證券市場中的應用
6.1 基于單變量時間序列的證券市場非線性性和確定性檢驗
6.1.1 樣本數據及平穩化處理
6.1.2 證券市場的非線性性檢驗
6.1.3 證券市場的確定性檢驗
6.2 基于多變量時間序列的證券市場非線性性檢驗
6.2.1 樣本數據及平穩化處理
6.2.2 證券市場的非線性性檢驗
6.3 上海證券市場單變量指數序列的預測研究
6.3.1 樣本數據及相空間重構
6.3.2 基于正則化的自適應預測
6.4 上海證券市場多變量指數序列的預測研究
6.4.1 樣本數據及相空間重構
6.4.2 局部多項式預測
6.4.3 基于正則化的局部線性和局部多項式預測
參考文獻
展開 《非線性時間序列分析及其應用》
5.4.1 奇異值分解
5.4.2 最小二乘估計
5.4.3 正則化估計
5.4.4 基于正則化的局部線性和局部多項式預測的步驟
5.4.5 Lorenz系統的仿真模擬
5.5 基于正則化的多變量非線性時間序列的自適應預測方法
5.5.1 基于正則化的自適應預測的步驟
5.5.2 Henon映射的仿真檢驗
第六章 非線性時間序列分析法在證券市場中的應用
6.1 基于單變量時間序列的證券市場非線性性和確定性檢驗
6.1.1 樣本數據及平穩化處理
6.1.2 證券市場的非線性性檢驗
6.1.3 證券市場的確定性檢驗
6.2 基于多變量時間序列的證券市場非線性性檢驗
6.2.1 樣本數據及平穩化處理
6.2.2 證券市場的非線性性檢驗
6.3 上海證券市場單變量指數序列的預測研究
6.3.1 樣本數據及相空間重構
6.3.2 基于正則化的自適應預測
6.4 上海證券市場多變量指數序列的預測研究
6.4.1 樣本數據及相空間重構
6.4.2 局部多項式預測
6.4.3 基于正則化的局部線性和局部多項式預測
參考文獻
展開 吳恩達：最新的28張圖，全解深度學習知識！
其它如數據預處理、數據歸一化、超參數的選擇等都在后面的信息圖中有所體現。
6. 正則化
正則化是解決高方差或模型過擬合的主要手段，過去數年，研究者提出和開發了多種適合機器學習算法的正則化方法，如數據增強、L2 正則化（權重衰減）、L1 正則化、Dropout、Drop Connect、隨機池化和提前終止等。
如上圖左列所示，L1 和 L2 正則化也是是機器學習中使用最廣泛的正則化方法。L1 正則化向目標函數添加正則化項，以減少參數的絕對值總和；而 L2 正則化中，添加正則化項的目的在于減少參數平方的總和。根據之前的研究，L1 正則化中的很多參數向量是稀疏向量，因為很多模型導致參數趨近于 0，因此它常用于特征選擇設置中。此外，參數范數懲罰 L2 正則化能讓深度學習算法「感知」到具有較高方差的輸入 x，因此與輸出目標的協方差較小（相對增加方差）的特征權重將會收縮。
在中間列中，上圖展示了 Dropout 技術，即暫時丟棄一部分神經元及其連接的方法。隨機丟棄神經元可以防止過擬合，同時指數級、高效地連接不同網絡架構。一般使用了 Dropout 技術的神經網絡會設定一個保留率 p，然后每一個神經元在一個批量的訓練中以概率 1-p 隨機選擇是否去掉。
展開 
2020Ansys新單元：CABLE280纜索單元簡介及應用舉例
2、CABLE280支持彈性、等向硬化、隨動硬化、Chaboche硬化和蠕變；支持附加質量、阻尼、抗壓剛度折減、粘性正則化和初始狀態。
l 附加質量：可以對單元添加單位長度的質量（SECCONT ROL，ADDMAS）。
l 阻尼：可以定義非線性的阻尼系數（SECCONT ROL,,,CV1,CV2），用于表征流體環境的非線性阻尼效應特性。
l 抗壓剛度折減：纜索非常柔軟幾乎不能受壓，實際抗壓剛度比較小，以抗拉剛度（EA）乘于系數進行折減。
l 粘性正則化：纜索在受壓和受拉狀態之間切換，因為剛度不連續，可能出現的收斂困難。單元使用粘性正則化幫助收斂。
l 初始狀態：設置初始應力或初始應變，以保證求解的魯棒性。因為柔軟纜索側向剛度非常依賴軸力，若無初始應力或初始應變，總剛矩陣可能奇異，計算無法收斂。
應用舉例
用Cable280單元簡單模擬鉸車卷揚線纜過程
模型
建立一個內徑1000mm，外徑1200mm，寬500的實體環柱用于模擬絞車卷筒，長8000mm的線用于模擬線纜，在卷筒中心位置建立一個Keypoint。
其中：
l 卷筒外表面分割出一小塊，將用于與線纜端綁定約束，模擬繩卡固定。
l 卷筒內表面與中心點建立多點約束綁定，卷筒將繞中心轉動，以方便施加約束。
l 繩索與卷筒外表面建立摩擦接觸，以模擬卷纜過程。
假定卷筒材料為結構鋼，線纜材料為聚乙烯。
用Solid185單元來劃分卷筒，
用Cable280單元來劃分線纜。
▲ 圖2. 幾何模型
▲ 圖3.
展開 基于ABAQUS顯式動力學和隱式動力學的彎管成型加工分析 ￥50
關于應力應變曲線定義需要注意abaqus程序內部對應力應變曲線數據的正則化問題，顯式動力學算法會根據用戶輸入的應力應變數據進行正則化處理，如果數據點過多，或者數據點間存在突變，則可能會產生計算誤差或者直接報錯。
莊茁教授關于顯示動力學中應力應變關系的正則化處理的解釋
分析步：
隱式動力學設置如下：
顯式動力學設置如下：
關于顯式動力學中質量縮放（Mass scaling）的原理請查閱官方幫助文檔。由于一般的材料加工問題都屬于準靜態問題，因此采取一定的質量縮放可以在損失較少計算精度的前提下，大幅提高計算速度，具有非常大的應用價值。當然，如果能夠通過采用更大的網格劃分提高計算速度，那是更好的選擇。在模型調試階段可以采用較大的質量縮放系數，快速計算，debug模型，在模型調整好之后減小質量縮放系數，以獲得精度更高的計算結果。
輸出設置：
如何評價質量縮放系數對結果的影響？？
可以通過比較分析過程中整個模型的動能ALLKE和內能ALLIE的比值，如果小于1%，結果非常可靠，如果小于5%，結果可以接受，如果大于5%，則需要謹慎判斷。
接觸關系：
1. 建立所有離散剛體（芯棒，滑板，胎模）與坯料的接觸關系，surface to surface，contact pair，離散剛體作為主面。
接觸屬性中，摩擦系數根據實際情況采用適當大小。法向接觸關系在顯式動力學算法中采用默認即可。如果采用隱式動力學算法，建議采用penalty接觸增強算法，這樣可以在較少損失計算精度的前提下，提高收斂性。
2. 前卡與坯料的頭部采用綁定約束（Tie）。
3. 剛體約束（Rigid body）。如下圖所示。
展開 深度學習中7種最優化算法的可視化與理解
算法7：牛頓法+正則化
牛頓法加上正則化可以避免卡在極小值處，其方法也很簡單：更新公式改成如下即可
一維的算法如下：
初始x ，正則化強度alpha
while True：
g = df(x) # 一階導數
gg = ddf(x) # 二階導數
x = x - g/（gg+alpha） # 走到曲面的最低點
效果圖：
牛頓法+正則化
看了真可憐.........二次方法真心在非凸情況很糟糕。此外算法涉及H矩陣的逆，這需要O（n^3）的計算量，非深度學習可用。
展開 分類預測 | MATLAB實現WOA-CNN-LSTM-Attention數據分類預測
(string)grid
%% 優化算法參數設置SearchAgents_no = 8; % 數量Max_iteration = 5; % 最大迭代次數dim = 3; % 優化參數個數lb = [1e-3,10 1e-4]; % 參數取值下界(學習率，隱藏層節點，正則化系數)ub = [1e-2, 30,1e-1]; % 參數取值上界(學習率，隱藏層節點，正則化系數)
fitness = @(x)fical(x,num_dim,num_class,p_train,t_train,T_train);
[Best_score,Best_pos,curve]=WOA(SearchAgents_no,Max_iteration,lb ,ub,dim,fitness)Best_pos(1, 2) = round(Best_pos(1, 2)); best_hd = Best_pos(1, 2); % 最佳隱藏層節點數best_lr= Best_pos(1, 1);% 最佳初始學習率best_l2 = Best_pos(1, 3);% 最佳L2正則化系數 %% 建立模型lgraph = layerGraph(); % 建立空白網絡結構tempLayers = [ sequenceInputLayer([num_dim, 1, 1], "Name", "sequence") % 建立輸入層，輸入數據結構為[num_dim, 1, 1] sequenceFoldingLayer
展開 