最快的優化算法的案例
深度學習中7種最優化算法的可視化與理解
超多gif圖片預警）
（本文旨在優化一維函數，實際上模型參數有數百萬維以上，差距很大，因此本文最好作為輔助法的理解，而非對算法優劣的判斷依據。）
8.13更新算法6：二階算法牛頓法，算法7：牛頓法+正則化
在深度學習中，有很多種優化算法，這些算法需要在極高維度（通常參數有數百萬個以上）也即數百萬維的空間進行梯度下降，從最開始的初始點開始，尋找最優化的參數，通常這一過程可能會遇到多種的情況，諸如：
1.提前遇到局部最小值從而卡住，再也找不到全局最小值了
2.遇到極為平坦的地方：“平原”，在這里梯度極小，經過多次迭代也無法離開。同理，鞍點也是一樣的，在鞍點處，各方向的梯度極小，盡管沿著某一個方向稍微走一下就能離開。
3.“懸崖”，某個方向上參數的梯度可能突然變得奇大無比，在這個地方，梯度可能會造成難以預估的后果，可能讓已經收斂的參數突然跑到極遠地方去。
為了可視化&更好的理解這些優化算法，我首先拼出了一個很變態的一維函數：
其導數具有很簡單的形式
具體長得像：
具有懸崖和大量的局部最小值，足以模擬較為復雜的優化情況了。
算法1：純粹的梯度下降法
該算法很簡單，表述如下：
首先給出學習率lr，初始x
while True：
x = x - lr*df/dx
根據學習率的不同，可以看到不同的效果。學習率過小，卡在局部極小值，學習率過大，壓根不收斂。
展開 每天一例 | 理解高斯光束
最快的優化算法
SYNOPSYS?光學設計軟件
概述
? BEAM高斯光束追跡
? RAY真實光線追跡
? 高斯光束的強度分布
? MDI高斯光束的衍射
設置工作目錄
? 選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第33章
二維圖
? FETCH C33L1
BEAM高斯光束追跡
? 在Command Window中輸入BEAM。
? 由于衍射作用，表面 2 上的光束半徑大于表面 1 上的光束半徑。
RAY真實光線追跡
? RAY P 0 0 .5 SURF ；
? 真實光線追跡在入瞳點(0, .5)，SURF指獲取光線坐標和角度的逐面輸出；
? ZZ是光線路徑投影到X-Z平面上的角度的正切，在表面折射之后；
? HH是光線路徑投影到Y-Z平面上的角度的正切，在表面折射之后；
? UNI是在表面折射之前，與表面法線的光線角度，以度為單位，始終為正。
高斯光束的強度分布
? STEPS = 100 ；
? PLOT TRANS FOR YEN = -1 TO 1 ；
? 這顯示了一個漂亮的高斯形狀。
展開 每天一例 | 超消色差透鏡
最快的優化算法
SYNOPSYS?光學設計軟件
概述
? MSW光譜向導
? 波長-離焦曲線
? FST選擇玻璃組合
? BFO彎曲反轉優化
設置工作目錄
? 選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第34章
二維圖
? FETCH C34L1
MSW光譜向導
? MSW ；
? 按圖中 箭頭處設置 ；
? 在0.40.9μm 范圍內選擇 10個 波長。
確定10個波長的起始透鏡
優化
? 點擊 New MACro Window 按鈕 ：
LOG STO 9
PANT
VLIST RAD 1 2 3 4 5
VLIST TH ALL
VLIST GLM ALL
END
AANT
ACM .5 1 1
LUL 5 1 1 A TOTL
END
SNAP
SYNOPSYS 50
? 將光標放在 AANT 部分的LUL 和END命令之間的空白行，然 后單擊 按鈕。選擇Merit function 6，點擊Back to MACro editor。
? 將AEC改為AEC .1 .1 1 。
? 點擊Run按鈕 。
展開 每天一例 | 鬼像分析
最快的優化算法
SYNOPSYS?光學設計軟件
概述
假如你的鏡頭設計的好，但是當你測試它的時候，會發現一些明亮的光源進入這個視場，你會看到一個糟糕的鬼像。這不是一個好的事情，而且這種情況經常發生。為了避免這種意外發生，SYNOPSYS 提供了一套強大的工具，讓您可以在設計過程的早期發現問題，并在您完成前糾正它們。
設置工作目錄
? 選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第36章
打開鏡頭
打開名1.RLE為鏡頭，其二維圖如下：
鬼像分析對話框設置
打開MGH 對話框，設置對話框，點擊左上角GHOST 按鈕
鬼像數據分析
通過檢查數據表，可以找出問題鬼像：
鬼像效果
我們知道鬼像從哪里來了。讓我們看看效果。為此，打開名為GHPLOT.MAC 的MACro。
鬼像路徑
模式 4 中 GHPLOT 繪制的單個鬼像的路徑.
查看鬼像在像面高度
MGH 對話框，如下設置，讓我們在0.5視場追跡真實鬼影的路徑。
展開 
每天一例 | SYNOPSYS? 設計一個超廣角的鏡頭
最快的優化算法
SYNOPSYS?光學設計軟件
概述
創建一個廣角前端，使 DSEARCH 可以在很大的視場內 工作 使用 DSEARCH 的新功能設計超廣角鏡頭：如果您在 DSEARCH 文件的 SYSTEM 部分輸入廣角物面規格，很可能找不到備選方案，因為沒有光線可以通過如此大的視場角。DSEARCH 可以糾正 某些光線追跡失敗，但通常無法優化此類系統。所以你會怎么做？
在這種情況下有一個極其簡單的技巧：粗略地畫出一個簡單的前端部分，將光束轉換成一個較小的角度，然后從那里開始，用 USE CURRENT 聲明該部分。
目標
設計一個半視場角為 92.4 度的鏡頭，工作在 F / 2.0。使用塑料材料，可以是非球面。
設置工作目錄
選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第45章
創建前端部分
輸入一個帶有兩片透鏡的簡單RLE 文件，并指定物面類型 OBD，用于廣角，在第 5 個表面上聲明一個近軸光闌。以一個中等角度開始，比如說 50 度，然后，使用工作表滑 塊，給元件一些負光焦度并將它們向右彎曲。當看起來不錯時，增加 OBD 視場角，以 這種方式繼續，直到達到所需的 92.4 度角。
展開 每天一例 | 寬光譜超消色差顯微鏡物鏡
最快的優化算法
SYNOPSYS?光學設計軟件
概述
我們將進行一項高級的鏡頭設計任務，該任務將利用您在 前幾章中學到的許多強大工具。
鏡頭要求在0.38-0.9μm 的波長范圍內工作，鏡頭F/#為0.714。 其他要求： 1. 物距無限遠，0.8 度半場，1.26 毫米半孔徑。 2. 光譜范圍0.38 - 0.9 微米。 3. F/number 0.714。 4. 總長小于25 毫米。 5. 畸變校正良好。 6. 像方遠心。 7. 沒有羽狀邊緣，中心厚度不超過 8 毫米。
設置工作目錄
? 選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第35章
Dsearch優化
我們預估要達到設計要求，可能需要十片透鏡，但是想逐步增加透鏡數量。 設DSEARCH 的輸入，搜索八片透鏡的結構。 這將為您提供一些潛在的初始結構，一旦知道進度的情 況，就可以根據需要增加設置。 由于光譜范圍很寬，因此請設定五個波長而不是設置常 用的三個波長，以避免中間波長處的大焦點誤差。運行MACro（C35M1），模擬退火 （50,2,50）
GSEARCH準備
色差校正是一項大挑戰，下一步是找到一些有可能制造寬光譜的玻璃。 我們將通過兩種方式做到這 一點：首先使用超消色差理論，然后通過讓 GSEARCH 自動發現玻璃的組合。 保存此版本，以便后 面可以再次調用： STORE 1 接下來，創建兩個文件。
展開 每天一例 | 改進 Petzval（佩茲伐）透鏡
最快的優化算法
SYNOPSYS?光學設計軟件
概述
設計一個衍射限制的相機：
典型的Petzval 相機設計，是一種由兩個分離的正群組透鏡組成的 照相機鏡頭（如下圖），原始設計要求要包含 8 片透鏡，但是因 為我們比較喜歡挑戰，所以我們將會試圖設計一個只含有 7 片透 鏡的設計。
一個更常見的問題是如何正確地識別商用玻璃類型的名稱。這兩個程序有廣泛的玻璃庫 ，但名字經常不同。因此，在導入.zmx 文件之后，最常見的用戶任務是編輯 RLE文件并 插入正確的glass 名稱。一個例子將說明其中一些問題。
設計要求
13 英寸的焦距
F/3.5.
視場角為±6 度
光譜范圍為 0.7–0.52 μm
總長度為 17.06 英寸
后焦距為 0.7 英寸
設置工作目錄
選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第38章
Dsearch優化
點擊 打開C38M1，點擊
運行DSEARCH_OPT.MAC，點擊
點擊 ，模擬退火(50,2,50)，結果如下：
ARGLASS 插入真實玻璃
這片透鏡十分的卓越，幾乎沒有二次色差。注意表面三上的冕牌玻璃材料透鏡。這個程序總是會找到這種減少二次色差的好辦法。接下來，我們將要使用 ARGLASS 插入真實玻璃。
展開 每天一例 | Zsearch優化案例之從零開始設計變焦鏡頭
最快的優化算法
SYNOPSYS?光學設計軟件
ZSEARCH
ZSEARCH程序將搜索鏡頭空間，以找到一個有潛力的初始結構。指定光學系統規 格和所需的變焦結構。然后執行以下步驟:
1. 它構造了一系列候選鏡頭，初始尺寸根據二進制搜索方案或隨機分配，取決于 用戶輸入。這些被定義為ZFILE變焦鏡頭，其中物體坐標根據用戶輸入在變焦之 間變化，并且變焦運動最初都為零。鏡頭至少由三組組成，不超過10組，每組包 含一定數量的鏡片。其中一些組被聲明為變焦組。物體的規格是通過創建變焦組 1和最終變焦組之間的物體來確定的，可以是線性的，也可以是通過一個逆二次 公式確定的。
2. 該程序構造了一個PANT文件，它改變所有面的曲率的半徑、除了最后一個之外 的所有面的厚度，并且改變(如果系統不單波長，并且是可見光)每個鏡片上的 GLM變量。它還可以改變所有變焦組的變焦位置。
3.它跟蹤上邊緣和下邊緣射線，以檢查射線故障，這是常見的。如果找到了，它 將使用像差誤差和前面定義的變量提交一個快速優化。這通常是能夠收斂光線， 然后追跡光線。如果沒有，則在多次嘗試之后跳過該案例。
4. 它使用監視器設置AEC、ACC、AZA和ACA構造一個AANT文件。這些控制邊緣和中 心的厚度，使鏡頭是合理的，并監測變焦鏡片是否重疊和避免折光射接近臨界角。然后在輸入的視場點上添加一組默認光線。(默認值為HBAR = 0 ，0.75和1.0。) 如果系統不是單波長，它還糾正長波長和短波長的光線(從CORDER輸入)。如果默 認波長是(CDF)，這些顏色將是波長1和波長3。
展開 每天一例 | SYNOPSYS?設計自由曲面反射系統
最快的優化算法
SYNOPSYS?光學設計軟件
概述
隨著更好的加工成形和測量光學表面的方法變得可用，光學制造變 得越來越復雜。一個是“自由曲面”光學器件的出現，其由透鏡或反射鏡組成，其形狀不是關于器件中心軸向對稱。一個簡單的例子是離軸拋物面，其中母體被拋光到所需的非球面形狀，然后從該母體切割出所需的部分。更復雜的形狀可能涉及用冪級數，Zernike 或福布斯多項式描述的高階非球面項。隨著潮流轉移到這樣的系統 ，能夠設計它們變得很重要。
SYNOPSYS提供了可以簡化該過程的FFBUILD功能。
設計簡圖
第一步是設計簡圖。這是一個有三個鏡子的例子，如圖 所示。
設置工作目錄
選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第43章
優化
點擊 打開FFBUILD（C43M1）
在優化之前由FFBUILD 返回的系統
初始優化后的自由曲面反射系統
現在你必須釋放一些其他變量。慢慢改變系統是明智的，所以慢慢來。如果你走得太快，系統有時會跳到一個奇怪的結構，這個結構遠不是你現在所處的好地方。使用低階項控制低階像差，并在需要時保存更高的階數。通過刪除這些行上的'！'
展開 SYNOPSYS? 光學設計軟件
光線追跡失敗
和許多光學設計程序一樣，SYNOPSYS?的局部優化 (優化尋找評價函數的局部極小值)是建立在阻尼最小二乘法和PSD優化算法基礎上的，但是幾個獨有的加強改進使SYNOPSYS?的PSD優化算法的收斂速度大大加快。SYNOPSYS?智能優化默認參數的設置對于絕大多數的系統非常有效，也可以設置的自己的評價函數。
從平行平面開始，優化一個7片透鏡的鏡頭，只需要2秒鐘。
全局優化算法：模擬退火優化法是最有效率的全局優化算法，對于有大量變量和邊界條件的系統可以發現最佳結構。
分析、公差和裝配支持
廣泛的分析能力包括： 多診斷式評估選項 (例如:垂軸像差曲線和波像差曲線)、許多基于幾何方法和衍射方法的像質評價選項 (例如：點列圖和MTF)、非序列光線追跡、偏振光線追跡，包括雙折射材料的模擬、通用衍射光束傳播、部分相干1D和2D圖像分析、照明分析、熱紅外冷反射分析、成像質量仿真。
各種視圖與像差曲線、點列圖
對于專用或者定制的分析需求，SYSNOPSYS?提供人工智能，包括先進的數學函數，也可以通過數據庫來獲取和操作各種計算數據。絕大多數分析選項的輸入參數都是可定制的，但是您也不會有如何選擇這些參數的負擔，所有選項都有智能化的默認輸入參數，基于我們對計算算法的軟件知識和工程知識的了解，默認參數的設置都是對于真實世界的問題的模擬。
展開 SYNOPSYS?PSD優化
SYNOPSYS?PSD優化
概述
PSD算法
區域優化算法
全局優化算法
用PSD算法優化7個平行平板
設置工作目錄
選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第7章
PSD算法
pseudo second derivative（PSD)偽二階導數
是Donald Dilworth先生創作的一種優化算法
與阻尼最小二乘法相比計算速度是10倍左右
優化后成像質量更好
詳情參考Donald Dilworth先生的論文《Automatic Lens Optimization: Recent Improvements》
PSD算法
Donald Dilworth對阻尼最小二乘（DLS）的擴展被稱為偽二階導數（PSD）方法。
該算法使用連續導數矩陣來近似二階導數矩陣，并使用它來計算每個變量的改進阻尼因子。促進和最佳設計相差甚大的的初始設計的收斂速度大幅提高。
Dilworth 的程序也有一個算法，如果一個初始的 鏡頭的光線發生了追跡失敗，可以在開始優化之前進行自動調整修正。
PSD算法
PSD III算法的優化速度是最快的 如圖中A曲線所示
Synopsys有世界上最 快的優化算法
區域優化算法
區域優化算法中，SYNOPSYS 以標準模擬退火算法開始，但將其與 PSD 結合使其比其他程序中的模擬退火更有效。
Masaki Isshiki 的全局優化與逃逸函數算法也已實現，但目前沒有足夠的經驗與其他程序的實現進行比較。
展開 
SYNOPSYS?PSD優化
概述
PSD算法
區域優化算法
全局優化算法
用PSD算法優化7個平行平板
設置工作目錄
選擇Dbook工作目錄
參考Donald Dilworth《Lens Design Automatic and quasi-autonomous computational methods and techniques》第7章
PSD算法
pseudo second derivative（PSD)偽二階導數
是Donald Dilworth先生創作的一種優化算法
與阻尼最小二乘法相比計算速度是10倍左右
優化后成像質量更好
詳情參考Donald Dilworth先生的論文《Automatic Lens Optimization: Recent Improvements》
PSD算法
Donald Dilworth對阻尼最小二乘（DLS）的擴展被稱為偽二階導數（PSD）方法。
該算法使用連續導數矩陣來近似二階導數矩陣，并使用它來計算每個變量的改進阻尼因子。促進和最佳設計相差甚大的的初始設計的收斂速度大幅提高。
Dilworth 的程序也有一個算法，如果一個初始的 鏡頭的光線發生了追跡失敗，可以在開始優化之前進行自動調整修正。
PSD算法
PSD III算法的優化速度是最快的 如圖中A曲線所示
Synopsys有世界上最 快的優化算法
區域優化算法
區域優化算法中，SYNOPSYS 以標準模擬退火算法開始，但將其與 PSD 結合使其比其他程序中的模擬退火更有效。
Masaki Isshiki 的全局優化與逃逸函數算法也已實現，但目前沒有足夠的經驗與其他程序的實現進行比較。
展開 