iSIGHT里面的優(yōu)化方法大致可分為三類：

1 數(shù)值優(yōu)化方法

數(shù)值優(yōu)化方法通常假設(shè)設(shè)計(jì)空間是單峰值的，凸性的，連續(xù)的。iSIGHT中有以下幾種：

（1）外點(diǎn)罰函數(shù)法（EP）：

     外點(diǎn)罰函數(shù)法被廣泛應(yīng)用于約束優(yōu)化問(wèn)題。此方法非常很可靠， 通常能夠在有最小值的情況下，相對(duì)容易地找到真正的目標(biāo)值。外點(diǎn)罰函數(shù)法可以通過(guò)使罰函數(shù)的值達(dá)到無(wú)窮值，把設(shè)計(jì)變量從不可行域拉回到可行域里，從而達(dá)到目標(biāo)值。

（2）廣義簡(jiǎn)約梯度法（LSGRG2）：

通常用廣義簡(jiǎn)約梯度算法來(lái)解決非線性約束問(wèn)題。此算法同其他有效約束優(yōu)化一樣，可以在某方向微小位移下保持約束的有效性。

（3）廣義虎克定律直接搜索法：

此方法適用于在初始設(shè)計(jì)點(diǎn)周圍的設(shè)計(jì)空間進(jìn)行局部尋優(yōu)。它不要求目標(biāo)函數(shù)的連續(xù)性。因?yàn)樗惴ú槐厍髮?dǎo)，函數(shù)不需要是可微的。另外，還提供收斂系數(shù)（rho），用來(lái)預(yù)計(jì)目標(biāo)函數(shù)方程的數(shù)目，從而確保收斂性。

（4）可行方向法（CONMIN）：

可行方向法是一個(gè)直接數(shù)值優(yōu)化方法，它可以直接在非線性的設(shè)計(jì)空間進(jìn)行搜索。它可以在搜索空間的某個(gè)方向上不斷尋求最優(yōu)解。用數(shù)學(xué)方程描述如下：

Design i = Design i-1 + A * SearchDirection i方程中，i表示循環(huán)變量，A表示在某個(gè)空間搜索時(shí)決定的常數(shù)。它的優(yōu)點(diǎn)就是在保持解的可行性下降低了目標(biāo)函數(shù)值。這種方法可以快速地達(dá)到目標(biāo)值并可以處理不等式約束。缺點(diǎn)是目前還不能解決包含等式約束的優(yōu)化問(wèn)題。

（5）混合整型優(yōu)化法（MOST）：

混合整型優(yōu)化法首先假定優(yōu)化問(wèn)題的設(shè)計(jì)變量是連續(xù)的，并用序列二次規(guī)劃法得到一個(gè)初始的優(yōu)化解。如果所有的設(shè)計(jì)變量是實(shí)型的，則優(yōu)化過(guò)程停止。否則，如果一些設(shè)計(jì)變量為整型或是離散型，那么這個(gè)初始優(yōu)化解不能滿足這些限制條件，需要對(duì)每一個(gè)非實(shí)型參數(shù)尋找一個(gè)設(shè)計(jì)點(diǎn)，該點(diǎn)滿足非實(shí)型參數(shù)的限制條件。這些限制條件被作為新的約束條件加入優(yōu)化過(guò)程，重新優(yōu)化產(chǎn)生一個(gè)新的優(yōu)化解，迭代依次進(jìn)行。在優(yōu)化過(guò)程中，非實(shí)型變量為重點(diǎn)考慮的對(duì)象，直到所有的限制條件都得到滿足，優(yōu)化過(guò)程結(jié)束，得到最優(yōu)解。

（6）序列線性規(guī)劃法（SLP）：序列線性規(guī)劃法利用一系列的子優(yōu)化方法來(lái)解決約束優(yōu)化問(wèn)題。此方法非常好實(shí)現(xiàn)，適用于許多工程實(shí)例問(wèn)題。

（7）序列二次規(guī)劃法（DONLP）：

此方法對(duì)拉各朗日法的海森矩陣進(jìn)行了微小的改動(dòng)，進(jìn)行變量的縮放，并且改善了armijo型步長(zhǎng)算法。這種算法在設(shè)計(jì)空間中通過(guò)梯度投影法進(jìn)行搜索。

（8）序列二次規(guī)劃法（NLPQL）：

這種算法假設(shè)目標(biāo)函數(shù)是連續(xù)可微的。基本思想是將目標(biāo)函數(shù)以二階拉氏方程展開(kāi)，并把約束條件線性化，使得轉(zhuǎn)化為一個(gè)二次規(guī)劃問(wèn)題。二階方程通過(guò)quasi－Newton公式得到了改進(jìn)，而且加入了直線搜索提高了算法的穩(wěn)定性。

 （9）逐次逼近法（SAM）：

逐次逼近法把非線性問(wèn)題當(dāng)做線性問(wèn)題來(lái)處理。使用了稀疏矩陣法和單純形法求解線性問(wèn)題。如果某個(gè)變量被聲明成整型，單純形法通過(guò)重復(fù)大量的矩陣運(yùn)算來(lái)達(dá)到預(yù)期的最優(yōu)值。逐次逼近法是在M. Berkalaar和J.J. Dirks提出的二次線性算法。

2探索優(yōu)化方法

探索優(yōu)化法避免了在局部出現(xiàn)最優(yōu)解的情況。這種方法通常在整個(gè)設(shè)計(jì)空間中搜索全局最優(yōu)值。iSIGHT中有以下兩種：

（1）多島遺傳算法（MIGA）：

在多島遺傳算法中，和其他的遺傳算法一樣每個(gè)設(shè)計(jì)點(diǎn)都有一個(gè)適應(yīng)度值,這個(gè)值是建立在目標(biāo)函數(shù)值和約束罰函數(shù)值的基數(shù)上。個(gè)體如有好的目標(biāo)函數(shù)值，罰函數(shù)也就有一個(gè)更高的適應(yīng)度值。多島遺傳法區(qū)別于傳統(tǒng)遺傳算法的最大區(qū)別在于每個(gè)種群都被分為若干個(gè)子種群，也稱為島。分別在各自的子種群中進(jìn)行傳統(tǒng)的遺傳算法。一些個(gè)體被選出來(lái)周期的“移民”到其他的島上。這種操作成為“移民”。有兩個(gè)參數(shù)控制著移民過(guò)程：移民間隔（每次移民之后繁殖后代的個(gè)數(shù)）；移民率（移民個(gè)體所占的百分比）。

（2）自適應(yīng)模擬退火算法（ASA）：

自適應(yīng)模擬退火算法非常適用于用算法簡(jiǎn)單的編碼來(lái)解決高度非線性優(yōu)化問(wèn)題，尤其是當(dāng)發(fā)現(xiàn)找全局目標(biāo)值比尋求好的設(shè)計(jì)方法更為重要的時(shí)候。這種方法能夠辨別不同的局部最優(yōu)解。該算法能夠以最小的成本就獲得最優(yōu)解。                                                                      

   

3專家系統(tǒng)優(yōu)化

   定向啟發(fā)式搜索算法(DHS)：定向啟發(fā)式搜索算法只注重于可以直接影響到優(yōu)化解的參數(shù)。

如圖通過(guò)問(wèn)題描述特性來(lái)選擇合適的優(yōu)化方法：

問(wèn)題特性描述	Pen Meth	MMFD	SLP	SQP	HJ	SAM	DHS	GA	Sim. Annl.	MOST	LSGRG2
只有實(shí)型變量	x	x	x	x	x	x	x	x	x	X**	x
處理混合或者不混合實(shí)型，整型，離散型變量					x	x	x	x	x	x
高速非線性問(wèn)題	x	x					x
脫離的設(shè)計(jì)空間（相對(duì)最小值）	x							x	x
大量的設(shè)計(jì)變量（大于20個(gè)）		x				x	x	x	x		x
大量的約束條件（大于2000）		x	x			x					x
長(zhǎng)時(shí)間的運(yùn)算代碼或分析（大量的方程求解）	x	x	x		x	x
用戶提供梯度的有效性	x	x	x	X*						x	x

* 只有NLPQL. DONLP在不能處理用戶提供的梯度情況下有效。

 

**盡管運(yùn)算需要某些或全部變量是整型或者離散型的，任務(wù)過(guò)程必須能估計(jì)任意實(shí)型設(shè)計(jì)變量。

 

 

 

 

 

技術(shù)特性描述	MMFD	SLP	SQP	HJ	SAM	DHS	GA	Sim. Annl.	MOST	LSGRG2
不需要目標(biāo)函數(shù)是連續(xù)的				x	x	x	x	x
處理等式或不等式約束條件	X*	x	x	x	x	x	x	x	x	x
基于庫(kù)塔條件的優(yōu)化方程	x	x								x
從一系列設(shè)計(jì)點(diǎn)尋找而不是從單一的某點(diǎn)							x		X**
使用隨機(jī)準(zhǔn)則							x	x
在開(kāi)始就可以得到好的目標(biāo)值							x
不需要假設(shè)參數(shù)的獨(dú)立性				x		x	x	x
不需要用有限差分法				x		x	x	x
能夠通過(guò)可控地，有序的方式設(shè)定						x	x	x
容易理解						x
不同階次的數(shù)量級(jí)對(duì)設(shè)計(jì)變量的值不敏感						x

 

* 表示只有在修正可行方向法（ADS）才有效，在可行方向法（CONMIN）不可以處理等式約束。

** 先從初始設(shè)計(jì)點(diǎn)找到一個(gè)初始解，然后從這一點(diǎn)向外搜索最優(yōu)解。

原帖地址：https://blog.csdn.net/stk10