最優化理論簡介

最優化理論與算法是一個重要的數學分支,它所研究的問題是討論在眾多的方案中什么樣的方案最優以及怎樣找出最優方案。這類問題普遍存在。例如,工程設計中怎樣選擇設計參數,使得設計方案既滿足設計要求又能降低成本;資源分配中,怎樣分配有限資源,使得分配方案既能滿足各方面的基本要求,又能獲得好的經濟效益;生產計劃安排中,選擇怎樣的計劃方案才能提高產值和利潤;原料配比問題中,怎樣確定各種成分的比例,才能提高質量,降低成本;城建規劃中,怎樣安排工廠、機關、學校、商店、醫院;住戶和其他單位的合理布局;才能方便群眾;有利于城市各行各業的發展;農田規劃中,怎樣安排各種農作物的合理布局,才能保持高產穩產,發揮地區優勢;軍事指揮中,怎樣確定最佳作戰方案,才能有效地消滅敵人,保存自己,有利于戰爭的全風在人類活動的各個領域中,諸如此類,不勝枚舉。最優化這一數學分文,正是為這些問題的解決,提供理論基礎和求解方法,它是一門應用廣泛、實用性強的學科。

20世紀40年代以來,由于生產和科學研究突飛猛進地發展,特別是電子計算機日益廣泛應用,使最優化問題的研究不僅成為一種迫切需要,而且有了求解的有力工具。因此最優化理論和算法迅速發展起來,形成一個新的學科。至今已出現線性規劃、整數規劃、非線性規劃、幾何規劃、動態規劃、隨機規劃、網絡流等許多分文。

最優化理論和算法在實際應用中正在發揮越來越大的作用。課程內容:最優化理論與算法包括線性規劃單純形方法、對偶理論、靈敏度分析、運輸問題、內點算法、非線性規劃K-T條件、無約束最優化方法、約束最優化方法、參數線性規劃、運輸問題、線性規劃路徑跟蹤法、信賴域方法、二次規劃路徑跟蹤法、整數規劃和動態規劃等內容。本課程有大量經典的和新近的算法,有比較系統的理論分析,實用性比較強;定理的證明和算法的推導主要以數學分析和線性代數為基礎,學習比較容易。

線性和非線性最優化理論、方法、軟件及應用

最優化在航空航天、生命科學、水利科學、地球科學、工程技術等自然科學領域和經濟金融等社會科學領域有著廣泛和重要的應用, 它的研究和發展一直得到廣泛的關注. 最優化的研究包含理論、方法和應用.最優化理論主要研究問題解的最優性條件、靈敏度分析、解的存在性和一般復雜性等.而最優化方法研究包括構造新算法、證明解的收斂性、算法的比較和復雜性等.最優化的應用研究則包括算法的實現、算法的程序、軟件包及商業化、在實際問題的應用. 這里簡介一下線性和非線性最優化理論、方法及應用研究的發展狀況.

1. 線性最優化

線性最優化, 又稱線性規劃, 是運籌學中應用最廣泛的一個分支.這是因為自然科學和社會科學中許多問題都可以近似地化成線性規劃問題.?線性規劃理論和算法的研究及發展共經歷了三個高潮, 每個高潮都引起了社會的極大關注. 線性規劃研究的第一高潮是著名的單純形法的研究. 這一方法是Dantzig在1947年提出的,它以成熟的算法理論和完善的算法及軟件統治線性規劃達三十多年. 隨著60年代發展起來的計算復雜性理論的研究, 單純形法在七十年代末受到了挑戰.?1979年前蘇聯數學家Khachiyan提出了第一個理論上優于單純形法的所謂多項式時間算法--橢球法, 曾成為轟動一時的新聞, 并掀起了研究線性規劃的第二個高潮. 但遺憾的是廣泛的數值試驗表明, 橢球算法的計算比單純形方法差.

1984年Karmarkar提出了求解線性規劃的另一個多項式時間算法. 這個算法從理論和數值上都優于橢球法, 因而引起學術界的極大關注, 并由此掀起了研究線性規劃的第三個高潮. 從那以后, 許多學者致力于改進和完善這一算法,得到了許多改進算法.這些算法運用不同的思想方法均獲得通過可行區域內部的迭代點列, 因此統稱為解線性規劃問題的內點算法. 目前內點算法正以不可抗拒的趨勢將超越和替代單純形法.

線性規劃的軟件, 特別是由單純形法所形成的軟件比較成熟和完善.這些軟件不僅可以解一般線性規劃問題, 而且可以解整數線性規劃問題、進行靈敏度分析, 同時可以解具有稀疏結構的大規模問題.CPLEX是Bixby基于單純形法研制的解線性和整數規劃的軟件, CPLEX的網址是http://www.cplex.com/. 此外,這個軟件也可以用來解凸二次規劃問題, 且特別適合解大規模問題. PROC LP是SAS軟件公司研制的SAS商業軟件中OR模塊的一個程序.這個程序是根據兩階段單純形法研制的,可以用來解線性和整數規劃問題并可進行靈敏度分析, 是一個比較完善的程序.用戶可以根據需要選擇不同的參數來滿足不同的要求。關于內點法的軟件也在研制之中.BPMPD是Cs.Mzos基于原始對偶內點法研制的解線性和整數規劃的軟件,其FTP地址是ftp://ftp.sztaki.hu/pub/oplab/SOFTWARE/BPMPD/,可以自由下載.此外,在互聯網上能訪問到的解線性和整數規劃問題的軟件還有:EQPS(線性,整數和非線性規劃),FMP(線性和混合整數規劃),HS/LPLO(線性規劃),KORBX(線性規劃),LAMPS(線性和整數規劃),LPBLP(線性規劃),MILP(混合整數規劃),MINTO(混合整數規劃), MPSIII(線性和混合整數規劃),OML(線性和混合整數規劃), OSL(線性,二次和混合整數規劃),PROCLP(線性和整數規劃),WB(線性和混合整數規劃),WHIZARD(線性和混合整數規劃),XPRESSMP(線性和混合整數規劃)等.

2.非線性最優化

在實際研究工作和生產實踐中存在大量非線性最優化問題, 把它們完全簡化成線性問題來處理是不妥當的.隨著科學技術和計算機的發展, 這些實際問題具有這樣一些特點.一是問題的變量比較多, 因為問題涉及的因素越來越多; 二是問題的規模越來越大;三是問題越來越復雜, 問題的非線性程度越來越高.?這類問題通常描述成在一組非線性約束條件下尋求某一非線性目標函數的最小或最大值。

非線性規劃的一個重要理論是1951年Kuhn-Tucker最優條件(簡稱KT條件)的建立.此后的50年代主要是對梯度法和牛頓法的研究.以Davidon(1959), Fletcher和Powell(1963)提出的DFP方法為起點, 60年代是研究擬牛頓方法活躍時期, 同時對共軛梯度法也有較好的研究. 在1970年由Broyden,Fletcher,Goldfarb 和Shanno從不同的角度共同提出的BFGS方法是目前為止最有效的擬牛頓方法. 由于Broyden, Dennis 和More的工作使得擬牛頓方法的理論變得很完善. 70年代是非線性規劃飛速發展時期, 約束變尺度(SQP)方法(Han和Powell為代表)和Lagrange乘子法(代表人物是Powell 和Hestenes)是這一時期主要研究成果.計算機的飛速發展使非線性規劃的研究如虎添翼.80年代開始研究信賴域法、稀疏擬牛頓法、大規模問題的方法和并行計算, 90年代研究解非線性規劃問題的內點法和有限儲存法. 可以毫不夸張的說, 這半個世紀是最優化發展的黃金時期.

與線性規劃相比,非線性規劃軟件還不夠完善. 但是已有大量解非線性規劃問題的軟件, 其中有相當一部分可從互聯網上免費下載.BTN是利用線搜索技術的塊截斷牛頓方法解無約束問題的軟件,近似牛頓方向是通過塊共軛梯度法解牛頓方程得到. 塊狀結構比較方便對線性代數方程和函數計算進行并行化處理. BTN有兩個版本: 簡本和用戶版本. 簡本不需并行化技術, 而用戶版本允許多種復雜運算, 包含并行化處理. 此軟件可以通過ftp://netlib2.cs.utk.edu/opt獲得。BQPD是Fletcher研制的解二次規劃的軟件, 所使用的基本方法是零空間積極集法. DONLP2是Spellucci研制的用SQP方法解一般非線性約束問題的軟件,適合解小規模優化問題, 可以從網址ftp://netlib2.cs.utk.edu/opt/donlp2/上免費下載。HOOKE是解無約束最優化問題的一個直接方法的軟件,可以通過 ftp: //netlib2.cs.utk.edu /opt /hooke.c獲得。LANCELOT是由Conn,Gould和Toint研制的解大規模最優化問題的軟件包,適合解無約束最優化、非線性最小二乘、邊界約束最優化和一般約束最優化問題.這個軟件的基本思想是利用增廣Lagrange函數來處理約束條件, 在每步迭代中解一個邊界約束優化子問題, 其所用的方法結合信賴域和投影梯度等技術.MINPACK是美國Argonne國家實驗室研制的軟件包,適合求解非線性方程組和非線性最小二乘問題, 所用的基本方法是阻尼最小二乘法, 此軟件可以從網上圖書館獲得. PROC NLP是SAS軟件公司研制的SAS商業軟件中OR模塊的一個程序,這個程序適合解無約束最優化、非線性最小二乘、線性約束最優化、二次規劃和一般約束最優化問題.TENMIN是Schnabel等研制的解中小規模問題(n<100)的張量方法軟件。在互聯網上能訪問到的解非線性最優化問題的軟件還有:CONOPT(非線性規劃),DOT(優化設計工具箱),Excel and Quattro Pro Solvers(線性,整數和非線性規劃),FSQP(非線性規劃和極小極大問題),GRG2(非線性規劃), LBFGS(有限儲存法),LINDO(線性、二次和混合整數規劃),LSSOL(最小二乘和二次規劃),MINOS(線性和非線性規劃),NLPJOB(非線性多目標規劃), OPTPACK(約束和無約束最優化),PETS(解非線性方程組和無約束問題的并行算法),QPOPT(線性和二次規劃),SQOPT(大規模線性和凸二次規劃),SNOPT(大規模線性、二次和非線性規劃),SPRNLP(稀疏最小二乘,稀疏和稠密非線性規劃),SYSFIT(非線性方程組的參數估計),TENSOLVE(非線性方程組和最小二乘), VE10(非線性最小二乘)等.

3.最優化的應用

最優化的應用是非常廣泛的, 下面僅就最優化在金融和航空方面的應用作一點介紹.

3.1金融和最優化

隨著世界經濟的發展和知識經濟的到來, 金融數學已變成一個熱門研究課題,普遍得到各國政府的重視和支持. 而金融數學的一個重要方面是與優化理論及算法相聯系的. 諾貝爾經濟學獎得主馬爾柯維茨提出證券組合選擇的均值--方差模型(MV模型)便是一個二次規劃問題. 這個模型使得證券組合選擇方法實現了從定性描述到定量描述質的飛躍,使得人們可以科學而準確地分析與選擇投資策略.

3.2 航空和最優化

最優化在航空方面的應用也很多.從90年代引起國際學術界重視的"氣動數值優化設計"是計算流體力學和優化設計技術相結合來研究飛行器氣動性能及其它流動問題的方法. 這一方法的研究包含了大量的最優化算法和應用研究.

在航空航天廣泛應用的結構優化設計是最近三十多年來發展起來的一門新興的現代化科學技術. 它的發展是與最優化理論和方法的發展是密不可分的. 從60年代起, 結構設計問題開始用一般非線性規劃問題來處理. 此后, 一種新的優化理論和方法一出現并被用到結構設計問題上來, 從而推動了結構優化設計的快速發展.目前處于優化研究熱點的信賴域法被用于解飛機設計中顫振問題模型, 收到了良好效果.

李斯文

評論已關閉!

目前評論:1   其中:訪客  1   博主  0

  1. avatar godlike 3

    awseom