背景圖：搜尋第四度空間╱達利

  建議解析度 800 x 600 或以上，並請用網景通訊家瀏覽 請務必下載執行檔(Windows 95)  
 

 

 

推銷員問題就是，給定一個有 n個城市的集合，一個可憐的推銷員想要確實地拜訪每個城市然後再回到開始的地方。推銷員問題可以追溯到十七世紀漢米爾頓循環（Hamiltonain Cycle） 的問題。在電腦的發展歷程中，就因為推銷員問題的簡單性和 NP-problem 的代表性，推銷員問題總是做為新機器的鍊金石（就像有的喜歡以計算圓周率到數百萬位小數一樣）。

如果需要更多有關 TSP最近的發展歷程與說明，可以看看我們以前的成果。

 
 

 

諷刺的是，越不起眼的東西通常是越致命的。什麼是地球上最致命的玩意呢？病毒。圍棋－規則最少但卻最難學得精。推銷員問題有最簡單的規則－簡單得連一個小漢都懂－可是它卻需要天文數字般的計算能力才能獲得最佳的結果，也許比「天文數字」還糟。以一個有42個城市的推銷員問題為例，如果我們很不幸地需要列舉所有的路徑才能確定何者最短，那麼總共會有 (42-1)!/2 = 1.67 * 10⁴⁹  的拜訪方式。如果你不瞭解這個數字有多大，給你一個概念：全宇宙總共才有 10⁴⁸ 個粒子。
 

有了電腦的幫助，我們可以奇蹟似地解決遠比上面來得大的推銷員問題（世界記錄：米飯大學（Rice）的包柏‧比克司拜爾特（ Bob Bixbyet）等人用了50台接在一起的工作站解決了3038個城市的推銷員問題）。根據欣欣那提大學的馬克‧諾司章（Mark H. Noschang）的報告，解決推銷員問題的方法可以略分為以下兩類：
 
 

Heuristic Limited Memory Heuristic Search Clustering Heuristics for the Euclidean TSP Genetic Algorithms and Evolutionary Programs  Memetic Algorithms  Tabu Search  Simulated Annealing  Neural Networks  Ant Systems  Space-filling heuristics  Other Search Heuristics

Approximation Polynomial-time Approximation Schemes (PTAS)  Branch-and-Bound & Branch-and-Cut

 

去年，我們在乏晰集理論與應用的課程裡，已經試過用基因演算法（ Genetic Algorithm）和模擬退火（Simulated Annealing ）來對付惱人的推銷員問題。今年學了類神經網路，我們便想換個花樣用類神經網路來解解看繼續推銷員問題。在這個計畫裡，我們試了兩招－彈性網絡（ Elastic Net）與螞蟻王國（Ant System）。除此之外，為了能瞭解人腦在解決推銷員問題時到底靈不靈光，我們還做了一個人腦對電腦的實驗。
 

 

 
   

過了三年，另外兩個研究員威爾森（Wilson）和堡壘（Pawley）[2] 提出報告，說郝伯非爾德和坦克的方法簡直就是海市蜃樓，看得到摸不到。在他們 100次的試驗裡，只有15次是較為合適的解。而且這些所謂的合適解，其實不比亂走一通好到那裡去，其他人的報告也有相同的結果（不過並沒有論文提到郝伯非爾德和坦克聽到威爾森和堡壘的報告後有什麼反應）。但是這篇令人失望的實驗報告並沒有擊垮研究類神經網路的人，反而讓研究利用類神經網路解決最佳組合問題變成一種風尚。許多論文就是探討如何改進郝伯非爾德和坦克的類神經網路或是分析其數學特性。

基本上，三種最廣為人知用以解決推銷員問題的的類神經網路為：

1. 郝伯非爾德和坦克的類神經網路模型
2. 科厚南（ Kohonen）的自我組織圖（Self-Organizing Map）
3. 彈性網絡

以下我們對郝伯非爾德和坦克的類神經網路模型做個簡短的介紹。如果你想知道更多這一類令人發暈的數學式子，在張智星老師的書 "Neuro-Fuzzy And Soft Computing" 中第11章第 7節第4 小節，也就是第 324頁到第 326頁裡就有一堆。
 
   
 
如果你還沒被這些可怕的式子嚇暈，而且還很勇敢地想知道更多的話，你可以在大部分的跟類神經網路相關的書或論文裡，找到詳細的數學推論和每一步驟。
 
   

可以看得出來這個方法有多簡單。 G是增益參數，而 n是沿著圈圈測量，點 C_j 和 C的距離。不像郝伯非爾德和坦克的模型需要調整 5個參數，（想一下，到底是解決10個城市的推銷員問題難還是調整 5個參數以求最佳解難？）， a是唯一需要調整的參數。在論文裡，對 a和 G有較詳細的討論。

你可能會對自我組織圖的程式長相感到好奇。如果這樣的話，你可能要失望了，因為我們這次並沒有設計自我組織圖的程式，主要原因是自我組織圖實在太像彈性網絡了。但是你可以連往其它的網站看看其他人如何將自我組織圖應用在解決組合問題上。

 
 

 
 

彈性網絡是在1987年由德賓（Durbin）和威爾蕭（Willshaw）在「自然」月刊所提出[5]。這篇只有2頁的文章（郝伯非爾德和坦克論文足足有11頁），給人的第一印象是直覺，簡單，而有力。

 

 

彈性網絡的精髓是一組簡單的方程式（ X是城市， Y是繩上的點）：

Elastic net是一不斷疊代的方法。第一個式子是繩上的點每一次疊代改變的量，第一項是吸引力，第二項就是張力。 第二個方程式是城市 X_i對點 Y_j的影響。
 
   
 
   
 
   

因為螞蟻在行動的時候會釋放出一些費洛蒙，這些費洛蒙就是為什麼螞蟻會一隻一隻地跟著前面的同伴走的原因。下一隻螞蟻會跟著前一隻螞蟻走的機率跟前一隻螞蟻所釋放的費洛蒙成正比。換句話說費洛蒙越多，下一隻螞蟻會跟著走機會越大。也就是說，個體會偏好大眾的選擇。現在你可以解釋上圖的現象了嗎？

螞蟻王國只有一個函數需要瞭解：。這個函數決定了螞蟻的下一步。t(r,s)是從城市 r到城市 s的費洛蒙強度。 e(r,s)是城市 r到城市 s的距離倒數（叫做能見度）。M_k 是螞蟻 k的記憶體，也就是說螞蟻記得它已經拜訪過的城市。每一隻螞蟻會根據從所在城市至還沒拜訪城市的機率 P_k(r,s)決定下一步。等到每一隻螞蟻完成旅行，便會分別將費洛蒙 Q散布在走過的路徑上。路徑越短，加得越多。這使得下一回合時，螞蟻們便會偏好能見度較高且費洛蒙較多的路徑。當然，每一回合結束時，一部份的費洛蒙會散發掉。這就是整個螞蟻王國運作原理。夠簡單吧？
 
 
 

 

我們設計了幾個在暈倒司九五（Windows 95）下執行的程式來試試彈性網絡與螞蟻王國的效果。除此之外，我們還改寫了以前的基因演算法與設計了一個讓人試著來解推銷員問題的小程式。在下載並執行這些程式前，請花幾分鐘看一下以下的程式說明。
 

所有的程式都有著相似的介面，基本上可以分成三個區域：輸出區、參數區和狀態列。輸出區會畫出程式地圖，找到的解，以及其他相關的資訊（例如在螞蟻王國中，輸出區會畫出費洛蒙的強度）。要瞭解狀態列的縮寫意義，只要將滑鼠游標停留在狀態列上一下子，就可以看到提示。至於參數區的說明如下：

 

 
   
   

你可以下載執行檔and原始程式。請注意實際上的使用者介面可能會與上面所見略有出入。
 
 
 

 

我們作了一連串的實驗來比較測試這兩個方法與基因演算法和人腦的解題能力。首先，我們用七種已知最佳解的推銷員問題來測試各種方法及人腦，有關這七個推銷員問題的檔案我們已經放在執行檔中或可在許多其他相關的站上找到。
  

        
在上面的表格中，百分比代表實驗的結果比最佳解多出多少，在螞蟻王國結果那一行百分比後的數字代表當答案找到之後的回合數，在基因演算法這一行瓜號中的數字代表子代數，而在人腦的那一行的數字則代表多少測試者參與實驗，驚嘆號代表有人找到最佳解。（至於那個奇怪的 -0.1%代表我們的最佳解檔可能有錯）

螞蟻王國在七次的競賽中贏得六次，為最後總冠軍。然而我們必須指出螞蟻王國通常要花費十數倍於彈性網絡的時間。彈性網絡的困難之處在於參數調整，雖然預設的參數通常已可找到適當的解，但並不能找到一個較佳解。同時不要忘記，螞蟻的移動方向乃是取決於機率，所以有可能在下一次的執行後會有更好的解。但是對於城市數少的推銷員問題（例如最後兩組），螞蟻王國很容易就找到最佳解。附帶一提，基因演算法的參數設定為 ER operator, 500 offsprings, limit of 5000 generations, cutoff = 1.02, duration = 500, probability of crossover = 0.13, and probability of mutation = 0.05。

跟電腦比起來，人腦似乎不怎麼靈光。比較起來，由人腦作出答案的變異性相當大。也就是說，有些人可以在一次的試驗就找到近乎最佳的解，但有些人僅能找到適合的解。

在第二個實驗中，我們讓程式用種子數為 10，20，…100產生30個城市的推銷員問題，且不調整預設參數。螞蟻王國方面，我們用了30隻螞蟻讓它們跑1000和2000個回合，而彈性網絡則用90個點疊代1000次。實驗結果如下：
  

        
上表明顯地指出螞蟻王國較彈性網絡優秀。螞蟻王國在1000個回合後的平均長度比彈性網絡短了 1.88%。而且螞蟻王國常可在較少的回合數時，就已得到較佳的解。對那些雞蛋裡挑骨頭的統計家們來說，他們可能會挑剔樣本數不足，取樣方式的粗略，當然，如果時間允許的話，我們會很樂意地去試一百萬次，不幸的，這是不可能的。

 
 

 
 

1. 限制

彈性網絡最明顯的缺點就是它只能解平面上的推銷員問題。這意味著彈性網絡不能解決較實際的非對稱推銷員問題（a到b的距離不等於b到a的距離）。除此之外，彈性網絡對於均勻分散的點，會有較佳的表現，假如一些城市聚集在一塊小區域，就麻煩大了。

跟郝伯非爾德和坦克的類神經網路模型比較起來，彈性網絡至少能求得一個還不錯的解。雖然郝伯非爾德和坦克的類神經網路模型可以運用到其他的最佳組合問題，但離實際的工業級應用還有一大段路要走。
 

2. 平行化

彈性網絡和螞蟻系統的本質就是平行處理。彈性網絡的疊代運算可轉換成一次微分方程式。而螞蟻王國與生俱來就是平行化偏執狂的寶貝。把螞蟻當作各個處理器中的程序或執行緒，而螞蟻（程序或執行緒）溝通的方式是透過地圖及費洛蒙（就像共享記憶體）。
 

3. 類神經網路的極限

在讀過上面這麼多關於以類神經方式解決推銷員問題的無聊東西之後，你可能會懷疑類神經網路對解決這類問題的極限。不幸地，答案令人沮喪。根據一篇非常「數學化」與非常「分析化」的論文[8] 指出（裡頭有提到退火型網路動能的線性分析，這是什麼鬼東西？），類神經網路適合去解平面的推銷員問題，而非一般的非對稱型推銷員問題。這篇論文已經不是普通人看得下去的，真有興趣，請自行至圖書館查閱。

比起上一段所提到的彈性網絡與郝伯非爾德和坦克的類神經網路模型，螞蟻王國要來得強韌多了，至少不受限於平面的推銷員問題。螞蟻王國已經有很多成功地應用在其他最佳組合問題上（包括各種推銷員問題的變形），實驗結果也指出它優於彈性網絡。欲知詳情，請到螞蟻王國的首頁。
 

4. 人腦對電腦

人類是否能在推銷員問題或其他相似的問題上打敗電腦，是個非常有趣的問題。討論這個問題的論文並不多，然而，我們還是發現一篇有趣的論文。兩位英國的研究員，馬克葛蕾格（J. N. MacGregor）及歐馬洛德（T. Ormerod）， 已經作了一些以人腦來解推銷員問題的實驗。他們發現，在小型的推銷員問題上（10至20個城市），人腦的表現和電腦不相上下。而且人腦所找到的幾乎都是最佳解，而電腦找到的卻只是接近最佳解。依我們的小小一點意見，電腦可能是輸在演算法的選擇上：最佳的（林－克尼根）及最先進的（如模擬退火、基因演算法和螞蟻王國等）演算法因不接近人類對推銷員問題的認知而不被採用。作者最後的評論是：由於缺乏誘因，很難對受測者進行大型的推銷員問題實驗。想像是你要來解一個1000個城市的推銷員問題，那真是呆斃了！

重點在於，推銷員問題（對人類而言）的困難度在於內部點的多寡（外接凸邊型內的點），而非全部的點數。因此，科學家們可能會問：為什麼不抓幾隻猴子來解解看推銷員問題，看看是不是有同樣的結論？沒想到真的有人在做這方面的研究：已經有許多論文談到猴子及黑猩猩解推銷員問題的實驗。結論是，即使是動物也有解決簡單的推銷員問題的基本智能。例如，猴子們會一次考慮接下來的兩三個點，而不是只考慮離牠最近的一點。這些論文都能在「實驗生物學月刊」（Journal of Experimental Biology） 其中一篇論文[10]的參考資料中找到。或者，你可以到依伐司‧彼得森的數學島，其中有一篇簡介這類實驗的短文。
 

5. 進展

許多研究者都致力於改良彈性網絡和螞蟻王國。其中將‧凡‧登‧柏格（Jan Van Den Berg）等設計了一套非等距的彈性網絡，但是這個新花招在多於30個城市時，就輸給原來的彈性網絡（敗軍之將就不必列出來了），而其他則多半嘗試加快收斂的速度[6,7]。

在螞蟻王國的第一篇論文中，馬可也嘗試了其他兩個叫做「螞蟻－密度」及「螞蟻－數量」的方法。這兩個方法與原始方法的主要差異在於每隻螞蟻分泌費洛蒙的時機（走一步就留一點，而不是等到全部走完再分）。而這兩個方法之間的差異在於螞蟻分泌的費絡蒙量。對「螞蟻－密度」來說，每隻螞蟻每一步都留下固定的費絡蒙量，而「螞蟻－數量」所留下的費絡蒙量是與每一步的距離成正比。但是結果顯示，這兩種方法還是沒有比原來的螞蟻王國好。

柏恩德‧布恩海默（ Bernd Bullnheimer）等人提出了一個「菁英螞蟻」的構想。就是讓找到較佳解的螞蟻（菁英螞蟻）分泌比其他螞蟻更多的費絡蒙，此外也可以只讓最佳的 k隻螞蟻分泌 ，並將他們的解依大小加權。這的確是一個正確的方向。這個方法可以將螞蟻王國所找到的解從沒有「菁英螞蟻」前的1.02%降到有「菁英螞蟻」後的 0.31% （與最佳解比較），這不是挺好的嗎？

 
 

 
 

• [1] J. J. Hopfield and D. W. Tank. Neural computation of decision in optimization problems. Biological Cybernetics, 52:141-152, 1985.
• [2] G. V. Wilson and G. S. Pawley. On the stability of the traveling salesman problem algorithm of Hopfiled and Tank. Biological Cybernetics, 58:63-70, 1988.
• [3] Kohonen T. Self-organization and associative memory. Springer-Verlag, Berlin, 1984.
• [4] Bernard Angeniol, Gael La Croix Vaubois, and Jean-Yves Le Texier. Self-organizing maps and the traveling salesman problem. Neural Networks, 1:289-293, 1988.
• [5] R. Durbin and D. Willshaw. An analogue approach to the traveling salesman problem using an Elastic Net method. Nature, 326:689-691, 1987.
• [6] D. J. Burr. An improved Elastic Net method for the traveling salesman problem. Proceedings of the IEEE International Conference on Neural Networks, San Diego, CA, :69-76, 1988.
• [7] M. C. S. Boeres and L. A. V. De Carvalho. A faster Elastic Net algorithm for the traveling salesman problem. Proceedings of the International Joint Conference on Neural Networks, Baltimore, MD. II:215-220, 1992.
• [8] Andrew H. Gee and Richard W. Prager. Limitations of Neural networks for solving traveling salesman problems. IEEE transactions on neural networks, Vol. 6, No. 1, pp. 280-282, January, 1995.
• [9] J. N. MacGregor and T. Ormerod. Human performance on the traveling salesman problem. Department of Human Sciences, Loughborough University of Technology, United Kingdom.
• [10] C. R. Gallistel and Audrey E. Cramer. Computations on metric maps in mammals: getting oriented and choosing a multi-destination route. The Journal of Experimental Biology. 199:211-217, 1996.
• [11] Marco Dorigo, Vittorio Maniezzo, and Alberto Colorni. The Ant System: optimization by a colony of cooperating agents. IEEE Transactions on System, Man, and Cybernetics. Vol. 26, No. 1, pp. 1-13, 1996.
• [12] Bernd Bullnheimer, Richard F. Hartl, and Christine Strauss. A new rank based version of the Ant System - a computational study. Institute of Management Science, University of Vienna, 1997.
• [13...] Other papers not directly related to this topic are classified and destroyed!
   

這些真是無聊透頂了，帶我去些好玩的地方吧…

 
• TSP by Kohonen SOM (爪哇程式與原始碼) @ Patol.
• TSP by Elastic Net (爪哇程式與原始碼，彈性網絡詳解) @ Laboratory of Nuclear Problems, Dubna, Russia.
• TSP by Ant Colony (螞蟻王國的爪哇程式與原始碼，我寫的唷) @ Roland's Brain, Taiwan
• Ant Colony Optimization (螞蟻王國的首頁) @ IRIDA, Italy.
• Neural Networks with Java (有發展類神經網路的爪哇程式庫) @ somewhere in German (有一個棒極了的範例：3D Kohonen Feature Map solving 3D TSP).
• Java Applets for NN and AI (有很多有趣的爪哇程式和鍊結) @ AIST, Japan.
• TSPBIB and TSPLIB (每一個對推銷員問題有興趣的人第一個該去的地方)

Pastewrong(c) 1997 December. All wrongs reversed. Last updated at Dec. 28, 1997.
Please send all your praise to me, and send all your complaint and critique to him.