Ant Colony Optimization for Tree and Hypertree - DBAI

128 Pages·2009·0.86 MB·English

Ant Colony Optimization for
Tree and Hypertree
Decompositions
DIPLOMARBEIT
zur Erlangung des akademischen Grades
Diplom-Ingenieur
im Rahmen des Studiums
Software Engineering & Internet Computing
ausgeführt von
Thomas Hammerl
Matrikelnummer 0300322
an der
Fakultät für Informatik der Technischen Universität Wien
Betreuer: Priv.-Doz. Dr. Nysret Musliu
Wien, 24.03.2009 _______________________ ______________________
(Unterschrift Verfasser) (Unterschrift Betreuer)
Technische Universität Wien
A-1040 Wien ▪ Karlsplatz 13 ▪ Tel. [phone] http://www.tuwien.ac.at
ANT COLONY OPTIMIZATION FOR TREE AND
HYPERTREE DECOMPOSTIONS
thomas hammerl
University of Technology
Computer Science Department
Institute of Information Systems
Database and Artificial Intelligence Group
24 2009
. März
24 2009
Thomas Hammerl, . März
supervisor
:
Priv.-Doz. Dr. Nysret Musliu
DECLARATION
Thomas Hammerl
25 1 7
Westbahnstraße / /
1070
Wien
„Hiermiterkläreich,dassichdieseArbeitselbständigverfassthabe,dass
ich die verwendeten Quellen und Hilfsmittel vollständig angegeben
habe und dass ich die Stellen der Arbeit – einschließlich Tabellen,
Karten und Abbildungen –, die anderen Werken oder dem Internet im
Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter
Angabe der Quelle als Entlehnung kenntlich gemacht habe.”
Wien, 24. März 2009
Thomas Hammerl
Meinen Eltern gewidmet.
ABSTRACT
Many instances of constraint satisfaction problems can be solved effi-
cientlyiftheyarerepresentableasatreerespectivelygeneralizedhyper-
tree decomposition of small width. Unfortunately, the task of finding
a decomposition of minimum width is NP-complete itself. Therefore,
many heuristic and metaheuristic methods have been developed for
this problem.
One metaheuristic which has not been applied yet is antcolonyopti-
mization (ACO). In this thesis we investigate five different variants of
these ACO algorithms for the generation of tree and generalized hyper-
tree decompositions. Furthermore, we extend these implementations
with two local search methods and we compare two heuristics that
guidetheACOalgorithms.Moreover,weexperimentwithtwodifferent
pheromone update strategies and we present a library called libaco that
can be used to solve other combinatorial optimization problems as well.
In order to demonstrate this we present an ACO implementation for
the travelling salesman problem based on this library.
Our computational results for selected instances of the DIMACS
graph coloring library and the CSP hypergraph library show that the
ACO metaheuristic gives results comparable to those of other decom-
position methods such as branch and bound and tabu search for many
problem instances. One of the proposed algorithms was even able
to improve the best known upper bound for one problem instance.
Nonetheless, as the problem complexity increases other methods out-
perform our algorithms.
v
ZUSAMMENFASSUNG
Viele Instanzen von Costraint Satisfaction Problemen sind effizient lös-
bar wenn sie als Tree oder als Generalized Hypertree Decomposition
kleiner Breite dargestellt werden können. Das Auffinden der Decompo-
sition geringster Breite ist jedoch selbst NP-complete und kann daher
nur mit Heuristiken und Metaheuristiken in annehmbarer Zeit gelöst
werden.
Ant Colony Optimization (ACO) ist eine metaheuristische Meth-
ode die bisher noch nicht auf dieses Problem angewandt wurde. In
dieser Diplomarbeit untersuchen wir fünf verschiedene Varianten von
ACO Algorithmen für die Generierung von Tree und Hypertree De-
compositions. Außerdem erweitern wir diese Implementierungen mit
zwei lokalen Suchmethoden und vergleichen zwei Heuristiken, die
den ACO Algorithmus lenken. Weiters experimentieren wir mit zwei
unterschiedlichen Pheromone Update Strategien und stellen unsere
C++ Bibliothek libaco vor mit deren Hilfe auch andere kombinatorische
Optimierungsproblemen mit den in dieser Diplomarbeit beschriebenen
ACO Algorithmen gelöst werden können. Um das zu demonstrieren
beschreiben wir eine libaco-Implementierung für das Travelling Sales-
man Problem.
Unsere Testergebnisse für ausgewählte Beispiele der DIMACS Graph
Coloring Library und der CSP Hypergraph Library zeigen, dass die
ACOMetaheuristikfürvieleProbleminstanzenErgebnisseliefertwelche
mit Ergebnissen anderer Verfahren wie beispielsweise Tabu Search und
Branch & Bound vergleichbar sind. Einer der vorstellten Algorithmen
konnte sogar die bisher besten bekannten Ergebnisse für eine Prob-
leminstanzverbessern.DessenungeachtetlieferndieACOAlgorithmen
insbesondere für komplexere Probleminstanzen schlechtere Ergebnisse
als andere bekannte Methoden.
vi
DANKSAGUNGEN
Ich möchte mich an dieser Stelle bei Dr. Nysret Musliu für die Betreu-
ungunddasKorrekturlesendieserDiplomarbeit,seineHilfsbereitschaft
und die zahlreichen wertvollen Ratschläge bedanken.
BesondererDankgiltmeinenElternfüreinesorgenfreieundglückliche
Kindheit, die Ermöglichung meines Studiums, deren Fürsorge und die
26
umfassende Unterstützung während der letzten Jahre.
Weiters möchte ich mich bei Michael Jakl für seine Hilfe bei der
Suche nach einem passenden Diplomarbeitsthema bedanken, welche
schließlich zur Entstehung dieser Arbeit geführt hat.
Meinem Studienkollegen und Freund Benjamin Ferrari danke ich für
die sowohl interessante als auch unterhaltsame gemeinsame Studien-
zeit.
Schlussendlich möchte ich noch all meinen Freunden, insbesondere
meinerFreundinClaudia,fürdieschöneZeitinderichnichtmitdieser
Arbeit beschäftigt war, danken.
vii
CONTENTS
1 1
Introduction
11 1
. The Problem
111 2
. . Constraint Satisfaction Problems
112 4
. . Tree Decompositions
113 6
. . Hypertree Decompositions
114 7
. . Elimination Orderings
115 8
. . Ant Colony Optimization
12 9
. Goals of this Thesis
13 10
. Main Results
14 12
. Further Organization of this Thesis
2 13
Preliminaries
21 13
. Graphs and Hypergraphs
22 14
. Constraint Satisfaction Problems
23 16
. Tree Decompositions
24 16
. Hypertree Decompositions
25 17
. Decomposition Methods
251 18
. . Vertex Elimination
252 21
. . Bucket Elimination
26 22
. Set Cover Problem
27 24
. Solving CSPs from Tree Decompositions
3 26
State of the Art
31 26
. Upper Bound Heuristics
311 26
. . Min-Degree
312 26
. . Min-Fill
313 27
. . Maximum Cardinality Search (MCS)
32 27
. Lower Bound Heuristics
321 27
. . Minor-Min-Width
3.2.2 γ 28
R
33 28
. Exact Methods
331 28
. . Branch and Bound Algorithms
332 30
. . A* Algorithms
34 32
. Metaheuristic Methods
viii
Contents ix
341 32
. . Genetic Algorithms
342 34
. . Hypergraph Partitioning
343 35
. . Tabu Search
344 36
. . Simulated Annealing
345 36
. . Iterated Local Search
4 39
Ant Colony Optimization
41 39
. From Real To Artificial Ants
411 39
. . The Double Bridge Experiment
412 41
. . Artificial Ants
42 44
. Ant System
421 44
. . Pheromone Trail Initialization
422 44
. . Solution Construction
423 46
. . Pheromone Update
43 46
. Other Ant Colony Optimization Variants
431 46
. . Elitist Ant System
432 47
. . Rank-Based Ant System
433 47
. . Max-Min Ant System
434 48
. . Ant Colony System
44 49
. Problems ACO has been applied to
441 49
. . Travelling Salesman Problem
442 49
. . Car Sequencing Problem
443 51
. . Network Routing Problem
444 51
. . Other Problems
5 53
ACOApproachforTreeandHypertreeDecompositions
51 53
. A High-Level Overview On The Ant Colony
52 54
. Solution Construction
521 55
. . Construction Tree
522 56
. . Pheromone Trails
523 57
. . Heuristic Information
524 58
. . Probabilistic Vertex Elimination
53 60
. Pheromone Update
531 60
. . Pheromone Deposition
532 63
. . Pheromone Evaporation
54 64
. Local Search
541 64
. . Hill Climbing
542 64
. . Iterated Local Search