Centralized Online Routing for Deterministic Quality of Service in Packet Switched Networks

173 Pages·2017·3.97 MB·English

Technische Universität München
Lehrstuhl für Kommunikationsnetze
Centralized Online Routing
for Deterministic Quality of Service
in Packet Switched Networks
Jochen Walter Guck, M.Sc.
Vollständiger Abdruck der von der Fakultät Elektrotechnik und Informations-
technik der Technischen Universität München zur Erlangung des akademischen
Grades eines
Doktor-Ingenieurs (Dr.-Ing.)
genehmigten Dissertation.
Vorsitzender: Prof. Dr. Andreas Herkersdorf
Prüfer der Dissertation: 1. Prof. Dr.-Ing. Wolfgang Kellerer
2. Prof. Martin Reisslein, Ph.D.
Die Dissertation wurde am 11.01.2018 bei der Technischen Universität München
eingereicht und durch die Fakultät für Elektrotechnik und Informationstechnik
am 30.04.2018 angenommen.
ii
Centralized Online Routing
for Deterministic Quality of Service
in Packet Switched Networks
Jochen Walter Guck, M.Sc.
18. Juni 2018

Abstract
The main purpose of industrial networks is to transmit critical messages (e.g.,
the control signals for large automated manufacturing plants). Deterministic
real-time Quality of Service (QoS) is a key requirement for many of these critical
messages Proprietary industrial communication technologies have been deve-
loped to provide this strict QoS. These proprietary technologies are typically
costly and lack a common accepted standardized communication interface. This
work takes up the original ideas from industrial Ethernet of using commodity
hardware to realize industrial real-time communication. To achieve this, mode-
ling techniques have been developed that enable the provision of deterministic
real-time communication using commodity hardware. In addition, optimization
strategies were designed and evaluated, which maximize the number of served
connections.
In this Thesis, the implementation of a centralized deterministic Quality of
Service Framework is presented. It was developed for the industrial real-time
communicationusecase.Toprovidethistypeofcommunication,adeterministic
end-to-end delay path is needed. To enable fast online routing capabilities in
packet-switched networks, a function split has been introduced. This divides
the global optimization problem into three independent optimization problems,
namelytheroutingproblem,thecostfunctiondesign,andtheresourceallocation
problem. These three issues work on the basis of a network resource model. In
this work, several deterministic network resource models are presented.
To evaluate the centralized deterministic Quality of Service control framework,
a stand-alone evaluation of all components was not enough to determine the
best system performance. We use a Monte Carlo-based simulation to create a
record of system configurations. For these configurations, the maximum traffic
intensity and life-cycle time were calculated. The resulting data set was used to
identify a high performance configuration for maximum traffic intensity (more
than 1000 connections on average) and a suitable computational effort (about
one hundred requests per second).
These results show that the implemented centralized deterministic quality of
service control framework based on commodity hardware meets industrial
requirements.
iii
iv
Zusammenfassung
Der Hauptzweck von industriellen Netzwerken besteht darin, kritische Nach-
richten(z.B.dieSteuerungssignalefürgroßeautomatisierteProduktionsanlagen)
zuübertragen.DeterministischeEchtzeitQualityofService(QoS)isteineSchlüs-
selanforderung für viele dieser kritischen Nachrichten. Proprietäre industrielle
Kommunikationstechnologien wurden entwickelt, um diese strikte QoS bereit-
zustellen. Diese proprietären Technologien sind typisch kostenintensiv und es
fehlt ein einheitliches, akzeptiertes und standardisiertes Kommunikationsinter-
face. Diese Arbeit greift die ursprünglichen Ideen des industriellen Ethernet der
Nutzung von Commodity Hardware auf, um industrielle Echtzeitkommuni-
kation zu realisieren. Um dies zu erreichen, wurden Modellierungstechniken
entwickelt, die die Bereitstellung von deterministischer Echtzeitkommunika-
tion, unter Verwendung von Commodity Hardware, ermöglicht. Zusätzlich
wurden Optimierungsstrategien entworfen und evaluiert, welche die Anzahl
der Echtzeitverbindungen maximieren.
Die vollständige Implementierung eines zentralisierten deterministischen Quali-
ty of Service Frameworks wird in dieser Arbeit vorgestellt. Es wurde für den
industriellen Echtzeitkommunikationsanwendungsfall entwickelt. Um diese
Art von Kommunikation bereitzustellen wird ein Pfad mit deterministischer
Ende-zu-Ende-Verzögerung benötigt. Um schnelle Online-Routing-Fähigkeiten
in paketvermittelten Netzen zu ermöglichen, wurde der Funktionssplit einge-
führt. Dieser unterteilt das globale Optimierungsproblem in drei unabhängige
Optimierungsprobleme, nämlich das Routing-Problem, das Kostenfunktions-
design und das Ressourcenzuordnungsproblem. Diese drei Probleme arbeiten
auf der Grundlage eines Netzwerkressourcenmodells. In dieser Arbeit wurden
mehrere deterministische Netzwerkressourcenmodelle vorgestellt.
Um das zentralisierte deterministische Quality of Service-Kontrollframework
zu bewerten, reichte eine eigenständige Evaluierung aller Komponenten nicht
aus, um die beste Systemleistung zu ermitteln. Eine Monte-Carlo-basierte Simu-
lation wurde verwendet, um einen Datensatz von Systemkonfigurationen zu
erstellen. Für diese Konfigurationen wurden die maximale Verkehrsintensität
und die Lebenszyklus-Laufzeit berechnet. Der resultierende Datensatz wurde
verwendet, um eine Konfiguration mit einer hohen Leistung hinsichtlich der
maximalen Verkehrsintensität (mehr als 1000 Verbindungen im Durchschnitt)
und eines geeigneten Berechnungsaufwands (ungefähr hundert Anfragen pro
v
Sekunde) zu identifizieren.
Die Ergebnisse der Evaluation zeigen, dass die Implementierung eines zentrali-
sierten deterministischen Quality of Service-Kontrollframeworks für auf Basis
von Commodity Hardware möglich ist.
vi
Contents
1 Introduction 1
1.1 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Industrial QoS Framework 7
2.1 Context: Industrial QoS Framework . . . . . . . . . . . . . . . . . . 7
2.1.1 Ethernet/IP-based QoS . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.1.1.1 Integrated Services (IntServ) . . . . . . . . . . . . . . . . . . . . . . 8
2.1.1.2 Differentiated Services (DiffServ) . . . . . . . . . . . . . . . . . . . . 9
2.1.1.3 Queue Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1.4 Active Queue Management (AQM) . . . . . . . . . . . . . . . . . . 11
2.1.1.5 Traffic Shaping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.2 Industrial Ethernet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.3 Time Sensitive Networking (TSN) . . . . . . . . . . . . . . . . . . . 12
2.1.4 Software Defined Networking (SDN) . . . . . . . . . . . . . . . . . 14
2.2 Putting It All Together . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Formal Problem Formulation . . . . . . . . . . . . . . . . . . . . . . 17
2.4 Function Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5 Building Blocks for Implementing the Function Split . . . . . . . . 20
3 State of the Art Analysis 25
3.1 Centralized QoS Networking Frameworks . . . . . . . . . . . . . . 25
3.1.1 High-Level Architectural Proposals . . . . . . . . . . . . . . . . . . 25
3.1.2 OpenFlow Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1.3 TDMA Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.1.4 QoS Frameworks based on Data Rate Allocation . . . . . . . . . . 26
3.1.5 Measurement-based Frameworks . . . . . . . . . . . . . . . . . . . 26
3.1.6 Model-based Frameworks . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Centralized Routing Algorithms . . . . . . . . . . . . . . . . . . . . 27
3.2.1 Basic Definitions for QoS Routing Algorithms . . . . . . . . . . . . 27
3.2.1.1 Definitions and Terminology . . . . . . . . . . . . . . . . . . . . . . 27
vii
Contents
3.2.1.2 Goals of QoS Routing . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.2 Overview of Shortest Path (SP) Algorithms . . . . . . . . . . . . . 31
3.2.3 Overview of k Shortest Path (kSP) Algorithms . . . . . . . . . . . . 32
3.2.4 Survey of (Multi-)Constrained Shortest Path (Constrained Short-
est Path (CSP) and Multi-Constrained Shortest Path (MCSP))
Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.4.1 Elementary Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.4.2 Algorithms Based on a Priority Queue . . . . . . . . . . . . . . . . 34
3.2.4.3 Algorithms Based on Bellman-Ford (BF) . . . . . . . . . . . . . . . 35
3.2.4.4 Algorithms Based on the Lagrange Relaxation . . . . . . . . . . . 36
3.2.4.5 Algorithms Following the Least-Cost (LC) and Least-Delay (LD)
Paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2.4.6 Other Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4 Network Resource Modeling: Deterministic Services (DetServ) 49
4.1 Interface of the Network Model . . . . . . . . . . . . . . . . . . . . 50
4.2 Network Calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.1 Basics: Theory Principles . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.2 Selected Results: Priority Scheduling . . . . . . . . . . . . . . . . . 53
4.3 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.4 Requirement for the Models: Fixed Per-Queue Delay . . . . . . . 56
4.5 Multi-Hop Model (MHM) . . . . . . . . . . . . . . . . . . . . . . . . 56
4.5.1 Network Calculus Developments . . . . . . . . . . . . . . . . . . . 57
4.5.2 Model Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.5.3 Limitations of the Multi-Hop Model . . . . . . . . . . . . . . . . . . 58
4.6 Threshold-Based Model (TBM) . . . . . . . . . . . . . . . . . . . . . 60
4.6.1 Model Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.6.2 Shortcomings of the Threshold-Based Model (TBM) . . . . . . . . 62
4.7 Computation of the Burst Increase . . . . . . . . . . . . . . . . . . . 63
4.8 Input Link Shaping (ILS) . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.8.1 Towards Lower Bounds . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.8.2 Input Link Shaping (ILS) Does Not Contradict Network Calculus 65
4.8.3 Adapting the Multi-Hop Model (MHM) . . . . . . . . . . . . . . . 66
4.8.4 Adapting the TBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.8.5 Impact on the Performance of the MHM . . . . . . . . . . . . . . . 70
4.8.6 Impact on the Performance of the TBM . . . . . . . . . . . . . . . . 70
5 Optimization Problems 73
5.1 Routing Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.2 Cost Function design Problem . . . . . . . . . . . . . . . . . . . . . 75
5.2.1 Static Cost Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
viii