Framework zur Entwicklung, Bewertung und Analyse von Computer-Vision-Anwendungen im

186 Pages·2014·8.8 MB·English

by  Stallkamp, Johannes

Framework zur Entwicklung, Bewertung
und Analyse von
Computer-Vision-Anwendungen im
Kontext umfelderfassender
Fahrerassistenzsysteme
Dissertation
zur Erlangung des Grades eines
Doktor-Ingenieurs
der Fakultät
für Elektrotechnik und Informationstechnik
an der Ruhr-Universität Bochum
Vorgelegt von
Johannes Stallkamp
geboren in Georgsmarienhütte
8. Oktober 2014
Berichter: Prof. Dr. Gregor Schöner
PD Dr. Rolf Würtz
2
Inhaltsverzeichnis
1 Einleitung 1
1.1 ComputerVision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 AnwendungsgebietederComputerVision . . . . . . . . . . . . . . . . . . . 2
1.3 SicherheitimStraßenverkehr . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Problemstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5 BeitragdieserArbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 AufbaudieserArbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Fahrerassistenzsysteme 9
2.1 Fahraufgabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Fahrprozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 DefinitiondesBegriffsFahrerassistenzsystem . . . . . . . . . . . . . . . . . 11
2.4 UmfelderfassungimFahrzeug . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 SensorenzurUmfelderfassung . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Evaluierung im Entwicklungsprozess 25
3.1 ZielederEvaluierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 DasallgemeineV-Modell. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 V-ModellzurEntwicklungvonFahrerassistenzsystemen . . . . . . . . . . 28
3.4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4 Struktur und Anforderungen der Evaluierung 35
4.1 MakromodellzurSystembewertung . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 Bewertungsszenarien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.3 AnforderungenandenEvaluierungsprozess . . . . . . . . . . . . . . . . . . 37
4.4 Eingabedaten. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.5 Referenzdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6 Bewertungsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.7 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5 Anforderungen an das Framework 49
5.1 AufgabenübergreifendesRahmensystem . . . . . . . . . . . . . . . . . . . . 49
5.2 AufgabenspezifischeAnforderungen. . . . . . . . . . . . . . . . . . . . . . . 50
5.3 Nutzerprofile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.4 IntegrationvonAlgorithmik. . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.5 ErfassungundBereitstellungderSensordaten . . . . . . . . . . . . . . . . 53
i
Inhaltsverzeichnis
5.6 ErzeugungundBereitstellungderReferenzdaten. . . . . . . . . . . . . . . 60
5.7 IntegrationvonBewertungsverfahren. . . . . . . . . . . . . . . . . . . . . . 62
5.8 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6 Die Entwicklungs- und Analyseumgebung ADAF 65
6.1 Designziele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.2 ModulbasierteArchitektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.3 Datenfluss. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.4 Datenerfassungund-wiedergabe . . . . . . . . . . . . . . . . . . . . . . . . 77
6.5 Annotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
6.6 IntegrationvonAlgorithmik. . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.7 Bewertung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.8 Gesamtbetrachtung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.9 TechnischeRealisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.10 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
7 Anwendungsfälle 109
7.1 AufnahmebeihoherDatenrateundSensordatenfusion . . . . . . . . . . . 109
7.2 AutomatisierungderAnnotation . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.3 EvaluierungeinerFahrspurerkennung . . . . . . . . . . . . . . . . . . . . . 117
7.4 MachbarkeitsstudiezurÜbertragbarkeitvonvorhandenenFASaufMotor-
räder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.5 ExemplarischeRealisierungeinesSpurhalteassistenten . . . . . . . . . . . 131
7.6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
8 Erstellung eines Verkehrszeichenbenchmarks 141
8.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8.2 Benchmarkdesign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8.3 ErstellungdesDatensatzes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
8.4 DerDatensatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.5 VerwendungdesDatensatzes . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
8.6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
9 Fazit 163
A Lebenslauf 167
ii
Abkürzungen
ABS Antiblockiersystem
ACC Abstandsregeltempomat(AdaptiveCruiseControl)
ADAF AdvancedDevelopment&AnalysisFramework
ADAS AdvancedDriverAssistanceSystem
ADASIS AdvancedDriverAssistanceSystemsInterfaceSpecification
CAN ControllerAreaNetwork.Feldbus
CMOS ComplementaryMetalOxideSemiconductor
CoP CodeofPractice
CSV Comma-separatedValues.Dateiformat
CV ComputerVision
DAS DriverAssistanceSystem
DGPS DifferentialGlobalPositioningSystem
ESP ElektronischesStabilitätsprogramm
FAS Fahrerassistenzsystem
FIR Ferninfrarot
FOT Feldversuch(FieldOperationalTest)
fps BilderproSekunde(framespersecond)
GPS GlobalPositioningSystem
GT GroundTruth
GTSDB GermanTrafficSignDetectionBenchmark
GTSRB GermanTrafficSignRecognitionBenchmark
HDF HierarchicalDataFormat.Dateiformat
HOG HistogramofOrientedGradients
iii
Inhaltsverzeichnis
IJCNN IEEEInternationalJointConferenceonNeuralNetworks
JNI JavaNativeInterface
LCA Spurwechselassistent(LaneChangeAssistant)
LDW Spurverlassenswarner(LaneDepartureWarning)
Lidar LightDetectionandRanging
LKA Spurhalteassistent(LaneKeepingAssistant)
LRR Fernbereichsradar(LongRangeRadar)
MAE MittlererabsoluterFehler(MeanAbsoluteError)
MMI Mensch-Maschine-Interaktion
NIR Nahinfrarot
PPM PortablePixmap.Dateiformat
Radar RadioDetectionandRanging
RGB Red-Green-Blue.Farbraum
RMSE WurzeldesmittlerenquadratischenFehlers(RootMeanSquareError)
ROI RegionofInterest
SIL Software-in-the-loop
SRR Nahbereichsradar(ShortRangeRadar)
SUT SystemunterTest
SWIG SimplifiedWrapperandInterfaceGenerator
ToF Time-of-Flight
TRS TrafficSimulation
TSR Verkehrszeichenerkennung(TrafficSignRecognition)
USB UniversalSerialBus
XML ExtendedMarkupLanguage.Dateiformat
iv
Abbildungsverzeichnis
1.1 VisuelleWahrnehmungscheintfürdenMenschensehreinfachzusein. . 1
1.2 GetötetebeiVerkehrsunfälleninDeutschland. . . . . . . . . . . . . . . . . 4
2.1 DerFahrprozessalsprimäreFahraufgabe . . . . . . . . . . . . . . . . . . . 10
2.2 FahrzeugumfeldnachFahrsituationen . . . . . . . . . . . . . . . . . . . . . 13
2.3 AssistenzsystemefürNachtfahrt . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4 Spurwechselassistent. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.5 Lidar-Systeme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.6 MitToF-KameraerfassteSzene . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.7 VideokameraDelphiIFV-200mitintegriertenAssistenzfunktionen . . . . 20
3.1 AllgemeinesV-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 IterativeAnwendungdesV-Modells . . . . . . . . . . . . . . . . . . . . . . . 27
3.3 AngepasstesV-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 V-ModellzurEntwicklungderSoftwareanteileamGesamtprojekt . . . . 29
4.1 MakromodellzurSystembewertung . . . . . . . . . . . . . . . . . . . . . . 35
4.2 VerschiedeneVerkehrssituationen . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 SynthetischeVerkehrsszenenunterschiedlicherKomplexität . . . . . . . . 43
5.1 EinbettungdesTestobjektsindenTestrahmen . . . . . . . . . . . . . . . . 52
5.2 BeispielfürdasZeitverhaltenunterschiedlicherSensoren . . . . . . . . . 55
6.1 BeispielhafteDarstellungderADAF-Benutzeroberfläche . . . . . . . . . . 65
6.2 EinVerarbeitungspluginmiteinemEingangundvierAusgängen . . . . . 69
6.3 InteraktiveVerknüpfungvonPlugins . . . . . . . . . . . . . . . . . . . . . . 72
6.4 DieKonfigurationderPluginserfolgtimFensterPluginProperties. . . . . 72
6.5 DatenflussgraphimADAF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.6 AbhängigkeitsgraphfürdieApplikationinAbbildung6.5 . . . . . . . . . 76
6.7 SerialisierungparallelerfassterSensordateninADAF . . . . . . . . . . . . 78
6.8 VerarbeitungvonaufgezeichnetenDatenpaketen . . . . . . . . . . . . . . 81
6.9 DefinitionvonzweiAnnotationsattributeninXML. . . . . . . . . . . . . . 83
6.10 BenutzeroberflächedesglobalenAnnotationsplugins . . . . . . . . . . . . 84
6.11 BenutzeroberflächedesintervallbasiertenAnnotationsplugins. . . . . . . 85
6.12 ObjektbasierteAnnotationmitsynchronisiertenSensordaten . . . . . . . 87
6.13 PluginalsAdapterzwischenADAFundAlgorithmus . . . . . . . . . . . . 89
6.14 WichtigeSchnittstellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
v
Abbildungsverzeichnis
6.15 VerarbeitungvonDatenmehrererSensoren . . . . . . . . . . . . . . . . . . 94
6.16 EinbindungundKonfigurationvonEvaluatoren . . . . . . . . . . . . . . . 97
6.17 DarstellungvonErgebnissenalsZeitreihendiagramm . . . . . . . . . . . . 102
6.18 DarstellungvonErgebnissenalsTabelle . . . . . . . . . . . . . . . . . . . . 102
6.19 RealisierungdesTestrahmensinAbbildung5.1durchPlugins . . . . . . 105
7.1 AutomatisierteAnnotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
7.2 KontrolleundKorrekturderErgebnisse . . . . . . . . . . . . . . . . . . . . 115
7.3 VisualisierungvonTracksalsTrajektorie . . . . . . . . . . . . . . . . . . . . 116
7.4 VisualisierungderdetektiertenFahrspurimKamerabild . . . . . . . . . . 118
7.5 PlugingraphzurBewertungderFahrspurerkennung. . . . . . . . . . . . . 121
7.6 ZeitreihendiagrammderSpurkrümmung . . . . . . . . . . . . . . . . . . . 122
7.7 ErgebnisdarstellungmitResultTableDisplay-Plugin . . . . . . . . . . . . . 122
7.8 InADAFgeladeneSequenzlistederproblematischenStreckenabschnitte 123
7.9 BMWK1600GTmitAufzeichnungssystem . . . . . . . . . . . . . . . . . . 126
7.10 KorrekturrotationdesKamerabildesaufBasisdesRollwinkels . . . . . . 127
7.11 AusschnittausdemPlugingraph . . . . . . . . . . . . . . . . . . . . . . . . . 128
7.12 DurchWindschildverursachteUnschärfenimRandbereich . . . . . . . . 129
7.13 BewegungsunschärfedurchVibrationdesMotorradsinderDämmerung 129
7.14 RegelkreisFahrer(assistenzsystem)–Fahrzeug–Umwelt . . . . . . . . . . . 132
7.15 KonkretisierungendesRegelkreises . . . . . . . . . . . . . . . . . . . . . . . 134
7.16 VerarbeitungskettedesLKA-Systems . . . . . . . . . . . . . . . . . . . . . . 134
7.17 GrößenzurBestimmungderBildzeileabhängigvonderVorausschauweite 135
7.18 GrafischeDarstellungdesMessbereichsundderdetektiertenAbweichung 135
7.19 VergleichderlateralenPositiondesFahrzeugs . . . . . . . . . . . . . . . . 137
7.20 VergleichdesLenkwinkels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
8.1 EinigeBeispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
8.2 EinVerkehrszeichentrack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.3 AufteilungdesDatensatzes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
8.4 VerzeichnisstrukturderTeildatensätze . . . . . . . . . . . . . . . . . . . . . 146
8.5 BeispielbilderausdenVideodaten. . . . . . . . . . . . . . . . . . . . . . . . 147
8.6 AufnahmeszenarioinADAF. . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
8.7 ObjektbasierteAnnotationvonVerkehrszeicheninADAF. . . . . . . . . . 151
8.8 ApplikationsprofilzurExtraktionderEinzelbilder . . . . . . . . . . . . . . 152
8.9 VerkehrszeichenklassenimGTSRB . . . . . . . . . . . . . . . . . . . . . . . 154
8.10 RelativeKlassenhäufigkeitenimDatensatz . . . . . . . . . . . . . . . . . . 154
8.11 DatensatzfürRunde1desGTSRB-Wettbewerbs . . . . . . . . . . . . . . . 155
8.12 KonfusionsmatrixaufderWebseitezurAnalysederErgebnisse . . . . . . 157
8.13 Projektiondes„HOG1“TrainingsdatensatzesaufdieerstenzweiHaupt-
komponenten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
8.14 GTSRB-Webseite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
vi
Tabellenverzeichnis
2.1 EigenschaftenvonUmfeldsensoren . . . . . . . . . . . . . . . . . . . . . . . . 22
4.1 VergleichvonrealenundsynthetischenDaten . . . . . . . . . . . . . . . . . 44
5.1 ZuunterscheidendeFällebeiderVerwendungmehrererSensoren . . . . . 56
6.1 VerfügbareAttributstypenzurAnnotation . . . . . . . . . . . . . . . . . . . . 83
6.2 KonfigurationsmöglichkeitenfürAnnotationattribute. . . . . . . . . . . . . 83
6.3 ÜbersichtüberdiewichtigstenEreignisse . . . . . . . . . . . . . . . . . . . . 93
7.1 GenauigkeitderFahrspurerkennung . . . . . . . . . . . . . . . . . . . . . . . 123
7.2 AnalysederZeitabschnitteohneSpurschätzung . . . . . . . . . . . . . . . . 124
7.3 VerwendeteSensorik. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
7.4 ErkennungsratenderVerkehrszeichenerkennungfürgemeinsambefahrene
Streckenabschnitte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7.5 VerfügbarkeitderFahrspurerkennung . . . . . . . . . . . . . . . . . . . . . . 130
7.6 BewertungdesSpurhalteassistentenfürz=15m . . . . . . . . . . . . . . . 137
vii