Methodes stochastiques - Appendices

106 Pages·1999·0.89 MB·French

UNIVERSITE´ DE LIE`GE
FACULTE´ DES SCIENCES APPLIQUE´ES
A
PPENDICES COMMUNS AUX COURS
The´orie de l’information et du codage
Apprentissage inductif applique´
Introduction aux processus stochastiques
Louis WEHENKEL
Octobre1999. Versionprovisoire.
Copyright c Universite´deLie`ge,Belgique.1998
(cid:13)
iii
Table des mati(cid:18)eres
A. MOTIVATION A.1
B. RAPPELSDEPROBABILITES B.1
B.1 Probabilit(cid:19)es versusstatistique B.1
B.2 Notion deprobabilit(cid:19)e -Interpretations B.2
B.2.1 Intuitivement B.2
B.2.2 Formellement B.3
B.2.2.1 (cid:27)-Alg(cid:18)ebre des(cid:19)ev(cid:19)enements B.4
B.2.2.2 Probabilit(cid:19)es B.4
B.2.2.3 Propri(cid:19)et(cid:19)esremarquables B.5
B.2.2.4 Th(cid:19)eor(cid:18)eme desprobabilit(cid:19)es totales B.5
B.2.3 Di(cid:11)(cid:19)erentes interpr(cid:19)etationsdela notionde probabilit(cid:19)e B.5
B.2.3.1 Le pointdevueobjectiviste B.6
B.2.3.2 Le pointdevuesubjectiviste B.6
B.2.4 Ensemblesin(cid:12)nis,voire non-d(cid:19)enombrables B.7
B.3 El(cid:19)ementsdebaseducalcul deprobabilit(cid:19)es B.8
B.3.1 Loi deprobabilit(cid:19)e conditionnelle B.8
B.3.2 Surlanotion d’ind(cid:19)ependance B.9
B.3.3 FormulesdeBayes B.10
B.4 Espaceproduit B.11
B.4.1 D(cid:19)e(cid:12)nition B.11
B.4.2 S(cid:19)eriesd’(cid:19)epreuvesidentiquesetind(cid:19)ependantes B.12
B.4.3 Factorisation B.12
B.4.4 Marginalisation B.12
B.5 Variablesal(cid:19)eatoires B.12
B.5.1 D(cid:19)e(cid:12)nition g(cid:19)en(cid:19)erale B.12
B.5.2 Fonctiond’unevariable al(cid:19)eatoire B.13
B.5.3 Variableal(cid:19)eatoire discr(cid:18)ete B.13
B.5.4 Variables al(cid:19)eatoires r(cid:19)eelles B.13
B.5.4.1 Fonction der(cid:19)epartition B.13
B.5.4.2 Variable al(cid:19)eatoire (r(cid:19)eelle) continue B.14
B.5.4.3 Casg(cid:19)en(cid:19)eral B.14
B.5.5 Ind(cid:19)ependancededeuxvariablesal(cid:19)eatoires B.14
B.5.6 Esp(cid:19)erancemath(cid:19)ematique B.15
B.5.7 Varianceet(cid:19)ecart-type B.16
1
2
B.5.7.1 In(cid:19)egalit(cid:19)e deJensen B.17
B.6 Variablesal(cid:19)eatoires complexes B.17
B.7 Couples dev.a. etconditionnement B.17
B.7.1 Casdiscret B.17
B.7.1.1 Lois associ(cid:19)ees B.17
B.7.1.2 Moments conditionnels B.18
B.7.2 Variables continues B.19
B.7.2.1 Unedesdeuxvariablesestcontinue B.19
B.7.2.2 Casle plusg(cid:19)en(cid:19)eral B.21
B.8 Lois deprobabilit(cid:19)e d’usagecourant B.22
B.8.1 Lois discr(cid:18)etes B.22
B.8.1.1 Uniforme B.22
B.8.1.2 Bernouilli B.22
B.8.1.3 Binomiale B.22
B.8.1.4 Poisson B.22
B.8.2 Lois continues B.22
B.8.2.1 Uniforme B.22
B.8.2.2 Exponentielle B.23
B.8.2.3 Gaussienne(ounormale) B.23
B.9 Vecteursal(cid:19)eatoires B.23
B.9.1 G(cid:19)en(cid:19)eralit(cid:19)es surles v.a. vectorielles B.23
B.9.2 Vecteursal(cid:19)eatoires Gaussiens B.24
B.10 Suitesdev.a. et notionsdeconvergence B.26
B.10.1 Convergenceenprobabilit(cid:19)e B.26
B.10.2 Convergencepresquesu^reouconvergence forte B.26
B.10.3 Convergenceenmoyenne d’ordrep B.26
B.10.4 Convergenceenenloi B.26
B.11 Th(cid:19)eoremesdeconvergence B.26
B.11.1 Moivre-Laplace B.27
B.11.2 Th(cid:19)eor(cid:18)emecentral-limite B.27
B.11.3 Lois desgrandsnombres B.27
B.11.3.1 Loi faible desgrandsnombres B.27
B.11.3.2 Loi fortedesgrandsnombres B.27
C. RAPPELSDESTATISTIQUE C.1
C.1 Introduction C.1
C.2 Notion d’echantillon statistique C.2
C.3 Th(cid:19)eoriedel’(cid:19)echantillonnage C.2
C.3.1 Fonctionder(cid:19)epartitionempirique d’un(cid:19)echantillon C.2
C.3.2 Distributionsd’(cid:19)echantillonnage decertainsmoments C.4
C.3.2.1 Moyenne d’(cid:19)echantillon C.4
C.3.2.2 Probabilit(cid:19)e d’un(cid:19)ev(cid:19)enement C.4
C.3.2.3 Varianceempirique C.5
C.3.2.4 Vecteural(cid:19)eatoire Gaussien C.5
C.4 Estimation C.6
C.4.1 Qualit(cid:19)es desestimateursponctuels C.7
Tabledesmati(cid:18)eres 3
C.4.2 M(cid:19)ethodedumaximum devraisemblance C.10
C.4.3 Minimisation durisque C.12
C.4.4 Robustesse C.12
C.5 R(cid:19)e-(cid:19)echantillonnage, sondage,et simulation C.12
C.5.1 R(cid:19)e-(cid:19)echantillonnage C.12
C.5.2 Sondage C.13
C.5.3 M(cid:19)ethodedeMonte-Carlo C.15
C.5.3.1 M(cid:19)ethode deMonte-Carlo de base C.15
C.5.3.2 R(cid:19)eduction dela variance C.16
C.5.3.3 Echantillonnage strati(cid:12)(cid:19)e C.16
C.5.3.4 Variablesdecontr^ole C.16
C.6 R(cid:19)egression etmod(cid:18)eles lin(cid:19)eaires C.16
C.6.1 R(cid:19)egression simple C.17
C.6.2 R(cid:19)egression multiple C.17
D. CALCUL VECTORIELETMATRICIEL D.1
D.1 Introduction D.1
D.2 Espaceseuclidiens D.1
D.2.1 D(cid:19)e(cid:12)nitions D.1
D.2.2 Produitscalaire,normeetdistance D.2
D.2.3 D(cid:19)ependanceetind(cid:19)ependancelin(cid:19)eaire D.4
D.2.4 Sous-espaceslin(cid:19)eaires D.4
D.2.5 Vecteursetsous-espacesorthogonaux D.5
D.3 Fonctionnelles, applications etop(cid:19)erateurslin(cid:19)eaires D.5
D.3.1 Fonctionnelles etproduitscalaire D.5
D.3.2 Applications lin(cid:19)eaires D.6
D.3.3 Op(cid:19)erateurlin(cid:19)eaire D.6
D.4 Fonctions convexes dansunespaceeuclidien D.6
D.5 Rappels decalcul matriciel D.7
D.5.1 D(cid:19)e(cid:12)nitions etnotations D.7
D.5.2 Espacesvectoriels dematrices D.8
D.5.3 Multiplication dedeuxmatrices D.8
D.5.4 D(cid:19)eterminants D.9
D.5.5 Matrices carr(cid:19)ees D.12
D.5.6 Matrices hermitiennesetunitaires D.17
D.5.7 Matrices deToeplitz D.18
D.5.8 Matrices hermitiennesd(cid:19)e(cid:12)niespositives D.19
E. STRUCTURESALGEBRIQUESDISCRETES E.1
E.1 Introduction E.1
E.2 Groupescommutatifs E.1
E.2.1 Structuredegroupecommutatif E.1
E.2.2 Sous-groupes E.2
E.2.3 Cosets E.3
E.2.4 Factorisation E.3
E.2.5 Congruencemodulo p E.3
E.2.6 Produitcart(cid:19)esiendegroupes E.4
4
E.3 Anneauxetcorps E.4
E.3.1 Corps E.4
E.3.2 Anneaux E.4
E.3.3 Quelquespropri(cid:19)et(cid:19)es(cid:19)el(cid:19)ementaires E.5
E.3.4 Les anneauxet corpsZp E.5
E.4 Espaceslin(cid:19)eaires E.6
E.4.1 Sous-espaceslin(cid:19)eaires E.6
E.4.2 Orthogonalit(cid:19)e E.7
E.4.3 Matrices E.9
E.5 CorpsdeGallois E.9
F. ESPACESLINEAIRESTOPOLOGIQUES F.1
F.1 Introduction F.1
F.2 El(cid:19)ementsdetopologie F.1
F.2.1 Comparaisonetconstructiondetopologies F.2
F.2.2 Voisinage d’unpoint F.3
F.2.3 Pointsisol(cid:19)es etpoints d’accumulation F.3
F.2.4 Ensemblesferm(cid:19)es F.3
F.2.5 Int(cid:19)erieur,fermeture,fronti(cid:18)ere F.4
F.2.6 Convergence F.4
F.2.7 Continuit(cid:19)e F.4
F.2.8 Typesd’espacestopologiques F.4
F.2.9 Espacesm(cid:19)etriquesettopologie naturelle F.5
F.3 Espaceslin(cid:19)eaires topologiques F.8
F.3.1 Espaceslin(cid:19)eaires F.8
F.3.2 Propri(cid:19)et(cid:19)esimportantes F.9
F.3.3 Basesvectorielles F.10
F.3.4 Espaceslin(cid:19)eaires topologiques F.12
F.3.5 Espaceslin(cid:19)eaires norm(cid:19)es F.12
F.3.6 Sous-espacelin(cid:19)eaire topologique F.12
F.3.7 EspacesdeBanach F.14
F.3.8 Produitscalaire etespacesdeHilbert F.15
F.4 Analysefonctionnelle enespacesde Hilbert F.16
Bibliographie 1
A MOTIVATION
Lebutdecesappendicesestdecollationneruncertainnombred’e´le´mentsducalculdesprobabilite´s,destatistique
et d’alge`breline´aire dont la bonne maˆıtrise est ne´cessaire pour la compre´hensiondes me´thodes stochastiques,
couvertesdanslescourssuivants
The´oriedel’informationetducodage
Introductionauxprocessusstochastiques
Apprentissageinductifapplique´
Applicationsdesme´thodesstochastiques
L’expe´riencemontrequecesmatie`res,enseigne´esdanslespremie`resanne´esa` l’universite´,sontsouventmal
assimile´eset/ououblie´es,sansdoutefauted’avoire´te´ misesenpratiquesuffisammentrapidementapre`savoire´te´
apprises.
Alorsque,traditionnellement,peudeplacee´taitlaisse´eauxme´thodesstochastiquesdansl’enseignementdes
inge´nieurs, ces me´thodes sont aujourd’hui utilise´es dans la tre`s grande majorite´ des activite´s humaines. Plus
particulie`rement,lesme´thodesstochastiquessontne´cessairespourlamode´lisation,l’analyseetlaconceptiondes
syste`mes complexestels queles re´seaux informatiqueset e´lectriques. Elles jouente´galementun grandroˆle en
e´conomieetenfinance,ainsiquedanslessciencesnaturelles.
Organisation des appendices
Nous avons organise´ ces appendices de rappels de fac¸on modulaire, d’une part afin de mettre clairement en
e´videncelesdiffe´rentesdisciplines, d’autrepart,afindefaciliterlamisea` jourprogressivedecertainesparties,
susceptiblesdedevoirs’adapterdanslefutur.
Lesdeuxpremie`resappendicestraitentrespectivementducalculdesprobabilite´setdenotionse´le´mentairesde
statistique. Nousavonsintentionnellementse´pare´ lesrappelsdecalculdeprobabilite´sdesrappelsdestatistique,
defac¸ona` mettreene´videncedeuxapprochestre`sdiffe´rentes. Eneffet,lecalculdesprobabilite´sestunedisci-
plinepurementde´ductive,tellequed’autresvoletsdesmathe´matiquesdontilfaitpartie.Meˆmesil’interpre´tation
delanotiondeprobabilite´estsujettea`de´bat,lathe´orieabstraiteenestassezsimpledupointdevueconceptuel.
Il en est tout autrement en ce qui concerne la statistique. Il s’agit d’une discipline extreˆmement vaste, d’une
A.1
A.2
part, tre`s vivante en ce qui concerne la recherche, d’autre part. De plus, et c’est sans doute ce qui importe le
plus, elle ne peut se dissocier des proble`mes re´els auxquels elle s’applique. La statistique consiste en effet a`
recueillirdesdonne´essurdessyste`mesre´elseta`lesinterpre´ter,cequine´cessite,certes,unebonnedosedesavoir
faire. Il s’en suit que l’apprentissage de la statistique passe certainement par la maˆıtrise du calcul des proba-
bilite´s,maissurtoutparlesapplicationsauxproble`mesre´els. Ilfaute´galementnoterleroˆletre`simportantjoue´
parl’informatique,dontlesde´veloppementsre´centsontre´volutionne´ lapratiquedelastatistiqueen permettant
le traitement d’ensembles de donne´es de tre`s grande taille et la mise en oeuvre d’algorithmes de plus en plus
sophistique´s.
Lesdeuxdernie`resappendicesfournissentrespectivementdesrappelsdecalculvectorieletmatriciel,etune
bre`veintroductionauxespacesdeHilbert.Nousnouscontentonsderappelerlesnotionsetre´sultatsfre´quemment
utilise´sdanslecadredesme´thodesstochastiques.
Il va de soi, que les notions traite´es dans ces appendices seront (re)introduites au fur et a` mesure des be-
soins dans le cadre des cours susmentionne´s. Cependant, il nous a semble´ utile de les pre´senter ici de fac¸on
inde´pendanteetconsistante.
Enfin,nousnousdevonsd’avertirlelecteurquenousavonsvolontairementrestreintaustrictene´cessaireles
sujets aborde´s dans ces appendices. Nous n’avons nullement la pre´tention de nous substituer a` la tre`s vaste
et souvent tre`s bonne litte´rature qui couvre de manie`re plus comple`te et plus syste´matique les sujets aborde´s
ici. Nousindiqueronsen lieu vouluquelquesre´fe´rencespermettantau lecteur inte´resse´ d’ensavoir plussur ce
domainepassionnant.
Le stochastique en g(cid:19)en(cid:19)eral
On faitappelaux me´thodesstochastiqueslorsqu’onest en pre´sencede phe´nome`nesqu’iln’estpaspossible ou
peu pratiqued’e´tudier de fac¸on de´taille´e et de´terministe. C’est notammentle cas lorsque les syste`mes e´tudie´s
pre´sententunetre`sgrandecomplexite´,oulorsqu’onnedisposequed’uneconnaissancepartielledeleurscarac-
te´ristiques.Lesme´thodesstochastiquespermettentalorsd’e´tudierlescomportementsenmoyenne,enmode´lisant
de fac¸on probabiliste les parties d’un syste`me qu’on ne souhaite pas ou qu’on ne peut pas de´crire en de´tails.
Les me´thodesstochastiquesfournissentles outils ne´cessaires pour de´duireles distributionsde probabilite´sdes
grandeursdesortieimportantes,enfonctiondecellesdesentre´esetdumode`le(de´terministeounon)dusyste`me.
Ellespermettentensuited’utiliseraumieuxcesinformationspourprendredesde´cisionsapproprie´es.
Pourquoi enseigner les m(cid:19)ethodes stochastiques aux ing(cid:19)enieurs ?
Lebesoindeme´thodesstochastiquesestreconnudepuisassezlongtemps(enseignementducalculdesprobabilite´s
etdesstatistiquesencandidatureinge´nieur,depuisquelquesde´cennies). Cependant,cetenseignementatre`speu
e´volue´aucoursdutemps,etsurtoutlevolumeassocie´estreste´constant.Ilapparaˆıtquelapartiethe´oriquerelative
aucalculdesprobabilite´sestmieuxassimile´eparlese´tudiants,alorsquelastatistiqueestassezviteoublie´e,ce
quitientaufaitqu’onnel’utilisepasassezparapre`s.
Si on fait un inventaire des travaux de fin d’e´tudes des inge´nieurs e´lectriciens (e´lectronique, informatique,
ge´nie e´lectrique) on se rend compte qu’uneproportion importante fait appel de fac¸on directe ou indirecte aux
me´thodesstochastiques.
Enfin, si on s’interroge sur le roˆle des futurs inge´nieurs, on se rend compte qu’on leur demande un esprit
critique et une capacite´ d’innovationde plus en plus grande. Or, il est reconnuque l’enseignementactuel des
inge´nieurs,quiestsurtoutbase´surleraisonnementde´ductif(appliquerdes“lois”ge´ne´ralesauxcasparticuliers),
tenda`e´toufferl’imaginationetlacre´ativite´.L’enseignementdustochastiqueapourpremierobjectifd’engendrer
une plus grande ouvertured’esprit et de renforcerla capacite´ de raisonnementinductif (c’est-a`-direa` tirer des
conclusionsinte´ressantesa`partirdecasparticuliers).Ilapparaˆıtdonccommesouhaitable,sinonne´cessaire,pour
renforcerlacapacite´d’innovationdesinge´nieurs.
Domaines de l’ing(cid:19)enieur (cid:19)electricien faisant appel au stochastique
Les te´le´communicationsreposentsur les me´thodesstochastiquesen ce qui concernel’optimisation des perfor-
mances,lecodage,etlefiltragedubruit.Enparticulier,leste´le´communicationsfontlargementappelautraitement
MOTIVATION A.3
dusignal, auxtechniquesd’optimisationdesperformancesdesyste`mesinformatiquesdistribue´s, a` lacompres-
sion et au codagede donne´es. Par exemple, dansun re´seau ATMchaqueconnexionse pre´sentesous la forme
d’unesuitevirtuellementuniquedecellulestransmises,quipeuteˆtrerepre´sente´ecommelare´alisationd’unpro-
cessusstochastique.Lesme´thodesstochastiquespermettentalorsd’e´tudierlesperformancesdusyste`melorsqu’il
est soumisa` diffe´rentstypesdetrafic (communicationste´le´phoniques,transfertsdedonne´esnume´riques,trafic
multimedia ). Ellespermettentaussil’optimisationducodagedesdonne´esdanslebutdeminimiserlespertes
d’informatio:n:s:suiteaubruitageencoursdetransmission.
Le traitementdu signal (filtrage, traitementde la parole et de signaux physiologiques, traitementd’images)
reposeengrandepartiesurdesme´thodesstochastiques. Enimageriespatiale,parexemple,cestechniquessont
utilise´espoure´liminerlebruitdesinformationsbrutescapte´esparleste´lescopesetainsiidentifierautomatique-
mentlescorpsstellaires. Enme´decine,ellespermettentl’interpre´tationautomatiquedesignauxphysiologiques
(e´lectrocardiogrammes,e´lectroence´phalogrammes)etfacilitentainsilasurveillancedesmalades.
La the´orie des syste`mes est une discipline ge´ne´rale qui est utilise´e pour l’e´tude et la conception d’une tre`s
grandediversite´ desyste`mes,quecesoitenme´canique,ene´lectricite´,ouencoreeninformatique. Unepartiede
lathe´oriedessyste`mes’inte´resseauxsyste`messtochastiquesquisontnotammentutilise´senestimationd’e´tatet
pourlaconceptiondesyste`mesauto-adaptatifs. L’estimationd’e´tat,permetdetirerlemeilleurprofitdesinfor-
mationsfourniespardiverscapteurs,notammentenfiltrantleserreursdemesuresetenpermettantla de´tection
de fonctionnementsanormaux de certains capteurs. Les syste`mes auto-adaptatifs sont capables d’adapter leur
strate´giedecommandeenfonctiondechangementsdescaracte´ristiquesdel’environnement,dusyste`mepilote´,
et/oudesesobjectifsdere´glage.
Eninformatiquedenombreusesquestionsfontdirectementappelauxme´thodesstochastiques: l’optimisation
desperformancesdessyste`mes, lacompressiondedonne´es,l’intelligenceartificielle, l’analysede donne´es,les
re´seauxdeneurones... Parexemple,l’analysededonne´esestutilise´eparcertainsconstructeursautomobilesafin
de de´tecter les raisons pour lesquelles certaines pannes re´pe´titives sont observe´es; les me´thodes stochastiques
permettent dans ce contexte d’identifier les facteurs qui provoquenteffectivement des pannes des nombreuses
autresinformationsdisponiblesdanslesbasesdedonne´es. Lacompressiondesdonne´esestbase´esurlecodage
desuitesdesymbolesenfonctiondeleurprobabilite´d’apparition,lessuiteslesplusfre´quentesrecevantlescodes
lespluscourts;ellepermetdere´duirecouˆtsdestockageetde´laisdetransmissiondansdenombreusesapplications
(stockagedemasse,re´seauxinformatiques,disquescompacts,multimedia,te´le´visiondigitale...).
La gestion des risques industriels et technologiquesfait appelaux me´thodesstochastiquespour l’analyse et
la maˆıtrise de la fiabilite´ et de la se´curite´ des syste`mes. Les me´thodes stochastiques sont notamment utilise´es
pour la conception des centrales nucle´aires, la planification des re´seaux d’e´nergie e´lectrique, l’e´valuation des
risquesdesmoyensdetransportencommun(ae´ronautique,trainsa` grandevitesse),lamaˆıtrisedelafiabilite´des
lanceursspatiaux... Ces techniquespermettentnotammentd’identifierlessourcesde pannesles plusprobables
et de de´terminer des parades a` la fois efficaces et aussi e´conomiques que possibles. Notons que l’e´tude des
performancesdeslogicielsinformatiquesfaitpartiedecedomaine.
Disciplines de base
The´orie de l’information: e´tude quantitativede la notion d’incertitudeet d’information; optimisation des
performancesdessyste`mesdecodageetdetransmissiondel’information.
Processusstochastiques: me´thodesstatistiquesdedescriptiondessignauxtemporelsettechniquesdetraite-
mentdusignal.
Apprentissageautomatique:the´oriedel’estimationstatistiquee´tenduea`l’estimationdefonctionsge´ne´rales
deplusieursvariables.
Se´curite´ et fiabilite´ des syste`mes : e´valuationet ame´liorationdelacapacite´ dessyste`mes a` fonctionnerde
fac¸onsatisfaisante,malgre´lapossibilite´dede´faillancesdecertainesdeleursparties,etmalgre´ lesine´vitables
perturbationsenprovenancedeleurenvironnement.