Studies in Classification, Data Analysis, and Knowledge Organization Managing Editors Editorial Board H.-H. Bock, Aachen F. Bodendorf, Niirnberg w. Gaul, Karlsruhe P. G. Bryant, Denver M. Schader, Mannheim F. Critchley, Birmingham E. Diday, Paris P. Ihm, Marburg J. Meulmann, Leiden S. Nishisato, Toronto N. Ohsumi, Tokyo O. Opitz, Augsburg F. J. Radermacher, Ulm R. Wille, Darmstadt Springer-Verlag Berlin Heidelberg GmbH TTiittlleess iinn tthhee SSeerriieess HH..--HH.. BBoocckk aanndd PP.. IIhhmm ((EEddss..)) CCllaassssiiffiiccaattiioonn,, DDaattaa AAnnaallyyssiiss,, aanndd KKnnoowwlleeddggee OOrrggaanniizzaattiioonn.. 11999911 ((oouutt ooff pprriinntt)) MM.. SScchhaaddeerr ((EEdd..)) AAnnaallyyzziinngg aanndd MMooddeelliinngg DDaattaa aanndd KKnnoowwlleeddggee.. 11999922 OO.. OOppiittzz,, BB.. LLaauusseenn,, aanndd RR.. KKllaarr ((EEddss..)) IInnffoorrmmaattiioonn aanndd CCllaassssiiffiiccaattiioonn.. 11999933 ((oouutt ooff pprriinntt)) HH..--HH.. BBoocckk,, WW.. LLeennsskkii,, aanndd MM..MM.. RRiicchhtteerr ((EEddss..)) IInnffoorrmmaattiioonn SSyysstteemmss aanndd DDaattaa AAnnaallyyssiiss.. 11999944 ((oouutt ooff pprriinntt)) EE.. DDiiddaayy,, YY.. LLeecchheevvaalllliieerr,, MM.. SScchhaaddeerr,, PP.. BBeerrttrraanndd,, aanndd BB.. BBuurrttsscchhyy ((EEddss..)) NNeeww AApppprrooaacchheess iinn CCllaassssiiffiiccaattiioonn aanndd DDaattaa AAnnaallyyssiiss.. 11999944 ((oouutt ooff pprriinntt)) WW.. GGaauull aanndd DD.. PPffeeiiffeerr ((EEddss..)) FFrroomm DDaattaa ttoo KKnnoowwlleeddggee.. 11999955 HH..--HH.. BBoocckk aanndd WW.. PPoollaasseekk ((EEddss..)) DDaattaa AAnnaallyyssiiss aanndd IInnffoorrmmaattiioonn SSyysstteemmss.. 11999966 EE.. DDiiddaayy,, YY.. LLeecchheevvaalllliieerr aanndd OO.. OOppiittzz ((EEddss..)) OOrrddiinnaall aanndd SSyymmbboolliicc DDaattaa AAnnaallyyssiiss.. 11999966 RR.. KKllaarr aanndd OO.. OOppiittzz ((EEddss..)) CCllaassssiiffiiccaattiioonn aanndd KKnnoowwlleeddggee OOrrggaanniizzaattiioonn.. 11999977 CC.. HHaayyaasshhii,, NN.. OOhhssuummii,, KK.. YYaajjiimmaa,, YY.. TTaannaakkaa,, HH..--HH.. BBoocckk,, aanndd YY.. BBaabbaa ((EEddss..)) DDaattaa SScciieennccee,, CCllaassssiiffiiccaattiioonn,, aanndd RReellaatteedd MMeetthhooddss.. 11999988 11.. BBaallddeerrjjaahhnn,, RR.. MMaatthhaarr,, aanndd MM.. SScchhaaddeerr ((EEddss..)) CCllaassssiiffiiccaattiioonn,, DDaattaa AAnnaallyyssiiss,, aanndd DDaattaa HHiigghhwwaayyss.. 11999988 AA.. RRiizzzzii,, MM.. VViicchhii,, aanndd HH..--HH.. BBoocckk ((EEddss..)) AAddvvaanncceess iinn DDaattaa SScciieennccee aanndd CCllaassssiiffiiccaattiioonn.. 11999988 MM.. VViicchhii aanndd OO.. OOppiittzz ((EEddss..)) CCllaassssiiffiiccaattiioonn aanndd DDaattaa AAnnaallyyssiiss.. 11999999 WW.. GGaauull,, HH.. LLooccaarreekk--JJuunnggee ((EEddss..)) CCllaassssiiffiiccaattiioonn iinn tthhee IInnffoorrmmaattiioonn AAggee.. 11999999 HHaannss--HHeerrmmaannnn BBoocckk .. EEddwwiinn DDiiddaayy ((EEddss..)) AAnnaallyyssiiss ooff SSyymmbboolliicc DDaattaa EExxpplloorraattoorryy MMeetthhooddss ffoorr EExxttrraaccttiinngg SSttaattiissttiiccaall IInnffoorrmmaattiioonn ffrroomm CCoommpplleexx DDaattaa ii SSpprriinnggeerr Prof. Dr. Hans-Hermann Bock RWTH Aachen Institut fUr Statistik und Wirtschaftsmathematik Wiillnerstrasse 3 D-52056 Aachen Germany [email protected] Prof. Edwin Diday LISE CEREMADE Universite Paris IX-Dauphine Place du Marechal de Lattre de Tassigny F-75775 Paris Cedex 16 France [email protected] ISBN 978-3-540-66619-6 Cataloging-in-Publication Data applied for Analysis of symbolic data: exploratory methods for extracting statistical information from com plex data / Hans-Hermann Bock; Edwin Diday (ed.). - Berlin; Heidelberg; New York; Barcelona; Hong Kong; London; Milan; Paris; Singapore; Tokyo: Springer, 2000 (Studies in classification, data analysis, and knowledge organization) ISBN 978-3-540-66619-6 ISBN 978-3-642-57155-8 (eBook) DOI 10.1007/978-3-642-57155-8 This work is subject to copyright. Ali rights are reserved, whether lhe whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, re citation, broadcasting, reproduction on microfilm or in any other way, and storage in data banks. Duplication of this publication or parts lhereof is permitted oniy under lhe provisions of the German Copyright Law of September 9, 1965, in its current version, and permission for use must always be obtained from Springer-Verlag. Violations are liable for prosecution under the German Copyright Law. © Springer-Verlag Berlin Heidelberg 2000 Originally published by Springer-Verlag Berlin· Heidelberg in 2000 The use of general descriptive names, registered names, trademarks, etc. in this publication does not imply, even in the absence of a specific statement, lhat such names are exempt from lhe relevant protective laws and regulations and therefore free for general use. Softcover-Design: Erich Kirchner, Heidelberg SPIN: 10797188 43/3111-5 4 3 2 1 -Printed on acid-free paper PPrreeffaaccee ooff tthhee SScciieennttiiffiicc EEddiittoorrss TThhiiss bbooookk pprreesseennttss ssttaattiissttiiccaall mmeetthhooddss ffoorr aannaallyyzziinngg aanndd vviissuuaalliizziinngg ccoommpplleexx,, aaggggrreeggaatteedd,, rreellaattiioonnaall aanndd hhiigghheerr--lleevveell ddaattaa.. IItt eexxtteennddss ccllaassssiiccaall mmeetthhooddss ooff eexx pplloorraattoorryy ddaattaa aannaallyyssiiss ttoo tthhee ccaassee ooff ssoo--ccaalllleedd ''ssyymmbboolliicc vvaarriiaabblleess'' tthhaatt mmaayy hhaavvee vvaalluueess ssuucchh aass ssuubbsseettss ooff ccaatteeggoorriieess,, iinntteerrvvaallss ooff tthhee rreeaall lliinnee ((ee..gg..,, mmiinnii mmuumm//mmaaxxiimmuumm ddaaiillyy ssaalleess)),, oorr ffrreeqquueennccyy ddiissttrriibbuuttiioonnss ((ssuucchh aass tthhee iinnccoommee ddiiss ttrriibbuuttiioonn iinn ddiiffffeerreenntt ccoouunnttrriieess)),, wwhhiicchh iiss iinn ccoonnttrraasstt ttoo tthhee ccllaassssiiccaall aapppprrooaacchh wwhheerree oonnllyy oonnee ssiinnggllee nnuummbbeerr,, ccaatteeggoorryy oorr lleevveell iiss aalllloowweedd.. IInn aaddddiittiioonn,, llooggiiccaall rreellaattiioonnsshhiippss mmaayy bbee ddeeffiinneedd bbeettwweeeenn ddiiffffeerreenntt vvaarriiaabblleess,, eeiitthheerr bbyy rruulleess oorr bbyy ttaaxxoonnoommiieess.. SSiinnccee ccllaassssiiccaall ddaattaa aarree aa ssppeecciiaall ccaassee ooff ssyymmbboolliicc ddaattaa,, iitt rreessuullttss tthhaatt ccllaassssiiccaall eexxpplloorraattoorryy ddaattaa aannaallyyssiiss iiss aa ssppeecciiaall ccaassee ooff tthhee SSyymmbboolliicc DDaattaa AAnnaallyyssiiss ((SSDDAA)) pprreesseenntteedd iinn tthhiiss bbooookk.. CChhaapptteerr 11 pprroovviiddeess aa ssuurrvveeyy oonn ssyymmbboolliicc vvaarriiaabblleess,, ssyymmbboolliicc oobbjjeeccttss aanndd ssyymmbboolliicc ddaattaa aannaallyyssiiss,, iinncclluuddiinngg hhiissttoorriiccaall aanndd pphhiilloossoopphhiiccaall aassppeeccttss.. SSyymmbboolliicc vvaarriiaabblleess aarree ccoonnssiiddeerreedd iinn ddeettaaiill iinn CChhaapptteerr 33,, aalloonngg wwiitthh mmaannyy eexxaammpplleess,, wwhheerreeaass CChhaapp tteerr 22 rreeccaallllss tthhee ccllaassssiiccaall ddaattaa ssiittuuaattiioonn.. CChhaapptteerr 44 ddeeaallss wwiitthh tthhee bbaassiicc ccoonncceepptt ooff aa ssyymmbboolliicc oobbjjeecctt wwhhiicchh pprroovviiddeess aa ssttaannddaarrddiizzeedd ddeessccrriippttiioonn ooff tthhee pprrooppeerrttiieess ooff ssuubbjjeeccttss oorr ddaattaa uunniittss iinn tteerrmmss ooff ssyymmbboolliicc vvaarriiaabblleess,, ccoommbbiinneedd wwiitthh aann ooppeerraattoorr ffoorr sseelleeccttiinngg ccoorrrreessppoonnddiinngg ddaattaa uunniittss ffrroomm aa ddaattaa bbaassee.. CChhaapptteerr 55 sshhoowwss hhooww ttoo eexxttrraacctt iinntteerreessttiinngg ccllaasssseess ooff iinnddiivviidduuaallss aanndd rreellaatteedd ssyymmbboolliicc oobbjjeeccttss ffrroomm aa ddaattaa aarrrraayy oorr aa ddaattaabbaassee,, bbyy ggeenneerraalliizzaattiioonn aanndd rreedduuccttiioonn pprroocceesssseess.. IInn tthhiiss ffrraammeewwoorrkk,, tthhee bbooookk pprreesseennttss •• tteecchhnniiqquueess ffoorr ssuummmmaarrzzzzmmgg aanndd vviissuuaalliizziinngg ssyymmbboolliicc ddaattaa ((CChhaapptteerrss 66 aanndd 77)),, •• aa ggeenneerraalliizzeedd ffaaccttoorr aannaallyyssiiss ffoorr rreevveeaalliinngg iimmppoorrttaanntt ffeeaattuurreess ((CChhaapptteerr 99)),, •• eexxtteennddeedd aallggoorriitthhmmss ffoorr ccoonnssttrruuccttiinngg ddeecciissiioonn ttrreeeess ffoorr ssyymmbboolliicc ddaattaa aanndd ddiissccrriimmiinnaattiioonn mmeetthhooddss wwhhiicchh aassssiiggnn ((ssyymmbboolliicc)) oobbjjeeccttss ttoo ccllaasssseess ((CChhaapptteerr 1100)),, •• mmeetthhooddss ffoorr mmeeaassuurriinngg ssiimmiillaarriittyy aanndd ddiissssiimmiillaarriittyy bbeettwweeeenn ssyymmbboolliicc oobb jjeeccttss ((CChhaapptteerr 88)),, aanndd vvii PPrreeffaaccee ooff tthhee SScciieennttiiffiicc EEddiittoorrss •• hhiieerraarrcchhiiccaall aanndd ppyyrraammiiddaall cclluusstteerriinngg mmeetthhooddss ffoorr aaggggrreeggaattiinngg ssyymmbboolliicc ddaattaa uunniittss ((CChhaapptteerr 1111)).. IInn tthhee ffiinnaall cchhaapptteerrss wwee iilllluussttrraattee tthhee uuttiilliittyy ooff tthhee mmeetthhooddss bbyy rreeaall--ccaassee eexxaammpplleess iinnvvoollvviinngg ssyymmbboolliicc ddaattaa ((CChhaapptteerr 1133)).. SSyymmbboolliicc ddaattaa aannaallyyssiiss aarriisseess ffrroomm mmaannyy nneeeeddss aanndd ssoouurrcceess aass wwiillll bbee eexxppllaaiinneedd iinn ddeettaaiill iinn CChhaapptteerr 11.. AA mmaajjoorr mmoottiivvaattiioonn sstteemmss ffrroomm aapppplliiccaattiioonnss wwhheerree,, ffrroomm tthhee oouuttsseett,, ssyymmbboolliicc vvaarriiaabblleess aarree bbeetttteerr ssuuiitteedd tthhaann tthhee ccllaassssiiccaall oonneess ffoorr cchhaarraacc tteerriizziinngg tthhee pprrooppeerrttiieess ooff iinnddiivviidduuaallss ssuucchh aass ttiimmee--vvaarryyiinngg ppaatttteerrnnss,, oovveerrllaappppiinngg ccaatteeggoorriieess,, rruullee--bbaasseedd ccoonnssttrraaiinnttss aanndd ccoommpplleexx sscceennaarriiooss.. TThheessee vvaarriiaabblleess aarree aallssoo eeffffeeccttiivvee ffoorr ccoommbbiinniinngg iinnffoorrmmaattiioonn ffrroomm sseevveerraall ssoouurrcceess tthhaatt uussee ppaarrttiiaallllyy iinnccoommppaarraabbllee vvaarriiaabbllee ssppeecciiffiiccaattiioonnss ssuucchh aass,, ee..gg..,, tthhee nnaattiioonnaall ssttaattiissttiiccaall aaggeenn cciieess ooff ccoouunnttrriieess wwiitthh ddiiffffeerreenntt ccoouunnttrryy--ssppeecciiffiicc ssttaannddaarrddss.. AAnnootthheerr ppooiinntt--ooff--vviieeww ccoonncceerrnnss tthhee hhuuggee aammoouunnttss ooff ddaattaa wwhhiicchh aarree nnoowwaaddaayyss rreeccoorrddeedd iinn eenntteerrpprriisseess,, aaddmmiinniissttrraattiioonnss aanndd rreesseeaarrcchh iinnssttiittuuttiioonnss ffoorr DDaattaa MMiinniinngg,, DDaattaa ''WWaarreehhoouussiinngg,, KKnnoowwlleeddggee EExxttrraaccttiioonn eettcc..,, bbuutt wwhheerree tthhee llaarrggee aammoouunntt ooff ddaattaa pprreecclluuddeess aa ddii rreecctt aapppplliiccaattiioonn ooff ccllaassssiiccaall ddaattaa aannaallyyssiiss.. SSyymmbboolliicc ddaattaa aannaallyyssiiss pprroovviiddeess aa bbaassiicc aanndd iinnnnoovvaattiivvee aapppprrooaacchh ttoo tthhee aannaallyyssiiss ooff ssuucchh ddaattaa aanndd tthhee ddeetteeccttiioonn ooff hhiiddddeenn ddaattaa ssttrruuccttuurreess:: bbyy sseelleeccttiinngg iinntteerreessttiinngg ccllaasssseess ooff iinnddiivviidduuaallss,, ddeessccrriibbiinngg tthhee ccllaasssseess bbyy ssyymmbboolliicc vvaarriiaabblleess ((CChhaapptteerr 33)),, ssuummmmaarriizziinngg tthheeiirr pprrooppeerrttiieess bbyy ''ssyymmbboolliicc oobbjjeeccttss"" ((CChhaapptteerrss 44 aanndd 55)),, aanndd pprroocceessssiinngg tthhee rreedduucceedd ssyymmbboolliicc ddaattaa aa77TTaayy bbyy tthhee ssyymmbboolliicc ddaattaa aannaallyyssiiss tteecchhnniiqquueess pprreesseenntteedd iinn tthhiiss bbooookk.. SSyymmbboolliicc ddaattaa aannaallyyss''iiss hhaass bbeeeenn iinniittiiaatteedd 1122 yyeeaarrss aaggoo wwiitthh tthhee sseemmiinnaall ppaappeerr ooff EE.. DDiiddaayy ((11998888)) iinn tthhee PPrroocceeeeddiinnggss ooff tthhee FFiirrsstt CCoonnffeerreennccee ooff tthhee IInntteerrnnaattiioonnaall FF''eeddeerraattiioonn ooff CCllaassssiiffiiccaattiioonn SSoocciieettiieess ((IIFFCCSS;; BBoocckk 11998888)),, ffoolllloowweedd bbyy sseevveerraall bbooookkss aanndd mmaannyy ppaappeerrss bbyy DDiiddaayy aanndd ccoo--aauutthhoorrss ((sseeee tthhee BBiibblliiooggrraapphhyy)).. MMaannyy rreesseeaarrcchh ggrroouuppss iinn BBeellggiiuumm,, BBrraassiill,, FFrraannccee,, IInnddiiaa,, IIttaallyy,, JJaappaann,, SSppaaiinn,, aanndd PPoorrttuuggaall hhaavvee ccoonnttrriibbuutteedd ttoo tthhee tthheeoorryy aanndd hhaavvee ddeevveellooppeedd aa bbrrooaadd rraannggee ooff aallggoorriitthhmmss.. TThheessee ggrroouuppss oorrggaanniizzee bbiiaannnnuuaall ccoonnffeerreenncceess oonn ''OOrrddiinnaall aanndd SSyymmbboolliicc DDaattaa AAnnaallyyssiiss'' ((DDaarrmmssttaaddtt,, PPaarriiss,, AAmmhheerrsstt,, BBrruusssseellss)) aanndd mmeeeett rreegguullaarrllyy aatt nnaattiioonnaall oorr iinntteerrnnaa ttiioonnaall ccoonnffeerreenncceess oonn ccllaassssiiffiiccaattiioonn aanndd ddaattaa aannaallyyssiiss ((SSFFCC,, CCLLAADD,, GGffKKll,, IIFFCCSS eettcc..)).. UUnnffoorrttuunnaatteellyy,, tthhee lliitteerraattuurree oonn ssyymmbboolliicc ddaattaa aannaallyyssiiss iiss ssccaatttteerreedd aabboouutt iinn qquuiittee ddiiffffeerreenntt jjoouurrnnaallss,, pprroocceeeeddiinnggss aanndd tteecchhnniiccaall rreeppoorrttss.. TThhiiss bbooookk pprroovviiddeess tthhee ffiirrsstt ccoommpprreehheennssiivvee aanndd ssyysstteemmaattiicc pprreesseennttaattiioonn ooff tthhee ttooppiicc wwiitthh aann aallmmoosstt ccoommpplleettee PPrreeffaaccee ooff tthhee SScciieennttiiffiicc EEddiittoorrss vviiii bbiibblliiooggrraapphhyy aanndd aa ddeettaaiilleedd iinnddeexx.. SSoo iitt sseerrvveess aass aann iinnttrroodduuccttiioonn aanndd ssttaann ddaarrdd rreeffeerreennccee ffoorr rreesseeaarrcchheerrss aanndd pprraaccttiittiioonnnneerrss.. VVaarriioouuss cchhaapptteerrss aarree ddiirreeccttllyy iissssuueedd ffrroomm PPhhDD tthheesseess iinniittiiaatteedd bbyy tthhee sseeccoonndd eeddiittoorr wwhhoo hhaass,, iinn ffaacctt,, ccrreeaatteedd,, oorriieenntteedd aanndd aanniimmaatteedd tthhee sscciieennttiiffiicc aassppeeccttss ooff tthhee uunnddeerrllyyiinngg pprroojjeecctt SSOODDAASS.. TThhee ffiirrsstt--mmeennttiioonneedd eeddiittoorr hhaass aaddaapptteedd aanndd ttiieedd ttooggeetthheerr tthhee cchhaapptteerrss aanndd sseecc ttiioonnss ccoonnttrriibbuutteedd bbyy tthhee ddiiffffeerreenntt aauutthhoorrss iinn oorrddeerr ttoo aattttaaiinn aa mmaaxxiimmaallllyy ccoohheerreenntt mmoonnooggrraapphh.. TThhiiss wwoorrkk wwaass ddoonnee aass aa ppaarrtt ooff tthhee EEuurrooppeeaann EEsspprriitt pprroojjeecctt nnoo.. 2200882211 oonn SSyymmbboolliicc OOffffiicciiaall DDaattaa AAnnaallyyssiiss SSyysstteemm ((SSOODDAASS)).. AAbboouutt 1177 EEuurrooppeeaann rreesseeaarrcchh ggrroouuppss aanndd tthhrreeee NNaattiioonnaall IInnssttiittuutteess ffoorr SSttaattiissttiiccss ((EEUUSSTTAATT jjSSppaaiinn,, IINNEEjjPPoorrttuuggaall,, OONNSSjjLLoonn ddoonn)) hhaavvee ccooooppeerraatteedd.. AAss tthhee rreessuulltt ooff tthhiiss pprroojjeecctt aa ssooffttwwaarree ppaacckkaaggee SSOODDAASS hhaass bbeeeenn ddeevveellooppeedd.. TThhee ppaacckkaaggee iiss bbrriieeffllyy ddeessccrriibbeedd iinn CChhaapptteerr 1144 aanndd ccaann bbee oobbttaaiinneedd oonn CCDD--RROOMM ffrroomm CCIISSIIAA,, MMoonnttrreeuuiill ((sseeee aaddddrreessss lliisstt)).. TThhee eeddiittoorrss aarree ggrraatteeffuull ttoo aallll SSOODDAASS ppaarrttnneerrss ffoorr tthheeiirr ccaarreeffuull wwoorrkk aanndd tthheeiirr ppaattiieennccee wwhheenn bbeeiinngg aasskkeedd ffoorr rreevviissiioonnss aanndd aaddaappttaattiioonnss ttoo aacchhiieevvee aa uunniiffoorrmm pprreesseennttaattiioonn.. AAmmoonngg tthhoossee wwhhoo hhaavvee ccoonnttrriibbuutteedd mmoorree tthhaann ootthheerrss,, wwee wwaanntt ttoo ssiinnggllee oouutt YYvveess LLeecchheevvaalllliieerr aanndd PPaattrriiccee BBeerrttrraanndd wwhhoo ooffffeerreedd mmuucchh ssuubbssttaannttiivvee aaddvviiccee aanndd hheellppeedd aauutthhoorrss iinn wwrriittiinngg JJ55IIEEXX ffiilleess,, LLyynnnnee BBiillllaarrdd,, AAllllaann GGoorrddoonn,, JJuussttiinn WWiicckkeennss aanndd MMiikkee WWiinnddhhaamm wwhhoo iimmpprroovveedd oouurr EEnngglliisshh ssttyyllee,, aanndd RRaayy mmoonndd BBiissddoorrffff wwhhoo ccoooorrddiinnaatteedd aanndd bboouunndd ttooggeetthheerr tthhee pprraaccttiiccaall eexxaammpplleess aanndd ccoommppuuttaattiioonnaall rreessuullttss pprroovviiddeedd bbyy tthhee bbeenncchhmmaarrkk ppaarrttnneerrss.. TThhaannkkss aallssoo ttoo MMeeiinn hhaarrdd DDaahhmmeenn ffrroomm tthhee TTeecchhnniiccaall UUnniivveerrssiittyy ooff AAaacchheenn ffoorr hhiiss ssuucccceessssffuullllyy ppuuttttiinngg ttooggeetthheerr tthhee ffiilleess aanndd ggrraapphhiiccss ooff tthhee aauutthhoorrss ttoo mmaakkee tthhiiss vvoolluummee.. FFiinnaallllyy,, wwee tthhaannkk SSpprriinnggeerr VVeerrllaagg,, HHeeiiddeellbbeerrgg,, ffoorr tthhee eexxcceelllleenntt ccooooppeerraattiioonn.. AAaacchheenn aanndd PPaarriiss,, AAuugguusstt 11999999 HHaannss--HHeerrmmaannnn BBoocckk EEddwwiinn DDiiddaayy PPrreeffaaccee ooff tthhee PPrroojjeecctt MMaannaaggeerrss IInn nnuummeerroouuss aaccttiivviittiieess lliikkee ooffffiicciiaall ssttaattiissttiiccss,, ddaattaa mmiinniinngg,, rreemmoottee sseennssiinngg,, ssiittuu aattiioonn aasssseessssmmeenntt iinn mmeeddiiuumm aanndd llaarrggee ssiizzee ssyysstteemmss,, llaarrggee ssccaallee mmooddeellss hhaavvee ttoo bbee uusseedd wwiitthh bbiilllliioonnss ooff eelleemmeennttaarryy ddaattaa.. MMoorreeoovveerr,, aallll tthheessee aaccttiivviittiieess hhaavvee ttoo iinntteeggrraattee ddaattaa aanndd mmooddeell uunnddeerrssttaannddiinngg,, wwhhaatt iiss oofftteenn ccaalllleedd'' eexxppeerrtt kknnoowwlleeddggee''.. IInn oorrddeerr ttoo aannaallyyzzee aanndd ttaakkee ddeecciissiioonnss ffrroomm bbiilllliioonnss ooff ddaattaa,, ffoolllloowwiinngg aa wweellll ddee ffiinneedd aanndd ssttrruuccttuurreedd bbuutt ccoommpplleexx mmooddeell,, tthhee ssoolluuttiioonn pprrooppoosseedd bbyy ssyymmbboolliicc oobbjjeecctt aannaallyyssiiss iiss:: •• ssuummmmaarriizzaattiioonn bbyy aaggggrreeggaatteedd ddaattaa,, wwhhiicchh aarree oonnllyy ffeeww iinn ccoommppaarriissoonn ttoo tthhee eelleemmeennttaarryy ddaattaa,, bbuutt wwhhiicchh pprreesseerrvvee tthhee eesssseennttiiaall ooff tthhee iinnffoorrmmaattiioonn ccoonntteenntt.. •• vviissuuaalliizzaattiioonn,, ccoommppaarriissoonn,, cclluusstteerriinngg aanndd ddiissccrriimmiinnaanntt aannaallyyssiiss ooff tthhee aagg···· ggrreeggaatteedd ddaattaa.. TThhee ccoonntteenntt ooff tthhiiss bbooookk iiss tthhee ddeessccrriippttiioonn ooff aa ffoorrmmaalliissmm aanndd ooff aallggoorriitthhmmss wwhhiicchh eexxtteenndd mmaannyy mmeetthhooddss uusseedd iinn ccoonnvveennttiioonnaall ssttaattiissttiiccss ttoo tthhee ccaassee ooff aaggggrreeggaatteedd ddaattaa.. IItt ccoonnssttiittuutteess tthhee ffiirrsstt sscciieennttiiffiicc aanndd pprraaccttiiccaall rreeffeerreennccee iinn tthhee ffiieelldd,, wwhhiicchh ccoonnttrriibbuutteess ttoo tthhee nnoorrmmaalliizzaattiioonn ooff ggoooodd tteecchhnniiccaall pprraaccttiiccee iinn tthhee aannaallyyssiiss ooff aagg ggrreeggaatteedd ddaattaa.. TThhee aallggoorriitthhmmss ddeessccrriibbeedd aarree ppaarrtt ooff tthhee SSOODDAASS SSooffttwwaarree,, aa ssooffttwwaarree ttooooll ddeeddii ccaatteedd ttoo tthhee aannaallyyssiiss ooff aaggggrreeggaatteedd ddaattaa.. TThhee SSOODDAASS SSooffttwwaarree iiss tthhee mmaatteerriiaall rreessuulltt ooff tthhee pprroojjeeeett ''SSOODDAASS:: SSyymmbboolliicc OOff ffiicciiaall DDaattaa AAnnaallyyssiiss SSyysstteemm'' wwhhiicchh iiss tthhee pprroojjeecctt nnuummbbeerr 2200882211 ((11999966--11999999)) ffrroomm tthhee EEuurrooppeeaann CCoommmmiissssiioonn,, DDiirreeccttoorraattee GGeenneerraall IIIIII ,, IInndduussttrriiaall rrttdd ,, EEUURROOSSTTAATT,, iinn tthhee DDOOSSIISS pprrooggrraamm.. TThhee aaiimm ooff tthhiiss pprroojjeecctt ,,vvaass ttoo ffaacciilliittaattee tthhee uussee ooff nnuummeerriiccaall--ssyymmbboolliicc ddaattaa aannaall yyssiiss tteecchhnniiqquueess iinn ssttaattiissttiiccaall ooffffiicceess aanndd iinndduussttrriiaall eenntteerrpprriisseess,, aanndd ccoonnsseeqquueennttllyy ttoo ddeemmoonnssttrraattee tthhaatt tthheessee tteecchhnniiqquueess mmeeeett sseevveerraall uusseerr nneeeeddss:: •• aannaallyyssiiss ooff ddaattaa wwiitthh ccoommpplleexx ssttrruuccttuurree,, •• ggiivviinngg bbeetttteerr eexxppllaannaattiioonnss ooff ssttaattiissttiiccaall rreessuullttss,, •• rreepprreesseennttaattiioonn,, mmaanniippuullaattiioonn aanndd aannaallyyssiiss ooff ccoonncceeppttss aanndd mmeettaaddaattaa,, •• eeaassyy ccoommmmuunniiccaattiioonn ooff ddaattaa bbeettwweeeenn ooffffiicciiaall ssttaattiissttiiccss ccoommmmuunniittyy mmeemmbbeerrss.. PPrreeffaaccee ooff tthhee PPrroojjeecctt MMaannaaggeerrss IIXX TThhiiss hhaass bbeeeenn aacchhiieevveedd bbyy:: -- ddeevveellooppiinngg aa ddeeddiiccaatteedd ssooffttwwaarree eennvviirroonnmmeenntt ffoorr pprroottoottyyppiinngg aanndd eevvaalluuaattiinngg ssttaattiissttiiccaall pprroocceessssiinngg ooff nnuummeerriiccaall -- ssyymmbboolliicc ddaattaa,, -- bbuuiillddiinngg aa ccoonncceepptt--oorriieenntteedd ssyysstteemm ffoorr ooffffiicciiaall ssttaattiissttiiccss,, aanndd -- aasssseessssiinngg tthhee aapppprrooaacchh wwiitthh bbeenncchhmmaarrkkss pprrooppoosseedd bbyy ssttaattiissttiiccaall ooffffiicceess.. TThhee ssooffttwwaarree eennvviirroonnmmeenntt iiss ddeessccrriibbeedd CChhaapptteerr 1144.. TThhee mmaaiinn vvaalliiddaattiioonn ooff tthhee aapppprrooaacchh hhaass bbeeeenn ppeerrffoorrmmeedd bbyy uussiinngg rreeaall bbeenncchhmmaarrkkss ffrroomm ssttaattiissttiiccaall ooffffiicceess.. TThheessee bbeenncchhmmaarrkkss pprroovviiddeedd:: -- aa ddeemmoonnssttrraattiioonn ooff tthhee bbeenneeffiittss ooff tthhee aapppprrooaacchh mmaaiinnllyy ffoorr ooffffiicciiaall ssttaattiissttiiccss,, -- tteesstt bbeeddss ffoorr eevvaalluuaattiinngg aanndd vvaalliiddaattiinngg tthhee eennvviirroonnmmeenntt.. TThhee SSOODDAASS pprroojjeecctt wwaass rreeaalliizzeedd bbyy tthhee ffoolllloowwiinngg ppaarrttnneerrss:: •• TTHHOOMMSSOONN--CCSSFF DDEETTEEXXIISS ((FFrraannccee)):: CC.. BBoouuiilllleett,, JJ..FF GGrraannddiinn,, MM.. MMuueenniieerr •• IINNEE:: IInnssttiittuuttoo NNaacciioonnaall ddee EEssttaattiissttiiccaa ((PPoorrttuuggaall)):: CC.. MMaarrcceelloo •• UUOOAA:: UUnniivveerrssiittyy ooff AAtthheennss ((GGrreeeeccee)):: HH.. PPaappaaggeeoorrggiioouu,, MM.. VVaarrddaakkii •• FFUUNNDDPP:: FFaaccuulltteess UUnniivveerrssiittaaiirreess NNoottrree DDaammee ddee llaa PPaaiixx,, DDeeppaarrtteemmeenntt ddee MMaatthheemmaattiiqquuee ((BBeellggiiuumm)):: JJ..PP.. RRaassssoonn,, SS.. LLiissssooiirr,, AA.. DDeess..ssyy •• DDAAUUPPHHIINNEE:: UUnniivveerrssiittee PPaarriiss IIXX -- DDaauupphhiinnee ((FFrraannccee)):: EE.. DDiiddaayy,, MM.. GGeettttlleerr--SSuummmmaa,, PP.. BBrriittoo,, PP.. CCaazzeess,, MM.. CChhaavveenntt,, AA.. CChhoouuaakkrriiaa,, FF.. GGoouuppiill,, JJ.. GGoouuppiill,, PP.. PPaarrddoouuxx,, GG.. PPoollaaiilllloonn,, OO.. RRooddrriigguueezz,, VV.. SStteepphhaann,, HH.. TToonngg,, MM.. TToouuaattii,, FF.. VVaauuttrraaiinn •• EEDDFF:: EElleeccttrriicciittee ddee FFrraannccee ((FFrraannccee)):: vv.. GG.. HHeebbrraaiill,, SStteepphhaann •• CCIISSIIAA:: CCeennttrree IInntteerrnnaattiioonnaall ddee SSttaattiissttiiqquuee eett dd''IInnffoorrmmaattiiqquuee AApppplliiqquueess ((FFrraannccee)):: AA.. MMoorriinneeaauu,, VV.. LLeepprriinnccee •• CCRRPP--GGLL:: CCeennttrree ddee RReecchheerrcchhee PPuubblliicc -- GGaabbrriieell LLiippppmmaannnn ((LLuuxxeemmbboouurrgg)):: RR.. BBiissddoorrJJJJ,, II.. PPiirrootthh xx PPrreeffaaccee ooff tthhee PPrroojjeecctt MMaannaaggeerrss •• IINNRRIIAA:: IInnssttiittuutt NNaattiioonnaall ddee RReecchheerrcchhee eenn IInnffoorrmmaattiiqquuee eett eenn AAuuttoommaattiiqquuee ((FFrraannccee)):: YY.. LLeecchheevvaalllliieerr,, PP.. BBeerrttrraanndd,, MM.. CCsseerrnneell,, MM.. CChhaavveenntt,, AA.. CChhoouuaakkrriiaa,, EE.. PPeerriinneell,, VV.. SStteepphhaann •• OONNSS:: OOffffiiccee ffoorr NNaattiioonnaall SSttaattiissttiiccss,, UUnniivveerrssiittyy ooff LLoonnddoonn ((UUnniitteedd KKiinngg ddoomm)):: 11.. CChhaarrllttoonn,, RR..MMoouulltt,, AA.. GGaammmmeerrmmaann •• UUCCMM:: UUnniivveerrssiiddaadd CCoommpplluutteennssee ddee MMaaddrriidd ((SSppaaiinn)):: MM.. CC.. BBrraavvoo LLllaattaass,, JJ..MM.. GGaarrcciiaa--SSaanntteessmmaasseess •• LLEEAADD:: LLaabboorraattoorriioo ddee EEssttaattiissttiiccaa ee AAnnaalliissee ddee DDaaddooss,, AAllaammeeddaa ddaa UUnniivveerr ssiiddaaddee,, LLiissbbooaa ((PPoorrttuuggaall)):: HH BBaacceellaarr--NNiiccoollaauu,, FF.. NNiiccoollaauu •• EEUUSSTTAATT:: EEuusskkaall EEssttaattiissttiikkaa EErraakkuunnddeeaa,, SSttaattiissttiiccaall IInnssttiittuuttee ooff AAuuttoonnoommoouuss CCoommmmuunniittyy ooff BBaassqquuee CCoouunnttrryy ((SSppaaiinn)):: AA..llzzttuueettaa AAzzkkuuee,, PP.. CCaallvvoo •• FFUUNNDDPPIIII:: FFaaccuulltteess UUnniivveerrssiittaaiirreess NNoottrree DDaammee ddee llaa PPaaiixx,, IInnssttiittuutt dd''IInnffoorr mmaattiiqquuee ((BBeellggiiuumm)):: MM.. NNooiirrhhoommmmee,, MM.. RRoouuaarrdd •• RRWWTTHH:: RRhheeiinniisscchh--WWeessttffaalliisscchhee TTeecchhnniisscchhee HHoocchhsscchhuullee AAaacchheenn,, IInnssttiittuutt ffuurr SSttaattiissttiikk uunndd WWiirrttsscchhaaffttssmmaatthheemmaattiikk ((GGeerrmmaannyy)):: HH--HH BBoocckk •• DDIIBB:: DDiippaarrttiimmeennttoo ddii IInnffoorrmmaattiiccaa,, UUnniivveerrssiittaa ddeeggllii SSttuuddii ddii BBaarrii ((IIttaallyy)):: FF.. EEssppoossiittoo,, DD.. MMaalleerrbbaa,, VV.. TTaammmmaa,, FF..AA.. LLiissii •• DDMMSS:: DDiippaarrttiimmeennttoo ddii MMaatthheemmaattiiccaa ee SSttaattiissttiiccaa,, UUnniivveerrssiittaa ''FFeeddeerriiccoo IIII'' ddii NNaappoollii ((IIttaallyy)):: CC.. LLaauurroo,, RR.. VVeerrddee,, FF.. PPaalluummbboo TThhiiss bbooookk ccoolllleeccttss tthhee sscciieennttiiffiicc aanndd aallggoorriitthhmmiicc ccoonnttrriibbuuttiioonnss bbyy tthhee ppaarrttiicciippaannttss aanndd pprroovviiddeess,, ttooggeetthheerr wwiitthh tthhee ccoorrrreessppoonnddiinngg mmaannuuaall,, tthhee bbaassiiss ffoorr aappppllyyiinngg tthhee pprroodduucceedd SSOODDAASS ssooffttwwaarree.. TTHHOOMMSSOONN--CCSSFF DDEETTEEXXIISS CC BBoouuiilllleett SSeepptteemmbbeerr 11999999 JJ..FF.. GGrraannddiinn MM.. MMuueenniieerr