Table Of Content

Les bases de données N o s L Big Data . . . , et lie Comprendre et mettre en oeuvre Rudi Bruchez L Les bases de données .-a;.nfr1$ N S ~ D ~ Big Data et le R. Bruchez Consultant informatique Des bases pour la performance et le Big Data indépendant, Rudi Brochez En q.ielques années, le vok.Jme des damées trassées par les Bltreprises a oonsidérablerrelt aigrrelté. Ëmanant de est expert en bases de sources d~B"ses (transactions, ocmportements, résewx sociaux, géolocalisation .. J. elles sont soownt structurées vdionngnté aenss d (ecpeuritsif ipcaretisoqnuse a.it.otr d'lll seul point d'entrée, la clé, et susceptibles de aoitre très rapidemB'lt. ttltant de cêl'actiJ'istiques qui les IVK:DBA et MCllP). Il rendent très difficiles â traiter avec des outils classiques de gesticn de dannées. Pël' ailletrs, fana~se de grands assl.l"e conseil, réalisation, volt.mes de damées, ce "'"" appelle le Big Data, défie également les motelJ's de bases de damées IJ'aditiomels. expertise et formation C'est pwr réjlondre a ces différentes problématiqœs qJe sont nées les bases de damées NoSOL !Not On/y SOLI. pour la modélisation, sous fiffi11Jlsim de grands acteurs du Web oorrrne Faceboct ou Google, qui les avaient développées â l'origine potr l'administration et letrs besoins propres. Grâce â letr flexibilité et leur souplesse, ces bases nm relaticrmelles pemlettent oo effet l'optimisation des serveurs de gérer de g-os volt.mes de dcrmées hétérogBles sur un oosemble de sel'\eurs de stockage distribués, avec ooe et du code SQL, ainsi que capacité de mcritée Bl durge très élevée. Elles peuvoot aissi fat.mir des acc::ès de paires clê·wletr en rrénoire avec des services autour de SQL lfle très grande célfsité. RéseJVées jJsqu'à peu â ooe milorité, elles tendB'lt wjot.rdh.li â se poser en oomplÉITlent Server et des solutions NoSQL. Il est l'auteur du modèle relaticrmel qui damnait le marché depuis pkJs de 30 ais. ou coautet.r de plusieurs Du choix de la base NoSQL à sa mise en œuvre ouvrages francais et anglais sur SQL Server et SQL, Cet ouvrage d'me grande clarté dresse m pan1rama complet des bases de damées NoOOL. en aialysant en toute dont Optimiser SOL Server noobnje crteWlaittéio lmeterlsle asv é: llitnatgeerfsa ceet inavceacl\ élen iecondtse. OcléiBllslt ,u naer cphrietemcièture'e p dairStiIeJ'.i biul éjreé, speanrtaed ilegsm !eJ 'éMlladpsR i:erdiluccipee, se dtce. cIel sd ébtaasielles (éd~ions Dunod) et SOL ensuite délls une deuxième partie les prilcipales solutioos existantes (les solutioos de Big Data autotr de Hadoop, (éd~ions Pearson). Mon!J)DB. Cassaidra, Cwc:llbase S..-wr. .. l. en précisant spécificités. forces et faiblesses de chawne. Complétée pël' une étude de cas réel, la dfnlière pël'tie du livre est oonsacrée aJ déploiement ooncret de ces bases : dans quel cas passB' aJ NoSQL? quelle base adapter selon ses besoils? quelles doonées basculB' en NoSQL? carment mettre en place une telle base? ocmment la mainteni' et supB"visB' ses perfoJmances ? Au sommaire Ou11sr.a ai1ut.1 USf 11 DllNNhS No SOL? la SG1Drelltionnets1u Na6Gl • a'ève histoire des ~O •le systèrnedcmi"l!l'"lt: le modèle relaticrnel cf'Edgar Frai: c.odd • rémergenœ dJ Big Data et des bases NoSOt. • NoSC1. •nus Sil: qœl• clférfllœs? • les p-ilc:Jles dJ relatîomel en rega'd dJ NoSOt. • le t.r8"1S8cticrnel et la oohérenœ des dcrnées • la diai• tedu1iqœs du NoSCI. • ri'lterfaœ 8\EC le code client• ra-chitectu'e d istrbuée • le Big Data 8"18~ique • la sdiénm da do111és dansl• b118:1 NoSCI. •Schéma irllllicite • Pares clé·valar •!Bases <rîentées docunents ru oolcmes •Documents binai'es • Stoct.age dJ Big Data 8"18~ique • PA.NlllAIU DlS PfUNCIPUIS BASfS Dl HNN(IS NoSOL. Mldoop et lllue • nstallatîonetarchitectu'e •Le lig Dai1:1 •âJtiqœ • Sqoopet HNe •Apache Spart• Coudilll etCoudib. . Sawr • Mise en œwre • Monplll • Mise en ŒlNre et acrni'listratÎCll • llilk • Mise en œun et acrni'listratÎCll • Aedis • Mise en œl.M'e • Cuun ... • Ca-actéristiques dJ mota.r • Mise en ŒlNre • Autr. bue:s • ElasticSea"ch • Bases de dcn'lé.es <rientées gr~e • MnTRl l.N ŒUVll uta USl No SOL. • luand Il• •rs le NoSCI. et qœle b. . cl9ilir? • Mettre ai place une sald:ion NoSCI. • Architectu'e et moclélisatOO • Oloisi' fa-chitecttre matérielle• Mettre en place la sokJtim et i'npcrter les dcn'lé.es • Exemples de développements • Mlirtenir et sqien1iser u,. bae NoSCI. • Réaliser des tests de charge • SUpervisioo avec les cuits LW, les cuils iltégrés ru Ganglia • !tude de cas: le NoSCI. ch• sa.,.-ock • le développement de sokJtOOs en i'lte.me • UtilisatOO de Redis • les ~plîcatîcns mcbiles : Smax. A qui s'adresse cet ouvrage ? - Aux experts en bases de damées, ël'dlitectes logiciels, déveloRJetrs ... - Aux chefs de iroiet qui s'ilterrogBlt sur le passage ai NoOOL ww•v.edltlons-eyrolles.com -E-Y-R-O-L-LE--S- Les bases de données N o s Big Data ~ et le Comprendre et mettre en oeuvre Rudi Bruchez EYROLLES ÉDITIONS EYROLLES 61, bd Saint-Germain 75240 Paris Cedex 05 www.editions-eyrolles.com Du MËME AUTEUR C. Sourou, P. BROUARD, N.SOUQue-ret R. B1zoï- :PUSQLpour Oracle 12c. D. BARBARIN. -SQLServer 2(1L4. N°14055, 2014, 340 page.,. N°13592, 2015, 890 page.,. C. P1ERRe. De. Ge.veR el G. PoNÇON - C. Sourou. - Programmer awc MySQL Mémento PHP et SQL (3• édition). (3' édition). N°13602, 2014, 14 page.,. N°13719, 2013,520 page.,. R. B1zoï - Oracle llg- Administration. C. Sourou. - Modélisation de bases de N°12899, 2011,600 pah"'·'· données (3' édition). N°14206, 2015, 352 page.,. À paraître. R. B1zoï- Oracle llg-Sauwgarde et restaurati(m. C. Sourou. -SQL pour Oracle \1' édilicm). N°12899, 2011,432 pah"'·'· N°14156, 2015,666 page.,. G. BRIARD - Oracle IOg sous Windo ..s . R. B1zoï - Oracle Uc- Administration. N° 11707, 2006, 846 pah"'·'. N° 14056, 20 14, 564 page.,. R. B1zoï- SQLpour Oracle IOg. R. B1zoï - Oracle Uc- Sauveg;arde et N°12055, 2006, 650 page.,. restauration. N° 14057, 20 14, 3 36 page.,. G. BRIARD - Oracle IOg sous Windo ..s . N° 11707, 2006, 846 pah"'·'. R. B1zoï -SQL pour Oracle 12.c. N°l4054, 2014,416 page.,. G. BR1ARD- 0rade-9isous Linux. N°11337, 2003, 894 pah"'·'· En application de la loi du 11mars1957,il est interdit de reproduire intégralement ou partiellement le présent ouvrage, sur quelque support que œ soit, sans l'autorisation de !'Éditeur ou du Centre Français d'exploitation du droit de copie, 20, rue des Grands Augustins, 75006 Paris. ©Groupe Eyrolles,2013,2015,ISBN: 978-2-212-14155-9 Table des matières AVANT-PROPOS ........................................................ . Un ouvrage impartial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 À propos des exemples de code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 À propos de la deuxième édition ... __ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 3 PREMIÈRE PARTIE Qu'est-ce qu'une base NoSQL?.............................. 5 CHAPITRE 1 Des SGBD relationnels au NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Brève histoire des systèmes de gestion de bases de données .... __ _ _ _ _ _ _ _ _ 7 Le modèle hiérarchique .................................. _ __ _ _ _ _ _ _ _ 8 Codasyl et Cobol .............. _____ ......................... _ _ _ _ _ 8 Edgard Frank Codd. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Le système dominant: le modèle relationnel d'Edgar Frank Codd . . . . . . . 1.0 Les règles de Codd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.0 DeOLTP àOLAP....... .. . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . LI L'émergence du Big Data et des bases NoSQL ... __ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 1.3 Hadoop, une implémentation de MapReduce. . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 BigTable, encore Google ! ................... _ _ _ _ _ _ __ _ _ _ _ _ _ __ _ _ _ _ _ _ _ 1.5 I.:influence d'Amazon. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Les évolutions du Big Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . L7 Le mouvement NoSQL est-il une avancée'? ... _ _ _ _ _ _ _ _ __ _ _ _ _ _ _ __ _ _ _ _ _ _ _ 1.8 La nébuleuse NoSQL............................................... L9 Tentatives de classement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . L9 Peut-on trouver des points communs entre les moteurs NoSQL '? . . . . . . . . . . . 22 CHAPITRE2 NoSQL versus SQL: quelles différences?. . . . . . . . . . . . . . . . . . . . . . . . . 25 Les principes du relationnel en regard du NoSQL. . . . . . . . . . . . . . . . . . . . . . 25 •1• Les bases de données NoSQL et le Big Data Les structures de données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 La modélisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Le langage SQL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Méfiez-vous des comparaisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Le défaut d'impédance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 Les NULL. _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Le transactionnel et la cohérence des données . . . . . . . . . . . . . . . . . . . . . . . . . 39 Distribution synchrone ou asynchrone. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 Le théorème CAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Journalisation et durabilité de la transaction. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Big Data et décisionnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 CHAPITRE3 Les choix techniques du NoSQL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 L'interface avec le code client. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Les fonctionnalités serveur.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Les protocoles d'accès aux données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 L'architecture distribuée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 La distribution avec maître.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 La distribution sans maître.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 La cohérence finale. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 Le Big Data analytique. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Le paradigme MapReduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 Lisp et les langages fonctionnels............... . . . . . . . . . . . . . . . . . . . . . . 99 Le functionnement d'Hadoop MapReduce. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 Hadoop2YARN........ .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . . 102 Le Big Data interactif....................... . . . . . . . . . . . . . . . . . . . . . . 104 CHAPITRE4 Les schémas de données dans les bases NoSQL.. . . . . . . . . . . . . . . . 107 Le schéma implicite. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Une approche non relationnelle.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 Les paires clé-valeur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 Les entrepôts clé-valeur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 Les bases orientées documents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 JSON ..... _.................................................... 115 Les bases orientées colonnes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Les document~ binaires. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 Le stockage du Big Data analytique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Les contraintes de stockage pour Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 Le SequenceFile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 --· Table des matières ji Le RCFile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 I.:ORC File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 m ~~-······················································· DEUXIÈME PARTIE Panorama des principales bases de données NoSQL 121 Préliminaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 CHAPITRES Hadoop et HBase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Hadoop. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 n7 Tester l'exécution d'Hadoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . HBase........................... .. . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . 142 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 Installation en mode standalone. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 Mise en œuvre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 CHAPITRES Le Big Data Analytique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 Présentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 Sqoop et H ive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . J 50 Importer tes données avec Apache Sqoop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 Importer tes tables dans Hive. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 Gérer les données avec Apache Hue. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . J5 6 Apache Spark. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 Caractéristiques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 CHAPITRE? CouchDB et Couchbase Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 Présentation de CouchDB........................................... 161 Caractéristiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 Mise en œuvrede CouchDB........ .. . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . 162 Utilisation de Futon. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Utilisation de l'API REST.......................................... 165 Utilisation de l'API REST dans Je code client . . . . . . . . . . . . . . . . . . . . . . . . . . 168 Fonctionnalités du serveur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 Programmation client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 Présentation de Couchbase Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 Caractéristiques. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 w11p Les bases de données NoSQL et le Big Data Fonctionnalités CouchDB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 Interface d'administration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 Accès à Couchbase Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 NIQL. .... _.................................................... 182 CHAPITRES MongoDB ...... _. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 Présentation . _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 Caractéristiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 Mise en œuvre.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 J.:invite interactive.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 Programmation client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191 Administration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 Sécurité ... _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 Montée en charge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 CHAPITRE9 Riak ............ _.................................................... 203 Mise en œuvre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 Utilisation de l'API REST.......................................... 205 Programmation client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 Administration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 Configuration du nœud . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 CHAPITRE 10 Redis................................................................ 211 Présentation . _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211 Les types de données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 Mise en œuvre.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 Installation. _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 Utilisation de redis-cli. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 Exemples d'applications clientes..................................... 216 Maintenance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 Conclusion. .. _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 CHAPITRE 11 Cassandra ..... _. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Caractéristiques du moteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Modèle de données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Stockage .. _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226 @f# Table des matières Mise en œuvre............ .. . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . 226 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 L'API Thrift. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 Gestion de la cohérence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 Programmation client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230 Nodetool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 CHAPITRE 12 Les autres bases de données de la mouvance NoSQL. . . . . . . . . . . . 235 ElasticSearC:h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 Mise en œuvre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 Les bases de données orientées graphes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 Neo4j.......................................................... 242 TROISIÈME PARTIE Mettre en œuvre une base NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 CHAPITRE 13 Quand aller vers le NoSQL et quelle base choisir?. . . . . . . . . . . . . . . . 249 Aller ou non \"ers le NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 Les avantages des moteurs relationnels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 Que doit-on stocker?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 La difrerence d'approche avec le relationnel. . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 Le problème des compétences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252 Quels sont les besoins transactionnels'? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 Résumé des cas d'utilisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 Quelle base choisir'!. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 En résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 CHAPITRE 14 Mettre en place une solution NoSQL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 Architecture et modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 Stocker du XML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264 Conception pilotée par le domaine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266 La cohérence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 Design patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268 Choisir l'arC:hitecture matérielle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 Évaluer les besoins en mémoire de Redis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 Évaluer les besoins disque. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275 Les bases de données NoSQL et le Big Data Mettre en place la solution et importer les données. . . . . . . . . . . . . . . . . . . . . 278 Déploiement distribué. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 Outils de gestion de configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 Importer les données. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280 Importer du XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285 Exemples de développements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287 CHAPITRE 15 Maintenir et superviser ses bases NoSQL . . . . . . . . . . . . . . . . . . . . . . . . . 289 Réaliser des tests de charge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289 Redis ..... _.............................. . . . . . . . . . . . . . . . . . . . . . . 290 Cassandra . _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 Tests génériques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 Supervision avec les outils Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 La commande iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293 La commande pidstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296 La commande sar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 Supervision avec les outils intégrés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 MongoDB . _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 Cassandra . _ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 Redis.......................................................... 300 Supervision avec Ganglia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301 Installer Ganglia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 Ajouter des modules Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 CHAPITRE 16 Étude de cas: le NoSQL chez Skyrock............................. 305 Le développement de solutions en interne. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306 Topy ...... _.................................................... 307 Flux y ..... _.............................. . . . . . . . . . . . . . . . . . . . . . . 307 L'utilisation de Redis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 Tester la charge. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310 Contourner les problèmes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 Utiliser Redi.s pour le traitement d'images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 Les applications mobiles: Smax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314 Exemple de requêtes géographiques dans MongoD!B. . . . . . . . . . . . . . . . . . . . . 315 CONCLUSION Comment se présente le futur?.................................... 317 INDEX................................................................. 319