Table Of Content

Amazon Elasticsearch Service Manuel du développeur Version de l'API 2015-01-01 Amazon Elasticsearch Service Manuel du développeur Amazon Elasticsearch Service: Manuel du développeur Copyright © 2018 Amazon Web Services, Inc. and/or its affiliates. All rights reserved. Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's, in any manner that is likely to cause confusion among customers, or in any manner that disparages or discredits Amazon. All other trademarks not owned by Amazon are the property of their respective owners, who may or may not be affiliated with, connected to, or sponsored by Amazon. Amazon Elasticsearch Service Manuel du développeur Table of Contents Qu'est-ce qu'Amazon Elasticsearch Service ?......................................................................................... 1 Fonctions d'Amazon Elasticsearch Service..................................................................................... 1 Versions de Elasticsearch prises en charge.................................................................................... 2 Tarification pour Amazon ES........................................................................................................ 3 Mise en route avec Amazon Elasticsearch Service.......................................................................... 3 Services connexes...................................................................................................................... 4 Mise en route de domaines Amazon ES................................................................................................ 5 Étape 1 : Créer un domaine Amazon ES........................................................................................ 5 Étape 2 : Charger des données pour les indexer............................................................................. 7 Étape 3 : Rechercher des documents dans un domaine Amazon ES................................................... 8 Étape 4 : Supprimer un domaine Amazon ES................................................................................. 9 Création et configuration de domaines Amazon ES................................................................................ 11 Création de domaines Amazon ES............................................................................................. 11 Création de domaines Amazon ES (Console)........................................................................ 11 Création de domaines Amazon ES (AWS CLI)...................................................................... 14 Création de domaines Amazon ES (AWS SDK)..................................................................... 17 Configuration de domaines Amazon ES....................................................................................... 17 Configuration de domaines Amazon ES (Console)................................................................. 17 Configuration des domaines Amazon ES (AWS CLI).............................................................. 19 Configuration de domaines Amazon ES (AWS SDK).............................................................. 20 Configuration du stockage EBS................................................................................................... 20 Configuration du stockage EBS (Console)............................................................................ 20 Configuration du stockage EBS (AWS CLI)........................................................................... 21 Configuration du stockage EBS (AWS SDK)......................................................................... 22 Modification de la configuration d'accès VPC................................................................................ 22 Configuration de l'accès VPC (console)................................................................................ 23 Configuration de l'authentification Amazon Cognito pour Kibana....................................................... 23 Configuration des stratégies d'accès............................................................................................ 23 Configuration des stratégies d'accès (Console)...................................................................... 23 Configuration des stratégies d'accès (AWS CLI).................................................................... 24 Configuration des stratégies d'accès (AWS SDK)................................................................... 25 Configuration des instantanés automatiques.................................................................................. 25 Configuration des instantanés (Console)............................................................................... 25 Configuration d'instantanés (AWS CLI)................................................................................. 26 Configuration d'instantanés (AWS SDK)............................................................................... 26 Configuration des options avancées............................................................................................. 26 Configuration des options avancées (Console)...................................................................... 27 Configuration des options avancées (AWS CLI)..................................................................... 27 Configuration des options avancées (AWS SDK)................................................................... 28 Configuration des journaux......................................................................................................... 28 Activation de la publication des journaux (console)................................................................. 28 Activation de la publication des journaux (AWS CLI)............................................................... 29 Activation de la publication des journaux (kits SDK AWS)........................................................ 30 Définition des seuils de journalisation Elasticsearch pour les journaux lents................................ 31 Affichage des journaux...................................................................................................... 32 Contrôle d'accès............................................................................................................................... 33 Types de stratégies................................................................................................................... 33 Stratégies basées sur les ressources................................................................................... 33 Stratégies basées sur l'identité............................................................................................ 35 Stratégies basées sur l'IP.................................................................................................. 36 Création et signature des demandes Amazon ES.......................................................................... 37 En cas de conflit entre plusieurs stratégies................................................................................... 38 Références des éléments de stratégie......................................................................................... 38 Options avancées et considérations relatives aux API.................................................................... 44 Version de l'API 2015-01-01 iii Amazon Elasticsearch Service Manuel du développeur Configuration des stratégies d'accès............................................................................................ 46 Exemples de stratégies supplémentaires...................................................................................... 46 Gestion de domaines Amazon ES....................................................................................................... 47 A propos des changements de configuration................................................................................. 47 Frais associés aux changements de configuration.......................................................................... 48 Activation de la prise en compte des zones .................................................................................. 49 Surveillance des métriques et des statistiques du cluster avec Amazon CloudWatch (Console).............. 51 Métriques du cluster.......................................................................................................... 52 Métriques du nœud principal dédié...................................................................................... 56 Métriques de volume EBS.................................................................................................. 57 Journalisation des appels d'API de configuration CloudTrail............................................................. 58 Informations Amazon Elasticsearch Service dans CloudTrail.................................................... 59 Présentation des entrées des fichiers journaux Amazon Elasticsearch Service............................ 60 Balisage des domaines Amazon Elasticsearch Service................................................................... 61 Utilisation des balises (Console).......................................................................................... 62 Utilisation des balises (AWS CLI)........................................................................................ 63 Utilisation des balises (AWS SDKs)..................................................................................... 64 Indexation des données..................................................................................................................... 65 Présentation de l'indexation........................................................................................................ 65 Signature des demandes HTTP.......................................................................................................... 68 Java........................................................................................................................................ 68 Python..................................................................................................................................... 70 Ruby....................................................................................................................................... 72 Nœud...................................................................................................................................... 74 Chargement de données de diffusion dans Amazon ES.......................................................................... 76 Chargement de données de diffusion dans Amazon ES depuis Amazon S3........................................ 76 Prérequis......................................................................................................................... 76 Création du package de déploiement Lambda....................................................................... 77 Création de la fonction Lambda.......................................................................................... 78 Test de la fonction Lambda................................................................................................ 80 Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Streams............... 81 Prérequis......................................................................................................................... 81 Création de la fonction Lambda.......................................................................................... 82 Test de la fonction Lambda................................................................................................ 83 Chargement de données de diffusion dans Amazon ES depuis Amazon DynamoDB............................ 84 Prérequis......................................................................................................................... 84 Création de la fonction Lambda.......................................................................................... 85 Test de la fonction Lambda................................................................................................ 86 Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Firehose .............. 86 Chargement de données de diffusion dans Amazon ES depuis Amazon CloudWatch........................... 87 Chargement de données vers Amazon ES depuis AWS IoT............................................................ 87 Recherche de données...................................................................................................................... 88 Recherches d'URI..................................................................................................................... 88 Recherches dans le corps de la demande.................................................................................... 89 Optimisation des champs................................................................................................... 90 Pagination des résultats de recherche.................................................................................. 90 Mise en évidence des résultats de recherche........................................................................ 91 API Count........................................................................................................................ 92 Utilisation d'instantanés d'index........................................................................................................... 93 Conditions préalables aux instantanés manuels............................................................................. 94 Inscription à un référentiel d'instantanés manuels.......................................................................... 95 Exemple de client Python................................................................................................... 96 Prise d'instantanés manuels....................................................................................................... 97 Restauration des instantanés...................................................................................................... 98 Mise à niveau d'Elasticsearch........................................................................................................... 100 Dépannage de la mise à niveau................................................................................................ 100 Démarrage d'une mise à niveau................................................................................................ 102 Version de l'API 2015-01-01 iv Amazon Elasticsearch Service Manuel du développeur Utilisation d'un instantané pour migrer des données..................................................................... 103 Kibana et Logstash......................................................................................................................... 105 Kibana................................................................................................................................... 105 Contrôle de l'accès à Kibana............................................................................................ 105 Configuration de Kibana pour utiliser un serveur de cartes WMS............................................ 107 Connexion d'un serveur Local Kibana à Amazon ES............................................................. 108 Chargement des données en bloc avec le plug-in Logstash........................................................... 108 Authentification pour Kibana............................................................................................................. 110 Prérequis............................................................................................................................... 110 À propos du groupe d'utilisateurs....................................................................................... 111 À propos du groupe d'identités.......................................................................................... 111 À propos du rôle IAM...................................................................................................... 112 Configuration d'un domaine Amazon ES..................................................................................... 112 Configuration de l'authentification Amazon Cognito (console)................................................. 112 Configuration de l'authentification Amazon Cognito (AWS CLI)............................................... 114 Configuration de l'authentification Amazon Cognito (kits SDK AWS)........................................ 114 Autorisation du rôle authentifié.................................................................................................. 115 Configuration des fournisseurs d'identité..................................................................................... 115 (Facultatif) Configuration de l'accès granulaire............................................................................. 117 Groupes d'utilisateurs et jetons.......................................................................................... 120 Règles........................................................................................................................... 120 (Facultatif) Personnalisation de la page de connexion................................................................... 120 (Facultatif) Configuration de la sécurité avancée.......................................................................... 120 Test...................................................................................................................................... 120 Limites................................................................................................................................... 121 Problèmes de configuration courants.......................................................................................... 121 Désactivation de l'authentification Amazon Cognito pour Kibana..................................................... 123 Suppression des domaines qui utilisent l'authentification Amazon Cognito pour Kibana....................... 124 VPC Support.................................................................................................................................. 125 Limites................................................................................................................................... 127 À propos des stratégies d'accès pour les domaines de VPC.......................................................... 127 Test des domaines de VPC...................................................................................................... 128 Prérequis............................................................................................................................... 129 Création d'un VPC.................................................................................................................. 130 Réservation d'adresses IP dans un sous-réseau VPC................................................................... 131 Rôle lié à un service pour l'accès VPC....................................................................................... 132 Migration d'un accès public à un accès VPC............................................................................... 132 Documentation Amazon VPC.................................................................................................... 132 Bonnes pratiques............................................................................................................................ 134 Dimensionnement des domaines Amazon ES.............................................................................. 134 Calcul des exigences de stockage..................................................................................... 134 Choix du nombre de partitions.......................................................................................... 135 Choix des types d'instances et test.................................................................................... 136 Nœuds principaux dédiés......................................................................................................... 137 Alarmes CloudWatch recommandées......................................................................................... 140 Mise à l'échelle d'une capacité de plusieurs péta-octets........................................................................ 142 Chiffrement..................................................................................................................................... 144 Chiffrement au repos............................................................................................................... 144 Activation du chiffrement de données au repos.................................................................... 144 Désactivation du chiffrement de données au repos............................................................... 145 Surveillance des domaines qui chiffrent les données au repos................................................ 145 Autres considérations....................................................................................................... 146 Chiffrement nœud à nœud....................................................................................................... 146 Activation du chiffrement nœud à nœud............................................................................. 146 Désactivation du chiffrement nœud à nœud........................................................................ 147 Autres considérations....................................................................................................... 147 Utilisation de Curator pour faire pivoter les données............................................................................. 148 Version de l'API 2015-01-01 v Amazon Elasticsearch Service Manuel du développeur Exemple de code.................................................................................................................... 148 Paramètres de base................................................................................................................ 151 Déclencheurs.......................................................................................................................... 151 Autorisations........................................................................................................................... 151 Dépannage..................................................................................................................................... 153 Impossible d'accéder à Kibana.................................................................................................. 153 Impossible d'accéder au domaine VPC....................................................................................... 153 Statut de cluster rouge............................................................................................................. 153 Récupération après une importante charge de traitement continue.......................................... 154 Statut de cluster jaune............................................................................................................. 155 ClusterBlockException.............................................................................................................. 156 Manque d'espace de stockage disponible........................................................................... 156 Disques de blocage en raison d'une mémoire insuffisante..................................................... 156 JVM OutOfMemoryError........................................................................................................... 156 Nœuds de cluster en échec...................................................................................................... 157 Impossible de fermer l'index..................................................................................................... 157 Impossible d'accéder au nœud via SSH..................................................................................... 158 Erreur d'instantané « Non valide pour la classe de stockage de l'objet »........................................... 158 En-tête d'hôte non valide.......................................................................................................... 158 Erreur de navigateur lors de l'utilisation de Kibana....................................................................... 158 Opération non autorisée après la sélection de l'accès VPC............................................................ 159 Blocage du chargement suite à la création d'un domaine VPC....................................................... 159 Erreur de certificat lors de l'utilisation du kit SDK......................................................................... 159 Référence générale......................................................................................................................... 161 Types d'instance pris en charge................................................................................................ 161 Opérations Elasticsearch prises en charge.................................................................................. 162 Différences notables entre API.......................................................................................... 162 Version 6.3..................................................................................................................... 163 Version 6.2..................................................................................................................... 164 Version 6.0..................................................................................................................... 165 Version 5.6..................................................................................................................... 166 Version 5.5..................................................................................................................... 167 Version 5.3..................................................................................................................... 168 Version 5.1..................................................................................................................... 168 Version 2.3..................................................................................................................... 169 Version 1.5..................................................................................................................... 170 Plug-ins pris en charge............................................................................................................ 170 Plug-ins de sortie............................................................................................................ 172 Autres ressource prises en charge............................................................................................. 173 Utilisation des kits SDK AWS............................................................................................................ 174 Java...................................................................................................................................... 174 Référence de l'API de configuration d'Amazon ES................................................................................ 178 Actions.................................................................................................................................. 178 AddTags........................................................................................................................ 179 CreateElasticsearchDomain.............................................................................................. 180 DeleteElasticsearchDomain............................................................................................... 185 DeleteElasticsearchServiceRole......................................................................................... 187 DescribeElasticsearchDomain........................................................................................... 188 DescribeElasticsearchDomainConfig................................................................................... 189 DescribeElasticsearchDomains.......................................................................................... 193 DescribeElasticsearchInstanceTypeLimits............................................................................ 195 DescribeReservedElasticsearchInstanceOfferings................................................................. 198 DescribeReservedElasticsearchInstances............................................................................ 200 GetCompatibleElasticsearchVersions.................................................................................. 202 GetUpgradeHistory.......................................................................................................... 203 GetUpgradeStatus........................................................................................................... 206 ListDomainNames........................................................................................................... 207 Version de l'API 2015-01-01 vi Amazon Elasticsearch Service Manuel du développeur ListElasticsearchInstanceTypeDetails.................................................................................. 208 ListElasticsearchInstanceTypes (obsolète)........................................................................... 210 ListElasticsearchVersions................................................................................................. 211 ListTags......................................................................................................................... 213 PurchaseReservedElasticsearchInstance............................................................................. 214 RemoveTags.................................................................................................................. 215 UpdateElasticsearchDomainConfig..................................................................................... 216 UpgradeElasticsearchDomain............................................................................................ 221 Types de données.................................................................................................................. 222 AdvancedOptions............................................................................................................ 223 AdvancedOptionsStatus.................................................................................................... 223 ARN.............................................................................................................................. 224 CognitoOptions............................................................................................................... 224 CognitoOptionsStatus....................................................................................................... 224 CreateElasticsearchDomainRequest................................................................................... 225 DomainID....................................................................................................................... 226 DomainName.................................................................................................................. 226 DomainNameList............................................................................................................. 226 EBSOptions.................................................................................................................... 226 ElasticsearchClusterConfig................................................................................................ 227 ElasticsearchDomainConfig............................................................................................... 227 ElasticsearchDomainStatus............................................................................................... 228 ElasticsearchDomainStatusList.......................................................................................... 230 EncryptionAtRestOptions.................................................................................................. 231 EncryptionAtRestOptionsStatus......................................................................................... 231 EndpointsMap................................................................................................................. 231 LogPublishingOptions....................................................................................................... 231 LogPublishingOptionsStatus.............................................................................................. 232 NodeToNodeEncryptionOptions......................................................................................... 232 NodeToNodeEncryptionOptionsStatus................................................................................ 233 OptionState.................................................................................................................... 233 OptionStatus................................................................................................................... 233 ServiceURL.................................................................................................................... 234 SnapshotOptions............................................................................................................. 234 SnapshotOptionsStatus.................................................................................................... 234 Balise............................................................................................................................ 234 TagKey.......................................................................................................................... 235 TagList.......................................................................................................................... 235 TagValue....................................................................................................................... 235 VPCDerivedInfo.............................................................................................................. 235 VPCDerivedInfoStatus...................................................................................................... 236 VPCOptions.................................................................................................................... 236 VPCOptionsStatus........................................................................................................... 236 Erreurs.................................................................................................................................. 237 Limites........................................................................................................................................... 238 Limites relatives aux clusters et aux instances............................................................................. 238 Limites relatives à la taille du volume EBS.................................................................................. 238 Limites de réseau................................................................................................................... 240 Limite de processus Java......................................................................................................... 241 Instances réservées......................................................................................................................... 242 Achat d'instances réservées (console)........................................................................................ 242 Achat d'instances réservées (interface de ligne de commande AWS)............................................... 243 Achat d'instances réservées (Kits SDK AWS).............................................................................. 245 Examen des coûts.................................................................................................................. 245 Didacticiel : Création d'une application de recherche............................................................................. 246 Étape 1 : Indexer des exemples de données............................................................................... 246 Étape 2 : Création du API......................................................................................................... 247 Version de l'API 2015-01-01 vii Amazon Elasticsearch Service Manuel du développeur Étape 3 : Créer la fonction Lambda........................................................................................... 248 Étape 4 : Modifier la stratégie d'accès au domaine....................................................................... 249 Étape 5 : Tester l'application web.............................................................................................. 249 Étapes suivantes..................................................................................................................... 249 Didacticiel : Visualisation des appels au support.................................................................................. 252 Étape 1 : Configuration des prérequis......................................................................................... 253 Étape 2 : Copier un exemple de code........................................................................................ 253 (Facultatif) Étape 3 : Ajouter des exemples de données................................................................ 256 Étape 4 : Analyser et visualiser vos données............................................................................... 257 Étape 5 : Nettoyage des ressources et étapes suivantes............................................................... 266 Historique du document................................................................................................................... 267 Utilisation des rôles liés à un service................................................................................................. 270 Autorisations des rôles liés à un service pour Amazon ES............................................................. 270 Création d'un rôle lié à un service pour Amazon ES..................................................................... 271 Modification d'un rôle lié à un service pour Amazon ES................................................................ 271 Suppression d'un rôle lié à un service pour Amazon ES................................................................ 271 Nettoyage d'un rôle lié à un service................................................................................... 271 Pour supprimer manuellement un rôle lié à un service.......................................................... 272 Glossaire AWS............................................................................................................................... 273 Version de l'API 2015-01-01 viii Amazon Elasticsearch Service Manuel du développeur Fonctions d'Amazon Elasticsearch Service Qu'est-ce qu'Amazon Elasticsearch Service ? Amazon Elasticsearch Service (Amazon ES) est un service géré qui facilite le déploiement, l'utilisation et la mise à l'échelle des clusters Elasticsearch dans le cloud AWS. Elasticsearch est un moteur de recherche et d'analyse à code source libre très populaire, utilisé notamment pour l'analyse des fichiers journaux, la surveillance d'applications en temps réel et l'analyse des parcours de navigation. Avec Amazon ES, vous obtenez un accès direct aux API Elasticsearch ; les applications et le code existants fonctionnent de façon transparente avec le service. Amazon ES alloue toutes les ressources pour votre cluster Elasticsearch et lance ce dernier. Il détecte et remplace aussi automatiquement les nœuds Elasticsearch défaillants, ce qui réduit le traitement associé aux infrastructures auto-gérées. Vous pouvez facilement faire évoluer votre cluster avec un seul appel de l'API ou en quelques clics sur la console. Pour commencer à utiliser Amazon ES, vous devez créer un domaine. An Amazon ES domain is synonymous with an Elasticsearch cluster. Domains are clusters with the settings, instance types, instance counts, and storage resources that you specify. Vous pouvez utiliser la console Amazon ES pour installer et configurer un domaine en quelques minutes. Si vous préférez un accès par programme, vous pouvez utiliser l'AWS CLI ou les kits SDK AWS. Rubriques • Fonctions d'Amazon Elasticsearch Service (p. 1) • Versions de Elasticsearch prises en charge (p. 2) • Tarification pour Amazon Elasticsearch Service (p. 3) • Mise en route avec Amazon Elasticsearch Service (p. 3) • Services connexes (p. 4) Fonctions d'Amazon Elasticsearch Service Amazon ES comprend les fonctions suivantes : Evolutivité • Plusieurs configurations d'UC, de mémoire et de capacité de stockage, appelées types d'instances • Jusqu'à 1,5 Po de stockage d'instance • Amazon EBS volumes de stockage Sécurité • Contrôle d'accès AWS Identity and Access Management (IAM) • Intégration aisée avec Amazon VPC et les groupes de sécurité VPC • Chiffrement de données au repos • Authentification Amazon Cognito pour Kibana Version de l'API 2015-01-01 1 Amazon Elasticsearch Service Manuel du développeur Versions de Elasticsearch prises en charge Stabilité • Plusieurs emplacements géographiques pour vos ressources, appelés régions et zones de disponibilité • Les nœuds maîtres dédiés à décharger des tâches de gestion de cluster • Les instantanés automatiques pour sauvegarder et restaurer des domaines Amazon ES • Allocation du nœud du cluster sur deux zones de disponibilité dans la même région, appelée prise en compte des zones Intégration aux services les plus connus • Visualisation des données à l'aide de Kibana • Intégration à Amazon CloudWatch pour surveiller les métriques de domaine Amazon ES et pour configurer les alarmes • Intégration à AWS CloudTrail pour vérifier des appels d'API de configuration vers des domaines Amazon ES • Intégration à Amazon S3, Amazon Kinesis et Amazon DynamoDB pour charger des données de streaming dans Amazon ES Versions de Elasticsearch prises en charge Amazon ES prend actuellement en charge les versions suivantes d'Elasticsearch : • 6.3 • 6.2 • 6.0 • 5.6 • 5.5 • 5.3 • 5.1 • 2.3 • 1.5 Comparées aux versions d'Elasticsearch antérieures, les versions 6.x proposent de puissantes fonctions qui facilitent, accélèrent et sécurisent l'utilisation. Voici quelques points importants : • Fractionnement d'index : Si un index dépasse son nombre de partitions d'origine, l'API _split offre un moyen pratique pour fractionner chaque partition principale en plusieurs partitions dans un nouvel index. • Visualisations Vega : Kibana 6.2 et les versions ultérieures prennent en charge le langage de visualisation Vega, ce qui vous permet d'effectuer des requêtes Elasticsearch en fonction du contexte, de combiner plusieurs sources de données dans un seul graphique, d'ajouter de l'interactivité utilisateur à des graphiques, et bien plus encore. • Évaluation du classement : L'API _rank_eval vous permet de mesurer et de suivre les performances de résultats de recherche classés sur un ensemble de requêtes afin de vous assurer que vos recherches fonctionnent comme prévu. • Regroupements composites : Ces regroupements génèrent des compartiments composites à partir d'un ou de plusieurs champs et les classent en « ordre naturel » (par ordre alphabétique pour les termes, numériquement ou par date pour les histogrammes). • Meilleures performances d'indexation : Les nouvelles versions d'Elasticsearch offrent des capacités d'indexation supérieures qui augmentent considérablement le débit des mises à jour de données. Version de l'API 2015-01-01 2

Description:
ES. Utilisez la commande suivante pour interroger l'état du nouveau domaine : aws es describe-elasticsearch-domain --domain movies. Pour créer un domaine Amazon ES (AWS SDK). Les kits SDK AWS (sauf les SDK Android et iOS) prennent en charge toutes les actions définies dans la Référence de
ebook img

Amazon Elasticsearch Service PDF

228 Pages·2017·2.07 MB·French
by  Amazon Web Services
Save to my drive
Quick download
Download
Upgrade Premium
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Amazon Elasticsearch Service

Amazon Elasticsearch Service Manuel du développeur Version de l'API 2015-01-01 Amazon Elasticsearch Service Manuel du développeur Amazon Elasticsearch Service: Manuel du développeur Copyright © 2018 Amazon Web Services, Inc. and/or its affiliates. All rights reserved. Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's, in any manner that is likely to cause confusion among customers, or in any manner that disparages or discredits Amazon. All other trademarks not owned by Amazon are the property of their respective owners, who may or may not be affiliated with, connected to, or sponsored by Amazon. Amazon Elasticsearch Service Manuel du développeur Table of Contents Qu'est-ce qu'Amazon Elasticsearch Service ?......................................................................................... 1 Fonctions d'Amazon Elasticsearch Service..................................................................................... 1 Versions de Elasticsearch prises en charge.................................................................................... 2 Tarification pour Amazon ES........................................................................................................ 3 Mise en route avec Amazon Elasticsearch Service.......................................................................... 3 Services connexes...................................................................................................................... 4 Mise en route de domaines Amazon ES................................................................................................ 5 Étape 1 : Créer un domaine Amazon ES........................................................................................ 5 Étape 2 : Charger des données pour les indexer............................................................................. 7 Étape 3 : Rechercher des documents dans un domaine Amazon ES................................................... 8 Étape 4 : Supprimer un domaine Amazon ES................................................................................. 9 Création et configuration de domaines Amazon ES................................................................................ 11 Création de domaines Amazon ES............................................................................................. 11 Création de domaines Amazon ES (Console)........................................................................ 11 Création de domaines Amazon ES (AWS CLI)...................................................................... 14 Création de domaines Amazon ES (AWS SDK)..................................................................... 17 Configuration de domaines Amazon ES....................................................................................... 17 Configuration de domaines Amazon ES (Console)................................................................. 17 Configuration des domaines Amazon ES (AWS CLI).............................................................. 19 Configuration de domaines Amazon ES (AWS SDK).............................................................. 20 Configuration du stockage EBS................................................................................................... 20 Configuration du stockage EBS (Console)............................................................................ 20 Configuration du stockage EBS (AWS CLI)........................................................................... 21 Configuration du stockage EBS (AWS SDK)......................................................................... 22 Modification de la configuration d'accès VPC................................................................................ 22 Configuration de l'accès VPC (console)................................................................................ 23 Configuration de l'authentification Amazon Cognito pour Kibana....................................................... 23 Configuration des stratégies d'accès............................................................................................ 23 Configuration des stratégies d'accès (Console)...................................................................... 23 Configuration des stratégies d'accès (AWS CLI).................................................................... 24 Configuration des stratégies d'accès (AWS SDK)................................................................... 25 Configuration des instantanés automatiques.................................................................................. 25 Configuration des instantanés (Console)............................................................................... 25 Configuration d'instantanés (AWS CLI)................................................................................. 26 Configuration d'instantanés (AWS SDK)............................................................................... 26 Configuration des options avancées............................................................................................. 26 Configuration des options avancées (Console)...................................................................... 27 Configuration des options avancées (AWS CLI)..................................................................... 27 Configuration des options avancées (AWS SDK)................................................................... 28 Configuration des journaux......................................................................................................... 28 Activation de la publication des journaux (console)................................................................. 28 Activation de la publication des journaux (AWS CLI)............................................................... 29 Activation de la publication des journaux (kits SDK AWS)........................................................ 30 Définition des seuils de journalisation Elasticsearch pour les journaux lents................................ 31 Affichage des journaux...................................................................................................... 32 Contrôle d'accès............................................................................................................................... 33 Types de stratégies................................................................................................................... 33 Stratégies basées sur les ressources................................................................................... 33 Stratégies basées sur l'identité............................................................................................ 35 Stratégies basées sur l'IP.................................................................................................. 36 Création et signature des demandes Amazon ES.......................................................................... 37 En cas de conflit entre plusieurs stratégies................................................................................... 38 Références des éléments de stratégie......................................................................................... 38 Options avancées et considérations relatives aux API.................................................................... 44 Version de l'API 2015-01-01 iii Amazon Elasticsearch Service Manuel du développeur Configuration des stratégies d'accès............................................................................................ 46 Exemples de stratégies supplémentaires...................................................................................... 46 Gestion de domaines Amazon ES....................................................................................................... 47 A propos des changements de configuration................................................................................. 47 Frais associés aux changements de configuration.......................................................................... 48 Activation de la prise en compte des zones .................................................................................. 49 Surveillance des métriques et des statistiques du cluster avec Amazon CloudWatch (Console).............. 51 Métriques du cluster.......................................................................................................... 52 Métriques du nœud principal dédié...................................................................................... 56 Métriques de volume EBS.................................................................................................. 57 Journalisation des appels d'API de configuration CloudTrail............................................................. 58 Informations Amazon Elasticsearch Service dans CloudTrail.................................................... 59 Présentation des entrées des fichiers journaux Amazon Elasticsearch Service............................ 60 Balisage des domaines Amazon Elasticsearch Service................................................................... 61 Utilisation des balises (Console).......................................................................................... 62 Utilisation des balises (AWS CLI)........................................................................................ 63 Utilisation des balises (AWS SDKs)..................................................................................... 64 Indexation des données..................................................................................................................... 65 Présentation de l'indexation........................................................................................................ 65 Signature des demandes HTTP.......................................................................................................... 68 Java........................................................................................................................................ 68 Python..................................................................................................................................... 70 Ruby....................................................................................................................................... 72 Nœud...................................................................................................................................... 74 Chargement de données de diffusion dans Amazon ES.......................................................................... 76 Chargement de données de diffusion dans Amazon ES depuis Amazon S3........................................ 76 Prérequis......................................................................................................................... 76 Création du package de déploiement Lambda....................................................................... 77 Création de la fonction Lambda.......................................................................................... 78 Test de la fonction Lambda................................................................................................ 80 Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Streams............... 81 Prérequis......................................................................................................................... 81 Création de la fonction Lambda.......................................................................................... 82 Test de la fonction Lambda................................................................................................ 83 Chargement de données de diffusion dans Amazon ES depuis Amazon DynamoDB............................ 84 Prérequis......................................................................................................................... 84 Création de la fonction Lambda.......................................................................................... 85 Test de la fonction Lambda................................................................................................ 86 Chargement de données de diffusion dans Amazon ES depuis Amazon Kinesis Data Firehose .............. 86 Chargement de données de diffusion dans Amazon ES depuis Amazon CloudWatch........................... 87 Chargement de données vers Amazon ES depuis AWS IoT............................................................ 87 Recherche de données...................................................................................................................... 88 Recherches d'URI..................................................................................................................... 88 Recherches dans le corps de la demande.................................................................................... 89 Optimisation des champs................................................................................................... 90 Pagination des résultats de recherche.................................................................................. 90 Mise en évidence des résultats de recherche........................................................................ 91 API Count........................................................................................................................ 92 Utilisation d'instantanés d'index........................................................................................................... 93 Conditions préalables aux instantanés manuels............................................................................. 94 Inscription à un référentiel d'instantanés manuels.......................................................................... 95 Exemple de client Python................................................................................................... 96 Prise d'instantanés manuels....................................................................................................... 97 Restauration des instantanés...................................................................................................... 98 Mise à niveau d'Elasticsearch........................................................................................................... 100 Dépannage de la mise à niveau................................................................................................ 100 Démarrage d'une mise à niveau................................................................................................ 102 Version de l'API 2015-01-01 iv Amazon Elasticsearch Service Manuel du développeur Utilisation d'un instantané pour migrer des données..................................................................... 103 Kibana et Logstash......................................................................................................................... 105 Kibana................................................................................................................................... 105 Contrôle de l'accès à Kibana............................................................................................ 105 Configuration de Kibana pour utiliser un serveur de cartes WMS............................................ 107 Connexion d'un serveur Local Kibana à Amazon ES............................................................. 108 Chargement des données en bloc avec le plug-in Logstash........................................................... 108 Authentification pour Kibana............................................................................................................. 110 Prérequis............................................................................................................................... 110 À propos du groupe d'utilisateurs....................................................................................... 111 À propos du groupe d'identités.......................................................................................... 111 À propos du rôle IAM...................................................................................................... 112 Configuration d'un domaine Amazon ES..................................................................................... 112 Configuration de l'authentification Amazon Cognito (console)................................................. 112 Configuration de l'authentification Amazon Cognito (AWS CLI)............................................... 114 Configuration de l'authentification Amazon Cognito (kits SDK AWS)........................................ 114 Autorisation du rôle authentifié.................................................................................................. 115 Configuration des fournisseurs d'identité..................................................................................... 115 (Facultatif) Configuration de l'accès granulaire............................................................................. 117 Groupes d'utilisateurs et jetons.......................................................................................... 120 Règles........................................................................................................................... 120 (Facultatif) Personnalisation de la page de connexion................................................................... 120 (Facultatif) Configuration de la sécurité avancée.......................................................................... 120 Test...................................................................................................................................... 120 Limites................................................................................................................................... 121 Problèmes de configuration courants.......................................................................................... 121 Désactivation de l'authentification Amazon Cognito pour Kibana..................................................... 123 Suppression des domaines qui utilisent l'authentification Amazon Cognito pour Kibana....................... 124 VPC Support.................................................................................................................................. 125 Limites................................................................................................................................... 127 À propos des stratégies d'accès pour les domaines de VPC.......................................................... 127 Test des domaines de VPC...................................................................................................... 128 Prérequis............................................................................................................................... 129 Création d'un VPC.................................................................................................................. 130 Réservation d'adresses IP dans un sous-réseau VPC................................................................... 131 Rôle lié à un service pour l'accès VPC....................................................................................... 132 Migration d'un accès public à un accès VPC............................................................................... 132 Documentation Amazon VPC.................................................................................................... 132 Bonnes pratiques............................................................................................................................ 134 Dimensionnement des domaines Amazon ES.............................................................................. 134 Calcul des exigences de stockage..................................................................................... 134 Choix du nombre de partitions.......................................................................................... 135 Choix des types d'instances et test.................................................................................... 136 Nœuds principaux dédiés......................................................................................................... 137 Alarmes CloudWatch recommandées......................................................................................... 140 Mise à l'échelle d'une capacité de plusieurs péta-octets........................................................................ 142 Chiffrement..................................................................................................................................... 144 Chiffrement au repos............................................................................................................... 144 Activation du chiffrement de données au repos.................................................................... 144 Désactivation du chiffrement de données au repos............................................................... 145 Surveillance des domaines qui chiffrent les données au repos................................................ 145 Autres considérations....................................................................................................... 146 Chiffrement nœud à nœud....................................................................................................... 146 Activation du chiffrement nœud à nœud............................................................................. 146 Désactivation du chiffrement nœud à nœud........................................................................ 147 Autres considérations....................................................................................................... 147 Utilisation de Curator pour faire pivoter les données............................................................................. 148 Version de l'API 2015-01-01 v Amazon Elasticsearch Service Manuel du développeur Exemple de code.................................................................................................................... 148 Paramètres de base................................................................................................................ 151 Déclencheurs.......................................................................................................................... 151 Autorisations........................................................................................................................... 151 Dépannage..................................................................................................................................... 153 Impossible d'accéder à Kibana.................................................................................................. 153 Impossible d'accéder au domaine VPC....................................................................................... 153 Statut de cluster rouge............................................................................................................. 153 Récupération après une importante charge de traitement continue.......................................... 154 Statut de cluster jaune............................................................................................................. 155 ClusterBlockException.............................................................................................................. 156 Manque d'espace de stockage disponible........................................................................... 156 Disques de blocage en raison d'une mémoire insuffisante..................................................... 156 JVM OutOfMemoryError........................................................................................................... 156 Nœuds de cluster en échec...................................................................................................... 157 Impossible de fermer l'index..................................................................................................... 157 Impossible d'accéder au nœud via SSH..................................................................................... 158 Erreur d'instantané « Non valide pour la classe de stockage de l'objet »........................................... 158 En-tête d'hôte non valide.......................................................................................................... 158 Erreur de navigateur lors de l'utilisation de Kibana....................................................................... 158 Opération non autorisée après la sélection de l'accès VPC............................................................ 159 Blocage du chargement suite à la création d'un domaine VPC....................................................... 159 Erreur de certificat lors de l'utilisation du kit SDK......................................................................... 159 Référence générale......................................................................................................................... 161 Types d'instance pris en charge................................................................................................ 161 Opérations Elasticsearch prises en charge.................................................................................. 162 Différences notables entre API.......................................................................................... 162 Version 6.3..................................................................................................................... 163 Version 6.2..................................................................................................................... 164 Version 6.0..................................................................................................................... 165 Version 5.6..................................................................................................................... 166 Version 5.5..................................................................................................................... 167 Version 5.3..................................................................................................................... 168 Version 5.1..................................................................................................................... 168 Version 2.3..................................................................................................................... 169 Version 1.5..................................................................................................................... 170 Plug-ins pris en charge............................................................................................................ 170 Plug-ins de sortie............................................................................................................ 172 Autres ressource prises en charge............................................................................................. 173 Utilisation des kits SDK AWS............................................................................................................ 174 Java...................................................................................................................................... 174 Référence de l'API de configuration d'Amazon ES................................................................................ 178 Actions.................................................................................................................................. 178 AddTags........................................................................................................................ 179 CreateElasticsearchDomain.............................................................................................. 180 DeleteElasticsearchDomain............................................................................................... 185 DeleteElasticsearchServiceRole......................................................................................... 187 DescribeElasticsearchDomain........................................................................................... 188 DescribeElasticsearchDomainConfig................................................................................... 189 DescribeElasticsearchDomains.......................................................................................... 193 DescribeElasticsearchInstanceTypeLimits............................................................................ 195 DescribeReservedElasticsearchInstanceOfferings................................................................. 198 DescribeReservedElasticsearchInstances............................................................................ 200 GetCompatibleElasticsearchVersions.................................................................................. 202 GetUpgradeHistory.......................................................................................................... 203 GetUpgradeStatus........................................................................................................... 206 ListDomainNames........................................................................................................... 207 Version de l'API 2015-01-01 vi Amazon Elasticsearch Service Manuel du développeur ListElasticsearchInstanceTypeDetails.................................................................................. 208 ListElasticsearchInstanceTypes (obsolète)........................................................................... 210 ListElasticsearchVersions................................................................................................. 211 ListTags......................................................................................................................... 213 PurchaseReservedElasticsearchInstance............................................................................. 214 RemoveTags.................................................................................................................. 215 UpdateElasticsearchDomainConfig..................................................................................... 216 UpgradeElasticsearchDomain............................................................................................ 221 Types de données.................................................................................................................. 222 AdvancedOptions............................................................................................................ 223 AdvancedOptionsStatus.................................................................................................... 223 ARN.............................................................................................................................. 224 CognitoOptions............................................................................................................... 224 CognitoOptionsStatus....................................................................................................... 224 CreateElasticsearchDomainRequest................................................................................... 225 DomainID....................................................................................................................... 226 DomainName.................................................................................................................. 226 DomainNameList............................................................................................................. 226 EBSOptions.................................................................................................................... 226 ElasticsearchClusterConfig................................................................................................ 227 ElasticsearchDomainConfig............................................................................................... 227 ElasticsearchDomainStatus............................................................................................... 228 ElasticsearchDomainStatusList.......................................................................................... 230 EncryptionAtRestOptions.................................................................................................. 231 EncryptionAtRestOptionsStatus......................................................................................... 231 EndpointsMap................................................................................................................. 231 LogPublishingOptions....................................................................................................... 231 LogPublishingOptionsStatus.............................................................................................. 232 NodeToNodeEncryptionOptions......................................................................................... 232 NodeToNodeEncryptionOptionsStatus................................................................................ 233 OptionState.................................................................................................................... 233 OptionStatus................................................................................................................... 233 ServiceURL.................................................................................................................... 234 SnapshotOptions............................................................................................................. 234 SnapshotOptionsStatus.................................................................................................... 234 Balise............................................................................................................................ 234 TagKey.......................................................................................................................... 235 TagList.......................................................................................................................... 235 TagValue....................................................................................................................... 235 VPCDerivedInfo.............................................................................................................. 235 VPCDerivedInfoStatus...................................................................................................... 236 VPCOptions.................................................................................................................... 236 VPCOptionsStatus........................................................................................................... 236 Erreurs.................................................................................................................................. 237 Limites........................................................................................................................................... 238 Limites relatives aux clusters et aux instances............................................................................. 238 Limites relatives à la taille du volume EBS.................................................................................. 238 Limites de réseau................................................................................................................... 240 Limite de processus Java......................................................................................................... 241 Instances réservées......................................................................................................................... 242 Achat d'instances réservées (console)........................................................................................ 242 Achat d'instances réservées (interface de ligne de commande AWS)............................................... 243 Achat d'instances réservées (Kits SDK AWS).............................................................................. 245 Examen des coûts.................................................................................................................. 245 Didacticiel : Création d'une application de recherche............................................................................. 246 Étape 1 : Indexer des exemples de données............................................................................... 246 Étape 2 : Création du API......................................................................................................... 247 Version de l'API 2015-01-01 vii Amazon Elasticsearch Service Manuel du développeur Étape 3 : Créer la fonction Lambda........................................................................................... 248 Étape 4 : Modifier la stratégie d'accès au domaine....................................................................... 249 Étape 5 : Tester l'application web.............................................................................................. 249 Étapes suivantes..................................................................................................................... 249 Didacticiel : Visualisation des appels au support.................................................................................. 252 Étape 1 : Configuration des prérequis......................................................................................... 253 Étape 2 : Copier un exemple de code........................................................................................ 253 (Facultatif) Étape 3 : Ajouter des exemples de données................................................................ 256 Étape 4 : Analyser et visualiser vos données............................................................................... 257 Étape 5 : Nettoyage des ressources et étapes suivantes............................................................... 266 Historique du document................................................................................................................... 267 Utilisation des rôles liés à un service................................................................................................. 270 Autorisations des rôles liés à un service pour Amazon ES............................................................. 270 Création d'un rôle lié à un service pour Amazon ES..................................................................... 271 Modification d'un rôle lié à un service pour Amazon ES................................................................ 271 Suppression d'un rôle lié à un service pour Amazon ES................................................................ 271 Nettoyage d'un rôle lié à un service................................................................................... 271 Pour supprimer manuellement un rôle lié à un service.......................................................... 272 Glossaire AWS............................................................................................................................... 273 Version de l'API 2015-01-01 viii Amazon Elasticsearch Service Manuel du développeur Fonctions d'Amazon Elasticsearch Service Qu'est-ce qu'Amazon Elasticsearch Service ? Amazon Elasticsearch Service (Amazon ES) est un service géré qui facilite le déploiement, l'utilisation et la mise à l'échelle des clusters Elasticsearch dans le cloud AWS. Elasticsearch est un moteur de recherche et d'analyse à code source libre très populaire, utilisé notamment pour l'analyse des fichiers journaux, la surveillance d'applications en temps réel et l'analyse des parcours de navigation. Avec Amazon ES, vous obtenez un accès direct aux API Elasticsearch ; les applications et le code existants fonctionnent de façon transparente avec le service. Amazon ES alloue toutes les ressources pour votre cluster Elasticsearch et lance ce dernier. Il détecte et remplace aussi automatiquement les nœuds Elasticsearch défaillants, ce qui réduit le traitement associé aux infrastructures auto-gérées. Vous pouvez facilement faire évoluer votre cluster avec un seul appel de l'API ou en quelques clics sur la console. Pour commencer à utiliser Amazon ES, vous devez créer un domaine. An Amazon ES domain is synonymous with an Elasticsearch cluster. Domains are clusters with the settings, instance types, instance counts, and storage resources that you specify. Vous pouvez utiliser la console Amazon ES pour installer et configurer un domaine en quelques minutes. Si vous préférez un accès par programme, vous pouvez utiliser l'AWS CLI ou les kits SDK AWS. Rubriques • Fonctions d'Amazon Elasticsearch Service (p. 1) • Versions de Elasticsearch prises en charge (p. 2) • Tarification pour Amazon Elasticsearch Service (p. 3) • Mise en route avec Amazon Elasticsearch Service (p. 3) • Services connexes (p. 4) Fonctions d'Amazon Elasticsearch Service Amazon ES comprend les fonctions suivantes : Evolutivité • Plusieurs configurations d'UC, de mémoire et de capacité de stockage, appelées types d'instances • Jusqu'à 1,5 Po de stockage d'instance • Amazon EBS volumes de stockage Sécurité • Contrôle d'accès AWS Identity and Access Management (IAM) • Intégration aisée avec Amazon VPC et les groupes de sécurité VPC • Chiffrement de données au repos • Authentification Amazon Cognito pour Kibana Version de l'API 2015-01-01 1 Amazon Elasticsearch Service Manuel du développeur Versions de Elasticsearch prises en charge Stabilité • Plusieurs emplacements géographiques pour vos ressources, appelés régions et zones de disponibilité • Les nœuds maîtres dédiés à décharger des tâches de gestion de cluster • Les instantanés automatiques pour sauvegarder et restaurer des domaines Amazon ES • Allocation du nœud du cluster sur deux zones de disponibilité dans la même région, appelée prise en compte des zones Intégration aux services les plus connus • Visualisation des données à l'aide de Kibana • Intégration à Amazon CloudWatch pour surveiller les métriques de domaine Amazon ES et pour configurer les alarmes • Intégration à AWS CloudTrail pour vérifier des appels d'API de configuration vers des domaines Amazon ES • Intégration à Amazon S3, Amazon Kinesis et Amazon DynamoDB pour charger des données de streaming dans Amazon ES Versions de Elasticsearch prises en charge Amazon ES prend actuellement en charge les versions suivantes d'Elasticsearch : • 6.3 • 6.2 • 6.0 • 5.6 • 5.5 • 5.3 • 5.1 • 2.3 • 1.5 Comparées aux versions d'Elasticsearch antérieures, les versions 6.x proposent de puissantes fonctions qui facilitent, accélèrent et sécurisent l'utilisation. Voici quelques points importants : • Fractionnement d'index : Si un index dépasse son nombre de partitions d'origine, l'API _split offre un moyen pratique pour fractionner chaque partition principale en plusieurs partitions dans un nouvel index. • Visualisations Vega : Kibana 6.2 et les versions ultérieures prennent en charge le langage de visualisation Vega, ce qui vous permet d'effectuer des requêtes Elasticsearch en fonction du contexte, de combiner plusieurs sources de données dans un seul graphique, d'ajouter de l'interactivité utilisateur à des graphiques, et bien plus encore. • Évaluation du classement : L'API _rank_eval vous permet de mesurer et de suivre les performances de résultats de recherche classés sur un ensemble de requêtes afin de vous assurer que vos recherches fonctionnent comme prévu. • Regroupements composites : Ces regroupements génèrent des compartiments composites à partir d'un ou de plusieurs champs et les classent en « ordre naturel » (par ordre alphabétique pour les termes, numériquement ou par date pour les histogrammes). • Meilleures performances d'indexation : Les nouvelles versions d'Elasticsearch offrent des capacités d'indexation supérieures qui augmentent considérablement le débit des mises à jour de données. Version de l'API 2015-01-01 2

Description:
ES. Utilisez la commande suivante pour interroger l'état du nouveau domaine : aws es describe-elasticsearch-domain --domain movies. Pour créer un domaine Amazon ES (AWS SDK). Les kits SDK AWS (sauf les SDK Android et iOS) prennent en charge toutes les actions définies dans la Référence de
See more

The list of books you might like

Upgrade Premium
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.
DMCA & Copyright: Dear all, most of the website is community built, users are uploading hundred of books everyday, which makes really hard for us to identify copyrighted material, please contact us if you want any material removed.
Copyright @ PDFdrive.to, 2022 | We love our users