Table Of Content

Amazon Redshift Guia do desenvolvedor de banco de dados Amazon Redshift Guia do desenvolvedor de banco de dados Amazon Redshift: Guia do desenvolvedor de banco de dados Copyright © 2022 Amazon Web Services, Inc. and/or its affiliates. All rights reserved. As marcas comerciais e imagens comerciais da Amazon não podem ser usadas no contexto de nenhum produto ou serviço que não seja da Amazon, nem de qualquer maneira que possa gerar confusão entre os clientes ou que deprecie ou desprestigie a Amazon. Todas as outras marcas comerciais que não pertencem à Amazon pertencem a seus respectivos proprietários, que podem ou não ser afiliados, patrocinados pela Amazon ou ter conexão com ela. Amazon Redshift Guia do desenvolvedor de banco de dados Table of Contents Visão geral do sistema........................................................................................................................ 1 Você é um usuário iniciante do Amazon Redshift?.......................................................................... 1 Você é um desenvolvedor de bancos de dados?............................................................................. 2 Pré-requisitos............................................................................................................................. 3 Visão geral do sistema e da arquitetura......................................................................................... 3 Arquitetura de sistema do data warehouse............................................................................. 4 Performance...................................................................................................................... 6 Armazenamento colunar...................................................................................................... 8 Gerenciamento do workload................................................................................................. 9 Usar Amazon Redshift com outros serviços.......................................................................... 10 Práticas recomendadas...................................................................................................................... 12 Realizar uma prova de conceito.................................................................................................. 12 Visão geral do processo.................................................................................................... 13 Identificar as metas de negócios e os critérios de sucesso...................................................... 13 Configurar a prova de conceito........................................................................................... 13 Lista de verificação para uma avaliação completa.................................................................. 15 Desenvolver um plano de projeto para sua avaliação............................................................. 16 Recursos adicionais para ajudar sua avaliação...................................................................... 17 Precisa de ajuda?............................................................................................................. 17 Melhores práticas para projetar tabelas........................................................................................ 17 Escolha a melhor chave de classificação.............................................................................. 18 Escolha o melhor estilo de distribuição................................................................................ 18 Uso da compactação automática......................................................................................... 19 Definição das limitações.................................................................................................... 20 Uso do menor tamanho possível de coluna.......................................................................... 20 Uso dos tipos de dados de data/hora para colunas de data ..................................................... 20 Melhores práticas para carregamento de dados............................................................................. 20 Faça o tutorial de carregamento de dados............................................................................ 21 Uso de um comando COPY para carregar dados.................................................................. 21 Uso de um único comando COPY....................................................................................... 21 Dividir dados de carga....................................................................................................... 21 Compactação de arquivos de dados.................................................................................... 22 Verificação de arquivos de dados antes de depois de um carregamento.................................... 22 Uso de uma inserção de múltiplas linhas.............................................................................. 22 Uso de uma inserção em massa......................................................................................... 23 Carregamento de dados por ordem de chave de classificação................................................. 23 Carregamento de dados em blocos sequenciais.................................................................... 23 Uso de tabelas de séries temporais..................................................................................... 24 Uso de uma tabela de preparação para executar uma mesclagem............................................ 24 Agendamento em torno de janelas de manutenção................................................................ 24 Melhores práticas para projetar consultas..................................................................................... 24 Trabalhar com o Advisor............................................................................................................ 26 Regiões do Amazon Redshift............................................................................................. 26 Acessar o advisor............................................................................................................. 27 Recomendações do Advisor............................................................................................... 27 Tutoriais.......................................................................................................................................... 39 Trabalhar com otimização automática de tabelas................................................................................... 40 Habilitar a otimização automática de tabelas................................................................................. 40 Remover a otimização automática de tabelas................................................................................ 41 Ações de monitoramento de otimização automática de tabelas........................................................ 41 Trabalhar com compactação de coluna........................................................................................ 42 Codificações de compactação............................................................................................. 43 Teste de codificações de compactação................................................................................ 50 Exemplo: escolha de codificações de compactação para a tabela CUSTOMER........................... 52 iii Amazon Redshift Guia do desenvolvedor de banco de dados Trabalhar com estilos de distribuição de dados............................................................................. 54 Conceitos de distribuição de dados..................................................................................... 55 Estilos de distribuição........................................................................................................ 56 Visualização dos estilos de distribuição................................................................................ 57 Avaliação dos padrões de consulta..................................................................................... 58 Designação de estilos de distribuição.................................................................................. 58 Avaliação do plano de consulta.......................................................................................... 59 Exemplo de plano de consulta............................................................................................ 61 Exemplos de distribuição................................................................................................... 65 Trabalhar com chaves de classificação........................................................................................ 67 Chave de classificação composta........................................................................................ 68 Chave de classificação intercalada...................................................................................... 68 Definição de restrições de tabelas............................................................................................... 69 Carregamento de dados.................................................................................................................... 70 Uso de COPY para carregar dados............................................................................................. 70 Credenciais e permissões de acesso................................................................................... 71 Preparação de dados de entrada........................................................................................ 72 Carregar dados do Amazon S3........................................................................................... 73 Carregar dados do Amazon EMR........................................................................................ 82 Carregamento de dados de hosts remotos........................................................................... 86 Carregar do Amazon DynamoDB........................................................................................ 92 Como verificar se os dados foram carregados corretamente.................................................... 94 Validação de dados de entrada.......................................................................................... 95 Compactação automática................................................................................................... 95 Otimização para tabelas estreitas........................................................................................ 97 Valores padrão................................................................................................................. 97 Solução de problemas....................................................................................................... 98 Atualização com DML.............................................................................................................. 103 Atualização e inserção............................................................................................................. 103 Método de mesclagem 1: substituição de linhas existentes.................................................... 104 Método de mesclagem 2: especificação de uma lista de colunas............................................ 104 Criação de uma tabela de preparação temporária................................................................ 104 Execução de uma operação de mesclagem com a substituição de linhas existentes................... 105 Execução de uma operação de mesclagem pela especificação de uma lista de colunas.............. 106 Exemplos de mesclagem.................................................................................................. 107 Execução de uma cópia profunda.............................................................................................. 109 Análise de tabelas................................................................................................................... 111 Análise automática.......................................................................................................... 111 Análise de novos dados da tabela..................................................................................... 111 Histórico do comando ANALYZE....................................................................................... 115 Vacuum de tabelas................................................................................................................. 116 Classificação automática de tabela.................................................................................... 116 Exclusão de vacuum automática....................................................................................... 117 Frequência de VACUUM.................................................................................................. 117 Estágio do classificação e estágio de mesclagem................................................................ 117 Limite de vacuum............................................................................................................ 118 Tipos de vacuum............................................................................................................ 118 Gerenciamento dos tempos de vacuum.............................................................................. 118 Gerenciamento de operações de gravação simultâneas................................................................ 124 Isolamento serializável..................................................................................................... 125 Operações de gravação e de leitura/gravação..................................................................... 128 Exemplos de gravações simultâneas.................................................................................. 129 Tutorial: Carregar dados do Amazon S3..................................................................................... 130 Pré-requisitos................................................................................................................. 131 Visão geral..................................................................................................................... 131 Etapas........................................................................................................................... 131 Etapa 1: Criar um cluster................................................................................................. 132 iv Amazon Redshift Guia do desenvolvedor de banco de dados Etapa 2: Fazer download dos arquivos de dados................................................................. 132 Etapa 3: Carregar arquivos para um bucket do Amazon S3................................................... 133 Etapa 4: Criar as tabelas de exemplo................................................................................ 134 Etapa 5: Executar os comandos COPY.............................................................................. 137 Etapa 6: Vacuum e análise do banco de dados................................................................... 149 Etapa 7: limpar os recursos.............................................................................................. 149 Resumo......................................................................................................................... 150 Descarregamento de dados.............................................................................................................. 151 Descarregar dados do Amazon S3............................................................................................ 151 Descarregamento de arquivos de dados criptografados................................................................. 154 Descarregamento de dados em formato delimitado ou de largura fixa.............................................. 155 Recarregamento de dados descarregados.................................................................................. 156 Criação de funções definidas pelo usuário.......................................................................................... 157 Segurança e privilégios de UDF................................................................................................ 157 Criação de uma UDF SQL escalar............................................................................................ 158 Exemplo de função SQL escalar....................................................................................... 158 Criação de uma UDF Python escalar......................................................................................... 159 Exemplo de UDF Python escalar....................................................................................... 159 Tipos de dados da UDF Python ........................................................................................ 159 Tipo de dados ANYELEMENT.......................................................................................... 160 Suporte da linguagem Python........................................................................................... 160 Restrições de UDF.......................................................................................................... 163 Criar uma UDF do Lambda escalar........................................................................................... 164 Registrar uma UDF do Lambda......................................................................................... 164 Gerenciando a segurança e os privilégios da UDF do Lambda............................................... 165 Configurar o parâmetro de autorização para UDFs do Lambda............................................... 165 Usar a interface JSON entre o Amazon Redshift e o Lambda................................................. 164 Nomeação de UDFs........................................................................................................ 169 Registro em log de erros e alertas..................................................................................... 169 Exemplo de usos de UDFs....................................................................................................... 170 Criação de procedimentos armazenados............................................................................................ 172 Visão geral do procedimento armazenado.................................................................................. 172 Nomeação de procedimentos armazenados........................................................................ 174 Segurança e privilégios.................................................................................................... 175 Retorno de um conjunto de resultados............................................................................... 176 Gerenciamento de transações........................................................................................... 178 Retenção de erros.......................................................................................................... 183 Registro em log de procedimentos armazenados................................................................. 184 Limites e diferenças........................................................................................................ 184 Referência da linguagem PL/pgSQL.......................................................................................... 185 Convenções de referência da PL/pgSQL............................................................................ 186 Estrutura da PL/pgSQL.................................................................................................... 186 Instruções da PL/pgSQL compatíveis................................................................................. 190 Criar visualizações materializadas..................................................................................................... 202 Consultar uma visualização materializada................................................................................... 204 Regravação automática de consulta para usar visualizações materializadas..................................... 205 Observações de uso........................................................................................................ 205 Limitações...................................................................................................................... 206 Atualizar uma visualização materializada.................................................................................... 206 Atualizar automaticamente uma visualização materializada.................................................... 208 Visualizações materializadas automatizadas................................................................................ 209 Escopo e considerações de SQL para visualizações materializadas automatizadas.................... 210 Visualizações materializadas automatizadas........................................................................ 210 Ingestão de transmissões (pré-visualização)................................................................................ 211 Fluxo de dados............................................................................................................... 211 Casos de uso de ingestão de transmissão.......................................................................... 211 Conceitos básicos da ingestão de transmissão.................................................................... 211 v Amazon Redshift Guia do desenvolvedor de banco de dados Limitações...................................................................................................................... 213 Tutorial de dados de estação de veículos elétricos (pré-visualização)...................................... 214 Consultar dados espaciais................................................................................................................ 217 Tutorial: Usando funções SQL espaciais..................................................................................... 219 Pré-requisitos................................................................................................................. 220 Etapa 1: Criar tabelas e carregar dados de teste................................................................. 220 Etapa 2: Consultar dados espaciais................................................................................... 222 Etapa 3: Limpar os recursos............................................................................................. 225 Carregar um shapefile............................................................................................................. 225 Terminologia........................................................................................................................... 226 Caixa delimitadora........................................................................................................... 226 Validade geométrica........................................................................................................ 227 Simplicidade geométrica................................................................................................... 228 Limitações.............................................................................................................................. 229 Consultar dados com consultas federadas.......................................................................................... 231 Conceitos básicos do uso de consultas federadas no PostgreSQL.................................................. 231 Conceitos básicos do uso de consultas federadas no PostgreSQL com o CloudFormation................... 232 Iniciar uma pilha do CloudFormation para consultas federadas do Redshift............................... 233 Consultar dados do esquema externo................................................................................ 234 Conceitos básicos do uso de consultas federadas no MySQL........................................................ 234 Criar um segredo e uma função do IAM..................................................................................... 235 Pré-requisitos................................................................................................................. 235 Exemplo de uso de uma consulta federada................................................................................. 237 Exemplo de uso de uma consulta federada no PostgreSQL................................................... 237 Exemplo de uso de um nome com maiúsculas e minúsculas.................................................. 239 Exemplo de uso de uma consulta federada com MySQL....................................................... 240 Diferenças dos tipos de dados.................................................................................................. 241 Limitações e considerações...................................................................................................... 244 Consultar dados externos usando o Amazon Redshift Spectrum............................................................. 246 Visão geral do Amazon Redshift Spectrum................................................................................. 246 Regiões do Amazon Redshift Spectrum.............................................................................. 247 Regiões do Amazon Redshift Spectrum.............................................................................. 247 Conceitos básicos do Amazon Redshift Spectrum........................................................................ 248 Pré-requisitos................................................................................................................. 248 CloudFormation............................................................................................................... 248 Conceitos básicos detalhados do Amazon Redshift Spectrum................................................ 249 Etapa 1. Criar uma função do IAM.................................................................................... 249 Etapa 2: Associar uma função do IAM ao cluster................................................................. 252 Etapa 3: Criar um esquema e uma tabela externos.............................................................. 252 Etapa 4: Consultar os dados no Amazon S3....................................................................... 253 Iniciar a pilha do CloudFormation e consultar seus dados...................................................... 255 Políticas do IAM do Amazon Redshift Spectrum.......................................................................... 258 Permissões do Amazon S3.............................................................................................. 258 Permissões entre contas do Amazon S3............................................................................ 259 Conceder ou restringir acesso usando o Redshift Spectrum................................................... 260 Permissões mínimas........................................................................................................ 260 Encadeamento de funções do IAM.................................................................................... 261 Acesso a dados do AWS Glue .......................................................................................... 262 Usar Redshift Spectrum com Lake Formation.............................................................................. 268 Usar filtros de dados para segurança em nível de linha e de célula......................................... 269 Criação de arquivos de dados para consultas no Amazon Redshift Spectrum................................... 269 Formatos de dados do Redshift Spectrum.......................................................................... 269 Tipos de compactação do Redshift Spectrum...................................................................... 270 Encriptação do Redshift Spectrum..................................................................................... 271 Criação de esquemas externos................................................................................................. 272 Trabalhar com catálogos externos..................................................................................... 273 Criar tabelas externas.............................................................................................................. 276 vi Amazon Redshift Guia do desenvolvedor de banco de dados Pseudocolunas............................................................................................................... 278 Dividir as tabelas externas do Redshift Spectrum................................................................. 278 Mapeamento para colunas do ORC................................................................................... 282 Criar tabelas externas para dados gerenciados no Hudi........................................................ 284 Criar tabelas externas para dados do Delta Lake................................................................. 285 Melhorar a performance de consulta do Amazon Redshift Spectrum................................................ 287 Definir opções de tratamento de dados...................................................................................... 289 Realizar subconsultas correlacionadas....................................................................................... 290 Monitoramento de métricas....................................................................................................... 290 Solução de problemas de consultas........................................................................................... 291 Número de tentativas excedido......................................................................................... 291 Acesso limitado............................................................................................................... 292 Limite de recursos excedido............................................................................................. 293 Nenhuma linha foi retornada para uma tabela particionada.................................................... 293 Erro de falta de autorização.............................................................................................. 293 Formatos de dados incompatíveis...................................................................................... 293 Erro de sintaxe ao usar a DDL do Hive no Amazon Redshift.................................................. 294 Permissão para criar tabelas temporárias........................................................................... 294 Intervalo inválido............................................................................................................. 294 Número da versão do Parquet inválida............................................................................... 294 Tutorial: Consultar dados aninhados com o Amazon Redshift Spectrum........................................... 295 Visão geral..................................................................................................................... 295 Etapa 1: Crie uma tabela externa que contém dados aninhados............................................. 296 Etapa 2: Consultar os dados aninhados no Amazon S3 com extensões SQL............................ 297 Casos de uso de dados aninhados.................................................................................... 300 Limitações de dados aninhados........................................................................................ 302 Serializar JSON aninhado complexo.................................................................................. 303 Usar esboços do HyperLogLog no Amazon Redshift............................................................................ 305 Considerations........................................................................................................................ 305 Limitations.............................................................................................................................. 306 Exemplos............................................................................................................................... 306 Exemplo: retornar cardinalidade em uma subconsulta........................................................... 306 Exemplo: retorna um tipo HLLSKETCH de esboços combinados em uma subconsulta................ 307 Exemplo: retorna um esboço do HyperLogLog da combinação de vários esboços...................... 307 Exemplo: gerar esboços do HyperLogLog sobre dados do S3 usando tabelas externas............... 308 Consultar dados entre bancos de dados............................................................................................. 311 Considerações........................................................................................................................ 312 Limitações.............................................................................................................................. 313 Exemplos de uso de uma consulta entre bancos de dados............................................................ 313 Usar consultas entre bancos de dados com o editor de consultas................................................... 317 Compartilhamento de dados entre clusters.......................................................................................... 318 Regiões em que o compartilhamento de dados está disponível...................................................... 318 Visão geral do compartilhamento de dados................................................................................. 319 Casos de uso de compartilhamento de dados..................................................................... 319 Conceitos sobre compartilhamento de dados....................................................................... 320 Compartilhamento de dados em diferentes níveis................................................................. 321 Gerenciamento da consistência de dados........................................................................... 321 Acesso a dados compartilhados........................................................................................ 322 Considerações sobre o compartilhamento de dados no Amazon Redshift................................. 322 Como funciona o compartilhamento de dados..................................................................... 323 Controlar o acesso a datashares entre contas..................................................................... 324 Trabalhar com visualizações no compartilhamento de dados do Amazon Redshift............................. 327 Gerenciar o ciclo de vida do compartilhamento de dados.............................................................. 328 Gerenciar permissões para datashares....................................................................................... 329 Rastreamento de uso e auditoria no compartilhamento de dados.................................................... 329 Gerenciamento de cluster e compartilhamento de dados............................................................... 330 vii Amazon Redshift Guia do desenvolvedor de banco de dados Integração do compartilhamento de dados do Amazon Redshift com ferramentas de business intelligence............................................................................................................................. 331 Acessar metadados para datashares......................................................................................... 332 Trabalhar com o AWS Data Exchange for Amazon Redshift.......................................................... 332 Como funcionam as unidades de compartilhamento de dados do AWS Data Exchange............... 333 Considerações ao usar o AWS Data Exchange for Amazon Redshift....................................... 333 Conceitos básicos de compartilhamento de dados....................................................................... 334 Conceitos básicos do compartilhamento de dados usando a interface SQL............................... 334 Conceitos básicos do compartilhamento de dados usando o console....................................... 356 Conceitos básicos do compartilhamento de dados com o CloudFormation................................ 366 Limitações...................................................................................................................... 368 Ingestão e consulta de dados semiestruturados no Amazon Redshift...................................................... 370 Casos de uso do tipo de dados SUPER..................................................................................... 370 Conceitos para uso do tipo de dados SUPER............................................................................. 371 Considerações sobre dados SUPER.......................................................................................... 372 Conjunto de dados de amostra SUPER...................................................................................... 373 Carregamento de dados semiestruturados no Amazon Redshift...................................................... 374 Analisar documentos JSON para colunas SUPER................................................................ 374 Usar COPY para carregar dados JSON no Amazon Redshift................................................. 375 Descarregamento de dados semiestruturados............................................................................. 378 Descarregar dados semiestruturados em formatos CSV ou texto............................................ 379 Descarregar dados semiestruturados no formato Parquet...................................................... 379 Consultar dados semiestruturados............................................................................................. 379 Navegação..................................................................................................................... 380 Desaninhar consultas....................................................................................................... 380 Transformar colunas em linhas de objetos.......................................................................... 382 Digitação dinâmica.......................................................................................................... 382 Semântica lax................................................................................................................. 385 Tipos de introspecção...................................................................................................... 385 Order by (Ordenar por).................................................................................................... 386 Operadores e funções............................................................................................................. 387 Operadores aritméticos.................................................................................................... 387 Funções aritméticas......................................................................................................... 387 Funções de array............................................................................................................ 388 Configurações SUPER............................................................................................................. 389 Modos lax e estrito para SUPER....................................................................................... 389 Acessando campos JSON com letras maiúsculas ou mistas.................................................. 389 Opções de análise.......................................................................................................... 390 Limitações.............................................................................................................................. 390 Usando o tipo de dados SUPER com visualizações materializadas................................................. 392 Acelerar consultas do PartiQL........................................................................................... 392 Limitações para usar o tipo de dados SUPER com visualizações materializadas........................ 395 Usar Machine Learning no Amazon Redshift....................................................................................... 396 Visão geral do Machine Learning.............................................................................................. 397 Como o machine learning pode resolver seu problema......................................................... 397 Termos e conceitos do Amazon Redshift ML....................................................................... 398 Machine Learning para iniciantes e especialistas......................................................................... 399 Custos para usar o Amazon Redshift ML.................................................................................... 401 Conceitos básicos do Amazon Redshift ML................................................................................. 402 Configuração administrativa.............................................................................................. 402 Usar a explicabilidade do modelo com o Amazon Redshift ML............................................... 406 Tutoriais para o Amazon Redshift ML................................................................................ 406 Ajustar a performance da consulta..................................................................................................... 464 Processamento de consulta...................................................................................................... 464 Planejamento de consulta e fluxo de trabalho de execução................................................... 464 Plano de consulta........................................................................................................... 466 Revisar as etapas do plano de consulta............................................................................. 472 viii Amazon Redshift Guia do desenvolvedor de banco de dados Fatores que afetam a performance da consulta................................................................... 474 Analisar e melhorar as consultas............................................................................................... 475 Fluxo de trabalho da análise de consulta............................................................................ 475 Revisar alertas da consulta.............................................................................................. 476 Analisar o plano de consulta............................................................................................. 477 Analisar o resumo da consulta.......................................................................................... 478 Melhoria do performance de consultas do........................................................................... 483 Consultas de diagnóstico para ajuste da consulta................................................................ 486 Solução de problemas de consultas........................................................................................... 489 Falhas na conexão.......................................................................................................... 490 Consultas travadas.......................................................................................................... 490 A consulta leva muito tempo............................................................................................. 491 Falha do carregamento.................................................................................................... 491 O carregamento leva muito tempo..................................................................................... 492 Os dados de carregamento estão incorretos....................................................................... 492 Como configurar o parâmetro JDBC para o tamanho da busca............................................... 492 Como implementar o gerenciamento do workload................................................................................ 494 Modificar a configuração do WLM.............................................................................................. 495 Migrar do WLM manual para o WLM automático.................................................................. 495 WLM automático..................................................................................................................... 496 Priority........................................................................................................................... 497 Modo de escalabilidade da simultaneidade......................................................................... 497 Grupos de usuários......................................................................................................... 498 Grupos de consultas........................................................................................................ 498 Curingas........................................................................................................................ 498 Regras de monitoramento de consulta............................................................................... 498 Verificação do WLM automático........................................................................................ 498 Prioridade da consulta..................................................................................................... 499 WLM manual.......................................................................................................................... 502 Modo de escalabilidade da simultaneidade......................................................................... 503 Nível de simultaneidade................................................................................................... 503 Grupos de usuários......................................................................................................... 505 Grupos de consultas........................................................................................................ 505 Curingas........................................................................................................................ 505 Porcentagem de memória do WLM a ser usada.................................................................. 505 Tempo limite do WLM...................................................................................................... 506 Regras de monitoramento de consulta............................................................................... 506 Salto na fila de consultas do WLM.................................................................................... 506 Tutorial: Configuração de filas de WLM manual................................................................... 509 Escalabilidade da simultaneidade.............................................................................................. 520 Recursos de escalabilidade de simultaneidade.................................................................... 520 Limitações para a escalabilidade de simultaneidade............................................................. 520 Regiões para escalabilidade de simultaneidade................................................................... 521 Candidatos da escalabilidade da simultaneidade.................................................................. 522 Configurar filas da escalabilidade da simultaneidade............................................................. 500 Monitoramento da escalabilidade da simultaneidade............................................................. 522 Visualizações do sistema de escalabilidade da simultaneidade............................................... 523 Aceleração de consulta breve................................................................................................... 523 Tempo máximo de execução da SQA ................................................................................ 524 Monitoramento da SQA.................................................................................................... 524 Regras de atribuição de fila do WLM......................................................................................... 525 Exemplo das atribuições de fila......................................................................................... 526 Atribuir consultas a filas........................................................................................................... 528 Atribuir consultas a filas com base em grupos de usuários.................................................... 528 Atribuir uma consulta a um grupo de consultas.................................................................... 528 Atribuir consultas à fila de superusuários............................................................................ 528 Propriedades dinâmicas e estáticas........................................................................................... 529 ix Amazon Redshift Guia do desenvolvedor de banco de dados Alocação de memória dinâmica do WLM............................................................................ 530 Exemplo do WLM dinâmico.............................................................................................. 531 Regras de monitoramento de consulta....................................................................................... 532 Definir uma regra do monitor de consulta........................................................................... 532 Métricas de monitoramento da consulta.............................................................................. 534 Modelos de regras de monitoramento de consulta................................................................ 536 Tabelas de sistema e visualizações para regras de monitoramento de consultas....................... 537 Tabelas de sistema e visualizações do WLM.............................................................................. 537 IDs da classe de serviço do WLM..................................................................................... 538 Gerenciar a segurança do banco de dados......................................................................................... 540 Visão geral da segurança do Amazon Redshift............................................................................ 540 Permissões de usuário padrão do banco de dados...................................................................... 541 Superusuários......................................................................................................................... 541 Usuários................................................................................................................................ 542 Criar, alterar e excluir usuários......................................................................................... 542 Grupos.................................................................................................................................. 543 Criar, alterar e excluir grupos............................................................................................ 543 Exemplo para controlar acesso de usuário e grupo.............................................................. 543 Esquemas.............................................................................................................................. 545 Criar, alterar e excluir esquemas....................................................................................... 545 Caminho de pesquisa...................................................................................................... 545 Permissões baseadas em esquemas................................................................................. 546 Controle de acesso com base em função................................................................................... 546 Hierarquia de funções...................................................................................................... 547 Atribuição de função........................................................................................................ 547 Funções definidas pelo sistema do Amazon Redshift............................................................ 547 Permissões do sistema.................................................................................................... 548 Permissões de objetos do banco de dados......................................................................... 552 ALTER DEFAULT PRIVILEGES para o RBAC..................................................................... 552 Considerações sobre o uso de funções.............................................................................. 552 Gerenciamento de funções............................................................................................... 552 Segurança no nível da linha..................................................................................................... 553 Utilização de políticas de RLS em instruções SQL............................................................... 553 Combinar várias políticas por usuário................................................................................. 553 Propriedade e gerenciamento da política de RLS................................................................. 554 Objetos e princípios dependentes de políticas..................................................................... 554 Observações sobre o uso da política de RLS...................................................................... 556 Práticas recomendadas para desempenho de RLS............................................................... 557 Limitações da política de RLS........................................................................................... 558 Fazer downgrade ou restaurar para uma versão de cluster do Amazon Redshift que não seja compatível com RLS....................................................................................................... 559 Criar, anexar, desanexar e descartar políticas de RLS.......................................................... 559 Referência SQL.............................................................................................................................. 563 SQL do Amazon Redshift......................................................................................................... 563 Funções SQL compatíveis no nó de liderança..................................................................... 563 Amazon Redshift e PostgreSQL........................................................................................ 564 Uso de SQL........................................................................................................................... 570 Convenções de referência do SQL.................................................................................... 570 Elementos básicos.......................................................................................................... 570 Expressões.................................................................................................................... 601 Condições...................................................................................................................... 605 Comandos SQL...................................................................................................................... 623 ABORT.......................................................................................................................... 626 ALTER DATABASE......................................................................................................... 627 ALTER DATASHARE....................................................................................................... 629 ALTER DEFAULT PRIVILEGES........................................................................................ 631 ALTER GROUP.............................................................................................................. 634 x

Description:
Amazon Redshift. Guia do desenvolvedor do banco de dados. Version 01/12/
ebook img

Amazon Redshift - Guia do desenvolvedor do banco de dados PDF

997 Pages·2017·6.89 MB·Portuguese
by  Amazon Web Services
Save to my drive
Quick download
Download
Upgrade Premium
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.

Preview Amazon Redshift - Guia do desenvolvedor do banco de dados

Amazon Redshift Guia do desenvolvedor de banco de dados Amazon Redshift Guia do desenvolvedor de banco de dados Amazon Redshift: Guia do desenvolvedor de banco de dados Copyright © 2022 Amazon Web Services, Inc. and/or its affiliates. All rights reserved. As marcas comerciais e imagens comerciais da Amazon não podem ser usadas no contexto de nenhum produto ou serviço que não seja da Amazon, nem de qualquer maneira que possa gerar confusão entre os clientes ou que deprecie ou desprestigie a Amazon. Todas as outras marcas comerciais que não pertencem à Amazon pertencem a seus respectivos proprietários, que podem ou não ser afiliados, patrocinados pela Amazon ou ter conexão com ela. Amazon Redshift Guia do desenvolvedor de banco de dados Table of Contents Visão geral do sistema........................................................................................................................ 1 Você é um usuário iniciante do Amazon Redshift?.......................................................................... 1 Você é um desenvolvedor de bancos de dados?............................................................................. 2 Pré-requisitos............................................................................................................................. 3 Visão geral do sistema e da arquitetura......................................................................................... 3 Arquitetura de sistema do data warehouse............................................................................. 4 Performance...................................................................................................................... 6 Armazenamento colunar...................................................................................................... 8 Gerenciamento do workload................................................................................................. 9 Usar Amazon Redshift com outros serviços.......................................................................... 10 Práticas recomendadas...................................................................................................................... 12 Realizar uma prova de conceito.................................................................................................. 12 Visão geral do processo.................................................................................................... 13 Identificar as metas de negócios e os critérios de sucesso...................................................... 13 Configurar a prova de conceito........................................................................................... 13 Lista de verificação para uma avaliação completa.................................................................. 15 Desenvolver um plano de projeto para sua avaliação............................................................. 16 Recursos adicionais para ajudar sua avaliação...................................................................... 17 Precisa de ajuda?............................................................................................................. 17 Melhores práticas para projetar tabelas........................................................................................ 17 Escolha a melhor chave de classificação.............................................................................. 18 Escolha o melhor estilo de distribuição................................................................................ 18 Uso da compactação automática......................................................................................... 19 Definição das limitações.................................................................................................... 20 Uso do menor tamanho possível de coluna.......................................................................... 20 Uso dos tipos de dados de data/hora para colunas de data ..................................................... 20 Melhores práticas para carregamento de dados............................................................................. 20 Faça o tutorial de carregamento de dados............................................................................ 21 Uso de um comando COPY para carregar dados.................................................................. 21 Uso de um único comando COPY....................................................................................... 21 Dividir dados de carga....................................................................................................... 21 Compactação de arquivos de dados.................................................................................... 22 Verificação de arquivos de dados antes de depois de um carregamento.................................... 22 Uso de uma inserção de múltiplas linhas.............................................................................. 22 Uso de uma inserção em massa......................................................................................... 23 Carregamento de dados por ordem de chave de classificação................................................. 23 Carregamento de dados em blocos sequenciais.................................................................... 23 Uso de tabelas de séries temporais..................................................................................... 24 Uso de uma tabela de preparação para executar uma mesclagem............................................ 24 Agendamento em torno de janelas de manutenção................................................................ 24 Melhores práticas para projetar consultas..................................................................................... 24 Trabalhar com o Advisor............................................................................................................ 26 Regiões do Amazon Redshift............................................................................................. 26 Acessar o advisor............................................................................................................. 27 Recomendações do Advisor............................................................................................... 27 Tutoriais.......................................................................................................................................... 39 Trabalhar com otimização automática de tabelas................................................................................... 40 Habilitar a otimização automática de tabelas................................................................................. 40 Remover a otimização automática de tabelas................................................................................ 41 Ações de monitoramento de otimização automática de tabelas........................................................ 41 Trabalhar com compactação de coluna........................................................................................ 42 Codificações de compactação............................................................................................. 43 Teste de codificações de compactação................................................................................ 50 Exemplo: escolha de codificações de compactação para a tabela CUSTOMER........................... 52 iii Amazon Redshift Guia do desenvolvedor de banco de dados Trabalhar com estilos de distribuição de dados............................................................................. 54 Conceitos de distribuição de dados..................................................................................... 55 Estilos de distribuição........................................................................................................ 56 Visualização dos estilos de distribuição................................................................................ 57 Avaliação dos padrões de consulta..................................................................................... 58 Designação de estilos de distribuição.................................................................................. 58 Avaliação do plano de consulta.......................................................................................... 59 Exemplo de plano de consulta............................................................................................ 61 Exemplos de distribuição................................................................................................... 65 Trabalhar com chaves de classificação........................................................................................ 67 Chave de classificação composta........................................................................................ 68 Chave de classificação intercalada...................................................................................... 68 Definição de restrições de tabelas............................................................................................... 69 Carregamento de dados.................................................................................................................... 70 Uso de COPY para carregar dados............................................................................................. 70 Credenciais e permissões de acesso................................................................................... 71 Preparação de dados de entrada........................................................................................ 72 Carregar dados do Amazon S3........................................................................................... 73 Carregar dados do Amazon EMR........................................................................................ 82 Carregamento de dados de hosts remotos........................................................................... 86 Carregar do Amazon DynamoDB........................................................................................ 92 Como verificar se os dados foram carregados corretamente.................................................... 94 Validação de dados de entrada.......................................................................................... 95 Compactação automática................................................................................................... 95 Otimização para tabelas estreitas........................................................................................ 97 Valores padrão................................................................................................................. 97 Solução de problemas....................................................................................................... 98 Atualização com DML.............................................................................................................. 103 Atualização e inserção............................................................................................................. 103 Método de mesclagem 1: substituição de linhas existentes.................................................... 104 Método de mesclagem 2: especificação de uma lista de colunas............................................ 104 Criação de uma tabela de preparação temporária................................................................ 104 Execução de uma operação de mesclagem com a substituição de linhas existentes................... 105 Execução de uma operação de mesclagem pela especificação de uma lista de colunas.............. 106 Exemplos de mesclagem.................................................................................................. 107 Execução de uma cópia profunda.............................................................................................. 109 Análise de tabelas................................................................................................................... 111 Análise automática.......................................................................................................... 111 Análise de novos dados da tabela..................................................................................... 111 Histórico do comando ANALYZE....................................................................................... 115 Vacuum de tabelas................................................................................................................. 116 Classificação automática de tabela.................................................................................... 116 Exclusão de vacuum automática....................................................................................... 117 Frequência de VACUUM.................................................................................................. 117 Estágio do classificação e estágio de mesclagem................................................................ 117 Limite de vacuum............................................................................................................ 118 Tipos de vacuum............................................................................................................ 118 Gerenciamento dos tempos de vacuum.............................................................................. 118 Gerenciamento de operações de gravação simultâneas................................................................ 124 Isolamento serializável..................................................................................................... 125 Operações de gravação e de leitura/gravação..................................................................... 128 Exemplos de gravações simultâneas.................................................................................. 129 Tutorial: Carregar dados do Amazon S3..................................................................................... 130 Pré-requisitos................................................................................................................. 131 Visão geral..................................................................................................................... 131 Etapas........................................................................................................................... 131 Etapa 1: Criar um cluster................................................................................................. 132 iv Amazon Redshift Guia do desenvolvedor de banco de dados Etapa 2: Fazer download dos arquivos de dados................................................................. 132 Etapa 3: Carregar arquivos para um bucket do Amazon S3................................................... 133 Etapa 4: Criar as tabelas de exemplo................................................................................ 134 Etapa 5: Executar os comandos COPY.............................................................................. 137 Etapa 6: Vacuum e análise do banco de dados................................................................... 149 Etapa 7: limpar os recursos.............................................................................................. 149 Resumo......................................................................................................................... 150 Descarregamento de dados.............................................................................................................. 151 Descarregar dados do Amazon S3............................................................................................ 151 Descarregamento de arquivos de dados criptografados................................................................. 154 Descarregamento de dados em formato delimitado ou de largura fixa.............................................. 155 Recarregamento de dados descarregados.................................................................................. 156 Criação de funções definidas pelo usuário.......................................................................................... 157 Segurança e privilégios de UDF................................................................................................ 157 Criação de uma UDF SQL escalar............................................................................................ 158 Exemplo de função SQL escalar....................................................................................... 158 Criação de uma UDF Python escalar......................................................................................... 159 Exemplo de UDF Python escalar....................................................................................... 159 Tipos de dados da UDF Python ........................................................................................ 159 Tipo de dados ANYELEMENT.......................................................................................... 160 Suporte da linguagem Python........................................................................................... 160 Restrições de UDF.......................................................................................................... 163 Criar uma UDF do Lambda escalar........................................................................................... 164 Registrar uma UDF do Lambda......................................................................................... 164 Gerenciando a segurança e os privilégios da UDF do Lambda............................................... 165 Configurar o parâmetro de autorização para UDFs do Lambda............................................... 165 Usar a interface JSON entre o Amazon Redshift e o Lambda................................................. 164 Nomeação de UDFs........................................................................................................ 169 Registro em log de erros e alertas..................................................................................... 169 Exemplo de usos de UDFs....................................................................................................... 170 Criação de procedimentos armazenados............................................................................................ 172 Visão geral do procedimento armazenado.................................................................................. 172 Nomeação de procedimentos armazenados........................................................................ 174 Segurança e privilégios.................................................................................................... 175 Retorno de um conjunto de resultados............................................................................... 176 Gerenciamento de transações........................................................................................... 178 Retenção de erros.......................................................................................................... 183 Registro em log de procedimentos armazenados................................................................. 184 Limites e diferenças........................................................................................................ 184 Referência da linguagem PL/pgSQL.......................................................................................... 185 Convenções de referência da PL/pgSQL............................................................................ 186 Estrutura da PL/pgSQL.................................................................................................... 186 Instruções da PL/pgSQL compatíveis................................................................................. 190 Criar visualizações materializadas..................................................................................................... 202 Consultar uma visualização materializada................................................................................... 204 Regravação automática de consulta para usar visualizações materializadas..................................... 205 Observações de uso........................................................................................................ 205 Limitações...................................................................................................................... 206 Atualizar uma visualização materializada.................................................................................... 206 Atualizar automaticamente uma visualização materializada.................................................... 208 Visualizações materializadas automatizadas................................................................................ 209 Escopo e considerações de SQL para visualizações materializadas automatizadas.................... 210 Visualizações materializadas automatizadas........................................................................ 210 Ingestão de transmissões (pré-visualização)................................................................................ 211 Fluxo de dados............................................................................................................... 211 Casos de uso de ingestão de transmissão.......................................................................... 211 Conceitos básicos da ingestão de transmissão.................................................................... 211 v Amazon Redshift Guia do desenvolvedor de banco de dados Limitações...................................................................................................................... 213 Tutorial de dados de estação de veículos elétricos (pré-visualização)...................................... 214 Consultar dados espaciais................................................................................................................ 217 Tutorial: Usando funções SQL espaciais..................................................................................... 219 Pré-requisitos................................................................................................................. 220 Etapa 1: Criar tabelas e carregar dados de teste................................................................. 220 Etapa 2: Consultar dados espaciais................................................................................... 222 Etapa 3: Limpar os recursos............................................................................................. 225 Carregar um shapefile............................................................................................................. 225 Terminologia........................................................................................................................... 226 Caixa delimitadora........................................................................................................... 226 Validade geométrica........................................................................................................ 227 Simplicidade geométrica................................................................................................... 228 Limitações.............................................................................................................................. 229 Consultar dados com consultas federadas.......................................................................................... 231 Conceitos básicos do uso de consultas federadas no PostgreSQL.................................................. 231 Conceitos básicos do uso de consultas federadas no PostgreSQL com o CloudFormation................... 232 Iniciar uma pilha do CloudFormation para consultas federadas do Redshift............................... 233 Consultar dados do esquema externo................................................................................ 234 Conceitos básicos do uso de consultas federadas no MySQL........................................................ 234 Criar um segredo e uma função do IAM..................................................................................... 235 Pré-requisitos................................................................................................................. 235 Exemplo de uso de uma consulta federada................................................................................. 237 Exemplo de uso de uma consulta federada no PostgreSQL................................................... 237 Exemplo de uso de um nome com maiúsculas e minúsculas.................................................. 239 Exemplo de uso de uma consulta federada com MySQL....................................................... 240 Diferenças dos tipos de dados.................................................................................................. 241 Limitações e considerações...................................................................................................... 244 Consultar dados externos usando o Amazon Redshift Spectrum............................................................. 246 Visão geral do Amazon Redshift Spectrum................................................................................. 246 Regiões do Amazon Redshift Spectrum.............................................................................. 247 Regiões do Amazon Redshift Spectrum.............................................................................. 247 Conceitos básicos do Amazon Redshift Spectrum........................................................................ 248 Pré-requisitos................................................................................................................. 248 CloudFormation............................................................................................................... 248 Conceitos básicos detalhados do Amazon Redshift Spectrum................................................ 249 Etapa 1. Criar uma função do IAM.................................................................................... 249 Etapa 2: Associar uma função do IAM ao cluster................................................................. 252 Etapa 3: Criar um esquema e uma tabela externos.............................................................. 252 Etapa 4: Consultar os dados no Amazon S3....................................................................... 253 Iniciar a pilha do CloudFormation e consultar seus dados...................................................... 255 Políticas do IAM do Amazon Redshift Spectrum.......................................................................... 258 Permissões do Amazon S3.............................................................................................. 258 Permissões entre contas do Amazon S3............................................................................ 259 Conceder ou restringir acesso usando o Redshift Spectrum................................................... 260 Permissões mínimas........................................................................................................ 260 Encadeamento de funções do IAM.................................................................................... 261 Acesso a dados do AWS Glue .......................................................................................... 262 Usar Redshift Spectrum com Lake Formation.............................................................................. 268 Usar filtros de dados para segurança em nível de linha e de célula......................................... 269 Criação de arquivos de dados para consultas no Amazon Redshift Spectrum................................... 269 Formatos de dados do Redshift Spectrum.......................................................................... 269 Tipos de compactação do Redshift Spectrum...................................................................... 270 Encriptação do Redshift Spectrum..................................................................................... 271 Criação de esquemas externos................................................................................................. 272 Trabalhar com catálogos externos..................................................................................... 273 Criar tabelas externas.............................................................................................................. 276 vi Amazon Redshift Guia do desenvolvedor de banco de dados Pseudocolunas............................................................................................................... 278 Dividir as tabelas externas do Redshift Spectrum................................................................. 278 Mapeamento para colunas do ORC................................................................................... 282 Criar tabelas externas para dados gerenciados no Hudi........................................................ 284 Criar tabelas externas para dados do Delta Lake................................................................. 285 Melhorar a performance de consulta do Amazon Redshift Spectrum................................................ 287 Definir opções de tratamento de dados...................................................................................... 289 Realizar subconsultas correlacionadas....................................................................................... 290 Monitoramento de métricas....................................................................................................... 290 Solução de problemas de consultas........................................................................................... 291 Número de tentativas excedido......................................................................................... 291 Acesso limitado............................................................................................................... 292 Limite de recursos excedido............................................................................................. 293 Nenhuma linha foi retornada para uma tabela particionada.................................................... 293 Erro de falta de autorização.............................................................................................. 293 Formatos de dados incompatíveis...................................................................................... 293 Erro de sintaxe ao usar a DDL do Hive no Amazon Redshift.................................................. 294 Permissão para criar tabelas temporárias........................................................................... 294 Intervalo inválido............................................................................................................. 294 Número da versão do Parquet inválida............................................................................... 294 Tutorial: Consultar dados aninhados com o Amazon Redshift Spectrum........................................... 295 Visão geral..................................................................................................................... 295 Etapa 1: Crie uma tabela externa que contém dados aninhados............................................. 296 Etapa 2: Consultar os dados aninhados no Amazon S3 com extensões SQL............................ 297 Casos de uso de dados aninhados.................................................................................... 300 Limitações de dados aninhados........................................................................................ 302 Serializar JSON aninhado complexo.................................................................................. 303 Usar esboços do HyperLogLog no Amazon Redshift............................................................................ 305 Considerations........................................................................................................................ 305 Limitations.............................................................................................................................. 306 Exemplos............................................................................................................................... 306 Exemplo: retornar cardinalidade em uma subconsulta........................................................... 306 Exemplo: retorna um tipo HLLSKETCH de esboços combinados em uma subconsulta................ 307 Exemplo: retorna um esboço do HyperLogLog da combinação de vários esboços...................... 307 Exemplo: gerar esboços do HyperLogLog sobre dados do S3 usando tabelas externas............... 308 Consultar dados entre bancos de dados............................................................................................. 311 Considerações........................................................................................................................ 312 Limitações.............................................................................................................................. 313 Exemplos de uso de uma consulta entre bancos de dados............................................................ 313 Usar consultas entre bancos de dados com o editor de consultas................................................... 317 Compartilhamento de dados entre clusters.......................................................................................... 318 Regiões em que o compartilhamento de dados está disponível...................................................... 318 Visão geral do compartilhamento de dados................................................................................. 319 Casos de uso de compartilhamento de dados..................................................................... 319 Conceitos sobre compartilhamento de dados....................................................................... 320 Compartilhamento de dados em diferentes níveis................................................................. 321 Gerenciamento da consistência de dados........................................................................... 321 Acesso a dados compartilhados........................................................................................ 322 Considerações sobre o compartilhamento de dados no Amazon Redshift................................. 322 Como funciona o compartilhamento de dados..................................................................... 323 Controlar o acesso a datashares entre contas..................................................................... 324 Trabalhar com visualizações no compartilhamento de dados do Amazon Redshift............................. 327 Gerenciar o ciclo de vida do compartilhamento de dados.............................................................. 328 Gerenciar permissões para datashares....................................................................................... 329 Rastreamento de uso e auditoria no compartilhamento de dados.................................................... 329 Gerenciamento de cluster e compartilhamento de dados............................................................... 330 vii Amazon Redshift Guia do desenvolvedor de banco de dados Integração do compartilhamento de dados do Amazon Redshift com ferramentas de business intelligence............................................................................................................................. 331 Acessar metadados para datashares......................................................................................... 332 Trabalhar com o AWS Data Exchange for Amazon Redshift.......................................................... 332 Como funcionam as unidades de compartilhamento de dados do AWS Data Exchange............... 333 Considerações ao usar o AWS Data Exchange for Amazon Redshift....................................... 333 Conceitos básicos de compartilhamento de dados....................................................................... 334 Conceitos básicos do compartilhamento de dados usando a interface SQL............................... 334 Conceitos básicos do compartilhamento de dados usando o console....................................... 356 Conceitos básicos do compartilhamento de dados com o CloudFormation................................ 366 Limitações...................................................................................................................... 368 Ingestão e consulta de dados semiestruturados no Amazon Redshift...................................................... 370 Casos de uso do tipo de dados SUPER..................................................................................... 370 Conceitos para uso do tipo de dados SUPER............................................................................. 371 Considerações sobre dados SUPER.......................................................................................... 372 Conjunto de dados de amostra SUPER...................................................................................... 373 Carregamento de dados semiestruturados no Amazon Redshift...................................................... 374 Analisar documentos JSON para colunas SUPER................................................................ 374 Usar COPY para carregar dados JSON no Amazon Redshift................................................. 375 Descarregamento de dados semiestruturados............................................................................. 378 Descarregar dados semiestruturados em formatos CSV ou texto............................................ 379 Descarregar dados semiestruturados no formato Parquet...................................................... 379 Consultar dados semiestruturados............................................................................................. 379 Navegação..................................................................................................................... 380 Desaninhar consultas....................................................................................................... 380 Transformar colunas em linhas de objetos.......................................................................... 382 Digitação dinâmica.......................................................................................................... 382 Semântica lax................................................................................................................. 385 Tipos de introspecção...................................................................................................... 385 Order by (Ordenar por).................................................................................................... 386 Operadores e funções............................................................................................................. 387 Operadores aritméticos.................................................................................................... 387 Funções aritméticas......................................................................................................... 387 Funções de array............................................................................................................ 388 Configurações SUPER............................................................................................................. 389 Modos lax e estrito para SUPER....................................................................................... 389 Acessando campos JSON com letras maiúsculas ou mistas.................................................. 389 Opções de análise.......................................................................................................... 390 Limitações.............................................................................................................................. 390 Usando o tipo de dados SUPER com visualizações materializadas................................................. 392 Acelerar consultas do PartiQL........................................................................................... 392 Limitações para usar o tipo de dados SUPER com visualizações materializadas........................ 395 Usar Machine Learning no Amazon Redshift....................................................................................... 396 Visão geral do Machine Learning.............................................................................................. 397 Como o machine learning pode resolver seu problema......................................................... 397 Termos e conceitos do Amazon Redshift ML....................................................................... 398 Machine Learning para iniciantes e especialistas......................................................................... 399 Custos para usar o Amazon Redshift ML.................................................................................... 401 Conceitos básicos do Amazon Redshift ML................................................................................. 402 Configuração administrativa.............................................................................................. 402 Usar a explicabilidade do modelo com o Amazon Redshift ML............................................... 406 Tutoriais para o Amazon Redshift ML................................................................................ 406 Ajustar a performance da consulta..................................................................................................... 464 Processamento de consulta...................................................................................................... 464 Planejamento de consulta e fluxo de trabalho de execução................................................... 464 Plano de consulta........................................................................................................... 466 Revisar as etapas do plano de consulta............................................................................. 472 viii Amazon Redshift Guia do desenvolvedor de banco de dados Fatores que afetam a performance da consulta................................................................... 474 Analisar e melhorar as consultas............................................................................................... 475 Fluxo de trabalho da análise de consulta............................................................................ 475 Revisar alertas da consulta.............................................................................................. 476 Analisar o plano de consulta............................................................................................. 477 Analisar o resumo da consulta.......................................................................................... 478 Melhoria do performance de consultas do........................................................................... 483 Consultas de diagnóstico para ajuste da consulta................................................................ 486 Solução de problemas de consultas........................................................................................... 489 Falhas na conexão.......................................................................................................... 490 Consultas travadas.......................................................................................................... 490 A consulta leva muito tempo............................................................................................. 491 Falha do carregamento.................................................................................................... 491 O carregamento leva muito tempo..................................................................................... 492 Os dados de carregamento estão incorretos....................................................................... 492 Como configurar o parâmetro JDBC para o tamanho da busca............................................... 492 Como implementar o gerenciamento do workload................................................................................ 494 Modificar a configuração do WLM.............................................................................................. 495 Migrar do WLM manual para o WLM automático.................................................................. 495 WLM automático..................................................................................................................... 496 Priority........................................................................................................................... 497 Modo de escalabilidade da simultaneidade......................................................................... 497 Grupos de usuários......................................................................................................... 498 Grupos de consultas........................................................................................................ 498 Curingas........................................................................................................................ 498 Regras de monitoramento de consulta............................................................................... 498 Verificação do WLM automático........................................................................................ 498 Prioridade da consulta..................................................................................................... 499 WLM manual.......................................................................................................................... 502 Modo de escalabilidade da simultaneidade......................................................................... 503 Nível de simultaneidade................................................................................................... 503 Grupos de usuários......................................................................................................... 505 Grupos de consultas........................................................................................................ 505 Curingas........................................................................................................................ 505 Porcentagem de memória do WLM a ser usada.................................................................. 505 Tempo limite do WLM...................................................................................................... 506 Regras de monitoramento de consulta............................................................................... 506 Salto na fila de consultas do WLM.................................................................................... 506 Tutorial: Configuração de filas de WLM manual................................................................... 509 Escalabilidade da simultaneidade.............................................................................................. 520 Recursos de escalabilidade de simultaneidade.................................................................... 520 Limitações para a escalabilidade de simultaneidade............................................................. 520 Regiões para escalabilidade de simultaneidade................................................................... 521 Candidatos da escalabilidade da simultaneidade.................................................................. 522 Configurar filas da escalabilidade da simultaneidade............................................................. 500 Monitoramento da escalabilidade da simultaneidade............................................................. 522 Visualizações do sistema de escalabilidade da simultaneidade............................................... 523 Aceleração de consulta breve................................................................................................... 523 Tempo máximo de execução da SQA ................................................................................ 524 Monitoramento da SQA.................................................................................................... 524 Regras de atribuição de fila do WLM......................................................................................... 525 Exemplo das atribuições de fila......................................................................................... 526 Atribuir consultas a filas........................................................................................................... 528 Atribuir consultas a filas com base em grupos de usuários.................................................... 528 Atribuir uma consulta a um grupo de consultas.................................................................... 528 Atribuir consultas à fila de superusuários............................................................................ 528 Propriedades dinâmicas e estáticas........................................................................................... 529 ix Amazon Redshift Guia do desenvolvedor de banco de dados Alocação de memória dinâmica do WLM............................................................................ 530 Exemplo do WLM dinâmico.............................................................................................. 531 Regras de monitoramento de consulta....................................................................................... 532 Definir uma regra do monitor de consulta........................................................................... 532 Métricas de monitoramento da consulta.............................................................................. 534 Modelos de regras de monitoramento de consulta................................................................ 536 Tabelas de sistema e visualizações para regras de monitoramento de consultas....................... 537 Tabelas de sistema e visualizações do WLM.............................................................................. 537 IDs da classe de serviço do WLM..................................................................................... 538 Gerenciar a segurança do banco de dados......................................................................................... 540 Visão geral da segurança do Amazon Redshift............................................................................ 540 Permissões de usuário padrão do banco de dados...................................................................... 541 Superusuários......................................................................................................................... 541 Usuários................................................................................................................................ 542 Criar, alterar e excluir usuários......................................................................................... 542 Grupos.................................................................................................................................. 543 Criar, alterar e excluir grupos............................................................................................ 543 Exemplo para controlar acesso de usuário e grupo.............................................................. 543 Esquemas.............................................................................................................................. 545 Criar, alterar e excluir esquemas....................................................................................... 545 Caminho de pesquisa...................................................................................................... 545 Permissões baseadas em esquemas................................................................................. 546 Controle de acesso com base em função................................................................................... 546 Hierarquia de funções...................................................................................................... 547 Atribuição de função........................................................................................................ 547 Funções definidas pelo sistema do Amazon Redshift............................................................ 547 Permissões do sistema.................................................................................................... 548 Permissões de objetos do banco de dados......................................................................... 552 ALTER DEFAULT PRIVILEGES para o RBAC..................................................................... 552 Considerações sobre o uso de funções.............................................................................. 552 Gerenciamento de funções............................................................................................... 552 Segurança no nível da linha..................................................................................................... 553 Utilização de políticas de RLS em instruções SQL............................................................... 553 Combinar várias políticas por usuário................................................................................. 553 Propriedade e gerenciamento da política de RLS................................................................. 554 Objetos e princípios dependentes de políticas..................................................................... 554 Observações sobre o uso da política de RLS...................................................................... 556 Práticas recomendadas para desempenho de RLS............................................................... 557 Limitações da política de RLS........................................................................................... 558 Fazer downgrade ou restaurar para uma versão de cluster do Amazon Redshift que não seja compatível com RLS....................................................................................................... 559 Criar, anexar, desanexar e descartar políticas de RLS.......................................................... 559 Referência SQL.............................................................................................................................. 563 SQL do Amazon Redshift......................................................................................................... 563 Funções SQL compatíveis no nó de liderança..................................................................... 563 Amazon Redshift e PostgreSQL........................................................................................ 564 Uso de SQL........................................................................................................................... 570 Convenções de referência do SQL.................................................................................... 570 Elementos básicos.......................................................................................................... 570 Expressões.................................................................................................................... 601 Condições...................................................................................................................... 605 Comandos SQL...................................................................................................................... 623 ABORT.......................................................................................................................... 626 ALTER DATABASE......................................................................................................... 627 ALTER DATASHARE....................................................................................................... 629 ALTER DEFAULT PRIVILEGES........................................................................................ 631 ALTER GROUP.............................................................................................................. 634 x

Description:
Amazon Redshift. Guia do desenvolvedor do banco de dados. Version 01/12/
See more

The list of books you might like

Upgrade Premium
Most books are stored in the elastic cloud where traffic is expensive. For this reason, we have a limit on daily download.
DMCA & Copyright: Dear all, most of the website is community built, users are uploading hundred of books everyday, which makes really hard for us to identify copyrighted material, please contact us if you want any material removed.
Copyright @ PDFdrive.to, 2022 | We love our users