Aplicaç˜ao de práticas ágeis na construç˜ao de data warehouse evolutivo Guilherme Tozo de ...

116 Pages·2009·1.3 MB·Portuguese

Aplica¸c˜ao de pr´aticas ´ageis na constru¸c˜ao
de data warehouse
evolutivo
Guilherme Tozo de Carvalho
Dissertac¸a˜o apresentada
ao
Instituto de Matema´tica e Estat´ıstica
da
Universidade de Sa˜o Paulo
para
Obtenc¸a˜o do T´ıtulo
de
Mestre
Programa: Ciˆencia da Computa¸ca˜o
Orientador: Prof. Dr. Jo˜ao Eduardo Ferreira
1 de junho de 2009
Aplica¸c˜ao de pr´aticas ´ageis na constru¸c˜ao
de data warehouse
evolutivo
Este exemplar corresponde `a reda¸c˜ao
final da disserta¸c˜ao devidamente corrigida e
defendida por Guilherme Tozo de Carvalho
e aprovada pela Comiss˜ao Julgadora.
Resumo
Um data warehouse (DW) ´e um banco de dados centralizado, orientado por assunto, integrado,
n˜ao vola´til e hist´orico, criado com o objetivo de dar apoio ao processo de tomada de decis˜ao e
que estrutura os dados em uma arquitetura anal´ıtica bastante distinta da arquitetura relacional
utilizada nos bancos de dados transacionais. Construir um DW´e um projeto de engenharia bastante
complexo pois envolve muitas tecnologias e muitas pessoas, de diferentes equipes, em um grande
esforc¸o conjunto para construir esta base central de informac¸˜oes corporativas. O processo tradicional
de constru¸c˜ao de um DW n˜ao utiliza conceitos ´ageis e, pelo escopo de desenvolvimento ser grande,
pode levar muito tempo at´e que funcionalidades sejam entregues aos clientes.
Osm´etodos ´ageisdeengenhariadesoftwares˜aomuitousadoscomoumaalternativaaosm´etodos
tradicionais de desenvolvimento e tˆem diferenciais que trazem muito valor a projetos grandes pois,
al´em de buscar desenvolver vers˜oes funcionais em prazos curtos, defendem que todos os sistemas tˆem
a constante necessidade de se adaptar a mudan¸cas. Estas duas caracter´ısticas, presentes em todos os
m´etodos ´ageis, trazem alguns benef´ıcios estruturais aos projetos em que s˜ao aplicados pois, al´em da
constante prioriza¸c˜ao das necessidades mais recentes, tamb´em permitem que novas funcionalidades
sejam constantemente adicionadas, fazendo com que o sistema esteja sempre adaptado `as maiores
necessidades da empresa.
Neste trabalho s˜ao aplicadas pr´aticas ´ageis no processo tradicional de engenharia de DW para
que o desenvolvimento seja realizado em ciclos iterativos curtos, tornando poss´ıvel o desenvolvimento
r´apidoeevolutivodeumDWcomentregasconstantesdenovasfuncionalidades. Acont´ınuaevoluc¸˜ao
deste complexo ambiente anal´ıtico ´e apoiada por conceitos de banco de dados evolutivos e tamb´em
por fundamentos de m´etodos ´ageis.
Palavras-chave: Data Warehouse, M´etodos A´geis, Refatorac¸˜ao, Banco de Dados.
i
ii RESUMO
Abstract
Adatawarehouse(DW)isacentraldatabase, subject-oriented, integrated, nonvolatile, andtime-
variant collection of data in support of management’s decision making process and that summarize
the data in an analytic architecture quite different from the relational one, used in transactional
databases. Building a DW is a complex engineering project because it involves many technologies
and many people, from different teams, in a huge corporative effort to build a central database with
corporative data. The traditional engineering process to build a DW does not use agile concepts and,
as its scope is quite big, it might takes a long time until the customer can use its features.
Agile methods of software engineering are commonly used as an alternative to the traditional
methods and they have some differentials that lead a lot of value to big projects, as the continuous
attempt to develop short releases in short periods of time, or the belief that every system needs
to be continuously adapted to the changes on its environment. These two features, which appear
in all the agile methods, brings some structural benefits to the projects where they are applied as
the continuous priorization of the most recent company needs, they also allow new functionalities
to be constantly added in the system, directing it continuously to the highest priority needs of the
company.
This work applies agile practices in the traditional DW engineering method, so that the deve-
lopment can be done in short iterative cycles, making possible a fast and evolutive DW project,
with frequent delivering of new functionalities. The continuous evolution of this complex analytical
environment is supported by evolutive database concepts and also for agile methods foundations.
Keywords: Data Warehouse, Agile Methods, Refactoring, Database.
iii
iv ABSTRACT
Agradecimentos
A` minha esposa Cristiane Rodrigues Guzzo Carvalho, sempre presente, dedicada, compreensiva
e carinhosa. Eu te amo muito Cris.
A` minhafam´ılia, Sebasti˜aodeAlmeidaCarvalho, MariaMadalenaTozodeCarvalho, RafaelTozo
de Carvalho e Victor Tozo de Carvalho, por todo o apoio e incentivo que me deram ao longo deste
dif´ıcil trabalho.
Ao meu orientador Prof. Dr. Jo˜ao Eduardo Ferreira, pela sua importante orientac¸˜ao e pelas
id´eias, fundamentais no direcionamento e na execu¸c˜ao do trabalho.
A` minha co-orientadora Profa. Dra. Isabel Cristina Italiano, pela paciˆencia que teve, pela ajuda
nas id´eias e no texto da disserta¸c˜ao e por ter sempre acreditado em mim.
Aos meus companheiros da empresa, pela flexibilidade que tive em meus hor´arios, pela compre-
ens˜ao e pelo apoio que me deram para que o trabalho fosse realizado. Atualmente na Cetelem: Luiz
Maur´ıcio Germano Sim˜oes, Franck Vignard-Rosez, Camila de Campos, Camila Poplawski, Fl´avio
Itiro, Raquel Furuya, Marcos Chiba e Diogo Goes. No in´ıcio do curso, na Telefonica e na VIVO:
Welkens Reis Dutra, Gilson Vilela, Filipe Moura, Fernando Nagano e Maribel Garcimartin.
Aos meus sogros Henrique Guzzo Ju´nior e Dionilde Rodrigues dos Santos Guzzo, pelo apoio, pelo
incentivo e pela compreens˜ao que tiveram durante o trabalho.
A todos os meus amigos e familiares que me apoiaram e me incentivaram nos momentos dif´ıceis,
me dando for¸cas e acreditando em mim.
Muito Obrigado!
v
vi ABSTRACT
Sum´ario
Resumo i
Abstract iii
Lista de Abreviaturas xi
Lista de Figuras xiii
Lista de Tabelas xv
1 Introdu¸c˜ao 1
1.1 Cena´rio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Organizac¸˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Processo Tradicional de Constru¸c˜ao do DW 5
2.1 Planejamento do Projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Especifica¸c˜ao de Requisitos de Neg´ocio . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 - Trilha da Tecnologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.1 Projeto da Arquitetura T´ecnica . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 Escolha e Configura¸c˜ao de Ferramentas . . . . . . . . . . . . . . . . . . . . . . 12
2.4 - Trilha dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4.1 Modelagem Dimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
vii
viii SUMA´RIO
2.4.2 Projeto F´ısico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.3 Projeto do ETL e Desenvolvimento . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 - Trilha das Aplica¸c˜oes de BI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5.1 Projeto de Aplica¸c˜oes de BI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.2 Desenvolvimento da Aplica¸c˜ao de BI . . . . . . . . . . . . . . . . . . . . . . . . 28
2.6 Integra¸c˜ao e Implantac¸˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.7 Manuten¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.8 Crescimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.9 Gerenciamento do Projeto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.10 Resumo do Cap´ıtulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3 M´etodos de Evolu¸c˜ao em Bancos de Dados 33
3.1 O Conceito de Bancos Evolutivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2 Refatora¸c˜ao de Banco de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 Aplicando as Refatora¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.4 Implantando em Produ¸c˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5 Classificac¸˜ao das Evoluc¸˜oes de um DW . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6 Resumo do Cap´ıtulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4 Aplica¸c˜ao de Pr´aticas A´geis em Projetos Evolutivos de DW 43
4.1 M´etodos A´geis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 As Duas Pr´aticas Principais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.3 T´ecnicas para Aplica¸c˜ao das Pr´aticas A´geis . . . . . . . . . . . . . . . . . . . . . . . . 48
4.4 Aplicac¸˜ao das Pr´aticas A´geis - Um exemplo ilustrativo . . . . . . . . . . . . . . . . . . 51
4.5 A Estabilidade Estrutural . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.6 Enumera¸c˜ao das Evolu¸c˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.7 Resumo do Cap´ıtulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58