Implementac¸ ˜ao de um mecanismo de extracc¸ ˜ao e carregamento de dados para o ALERT R ...

115 Pages·2008·3.14 MB·Portuguese

FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO
Implementac¸a˜o de um mecanismo de
extracc¸a˜o e carregamento de dados
para o ALERT(cid:13) DATA WAREHOUSE
R
a partir do ALERT(cid:13) PRIVATE
R
PRACTICE
David de Almeida Marques
Relato´riodeProjecto
MestradoIntegradoemEngenhariaInforma´tica
Orientador: Prof. RuiCamacho
Julhode2008
(cid:13)c DaviddeAlmeidaMarques,2008
Implementac¸a˜o de um mecanismo de extracc¸a˜o e
carregamento de dados para o ALERT(cid:13) DATA
R
WAREHOUSE a partir do ALERT(cid:13) PRIVATE
R
PRACTICE
David de Almeida Marques
Relato´rio de Projecto
Mestrado Integrado em Engenharia Informa´tica
Aprovado em provas pu´blicas pelo Ju´ri:
Presidente: JorgeManuelGomesBarbosa(Professor)
Arguente: Jose´ LuisOliveira(Professor)
Vogal: RuiCamacho(Professor)
31deJulhode2008

Confidencial
Nos termos do protocolo de esta´gio e do acordo de confidencialidade celebrado com
aALERTLifeSciencesComputing,S.A.(”ALERT”),opresenterelato´rioe´ confidencial
epodera´ conterrefereˆnciasainvenc¸o˜es,know-how,desenhos,programasdecomputador,
segredos comerciais, produtos, fo´rmulas, me´todos, planos, especificac¸o˜es, projectos, da-
dosouobrasabrangidospordireitosdepropriedadeindustriale/ouintelectualdaALERT.
Este relato´rio so´ podera´ ser utilizado para efeitos de investigac¸a˜o e de ensino. Qualquer
outrotipodeutilizac¸a˜oesta´ sujeitaaautorizac¸a˜opre´viaeporescritodaALERT.
In accordance with the terms of the internship protocol and the confidentiality agre-
ement executed with ALERT Life Sciences Computing, S.A. (”ALERT”), this report is
confidential and may contain references to inventions, know-how, drawings, computer
software, trade secrets, products, formulas, methods, plans, specifications, projects, data
or works protected by ALERT’s industrial and/or intellectual property rights. This report
maybeusedsolelyforresearchandeducationalpurposes. Anyotherkindofuserequires
priorwrittenconsentfromALERT.
i
ii
Resumo
Este trabalho surgiu da inexisteˆncia de um produto de data warehousing sobre o
ALERT(cid:13)R PRIVATE PRACTICE, aplicac¸a˜o cl´ınica que gere o fluxo de dados cl´ınicos
numacl´ınicaprivada. Onovoproduto,ADWPRIVATEPRACTICE(ADWPP),destina-
se ao arquivo e ana´lise de informac¸a˜o cl´ınica e operacional, permitindo a realizac¸a˜o de
pesquisas,ana´liseserelato´rioscomplexos,nocontextodecl´ınicasprivadas. Ainformac¸a˜o
do ADW e do ALERT proveˆm de duas bases de dados distintas mas que assentam no
motor Oracle. A base de dados do ADW, um data warehouse, assenta no modelo dimen-
sional para maximizar a eficieˆncia de acesso aos dados. Esse acesso e´ feito atrave´s duma
interfacewebqueacedeaosdadospresentesnodatawarehouse.
Este projecto envolveu a definic¸a˜o e implementac¸a˜o dum processo que permitisse ter
os dados carregados no data warehouse, num formato adequado para visualizac¸a˜o. Uma
ana´lise ao contexto de nego´cio foi feita de forma a encontrar indicadores cl´ınicos, finan-
ceiroseadministrativosadequadosaumacl´ınicaprivadaea` suagesta˜o. Osistemafontee
dedestinoforamtambe´manalisadosdemodoaencontrarainformac¸a˜ocertaquerespon-
desse a esses indicadores. O modelo de dados do ADW ja´ conte´m bastante informac¸a˜o
relativa a processos de nego´cio cl´ınicos, pelo que os novos desenvolvimentos podem-se
dividir em treˆs grupos. O primeiro implica a criac¸a˜o duma nova estrela de agendamen-
tos de consultas. Foi criada uma nova tabela de factos e duas dimenso˜es novas no data
warehouse do ADW. O processo de extracc¸a˜o, transformac¸a˜o e carregamento de dados
(ETL) foi implementado usando a ferramenta Oracle Data Integrator (ODI). O segundo,
e mais complexo, envolveu a reformulac¸a˜o total da maior estrela do ADW, a das tarefas
dos profissionais. A extracc¸a˜o dos dados foi dividida em duas fases. Metade das tarefas
foramextra´ıdasdoALERTpormeiodoODIeoutrametadedoADWpormeiodeco´digo
PL/SQL.OcarregamentodedadosparaumanovatabeladefactosfoifeitousandooODI
e cruzando informac¸a˜o com uma nova dimensa˜o criada para o efeito, o tipo de tarefa.
Tabelas de agregac¸a˜o foram criadas de forma a maximizar a eficieˆncia de perguntas tem-
porais por parte dos utilizadores. O terceiro grupo de desenvolvimento esteve na origem
decriac¸a˜odenovosfactosnasestrelasexistentes,julgadosnecessa´riosparaoADWPP,e
docarregamentodedadosemingleˆs,nomeadamentededadosgeogra´ficos.
A garantida de qualidade do processo e dos dados foi uma preocupac¸a˜o constante no
projectoeforamusadasva´riaste´cnicasdetestes. Invariantes,tabelasdeerros,testesfun-
cionais, unita´rios, e de performance foram usados no decorrer do projecto para validar a
implementac¸a˜o. Ao n´ıvel de objectivos, todos foram atingidos de forma satisfato´ria e a
reformulac¸a˜o da estrelas da tarefas ainda superou os objectivos iniciais, com um melho-
ramentodaperformancerelativamenteaoantigoprocesso.
iii
iv
Abstract
This work arose from the lack of a data warehousing product for the ALERT (cid:13)R PRI-
VATE PRACTICE, clinical software to manage the flow of clinical data in a private cli-
nic. The new product, ADW PRIVATE PRACTICE (ADW PP), is aimed at archiving
and analyzing clinical and operational information, allowing the realization of research,
analysis and complex reports, in the context of private clinics. Information from ADW
and ALERT(cid:13)R come from two different databases but both rely on Oracle technology.
The ADW database, a data warehouse, is based on a dimensional model to maximize the
efficiency of data access. Data query is done through a web interface that connect to the
datawarehouse.
Thisprojectwasinvolvedindefiningandimplementingtheprocessthatloadandpre-
paresthedatainthedatawarehouse,inanadequateformatforvisualization. Ananalysis
of the business context was done in order to find clinical, financial and administrative in-
dicators, appropriate to a private clinic and its management. The source and destination
system were also analyzed, to find the right information to respond to these indicators.
The ADW data model already contains information concerning the clinical workflow, so
new developments can be divided into three new groups. The first involves the creation
of a new star of schedules for consultations. A new facts table and two new dimensions
were created in the ADW data warehouse. The process of extraction, transformation and
loadingofdata(ETL)wasimplementedusingthetoolOracleDataIntegrator(ODI).The
second,morecomplex,involvedthecompleterevisionofthebiggeststaroftheADW,the
tasks of professionals. The data extraction was divided into two phases. Half of the tasks
were extracted from the ALERT through ODI and the other half from the ADW through
PL/SQL coding. The data loading to a new tasks facts table was made using ODI and
the crossing of information with a new dimension created for this purpose, the type of
task. Tables of aggregation were created in order to maximize the efficiency of temporal
questions from users. The third group of development has led to creation of new facts in
existingstars,deemednecessaryfortheADWPP,andloadingofdatainEnglish,notably
geographicdata.
Theguaranteeofqualityoftheprocessanddatawasaconstantconcernintheproject
andvarioustechniqueswereusedfortesting. Invariants,errortables,functional,unit,and
performance tests were used during the project and guaranteed the fulfilment of goals. In
terms of objectives, all were achieved and the recasting of the star of tasks surpassed the
originalgoals,withanimprovedperformancecomparedtotheoldprocess.
v
vi