Algoritmos Baseados em Modelos Bayesianos para Restauração de Sinais de Áudio

111 Pages·2008·1.7 MB·Portuguese

ALGORITMOS BASEADOS EM MODELOS BAYESIANOS PARA
RESTAURAC¸A˜O DE SINAIS DE A´UDIO
´
Fl´avio Rainho Avila
DISSERTAC¸A˜O SUBMETIDA AO CORPO DOCENTE DA COORDENAC¸A˜O
DOS PROGRAMAS DE PO´S-GRADUAC¸A˜O DE ENGENHARIA DA
UNIVERSIDADE FEDERAL DO RIO DE JANEIRO COMO PARTE DOS
REQUISITOS NECESSA´RIOS PARA A OBTENC¸A˜O DO GRAU DE MESTRE
ˆ ´
EM CIENCIAS EM ENGENHARIA ELETRICA.
Aprovada por:
Prof. Luiz Wagner Pereira Biscainho, D.Sc.
Dr. Paulo Antonio Andrade Esquef, D.Sc.
Prof. Eduardo Antonio Barros da Silva, Ph.D.
Prof. Dani Gamerman, Ph.D.
RIO DE JANEIRO, RJ - BRASIL
MARC¸O DE 2008
´AVILA, FL´AVIO RAINHO
Algoritmos baseados em modelos
bayesianos para restaura¸c~ao de sinais
de ´audio [Rio de Janeiro] 2008
XII, 99 p. 29,7 cm (COPPE/UFRJ,
M.Sc., Engenharia El´etrica, 2008)
Disserta¸c~ao - Universidade Federal
do Rio de Janeiro, COPPE
1.Processamento de Sinais
2.Processamento de ´Audio
3.Infer^encia Estat´ıstica
I.COPPE/UFRJ II.T´ıtulo (s´erie)
ii
Agradecimentos
E´ um prazer agradecer `as pessoas que contribu´ıram para a realizac¸˜ao deste
trabalho.
Em primeiro lugar, agradec¸o a meu orientador e amigo, Luiz Wagner, cuja
excelˆencia t´ecnica s´o ´e compar´avel a sua bondade, honestidade e senso de humor.
Este trabalho n˜ao seria poss´ıvel sem seu apoio. Obrigado, Luiz.
Agradec¸o ao professor Diniz, que me ofereceu trabalhos que possibilitaram
meu sustento durante boa parte do mestrado. Essa ajuda foi fundamental para que
pudesse conclu´ı-lo.
Meu colega Rafael de Jesus, fazendo jus ao nome, demonstrou imensa bon-
dade ao me emprestar seu computador para que pudesse terminar de escrever a
dissertac¸˜ao. N˜ao tenho palavras para lhe agradecer.
Agradec¸o ao colega de trabalho Paulo Esquef, que me emprestou algumas
rotinas que foram u´teis neste trabalho, e contribuiu com sugest˜oes durante sua exe-
cuc¸˜ao.
Minha psic´ologa Geny Nunes me ajudou a superar grandes dificuldades, mui-
tas vezes criadas por mim mesmo. Agradec¸o imensamente seu apoio.
Minhafam´ılia,emboradistante, esteve semprepresente quandoprecisei. Meu
pai, meus irm˜aos, minha tia Marta e a mem´oria de minha m˜ae s˜ao fontes constantes
de inspirac¸˜ao e est´ımulos. A todos expresso minha gratid˜ao.
Por fim, agradec¸o aos colegas do Laborat´orio de Processamento de Sinais por
ajudarem a criar um ambiente de trabalho tranqu¨ilo, amig´avel e divertido.
iii
Resumo da Dissertac¸˜ao apresentada `a COPPE/UFRJ como parte dos requisitos ne-
cess´arios para a obtenc¸˜ao do grau de Mestre em Ciˆencias (M.Sc.)
ALGORITMOS BASEADOS EM MODELOS BAYESIANOS PARA
˜ ´
RESTAURAC¸AO DE SINAIS DE AUDIO
Fl´avio Rainho A´vila
Marc¸o/2008
Orientador: Luiz Wagner Pereira Biscainho
Programa: Engenharia El´etrica
Uma aplicac¸˜ao frequ¨ente de t´ecnicas de restaurac¸˜ao de ´audio ´e na remoc¸˜ao
de defeitos aud´ıveis em gravac¸˜oes de interesse art´ıstico e hist´orico, tipicamente de
m´ıdias anal´ogicas. As t´ecnicas de restaurac¸˜ao digital variam de m´etodos heur´ısticos
computacionalmente eficientes a m´etodos estat´ısticos sofisticados. Estes u´ltimos
permitem modelar o sinal de ´audio e distu´rbios de forma bastante realista, ao custo
de alta complexidade computacional.
Esta dissertac¸˜ao lida com o problema de remoc¸˜ao de dois tipos de ru´ıdo lo-
calizado: clicks e pulsos longos. Foram empregados m´etodos bayesianos para a
modelagem estat´ıstica dos distu´rbios, e foram usadas t´ecnicas baseadas em MCMC
para a estimac¸˜ao num´erica das vari´aveis envolvidas. No caso dos clicks, prop˜oe-se
um modelo que os descreve individualmente, com o objetivo de reduzir a complexi-
dade computacional em relac¸˜ao aos m´etodos bayesianos encontrados na literatura.
Para os pulsos longos, ´e proposta uma modificac¸˜ao no modelo anterior dos clicks,
permitindo a detecc¸˜ao e remoc¸˜ao conjuntas desse tipo de defeito. Os dois algoritmos
tˆem estrutura similar e se baseiam no algoritmo de Metropolis-Hastings com saltos
revers´ıveis associado ao amostrador de Gibbs. A qualidade da restaurac¸˜ao obtida
foi aferida atrav´es de simulac¸˜oes com sinais sint´eticos e reais.
iv
Abstract of Dissertation presented to COPPE/UFRJ as a partial fulfillment of the
requirements for the degree of Master of Science (M.Sc.)
BAYESIAN MODEL-BASED ALGORITHMS FOR DIGITAL AUDIO
RESTORATION
Fl´avio Rainho A´vila
March/2008
Advisor: Luiz Wagner Pereira Biscainho
Department: Electrical Engineering
A common application of audio restoration techniques is the removal of audi-
ble defects from sound recordings of artistic and historical interest, typically found
on analog media. Digital restoration techniques span from low-complexity heuristic
methods to sophisticated statistical ones. The latter allows for modelling of audio
signals and defects in a realistic fashion, at the cost of higher computational burden.
This dissertation deals with the removal of two kinds of localized distur-
bances: clicks and long pulses. Bayesian methods have been employed for statistical
modeling of those defects, and MCMC-based techniques have been used for numer-
ical estimation of the involved variables. In the case of clicks, a new model which
describes them individually yields reduced computational complexity compared to
Bayesian methods found in literature. For long pulses, the former model is modified
to allow the joint detection and removal of this kind of defect. Both algorithms
exhibit a similar structure, mixing the Reversible-Jump Metropolis-Hastings algo-
rithm and the Gibbs Sampler. The attained performance has been assessed through
simulations on synthetic as well as real signals.
v
Sum´ario
Gloss´ario xii
1 Introduc¸˜ao 1
2 M´etodos Bayesianos de Inferˆencia Estat´ıstica 4
2.1 Algumas interpretac¸˜oes de probabilidade . . . . . . . . . . . . . . . . 4
2.2 Problema geral de inferˆencia e algumas soluc¸˜oes . . . . . . . . . . . . 6
2.3 Inferˆencia bayesiana . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3.1 Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 Modelo bayesiano hier´arquico . . . . . . . . . . . . . . . . . . . . . . 10
2.5 Distribuic¸˜ao a priori . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.5.1 Prioris conjugadas . . . . . . . . . . . . . . . . . . . . . . . . 11
2.5.2 Priori n˜ao-informativa . . . . . . . . . . . . . . . . . . . . . . 12
2.6 Eliminac¸˜ao de parˆametros . . . . . . . . . . . . . . . . . . . . . . . . 13
2.7 Teoria da decis˜ao bayesiana . . . . . . . . . . . . . . . . . . . . . . . 13
2.8 Coment´arios conclusivos . . . . . . . . . . . . . . . . . . . . . . . . . 14
3 T´ecnicas Num´ericas de Estima¸c˜ao 15
3.1 T´ecnicas de Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2 M´etodo da rejeic¸˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3 Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3.1 Conceituac¸˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.3.2 Distribuic¸˜ao invariante . . . . . . . . . . . . . . . . . . . . . . 19
3.3.3 Ergodicidade . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.3.4 Cadeias de Markov para espac¸o de estados cont´ınuo . . . . . . 20
vi
3.4 Amostrador de Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.5 Algoritmo de Metropolis-Hastings . . . . . . . . . . . . . . . . . . . . 22
3.6 MCMC com saltos revers´ıveis . . . . . . . . . . . . . . . . . . . . . . 23
3.7 An´alise de convergˆencia . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.8 Conclus˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4 Alguns M´etodos de Corre¸c˜ao de Clicks 28
4.1 Modelagem do sinal corrompido . . . . . . . . . . . . . . . . . . . . . 29
4.2 Modelagem do sinal de ´audio . . . . . . . . . . . . . . . . . . . . . . 30
4.3 Remoc¸˜ao de clicks por filtragem inversa . . . . . . . . . . . . . . . . . 32
4.4 Correc¸˜ao de clicks pelo m´etodo bayesiano . . . . . . . . . . . . . . . . 34
4.4.1 Estimac¸˜ao em blocos . . . . . . . . . . . . . . . . . . . . . . . 34
4.4.2 Estimac¸˜ao sequ¨encial . . . . . . . . . . . . . . . . . . . . . . . 36
4.4.3 Estimac¸˜ao iterativa atrav´es do algoritmo EM e do amostrador
de Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.5 Conclus˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
5 M´etodos alternativos para a Corre¸c˜ao de clicks 39
5.1 Modelo proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Restaurac¸˜ao usando modelo multiplicativo para o ru´ıdo . . . . . . . . 42
5.2.1 Distribuic¸˜ao a priori . . . . . . . . . . . . . . . . . . . . . . . 43
5.2.1.1 Localizac¸˜ao (n ) e durac¸˜ao (M) . . . . . . . . . . . . 43
0
5.2.1.2 Amplitude (V) . . . . . . . . . . . . . . . . . . . . . 44
5.2.1.3 Taxa de decaimento (λ) . . . . . . . . . . . . . . . . 44
5.2.1.4 Sinal original (x) . . . . . . . . . . . . . . . . . . . . 44
5.2.2 Obtenc¸˜ao da distribuic¸˜ao a posteriori . . . . . . . . . . . . . . 45
5.3 Restaurac¸˜ao pelo m´etodo de Fibonacci . . . . . . . . . . . . . . . . . 46
5.3.1 Estimac¸˜ao de n . . . . . . . . . . . . . . . . . . . . . . . . . 48
0
5.3.2 Estimac¸˜ao de V . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.3.3 Estimac¸˜ao de λ . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3.4 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.3.4.1 Situac¸˜ao A: click artificial . . . . . . . . . . . . . . . 51
vii
5.3.4.2 Situac¸˜ao B: click real . . . . . . . . . . . . . . . . . . 51
5.4 Restaurac¸˜ao atrav´es de algoritmo MH e amostrador de Gibbs . . . . . 52
5.4.1 Inicializac¸˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.4.2 Distribuic¸˜oes condicionais e escolha das propostas . . . . . . . 55
5.4.2.1 Amostragem do sinal original x . . . . . . . . . . . . 55
5.4.2.2 Amostragem da localizac¸˜ao n e da durac¸˜ao M . . . 56
0
5.4.2.3 Amostragem da amplitude V . . . . . . . . . . . . . 57
5.4.2.4 Amostragem da taxa de decaimento λ . . . . . . . . 58
5.4.3 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.5 Restaurac¸˜ao atrav´es de algoritmo de Metropolis-Hastings com saltos
revers´ıveis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.5.1 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.5.2 An´alise da complexidade computacional . . . . . . . . . . . . 70
5.6 Conclus˜ao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
6 Corre¸c˜ao de Pulsos Longos 80
6.1 T´ecnicas existentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.2 M´etodo proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
6.3 C´alculo das distribuic¸˜oes condicionais e escolha das propostas . . . . 83
6.4 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.5 Considerac¸˜oes sobre a complexidade computacional . . . . . . . . . . 90
6.6 Conclus˜oes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
7 Conclus˜oes e Trabalhos Futuros 94
Referˆencias Bibliogr´aficas 96
viii
Lista de Figuras
2.1 Exemplo de modelo bayesiano hier´arquico . . . . . . . . . . . . . . . 10
3.1 Evoluc¸˜ao de um parˆametro de uma cadeia de Markov a partir de
diferentes valores iniciais. . . . . . . . . . . . . . . . . . . . . . . . . 26
5.1 Sinal contaminado por clicks. . . . . . . . . . . . . . . . . . . . . . . 40
5.2 Clicks retirados do sinal contaminado. . . . . . . . . . . . . . . . . . 41
5.3 Detalhe de um distu´rbio impulsivo. . . . . . . . . . . . . . . . . . . . 41
5.4 Distribuic¸˜ao a posteriori de n com V e λ fixos. . . . . . . . . . . . . 48
0
5.5 Distribuic¸˜ao a posteriori de V com n e λ fixos. . . . . . . . . . . . . 49
0
5.6 Distribuic¸˜ao a posteriori de λ com V e n fixos. . . . . . . . . . . . . 50
0
5.7 Sinal corrompido com click artificial. . . . . . . . . . . . . . . . . . . 52
5.8 Sinal original (linha cont´ınua), sinal estimado pelo m´etodo sequ¨encial
(linha s´olido-pontilhada) e sinal estimado pelo m´etodo de Fibonacci
(linha tracejada). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.9 Sinal corrompido com click real. . . . . . . . . . . . . . . . . . . . . . 53
5.10 Sinal original (linha cont´ınua), sinal estimado pelo m´etodo sequ¨encial
(linha s´olido-pontilhada) e sinal estimado pelo m´etodo de Fibonacci
(linha tracejada). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.11 Sinal com clicks presentes a partir das amostras 100 e 300. . . . . . . 60
5.12 Distribuic¸˜ao conjunta de V e λ. . . . . . . . . . . . . . . . . . . . . . 61
5.13 Histograma de V e λ sendo as demais vari´aveis fixas. . . . . . . . . . 61
5.14 Distribuic¸˜ao e histograma de V. . . . . . . . . . . . . . . . . . . . . . 62
5.15 Distribuic¸˜ao e histograma de λ. . . . . . . . . . . . . . . . . . . . . . 62
5.16 Distribuic¸˜ao e histograma de n . . . . . . . . . . . . . . . . . . . . . . 63
0
ix
5.17 Distribuic¸˜ao e histograma de M. . . . . . . . . . . . . . . . . . . . . . 63
5.18 Amostras da condicional total de V. . . . . . . . . . . . . . . . . . . . 64
5.19 Amostras da condicional total de λ . . . . . . . . . . . . . . . . . . . 64
5.20 Amostras da condicional total de M. . . . . . . . . . . . . . . . . . . 65
5.21 Amostras da condicional total de n . . . . . . . . . . . . . . . . . . . 65
0
5.22 Sinais original (linha cont´ınua) e restaurado pelo m´etodo baseado no
algoritmo de Metropolis-Hastings (linha s´olido-pontilhada). . . . . . . 66
5.23 Sinal contaminado por clicks superpostos. . . . . . . . . . . . . . . . 66
5.24 Localizac¸˜ao dos clicks superpostos. . . . . . . . . . . . . . . . . . . . 67
5.25 Gr´aficosrelativos`asituac¸˜aoA.(a)Sinalgeradoartificialmenteusando
modelo AR de ordem 30 com 3 clicks artificiais inseridos. (b) Detalhe
do sinal corrompido (linha cont´ınua) e sinal restaurado (linha s´olido-
pontilhada). (c) Diferenc¸a entre sinais original e restaurado. . . . . . 71
5.26 Gr´aficos relativos `a situac¸˜ao A. (a) Evoluc¸˜ao de n0. (b) Evoluc¸˜ao de
M. (c) Evoluc¸˜ao de V. (d) Evoluc¸˜ao de λ. . . . . . . . . . . . . . . . 72
5.27 Gr´aficosrelativos`asituac¸˜aoB.(a)Sinalgeradoartificialmenteusando
modelo AR de ordem 30 com 3 clicks reais inseridos. (b) Sinal cor-
rompido (linha cont´ınua) e sinal restaurado (linha s´olido-pontilhada).
(c) Diferenc¸a entre sinais original e restaurado. . . . . . . . . . . . . . 73
5.28 Gr´aficos relativos `a situac¸˜ao B. (a) Evoluc¸˜ao de n0. (b) Evoluc¸˜ao de
M. (c) Evoluc¸˜ao de V. (d) Evoluc¸˜ao de λ. . . . . . . . . . . . . . . . 74
5.29 Gr´aficos relativos `a situac¸˜ao C. (a) Sinal real contaminado por click.
(b) Detalhe do sinal corrompido (linha cont´ınua) e sinal restaurado
(linha s´olido-pontilhada). . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.30 Gr´aficos relativos `a situac¸˜ao C. (a) Evoluc¸˜ao de n0. (b) Evoluc¸˜ao de
M. (c) Evoluc¸˜ao de V. (d) Evoluc¸˜ao de λ. . . . . . . . . . . . . . . . 76
6.1 Trecho de sinal contaminado por pulso longo. . . . . . . . . . . . . . 81
6.2 Amostras da vari´avel V . . . . . . . . . . . . . . . . . . . . . . . . . . 88
c
x