Técnica de rastreamento e perseguição de alvo utilizando o algoritmo Haar cascade aplicada a ...

105 Pages·2017·1.68 MB·Portuguese

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE
CENTRO DE TECNOLOGIA
PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA
UNIVERSIDADEFEDERALDO RIO GRANDE DO NORTE MECATRÔNICA
Técnica de rastreamento e perseguição de alvo
utilizando o algoritmo Haar cascade aplicada a
robôs terrestres com restrições de movimento
Rafael Cardoso Pereira
Orientador: Prof. Dr. AllandeMedeirosMartins
Dissertação de Mestrado apresentada ao
Programa de Pós-Graduação em Engenha-
ria Mecatrônica como parte dos requisitos.
para obtenção do título Mestre em Engenha-
riaMecatrônica
Número de ordem PEM: M007
Natal, RN, junho de 2017
UniversidadeFederaldoRioGrandedoNorte–UFRN
SistemadeBibliotecas–SISBI
CatalogaçãodaPublicaçãonaFonte-BibliotecaCentralZilaMamede
Pereira,RafaelCardoso.
Técnica de rastreamento e perseguição de alvo utilizando o algoritmo Haar
cascade aplicada a robôs terrestres com restrições de movimento / Rafael Car-
dosoPereira. -2017.
102f. : il.
Dissertação(mestrado)-UniversidadeFederaldoRioGrandedoNorte,Cen-
tro de Tecnologia, Programa de Pós-Graduação em Engenharia Mecatrônica.
Natal,RN,2017.
Orientador: Prof. Dr. AllandeMedeirosMartins.
1. Visão computacional - Dissertação. 2. Detecção de alvo - Dissertação.
3. Estimativa de configuração - Dissertação. 4. Controle com restrições - Dis-
sertação. 5. Geração de caminhos - Dissertação. 6. Controle não-holonômico -
Dissertação. I.Martins,AllandeMedeiros. II.Título.
RN/UFRN/BCZM CDU007.52
Técnica de rastreamento e perseguição de alvo
utilizando o algoritmo Haar cascade aplicada a
robôs terrestres com restrições de movimento
Rafael Cardoso Pereira
DissertaçãodeMestradoaprovadaem21dejunhode2017pelabancaexaminadoracom-
postapelosseguintesmembros:
Prof. Dr. AllandeMedeirosMartins(orientador) ............... DEE/UFRN
Prof. Dr. TiagoPereiradoNascimento ........................ DSCO/UFPB
ProfDrAdriãoDuarteDoriaNeto ............................ DCA/UFRN
Prof. Dr. PabloJavierAlsina ................................. DCA/UFRN
Agradecimentos
Aomeuorientador,professorAllan,sougratopelaorientação.
AoprofessorPablopelaimensaajudanaproduçãodestetrabalho.
Aosdemaiscolegasdepós-graduação,pelascríticasesugestões.
Àminhafamíliapeloapoioduranteestajornada.
ÀCAPES,peloapoiofinanceiro.
Resumo
Ahabilidadedeseguiroudesemoveracompanhandoumapessoaouumobjetoespe-
cificado, capaz de se deslocar, é uma perícia necessária em diversos agentes autônomos.
Taisagentessãoamplamenteutilizadospararealizarváriastarefaspresentesnocotidiano,
podendoseraplicadostantoemtarefascorriqueiras,comoemcarrinhosdesupermercado
ou limpeza de ambientes, quanto às tarefas de mais alto risco, como em grandes indús-
trias ou carros autônomos. A ideia apresentada aqui é a de desenvolver um método de
rastreamento e perseguição de alvo aplicável à robôs móveis terrestres com rodas que
possuem restrições em sua movimentação, que fazem com que técnicas de controle pa-
drão nem sempre possam ser aplicadas. O trabalho desenvolvido aqui também leva em
consideração a utilização de uma técnica de detecção de alvo que possa se tornar adap-
tável a praticamente qualquer tipo de alvo estipulado pelo projetista de acordo com as
necessidadesdesuaaplicação. Odesenvolvimentodosmétodospropostosforamrealiza-
dos agregando técnicas de reconhecimento de padrões utilizados em câmeras de padrão
RGB comuns, técnicas deestimativa de posição e orientação ealgoritmos de controle in-
teligentes, que possuem baixo custo computacional, aplicáveis a robôs com restrições de
movimentação.
Palavras-chave: visão computacional; detecção de alvo; estimativa de configuração;
classificadores cascata; controle não-holonômico; controle com restrições; geração de
caminhos.
Abstract
The ability to follow or move along with a specified moving person or object, is a
necessary skill in several autonomous agents. Such agents are widely used to perform
varioustasksineverydaylife,andtheycanbeappliedeitherineverydaytasks,suchasin
supermarketcartsorcleaningenvironments,aswellinhigh-risktaskslikelargeindustries
orautonomouscars. Theideapresentedhereistodevelopatargettrackingandfollowing
method applicable to mobile wheeled land robots that have restrictions on their move-
ment, which means that standard control techniques cannot always be applied. The work
developed here also takes into account the use of a target detection technique that can be
adaptedtopracticallyanytypeoftargetstipulatedbythedesigneraccordingtotheneeds
of its application. The development of the proposed methods is accomplished by adding
standard recognition techniques used in common RGB type cameras, position estimation
and orientation techniques, and intelligent control algorithms, with a low computational
cost,applicabletorobotswithmovementrestrictions.
Keywords: computervision;targetdetection;configurationestimation;cascadeclas-
sifiers;non-holonomiccontrol;restrictedcontrol;pathgeneration.
Sumário
Sumário i
ListadeFiguras iii
ListadeTabelas vii
ListadeSímboloseNomeclaturas viii
1 INTRODUÇÃO 1
1.1 Objetivo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Objetivosespecíficos . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Estruturadotrabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 REVISÃOBIBLIOGRÁFICA 4
2.1 Contextualizaçãodotrabalho . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Delimitaçãodoproblema . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Controlebaseadoemvisão . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.4 Apresentaçãodosmétodosutilizados . . . . . . . . . . . . . . . . . . . . 8
2.4.1 HaarFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4.2 Classificadoresemcascata . . . . . . . . . . . . . . . . . . . . . 9
2.4.3 Estimativasdeposiçãoeorientação . . . . . . . . . . . . . . . . 12
2.4.4 Abordagemdecontrole . . . . . . . . . . . . . . . . . . . . . . . 12
2.5 Revisãodosoftwaresutilizados . . . . . . . . . . . . . . . . . . . . . . . 13
2.5.1 CoppeliaRoboticsV-REP . . . . . . . . . . . . . . . . . . . . . 14
2.5.2 MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5.3 OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 METODOLOGIADEPESQUISA 17
3.1 Formadeabordagemaoproblema . . . . . . . . . . . . . . . . . . . . . 17
3.2 Descriçãodastécnicasescolhidas . . . . . . . . . . . . . . . . . . . . . 18
3.2.1 Notaçãomatemática . . . . . . . . . . . . . . . . . . . . . . . . 18
i
3.2.2 Descriçãodosreferenciais . . . . . . . . . . . . . . . . . . . . . 18
3.2.3 Escolhadoalvo . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.3 Estimativadeposicionamentodoalvo . . . . . . . . . . . . . . . . . . . 22
3.4 EstimativadeorientaçãodoAlvo . . . . . . . . . . . . . . . . . . . . . . 29
3.4.1 Especificandoumaformadelimitadora . . . . . . . . . . . . . . 29
3.4.2 Processodeestimativa . . . . . . . . . . . . . . . . . . . . . . . 31
3.5 Estratégiasdecontrole . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.5.1 Modelagemdorobô . . . . . . . . . . . . . . . . . . . . . . . . 33
3.5.2 Modelonão-linear . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.5.3 Dinâmicadoalvo . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.5.4 Estratégiageraldecontrole . . . . . . . . . . . . . . . . . . . . . 37
3.5.5 LeidecontrolePI . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5.6 Proposiçãoparaomelhoramentodaestratégiadecontrole . . . . 41
3.5.7 Esquemadecontrolebaseadoemgeraçãodecaminhos . . . . . . 42
3.5.8 Considerações . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.9 Polinômiocúbico . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4 RESULTADOSOBTIDOS 53
4.1 Processodetreinamentododetectordealvo . . . . . . . . . . . . . . . . 53
4.2 Testedosistemadedetecçãodealvo . . . . . . . . . . . . . . . . . . . . 54
4.3 Resultadosdosestimadoresdeposiçãoeorientação . . . . . . . . . . . . 56
4.4 Consideraçõesparaostestesdecontrole . . . . . . . . . . . . . . . . . . 61
4.5 ProcessodecontrolePID . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.6 Processodecontroleporgeraçãodecaminhos . . . . . . . . . . . . . . . 65
4.7 Testenacondiçãodedesnível . . . . . . . . . . . . . . . . . . . . . . . . 70
4.8 Testecomvelocidadedoalvovariável . . . . . . . . . . . . . . . . . . . 74
4.9 Testedolimitedevelocidadedoalvo . . . . . . . . . . . . . . . . . . . . 78
5 CONSIDERAÇÕESFINAIS 83
5.1 Contribuiçõesdotrabalho . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.2 Comentáriosgeraisetrabalhosfuturos . . . . . . . . . . . . . . . . . . . 84
REFERÊNCIASBIBLIOGRÁFICAS 86
A DiagramamostrandooalgoritmoAdaboostusadonaseleçãodeFeatures
Lista de Figuras
2.1 Alguns exemplos de features Haar utilizadas para detecção de padrões e
texturas em imagens. (1) Feature de aresta vertical. (2) Feature de aresta
horizontal. (3)Featuredelinhavertical. (4)Featuredelinhadiagonal. . . 9
2.2 Esquemáticodescrevendoumdetectoremcascata. Cadasub-janelapassa
porumasériedeclassificadorescasooresultadodoanteriorsejapositivo
(V)eédescartadaemcasoderesultadodeclassificaçãonegativo(F). . . 12
3.1 Configuração de modelagem do robô móvel terrestre no espaço de traba-
lhobidimensional. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Ilustração do padrão escolhido para a discriminação do alvo na simula-
ções. Opadrãoédefinidopeloprojetistadosistemaepodeserumacom-
binaçãodepraticamentequaisquerimagens. . . . . . . . . . . . . . . . . 21
3.3 Ilustração mostrando o modelo de câmera em perspectiva e os eixos de
coordenadasenvolvidoscomumpontoPnoespaço3D.Créditos: OpenCV 23
3.4 Vista lateral da cena onde o alvo está sobre o campo de visão do modelo
decâmeraemperspectiva. . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.5 Vistasuperiordacenaondeoalvoestásobreocampodevisãodomodelo
decâmeraemperspectiva. . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.6 Vista em perspectiva da cena onde o alvo está sobre o campo de visão do
modelo de câmera em perspectiva. As linhas em vermelho representam
aslateraisdoalvoqueforamconsideradassemprenavertical. . . . . . . 28
3.7 ImagemdaROIextraídadurantesimulaçãodefinidacomoumacaixade-
limitadora 25% maior que a retornada pelo detector do padrão interno
de alvo. Os quatro cantos do retângulo estão ressaltados por pontos em
vermelhosobreaimagemadquirida. . . . . . . . . . . . . . . . . . . . . 31
3.8 Ilustraçãodoprocessodeestimativadeorientaçãocalculadocombaseno
arco-tangentedasdistânciasdedoispontospertencentesaoalvonoseixos
x ez. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.9 Forma geral das não-linearidades de tipo zona-morta e saturação aplica-
dasàsvelocidadesdasrodasdomodelodorobô. . . . . . . . . . . . . . 36
iii
3.10 Diagrama de funcionamento geral da estratégia de controle idealizada
paraosistema. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.11 Ilustração do posicionamento desejado para o robô em relação ao alvo
móvel ilustrando os ângulos envolvidos no processo de modelagem do
controle. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.12 Ilustração do processo de geração de caminhos com as distâncias d e τ
representadas. O’X’representaaposiçãodesejadaparaorobô. . . . . . 44
3.13 Ilustração do sistema de manobras para tentativa de recuperação de alvo
representando o referencial fixo da câmera no instante em que o alvo foi
vistopelaúltimavez. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 Exemplo de alvo detectado em tempo real utilizando um detector multi-
escala para encontrar o padrão treinado mostrado na Figura 3.2. A caixa
delimitadoraretornadapelodetectorestádestacadaemvermelho. . . . . 54
4.2 Ilustração do ambiente de simulação criado no software V-REP EDU,
criado para analisar a operação dos estimadores de posição e orientação.
A imagem mostra o alvo e o robô que contêm o sensor de visão utilizado
paracaptarapresençadoalvo. . . . . . . . . . . . . . . . . . . . . . . . 57
4.3 Resultados,emmetros,obtidosutilizandooestimadordeposiçãosobreo
eixo Z , onde z são os valores estimados e P os valores utilizados no
c est z
ambientedesimulação. . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.4 Resultados,emmetros,obtidosutilizandooestimadordeposiçãosobreo
eixo X , onde x são os valores estimados e P os valores utilizados no
c est x
ambientedesimulação. . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.5 Resultados, em graus, obtidos utilizando o estimador de orientação para
estimativa da orientação do alvo no plano 2D, onde θ são os valores
est
estimadoseθosvaloresestipuladosnosimulador. . . . . . . . . . . . . . 59
4.6 Caminho do alvo utilizado nas simulações cujos resultados são apresen-
tadosnestedocumento. . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.7 Deslocamento do robô e da posição desejada sobre o plano terrestre de
movimentaçãoobtidoacadapassodeintegraçãodasimulaçãodocontrole
PID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.8 Gráfico que representa o sinal de erro de orientação entre o alvo e o robô
sobreoplanodemovimentomedidoduranteasimulaçãodocontrolePID. 63
4.9 Velocidades angulares aplicadas às rodas esquerda, ω , e direita, ω , do
e d
robôduranteasimulaçãodocontrolePID. . . . . . . . . . . . . . . . . . 64