universidade federal de so carlos

168 Pages·2009·1.93 MB·Portuguese

UNIVERSIDADE FEDERAL DE SÃO CARLOS
DEPARTAMENTO DE LETRAS
Programa de Pós-Graduação em Lingüística

CONSTRUÇÃO DE BANCO DE QUESTÕES
PARA EXAMES DE PROFICIÊNCIA EM
INGLÊS PARA PROGRAMAS DE
PÓS-GRADUAÇÃO

Andrea Jessica Borges Monzón

São Carlos
2008
CONSTRUÇÃO DE BANCO DE QUESTÕES
PARA EXAMES DE PROFICIÊNCIA EM
INGLÊS PARA PROGRAMAS DE
PÓS-GRADUAÇÃO

Andrea Jessica Borges Monzón

Dissertação apresentada ao Programa de
Pós-Graduação em Lingüística da
Universidade Federal de São Carlos como
Parte dos requisitos para a obtenção do
Título de Mestre em Lingüística.

Orientadora: Profa Dra Sandra Maria Aluísio

São Carlos
Dezembro de 2008
Ficha catalográfica elaborada pelo DePT da
Biblioteca Comunitária da UFSCar

Monzón, Andrea Jessica Borges.
M816cb Construção de banco de questões para exames de
proficiência em inglês para programas de pós-graduação /
Andrea Jessica Borges Monzón. -- São Carlos : UFSCar,
2009.
152 f.

Dissertação (Mestrado) -- Universidade Federal de São
Carlos, 2008.

1. Língua estrangeira - avaliação. 2. Proficiência. 3.
Avaliação automática. 4. Gênero textual. I. Título.

CDD: 410 (20a)

AGRADECIMENTOS

A minha orientadora Sandra Aluísio, por tanto me haver ensinado e compartilhado. Também
pela compreensão, paciência e amizade.
Aos meus pais, por sempre me incentivarem e apoiarem a descobrir e manifestar minha
curiosidade.
Ao Luciano, meu marido, pelo amor e companheirismo incondicionais.
A minha irmã, pelo carinho, preocupação e admiração.
Ao Jean Piton por todo apoio, incentivo e comprometimento.
Ao Arnaldo Cândido por todas as sugestões, o auxílio computacional e o empenho.
Ao Thiago Pardo pelo aprendizado em aulas, seminários, congressos e coffee breaks.
À Gladis Barcelos de Almeida pelo alto-astral e humor constantes e pelo incentivo desde
quando eu era aluna especial.
À Nani pela paciência gigantesca com todas as questões de secretaria, dúvidas infindáveis e
inúmeros e-mails.
À Maja Callegari por ter sido minha incansável companheira de trabalho, de projetos
pedagógicos, além de minha amiga e conselheira.
À Valéria Feltrim por viajar muitas horas para estar presente em minha banca de qualificação
e ainda ter fôlego para contribuir com tantas sugestões e colaborações.
À Carmen Dayrell pelo zelo durante a banca de qualificação.
Ao pessoal do NILC pela união e reciprocidade.
Aos meus colegas de linha de pesquisa pela companhia em congressos, pelo apoio e
sugestões.
As minhas colegas de trabalho, que se desdobraram em ocasiões nas quais eu não pude estar
presente na escola em virtude de compromissos do mestrado.
Aos espíritos de luz que iluminaram meu coração e minha mente para que eu pudesse
percorrer o longo caminho até aqui.
“As milhares de vezes que já o demonstrara
não significavam nada. Agora ia prová-lo de novo.
Cada vez era uma nova vez e, quando o estava
fazendo, o velho nunca pensava no passado.”

(O Velho e o Mar, Ernest Hemingway)
Resumo

Como o inglês é a língua franca da ciência e da comunidade acadêmica, a proficiência em
tal idioma se faz necessária a quem está neste meio inserido, principalmente no que diz
respeito à compreensão de leitura. Muitos exames de proficiência que avaliam tal
habilidade de candidatos ou alunos de pós-graduação, entretanto, requerem que os
avaliandos apenas traduzam um texto. No ICMC (Instituto de Ciências Matemáticas e
Computação) da USP de São Carlos, desde 2001, já ocorre um EPI (Exame de Proficiência
em Inglês) que avalia os conhecimentos dos mestrandos acerca do gênero artigo científico
(Swales, 1990; Weissberg & Buker, 1990). Tal avaliação está dividida em quatro módulos:
1) convenções lingüísticas, 2) estrutura de textos científicos, 3) compreensão de texto e 4)
estratégias de escrita peculiares ao inglês acadêmico (Aluísio et al, 2003). Entretanto, os
módulos ainda não estão plenamente implementados, e ainda há campo fértil para reflexões
lingüísticas, uma vez que o exame foi elaborado por um docente da área de Computação. A
presente pesquisa visa à construção de um córpus de artigos científicos e à criação de
questões referentes ao módulo 1, com axiomas necessários a qualquer avaliação
(Perrenoud, 1999; Miller et al, 1998), nas características peculiares a uma avaliação em
língua estrangeira, na Taxonomia de Bloom (1984), no Método de Probabilidade
Admissível - MPA (Klinger, 1997) e nos erros mais recorrentes na escrita científica de
brasileiros (Genoves et al, 2007). Para tanto, serão utilizadas ferramentas computacionais
tais como: um concordanciador e um contador de freqüência – que comumente são
disponibilizados em processadores de córpus como o WordSmith Tool – , além de um
chunker, um parser e um parser tree. Tais questões farão parte de um banco de itens que
poderá ser utilizado para: 1) a elaboração de futuros EPIs; 2) levantamento de informações
relevantes sobre o panorama da compreensão de leitura dos examinandos; e 3) estudo e
preparação por parte dos avaliandos através da ferramenta CALEAP-Web (Gonçalves,
2004)

Palavras-chave: avaliação em LE; exame de proficiência; avaliação automática; gênero
científico.
ABSTRACT

As English is the most frequent language in science and in the academic community, the
proficiency in this language is necessary to whom is in this environment included, mainly
regarding reading comprehension. Many proficiency exams that evaluate this ability in
candidates or graduate students, although request students only to translate a text. At ICMC
(USP - São Carlos) since 2001 an English Proficiency Exam (EPE) has been made evaluating
graduate students’ knowledge of research article as a genre (Swales,1990; Weissberg &
Buker, 1990). The assessment is divided into four modules: 1) linguistic conventions, 2)
structure of research article, 3) reading comprehension and 4) writing strategies which are
peculiar to Academic English (Aluísio et al, 2003). However, the modules are not fully
implemented and there’s still a lot of space for linguistic reflections, once the exam was
elaborated by a professor in the Computer Science area. The current study aims the
construction of a corpus and the elaboration of questions referring to module 1 with the
axioms needed in any evaluation (Perrenoud, 1999; Miller et al, 1998), the peculiar
characterists of a foreign language test, Bloom’s Taxonomy (1984), the Admissible
Probability Method (APM) (Klinger, 1997) and the most recurrent mistakes made by
Brazilian graduate students (Genoves Jr. et al, 2007). Computer tools will be used, such as: a
concord and a word list – that are commonly available in corpus processor like WordSmith
Tool – besides a chunker, a parser and a parser tree. The questions will be part of an item base
to be used for: 1) the elaboration of future EPEs; 2) raising relevant information about the
conditions of the testees’ reading comprehension; and 3) testees´ study and preparation
through CALEAP-Web (Gonçalves, 2004).

Keywords: foreign language evaluation; proficiency exam; automatic evaluation; academic
genre.
LISTA DE ABREVIATURAS

L1 Língua Materna
L2 Segunda Língua
LE Língua Estrangeira
LA Lingüística Aplicada
LI Língua Inglesa
AC Artigo Científico
EAP English for Academic Purposes
ELT English Language Teaching
EPI Exame de Proficiência em Inglês
ESP English for Specific Purposes
HCI Human-Computer Interaction
PLN Processamento de Língua Natural
TAI Testes Adaptativos Informatizados
LISTA DE TABELAS

2.1 Criterion Referenced Measurement X Norm Referenced Measurement
2.2 Divisões e subdivisões de categoria conhecimento de Bloom
2.3 Verbos sugeridos por Bloom em sua taxonomia
2.4 Síntese e contraste de 4 exames de proficiência
4.1 Quadro sinóptico de Marcuschi (2002)
5.1 Módulos do EPI
5.2 Classificação dos módulos com base na Taxonomia de Bloom
5.3 Peso de cada módulo para o EPI
5.4 Pontuação do MPA proposta por Klinger
5.5 Tarefas sugeridas ao aluno e seus conteúdos ministrados
6.1 Dimensões da rubrica para avaliar os abstracts dos participantes
6.2 Categoria de erros de brasileiros
6.3 Tabela de ocorrência dos erros dos brasileiros
7.1 Tamanhos de córpus
7.2 Aspectos e números do córpus do AcadEnQ
7.3 Ferramentas computacionais utilizadas no AcadEnQ
7.4 Componentes que influenciam a escolha do artigo
7.5 Uso de artigos (definido, indefinido ou Ø)
7.6 Uso de pronomes relativos
7.7 Composição do sub-banco de questões destinadas somente aos EPIs
7.8 Resultados obtidos pelos avaliandos no EPI do 1o semestre de 2008
7.9 Resultados obtidos pelos avaliandos no EPI do 2o semestre de 2008
7.10 Características das novas questões inseridas no CALEAP-Web
7.11 Classes e valores do parâmetro b (Gonçalves:2004:60)
7.12 Resultados apresentados pelos usuários no módulo 1 do CALEAP-Web em
outubro/novembro de 2008
7.13 Resultados apresentados por um dos usuários do CALEAP-Web no módulo 1
7.14 Resultados apresentados por um dos usuários do CALEAP-Web no módulo 1