Autoavaliação
Os processos, procedimentos e resultados da autoavaliação do Programa, com foco na formação discente e produção intelectual.
O quesito avaliação, no âmbito do PPGL, não surge apenas de uma exigência qualitativa recente da ficha de avaliação quadrienal da CAPES. Desde o primeiro embargo jurídico, na seleção de 2008, o programa tem se notabilizado por avaliar continuamente suas ações no sentido de evitar tais dissabores, inclusive, submetendo seus editais (de bolsa, de seleção, de credenciamento, entre outros) à avaliação externa, por parte da Advocacia Geral da União (AGU). Esse cuidado contínuo com a avaliação em nossas ações, não apenas evitou os dissabores ocasionados pela primeira experiência, como alavancou todo o processo de avaliação interna e proposição de ações gerais e específicas do Programa em seu colegiado e comissões internas.
É claro que, por se tratar de uma proposta de avaliação instaurada a partir de situações pontuais e específicas, não se pode falar que houvesse, desde os primórdios do programa, um plano de avaliação constituído. Parece claro, no entanto, que toda avaliação gera resultados críticos, capazes de apontar melhorias efetivas em procedimentos e no cotidiano de funcionamento do PPG. Nesse sentido, o PPGL/UFRR tem, desde seu início, algum know-row.
Entendemos e acatamos a proposta de que nossa auto-avaliação deva se pautar pela ideia de que “o processo seja conduzido por meio das seguintes diretrizes: a) Princípios adotados pelo Programa para sua autoavaliação; b) Metas do Programa a médio e longo prazos; c) Processo da autoavaliação pautado na contribuição para o planejamento estratégico do Programa a curto, médio e longo prazo; d) Articulação da autoavaliação do Programa com a avaliação da Instituição; e) Mecanismos de envolvimento de técnicos, docentes e discentes; g) Formação do discente; h) Avaliação e formação continuada do professor; i) Avaliação do desempenho do(a) docente em sala e como orientador/a; j) Estratégias para o desenvolvimento do Programa provenientes do processo de autoavaliação.”.
Salientamos, no entanto, que somente muito recentemente conseguimos obter esse roteiro uniformizador dos projetos de avaliação para a área de Linguística e Letras, havendo em nossa prática cotidiana elementos dessa rotina já contemplados como procedimentos isolados, embora não sistematizados em projeto.
É importante salientar, que desde o início da primeira década deste século, concomitantemente com o surgimento do PPGL, a UFRR dispõe de uma Comissão fixa e Permanente de Avaliação, a CPA. Desde então os processos avaliativos de performance profissional docente e de desempenho funcional têm sido centralizados e disponibilizados por esta comissão. Além deste trabalho avaliativo, a instituição conta, também com uma ouvidoria, cuja função também tem sido avaliativo, no sentido de acolher e averiguar denúncias de abusos, elogios, situações de litígio, etc. Nesse sentido, parte do conhecimento acumulado por esta comissão têm sido repassado paulatinamente aos PPGs da UFRR na tentativa de instrumentalizá-los na descentralização das ações de auto-avaliação.
Diante da necessidade de auto-avaliação, num primeiro momento gostaríamos de refletir sobre os critérios que nos avaliam. A CAPES hoje nos insere num modelo de avaliação em larga escala que dificulta muito estabelecer um olhar comum dentre os avaliadores com tantas diferenças e assimetrias nas regiões brasileiras. Hoje a região Norte ainda conta com um número de doutores muito inferior se comparado por exemplo com a região sudeste, nosso PPG é composto por um grupo em sua totalidade de doutores que migraram de outras regiões ou que são de Roraima e foram cursar o Doutorado fora do estado. O fato de haver apenas 3 Doutorados (UFPA, UFAC E UFT - ARAGUAÍNA) na área de Letras no Norte é outro fator que impacta negativamente para a formação de novos quadros. Outro diferencial é o fato dos professores atuarem na graduação em múltiplas disciplinas que, se por um lado ampliam o conhecimento do docente em torno de diferentes temas, por outro o afasta da especificidade necessária para se aprofundar na sua pesquisa pessoal e gerar mais produções, seja em termos de publicações, seja em termos de formação de novos pesquisadores.
A avaliação padronizada e por ranqueamento, centralizada em critérios do governo federal, com indicadores preestabelecidos e que impactam em financiamento, prejudicam muito a concorrência dos Programas nota 3 em editais de bolsas e outros financiamentos. Estamos em situação desigual e concorrendo com critérios parametrizados, portanto, o ranqueamento gera distorções. Diante desses dados, os programas de nota 3 na região norte precisam romper um ciclo não virtuoso de falta de apoio por falta de alto índice no ranqueamento, como pudemos observar na última distribuição de bolsas. Nesse sentido, o PPGL vem lutando contra as adversidades e ressaltamos como ponto positivo a visita atenciosa e necessária da coordenação de área em 2019, pois foi através dessa visita de avaliação que foi possível rever as nossas práticas e estabelecer novos rumos.
Ao mesmo tempo, a mudança de formato de avaliação no último ano do quadriênio gerou muita angústia e ansiedade. Apesar de ser um anseio antigo que a avaliação seja mais qualitativa do que quantitativa, mudar os rumos da avaliação nesse período de pandemia, com tantas outras dificuldades para lidar, e sem ter a oportunidade de compreender detalhadamente o que a nova ficha de avaliação solicita, gerou um desgaste emocional grande nos coordenadores de Programa e em todo o corpo docente que precisou tentar compreender as novas regras do jogo. Apesar da ampliação no prazo de entrega do relatório, foi consenso que alguns pontos da nova ficha precisam ser mais esclarecidos. A falta de divulgação do novo qualis periódico e do qualis livros também prejudicou os critérios de julgamento para eleger a qualidade das produções e os destaques. Diante dessas adversidades, os coordenadores de Programa se aliaram em ajuda mútua para compreender juntos os novos rumos propostos pela CAPES. Na área de Letras, destacamos a valiosa contribuição da ANPOLL não apenas no sentido de nos representar, mas também na busca por informações sobre a avaliação.
Fruto dessa preocupação com os processos de avaliação e da contínua ação de autoavaliação, como citado no texto dos relatórios de anos anteriores deste quadriênio, podemos destacar a modificação de nossa matriz curricular, a criação de critérios mais claros de recredenciamento, credenciamento de novos professores e descredenciamento, assim como, o investimento na criação (durante o quadriênio) de laboratórios específicos para desenvolvimento de ações diretamente ligadas aos projetos de pesquisa de nossos professores e discentes. A leitura colegiada, logo no início do quadriênio que ora se encerra, do relatório do triênio anterior, permitiu-nos avançar no sentido de propor como objetivo futuro (já em 2017) a criação de laboratórios que conjugassem pesquisas de diferentes projetos similares, de modo a aproximá- las, formando um corpo mais coeso de ações de pesquisa e permitindo a troca entre grupos no âmbito do programa e investindo em ações que pudessem aprimorar a formação de nossos discentes e a qualidade da produção intelectual do PPGL.
Uma das consequências mais notáveis do processo autoavaliativo, tanto no que tange aos momentos específicos (ao final de cada ano/semestre), quanto nas inúmeras ocasiões em que, pautadas em reunião do pleno de nosso colegiado, algumas ações decorreram de uma avaliação coletiva de determinados elementos, contextos e circunstâncias que resultaram em ações efetivas de mudança de rumos, foi o fato de que desde o final de 2017 iniciamos um processo de modificação da matriz pedagógica do curso (já citada acima), que culminou em 2019, com a visita da Coordenação de área ao Programa. Essa ação, de fato, foi impulsionada quando o colegiado pleno buscou ler na íntegra os relatórios do triênio anterior. A partir desse exercício de leitura em plenária avaliou-se ser necessário buscar adequar o programa, suas linhas de pesquisa e áreas de atuação ao conjunto das pesquisas dos professores que nele permaneceram, de modo a dar ao seu conjunto uma perspectiva mais coerente. Nesse sentido surgiram ações e fóruns de debate e autoavaliação em torno da criação de disciplinas e da modificação do desenho curricular do mestrado. Nos fóruns e reuniões verificou-se não apenas a viabilidade da mudança do desenho curricular, dentro do quadriênio que se encerrou em 2020, com a oferta de toda uma gama de novas disciplinas, e a extinção daquelas que sofreram críticas, por superposição, no último relatório trienal de 2016/2017, mas, e também, foi possível fazer a autoavaliação do Programa no que tange à questão curricular-pedagógica, fato que auxiliou profundamente nas mudanças a serem efetivadas.
O incremento da produção individual de nossos pesquisadores, sobretudo em 2020, bem como a exigência de que nossos alunos não deixassem o programa sem que antes tivessem encaminhado para a publicação ou mesmo publicado ao menos um paper foi outro dos fatores
fruto destas reuniões de autoavaliação. Nesse momento, embora soubéssemos ser necessário descredenciar alguns professores, pela falta efetiva de produção intelectual condizente com o programa e suas linhas de pesquisa, consideramos decisiva, nesse sentido, a visita técnica da comissão de área da CAPES ao programa que recomendou o descredenciamento.
Em função desses dois fatores (a visita técnica da Coordenação de Área ao Programa, recomendada pelo último relatório trienal de 2016/17, realizada em Abril de 2019, e à autoavaliação levada ao cabo em 2019) foram aplicados os novos critérios de avaliação (credenciamento, descredenciamento e recredenciamento) de professores (que haviam sido criados em 2018). O resultado, conquistado com o aval da Professora Germana M. de Araújo Sales, Coordenadora da Área de Linguística- Letras e Artes e do Professor José S. de Magalhães, Coordenador Adjunto, foi o enxugamento no número de professores do PPGL, que de 27 (24 permanentes e 3 colaboradores) passou a contar com 14 permanentes e 3 colaboradores em 2020, contando ainda com o reforço de nossa Professora Visitante - PVNS.
O equilíbrio na distribuição dos professores entre as duas linhas de pesquisa do Programa, sempre mantido nos triênios anteriores, continuou sendo respeitado, de modo a encerrarmos 2020 com 7(sete) professores na Linha 1 – Língua e Cultura Regional e 7 (sete) na Linha 2 – Literatura, Artes e Cultura Regional, e ainda uma professora colaboradora na Linha 2, uma colaboradora na Linha 1 e uma Professora Visitante (PVNS) na Linha 1. Infelizmente, registramos o falecimento, em 2020, de um importante professor da Linha 2, professor Devair Antônio Fiorotti. No entanto, em reuniões de nosso colegiado, que precederam o final do quadriênio, avaliou-se ser necessário ampliar o número de docentes do programa em função do falecimento do colega e da necessidade de atender a algumas subáreas do conhecimento cuja demanda e interesse por parte dos candidatos ao mestrado tem aumentado. Essa análise do Relatório das Comissões de Seleção do PPGL, fruto do ponto de pauta deliberativo, em nossas reuniões de colegiado pleno, têm resultado em algumas decisões fundamentais, ao longo do período de existência do programa, tais como: a ampliação do número de vagas para ingresso no mestrado, a ampliação de nosso corpo docente permanente, o credenciamento de colaboradores, a necessidade de planejamento futuro de um doutorado e até na ampliação de nossas linhas de pesquisa. A avaliação para a oferta de vagas para o credenciamento de novos professores também se pauta pelo surgimento de novos talentos (alguns, inclusive oriundos do próprio curso de Letras ou do PPGL da UFRR), e pela necessidade de renovação de nosso corpo docente.
Ainda, como metodologia de avaliação contínua estabelecemos em 2019, e repetimos a experiência, agora, em 2020 um modelo de consulta por meio de questionários (google forms) para ter acesso a informações sobre avaliação do PPGL consultando egressos, alunos ativos e docentes. As respostas recebidas foram de suma importância para visualizar os pontos positivos e os pontos em que o PPGL precisa melhorar. Descrevemos abaixo alguns desses pontos por grupos e encaminhamos nos anexos da proposta os espelhos dos formulários respondidos.
Destacamos aqui alguns dados da consulta aos alunos ativos, 46 discentes responderam o questionário de avaliação em 2020. Ao serem perguntados se as disciplinas que você está cursando neste semestre (ou no anterior, caso não esteja mais cursando nenhuma disciplina), ajudaram no desenvolvimento de sua dissertação? Das respostas obtidas, 87% dos alunos responderam que sim; 8.7% mais ou menos e 2% não. Os discentes justificaram suas respostas afirmando que as disciplinas têm relevância regional e ajudam na escrita da dissertação, porque grande parte dos conteúdos estudados nas disciplinas tinham relação com o objeto de pesquisa; foram disciplinas teóricas que coincidiram com temáticas que auxiliaram no embasamento teórico; as correntes teóricas das disciplinas servem como base teórica e metodológica na escrita. Apenas dois alunos alegaram sentir falta de mais embasamento teórico no que se refere aos estudos sobre Língua de sinais, em especial Libras, que ainda é um campo em expansão no PPGL.
Ao serem perguntados se o cronograma de pesquisa está em dia, 69.6% dos discentes responderam que sim e 87% deles acreditam que conseguirão defender suas dissertações dentro do prazo Os demais alegaram atraso e justificaram com questões de saúde relacionadas à pandemia. Na pergunta sobre a infraestrutura do PPGL auxilia no desenvolvimento das pesquisas, 63% respondeu que sim, os demais responderam que não e justificaram porque a turma de 2020 já iniciou o curso de forma remota e não tiveram ainda a oportunidade de usufruir dos espaços do Programa. Sobre os serviços virtuais e de secretaria do PPGL, 95.7% responderam que os serviços têm sido satisfatórios. Sobre os serviços da secretaria, 95.7% estão satisfeitos com o atendimento.
No questionário de avaliação dos professores, todos os professores responderam e avaliaram positivamente a forma como a coordenação e secretaria dos últimos dois anos de gestão agregaram em mais organização e eficiência nas atividades do PPGL, inclusive elogiando a forma de organização dos serviços virtuais. Sobre o espaço físico 64.3% disse que a estrutura física do PPGL auxilia nas pesquisas, os demais responderam que a ausência da estrutura física em tempo de pandemia não está afetando o andamento das pesquisas. Sobre os cronogramas de orientação e pesquisas 57.1% alegou que está em dia e 42.9% está com um pouco de atraso devido às dificuldades da pandemia. Sobre as disciplinas ministradas, 100% dos professores estão satisfeitos com a coerência entre as disciplinas e as áreas de pesquisa.
De modo geral, a avaliação dos docentes concorre para aquilo que apontamos alhures, em relação ao fato de que o trabalho de construção da matriz pedagógica, assim como as constantes reuniões e fóruns de planejamento funcionaram como canalizadores e potencializadores desse processo avaliativo prévio e cotidiano, fazendo com que 100% dos professores estivesse engajado na proposta disciplinar implementada em conjunto e satisfeitos com os resultados alcançados.
No questionário de avaliação dos egressos, infelizmente tivemos um número pequeno de respostas. Apenas 22 egressos nos retornaram no prazo solicitado. Perguntamos sobre a contribuição da formação e a jornada posterior ao Mestrado em Letras. Perguntamos se disciplinas cursadas no programa facilitaram a confecção de sua dissertação, 100% respondeu que sim. Sobre a posição que ocupa laboral e socialmente (em termos de cargos e trabalho) mudou em relação à posição que ocupava antes de entrar no PPGL, 54.5% respondeu que sim, 45.5% não. No entanto, desses que responderam que não, não houve
como separar aqueles que, de fato não tiveram nenhum ganho daqueles que naturalizaram a progressão funcional (em termos salariais) dentro da mesma função que já exerciam antes.
Do ponto de vista da formação do trabalho de pesquisa, se esta contribuiu para sua prática profissional? 90.9% respondeu que sim. Os demais, quer por terem trabalhado temáticas muito específicas, muito acima dos níveis de ensino nos quais se enquadravam (análise linguística complexa de uma língua indígena, por exemplo, para um professor atuando no ensino fundamental), quer por trabalharem fora da profissão (técnicos administrativos concursados na própria UFRR, por exemplo), responderam que não. Se continua atuando na área em que se titulou? 72,7% respondeu que sim, fato que corrobora os argumentos anteriores. Note-se que uma parcela destes 27,3% que não continua atuando na área de titulação, ainda assim responderam ter sua formação contribuído para sua prática profissional, mesmo essa não correspondendo a de sua titulação. Ou seja, entre os 90,9% que responderam que sua pesquisa contribuiu em sua prática profissional atual e os 72,7% que responderam não estar atuando na sua área de formação, há pelo menos 18,2% de pessoas que se sentem satisfeitas e que creem que o que pesquisaram foi útil, ainda que não continuem atuando na área de titulação.
Quando a pergunta foi se continua produzindo/publicando material acadêmico sobre o assunto de sua pesquisa? 68.2% respondeu que sim. Esse índice é, do ponto de vista dos nossos egressos talvez o mais importante. Mesmo sem as condições ideais de trabalho (uma vez que boa parte desses egressos atua nos níveis de ensino fundamental e médio) boa parte deles continua interessado em fazer pesquisa e avançar na carreira. Se confrontarmos esse dado com os quase 24% de nossos egressos (em todo o período de existência do Programa e não apenas em 2020) que alcançaram o nível de doutorado (concluído ou em andamento em 2020), veremos que há uma significativa diferença entre os que podem e conseguem e aqueles que desejam, mas não reúnem condições financeiras ideais, para sair do estado de Roraima em busca da continuidade de sua pesquisa. Avaliaremos, também a necessidade de um upgrade na nossa pós, no sentido da implementação de um Doutorado e, por último, e não menos importante, observaremos o quanto são tenazes e persistentes, posto que continuam publicando e fazendo pesquisa, vinculados aos grupos de pesquisa de seus antigos orientadores, mesmo sem que isso implique em retorno imediato para si.
Diante do exposto, ouvindo nossos alunos e professores em fóruns de discussão e reuniões de colegiado, coletando informações a partir de nossos egressos, observamos que o novo conjunto de disciplinas atende melhor às necessidades formativas e de coesão entre: os projetos dos alunos, o conjunto disciplinar e os projetos dos professores, que o desenho curricular anteriormente vigente. Desse modo, toda a reestruturação realizada no PPGL a partir de 2019 foi extremamente salutar e já trouxe resultados positivos durante nosso processo de auto-avaliação. Temos a certeza de que o novo quadriênio que se inicia ainda trará muitos frutos positivos.
Quanto aos itens sugeridos para confecção de um plano de avaliação dos programas da área de Linguística e Letras: a) Princípios adotados pelo Programa para sua autoavaliação; b) Metas do Programa a médio e longo prazos; c) Processo da autoavaliação pautado na contribuição
para o planejamento estratégico do Programa a curto, médio e longo prazo; d) Articulação da autoavaliação do Programa com a avaliação da Instituição; e) Mecanismos de envolvimento de técnicos, docentes e discentes; g) Formação do discente; h) Avaliação e formação continuada do professor; i) Avaliação do desempenho do(a) docente em sala e como orientador/a; j) Estratégias para o desenvolvimento do Programa provenientes do processo de autoavaliação, gostaríamos de salientar que algumas já se encontram em pleno funcionamento, conforme especificado abaixo e outras, ainda por discutir e implementar.
No item “Princípios adotados pelo Programa para sua autoavaliação”, cremos ter deixado claro que o principal princípio adotado pelo PPGL é o da avaliação continuada através da participação de seus agentes e sujeitos nas suas práticas cotidianas. Embora essa premissa não esteja sistematizada em documento ainda, assim tem sido ao longo dos últimos anos e pretendemos sistematizar num projeto de autoavaliação mais consistente para o próximo quadriênio, criando inclusive uma comissão que possa acompanhar mais de perto o destino de nossos egressos e que possa sempre buscar o retorno deles em ações e eventos do PPGL.
Em relação ao item “b” “Metas do Programa a médio e longo prazos” e item “C” “Processo da autoavaliação pautado na contribuição para o planejamento estratégico do Programa a curto, médio e longo prazo”, acreditamos ter explicitado essas metas e ações no ítem 1.3 já preenchido deste relatório, razão pela qual nos escusamos de apontá-las aqui. Em todo caso, é preciso ponderar que essas metas têm sido constantemente avaliadas e reavaliadas de modo a serem aprimoradas, conquistadas e substituídas por outras mais ambiciosas (ou pela continuidade de ações que estão funcionando) em nossa avaliação contínua. É claro que há o momento em que elas são sistematizadas de modo mais organizado do que no dia a dia. Esse momento, geralmente, ocorre nos fóruns de avaliação, especificamente ao fim de cada semestre/ano letivo (a pandemia alterou um pouco essa rotina, uma vez que o primeiro semestre letivo de 2020 demorou a iniciar).
O item “d” “Articulação da autoavaliação do Programa com a avaliação da Instituição” é fruto de um trabalho que a própria UFRR já vinha desenvolvendo desde o início da década de 2010, com a implantação da CPA. Os relatórios setorizados e por unidades da UFRR em muito nos ajudaram a crescer nos últimos anos. Também a leitura conjunta do relatório da última quadrienal (nesse caso um agente externo à instituição – a comissão de avaliação da CAPES) e a visita técnica recebida pelo programa em 2019, ajudaram nesse quesito, tornando mais crítico o nosso corpo docente e melhor preparado para uma avaliação muito mais específica.
Para responder às demandas sugeridas nos itens “e) Mecanismos de envolvimento de técnicos, docentes e discentes; g) Formação do discente” criamos (antes da demanda direta destes mecanismos pela CAPES) um questionário eletrônico, já aplicado em 2019 e 2020, no qual, conforme apontamos alguns parágrafos acima, os alunos, técnicos, egressos e professores responderam às questões específicas de avaliação do funcionamento do programa, das disciplinas, das instalações e da contribuição de sua pesquisa e demais elementos envolvidos em sua própria formação. Cremos ter assim, envolvido de mais de um modo nossos agentes e sujeitos nesse processo avaliativo.
Com relação à “h) Avaliação e formação continuada do professor;” nosso ambicioso plano de pós-doutoramento, a criação do projeto do PROCAD e o estabelecimento de redes de cooperação com as demais instituições amazônicas de Pós-graduação, assim como, nacionais e internacionais contribuem para a questão da formação continuada de nosso corpo docente. A “avaliação”, no entanto, é um quesito que juntamente com “i) Avaliação do desempenho do(a) docente em sala e como orientador/a” tem sido terceirizada para a CPA/UFRR. A tendência é que essa seja uma próxima etapa a implementar nos próximos anos, conquanto, ainda tenhamos que estudar um modelo que não gere resistências em parte de nosso corpo docente.
É e sempre foi importante para a coordenação do PPGL buscar “j) Estratégias para o desenvolvimento do Programa provenientes do processo de autoavaliação”, de modo que, nesse quesito, acreditamos estar um pouco à frente de outros programas institucionais. Nosso fóruns têm funcionado nesse sentido e boa parte do descrito no item 1.3 deste relatório é fruto desse esforço. Entendemos não termos, ainda, um plano de avaliação completamente sistematizado, embora na prática, 90% do que se exige para tanto já seja uma prática cotidiana em nosso PPGL.