Nome do(a) aluno(a): LAENE ASCENSO LUSTOSA

Título da dissertação: Um estudo sobre o plano amostral do Saeb

Orientador(a):  Prof(a). Dr(a). Marcel de Toledo Vieira

Membros da banca: Prof(a). Dr(a). Clecio da Silva Ferreira e Prof(a). Dr(a). Pedro Luis do Nascimento Silva

Data: 03/11/2020

Local: por webconferência, conforme Resolução nº 001/2020-CSPP

Horário: 09h

RESUMO: A presente dissertação foi desenvolvida no âmbito do Mestrado Profissional em Gestão e Avaliação da Educação Pública (PPGP) do Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF). O caso de gestão estudado discutiu alguns aspectos do processo de coleta de dados do Saeb, mais especificamente no que diz respeito ao plano amostral e à estimação dos resultados, a fim de responder à seguinte pergunta: Diante das diversas mudanças no nos elementos que orientam o processo de coleta de dados do Sistema Nacional de Avaliação da Educação Básica (Saeb) desde a sua criação, o modelo adotado ainda se mostra adequado? Portanto, foi estabelecido como objetivo desta dissertação avaliar o plano amostral do Saeb e como se dá a estimação dos seus resultados, a fim de identificar oportunidades de melhorias nas metodologias adotadas. Para alcançar esse objetivo, a dissertação apresentou o histórico de reformas educacionais ocorridas internacionalmente e como esse movimento influenciou o surgimento da avaliação em larga escala no mundo, e sua chegada ao Brasil dando origem ao Saeb. Além disso, foi estudado o histórico de evolução do Saeb e seu plano amostral para entender o cálculo e a expansão dos resultados com base no plano amostral atual, a fim de identificar limitações desse processo. A partir daí, foi possível propor estratégias para minimizar os efeitos das limitações identificadas tornando o Saeb mais adequado à avaliação educacional em larga escala no Brasil. O referencial teórico passa pelo histórico do surgimento da avaliação educacional em larga escala e como esse movimento influenciou a criação do Saeb e pela apresentação do histórico de seu plano amostral, que foi sendo modificado com o passar dos anos e com as evoluções dessa avaliação. Como hipótese assumiu-se que depois de passar por diversas modificações, o plano amostral do Saeb precisa ser estudado e avaliado, para entender elementos que podem ser atualizados nesse modelo. Para tanto, a metodologia adotada é a revisão bibliográfica e documental, seguida de análise de dados coletados pelo Saeb 2017 com uso de simulação para medir efetividade do plano amostral atual por meio de comparação de resultados construídos a partir de Amostragem com os resultados obtidos na aplicação censitária. A comparação entre diferentes metodologias de estimação de variância para o cálculo do tamanho da amostra mostrou que a metodologia adotada atualmente é eficiente e adequada, mas que há espaço para a promoção de melhorias no plano amostral. Também se assumiu que o Saeb, como avaliação em larga escala apresenta características e limitações intrínsecas a esse modelo de avaliação. O conhecimento desse contexto conduziu à identificação de oportunidades de melhoria no modelo da avaliação e a elaboração de um plano de ação pautado na implementação de mudanças que possibilitem uma evolução do Saeb. Assim, foram propostas ações voltadas para o aperfeiçoamento do plano amostral, para a ampliação do ciclo de coleta de dados visando o aprofundamento das informações obtidas e para o fornecimento de mais insumos de contextualização dos resultados da avaliação.

Palavras-chave: Avaliação externa. Saeb. Amostragem. Simulação. Inep