Como avaliar uma escola?
O que faz uma escola ser boa? Se você pudesse ter acesso a alguma informação sobre a escola do seu filho, qual seria?
(Jack Schneider)
Fonte: https://caiovassao.com.br/2008/09/24/ecologias-de-interacao-2/ — Caio Vassão
Vivemos em um país em que a educação é mensurada através de avaliações de larga escala e por meio do fluxo de alunos que progride ao longo das séries sem abandonar a escola. Apesar da importância deste último dado, é inconcebível que todo o sistema educacional e as políticas públicas de desenvolvimento da educação nacional se estruturem essencialmente a partir da observação de 2 fatores (que dizem avaliar o resultado da aprendizagem e o fluxo de estudantes).
Com a implantação progressiva da Base Nacional Curricular Comum (BNCC), direcionada ao desenvolvimento de conteúdos, competências e atitudes, muitas escolas e as próprias redes estaduais e municipais de educação têm esbarrado em um problema fundamental: se não mudarmos o sistema de avaliação o sistema escolar continuará funcionando da mesma maneira, já que o modo como ele se percebe, organiza e gerencia o aprendizado está baseado naquilo que é avaliado atualmente: os objetos de conhecimento, que são apenas um dos componentes propostos pela BNCC, e que geralmente são apresentados e mensurados de forma descontextualizada ou aplicados de maneira superficial por sua avaliação estar limitada ao tempo e ao escopo de uma prova.
“As Avaliações Externas de Larga Escala pressionam todos os níveis do sistema para melhorar os resultados. Essa pressão direciona o sistema para o que quer que faça as pontuações subirem. A fonte de pressão depende de forças institucionais, políticas, sociais e culturais. Geralmente, a divulgação dos resultados na mídia estimula reações públicas que criam atividade política e pressão. Os pais ou responsáveis exigem melhoria. A reputação dos atores é fortalecida ou degradada. Carreiras são afetadas. (…) A qualidade da avaliação em si fará uma grande diferença no que diz respeito à qualidade das mudanças no sistema”. (Avaliações em Larga Escala no Brasil e no Mundo: uma análise comparada de 14 experiências — Instituto Reúna).
O desenvolvimento de competências gerais e específicas que articulam conhecimentos, habilidades e atitudes, demanda tempo para ser realizado e, por consequência, avaliado. Portanto, avaliar estes componentes pressupõe tarefas demoradas para os alunos e mais caras para serem medidas. Por serem competências importantes para a BNCC, deveríamos nos preocupar em construir maneiras de avaliá-las, caso as Avaliações de Larga Escala queiram se alinhar à BNCC. Se estas avaliações ignorarem os componentes importantes da BNCC, o sistema tenderá a ignorá-los também. A partir disso, se conclui que, hoje, as avaliações de larga escala estão orientadas e estruturadas, fundamentalmente, a partir do tempo de aplicação e custo financeiro.
Na prática, se essas avaliações não estão estruturadas para avaliar conteúdos tornados competências, habilidades e atitudes por meio do saber fazer, como propõe a BNCC, continuaremos indefinidamente com avaliações conteudistas, baseadas no decoreba, na memorização, na fila, e com o seu efeito perverso: aulas que são treinamento mecânico para provas num cenário completamente apartado de uma aprendizagem significativa. Seguiremos reproduzindo uma estrutura escolar montada para o treinamento, que não prepara para a vida, mas para uma prova, que não forma aprendizes autodirigidos mas pessoas dependentes e incapazes de conduzir o seu processo de aprendizado para o resto da vida.
“Uma coisa que as Avaliações de Larga Escala não fazem bem é avaliar os alunos individualmente, elas podem contribuir com informações como parte de uma série de evidências sobre um aluno, mas não como única medida para um indivíduo, pois contém muitos erros” (Avaliações em Larga Escala no Brasil e no Mundo: uma análise comparada de 14 experiências — Instituto Reúna).
Segundo esta pesquisa do Instituto Reúna, tais avaliações dizem respeito ao sistema, ao que é estruturante no sentido do sistema de educação, mas para melhorar a aprendizagem, os professores precisam de informações atuais e que estejam à mão. Para isso servem as avaliações diagnósticas e formativas, pois elas requerem uma interação mais articulada com os estudantes, produções mais complexas desses estudantes e amostras de tempo mais longas.
Provas de verificação podem fazer parte de um portfólio de desempenho do estudante, como uma outra fonte de informação sobre ele, mas a sua precisão para o acompanhamento, entendido de maneira individual, não é boa para tomar decisões importantes sobre o seu processo de aprendizagem — elas são feitas para medir de forma limitada os componentes do sistema, nada mais do que isso.
Nós podemos nos perguntar, como é possível que um dos sistemas mais complexos em funcionamento, senão o mais fundamental, seja avaliado e acompanhado a partir de apenas 2 fatores. Por sua vez, estas características nada dizem sobre as condições essenciais para que a educação aconteça, pouco dizem sobre o processo educacional enquanto este acontece, mirando apenas nos resultados finais e ignorando os diversos aspectos que compõem as outras dimensões humanas — habilidades, atitudes e emoções.
Por outro lado, é fato que construir uma abordagem para avaliação do sistema educacional como um todo e para avaliação das escolas, localmente, é uma tarefa árdua e sempre imperfeita. Tanto as nossas ferramentas são limitadas, como os valores e expectativas compartilhados entre as diferentes comunidades e contextos escolares são distintos. Além disso, muitos dos dados disponíveis sobre o sistema educacional carecem de critérios relevantes que validem e deem confiabilidade aos dados coletados.
Neste pequeno texto, a partir do livro Beyond Test Scores, de Jack Schneider, não pretendo abordar as questões envolvidas na avaliação do sistema educacional como um todo, mas gostaria de indicar os principais fatores a serem observados ao avaliarmos uma escola, para que possamos produzir dados que nos ajudem a melhorar os nossos centros educacionais.
O que é importante para a comunidade escolar?
A escola deve preparar as crianças e jovens para a vida. No entanto, ela não é a única responsável por esta tarefa, assim, ao longo do processo de avaliação escolar não apenas os professores devem ser ouvidos, mas também a família, assim como os membros da comunidade maior da qual a escola faz parte.
O que essas pessoas valorizam e acham importante para a educação dos mais jovens? Que valores e atitudes compartilham? A partir de uma simples pesquisa, de conversas e entrevistas podemos levantar dados sobre as 5 características mais importantes que uma escola de qualidade precisa ter. Desta maneira, começamos a construir uma visão geral daquilo que estes grupos valorizam.
Um exemplo de modelo
Na pesquisa realizada por Jack Schneider e seu grupo de pesquisa, foram levantadas 5 categorias fundamentais, que se dividem em subgrupos e que detalham e aprofundam o olhar sobre os fatores que determinam a qualidade de uma escola:
- Professores e Ambiente de ensino
- Cultura escolar
- Recursos disponíveis
- Aprendizagem acadêmica
- Caráter e bem-estar
As 3 primeiras categorias (Professores e Ambiente de ensino, Cultura escolar e Recursos disponíveis) dizem respeito ao contexto em que o aprendizado se dá, abordando aspectos relacionados às necessidades fundamentais para que a aprendizagem significativa aconteça. Já as 2 últimas categorias (Aprendizado Acadêmico e Caráter e bem-estar) observam os resultados produzidos pela melhoria das condições de ensino e aprendizagem.
Parece evidente que escolas que possuem um contexto positivo em relação ao preparo dos professores, uma cultura escolar que promove um senso de pertencimento e um currículo coeso e variado certamente produzem efeitos positivos no resultado do processo escolar: geram saúde emocional e engajamento por parte dos estudantes. É importante notar que estes componentes trabalham em conjunto.
Evidentemente, algo complexo como o sistema educacional nunca será completamente avaliado, não importa o grau de detalhamento da abordagem que utilizemos. As escolas são sistemas com milhares de componentes, e por isso, quanto mais detalhes incluirmos na avaliação, mais caótica seria a nossa visão sobre o que acontece. É preciso encontrar um certo equilíbrio, que na perspectiva de Schneider, está no mapeamento dos elementos mais valorizados por aqueles que fazem parte da comunidade escolar.
A importância de ter um modelo claro e compreensivo, é que ele pode servir de guia para a melhoria das escolas, assim como pode ser útil para famílias e instituições que busquem ter uma melhor compreensão sobre o ambiente escolar. Este modelo precisa ser compreendido como imperfeito na medida em que pode e deve ser adaptado a outros contextos e aperfeiçoado ao longo do tempo.
Vejamos o que é importante observar em cada uma das categorias usadas para uma possível avaliação das escolas:
- Professores e Ambiente de ensino
O primeiro componente a ser observado para que as condições de aprendizagem sejam favoráveis diz respeito ao grau de conhecimento que os professores possuem em áreas relevantes e à capacidade dos docentes de perceberem como os estudantes aprendem e como é possível facilitar o aprendizado em sala de aula — ou seja, a união entre conhecimento relevante na sua área e habilidades pedagógicas.
Outro aspecto encontrado na pesquisa apresentada no livro, trata da observação da disposição profissional dos professores: se estes apresentam a habilidade de trabalhar com os estudantes que possuem necessidade de acompanhamento e são sensíveis às questões relacionadas ao contexto cultural do estudante de modo a atuarem com atitudes positivas em sala de aula.
De todo modo, não importa quão bons sejam os professores se não há um ambiente favorável à colaboração e ao suporte necessário para o seu desenvolvimento enquanto profissionais. Para realizar uma pesquisa sobre estes fatores, existem duas opções: a observação dos professores por profissionais treinados e a aplicação de questionários em que tanto alunos, como professores e direção escolar sejam questionados sobre tais aspectos.
Em relação a possíveis soluções, Schneider sugere a implantação de um Programa de Desenvolvimento Profissional e lideranças escolares que criem um ambiente acolhedor e favorável à colaboração, em que os professores sintam-se valorizados e aprendam uns com os outros.
2. Cultura Escolar
Quando falamos de cultura escolar estamos nos referindo ao senso de pertencimento dos estudantes, à disciplina, ao gosto pela escola, às relações entre os membros da comunidade escolar e ao apoio dos professores. São estas as condições que dão forma à experiência dos estudantes no espaço educacional e que influenciam o engajamento e o esforço que estes demonstram ao longo do processo de aprendizagem.
Quando os estudantes sentem-se seguros, acolhidos pelos professores, eles criam vínculos profundos com a escola e tendem a estar mais motivados e focados nas atividades que precisam realizar. Neste sentido, segundo a pesquisa, o senso de pertencimento gera performance acadêmica, bem estar emocional, saúde mental, segurança nas relações sociais e boa convivência entre os estudantes e professores.
Para que isso seja possível, é preciso reestruturar o modo como as relações são estabelecidas no interior da escola, não é possível haver um ambiente coletivo de cuidado, em que todos se sentem responsáveis uns pelos outros, sem que seja possível ou que se tenha tempo para estabelecer tais vínculos. Por isso, práticas pedagógicas que permitam a descoberta e partilha de interesses, espaços de discussão e decisão coletiva e democrática e a construção de projetos coletivos são fundamentais para que a prática da mediação e da tutoria, e não a instrução, sejam o centro do processo de aprendizagem e o motor da relação entre professores e estudantes.
3. Recursos disponíveis
São considerados como recursos disponíveis todos os elementos que contribuem para que a aprendizagem de qualidade aconteça. Estão envolvidos desde o suporte profissional aos professores, material didático confiável e adaptado ao contexto, espaços físicos adequados, turmas pequenas para que seja possível desenvolver vínculos com os estudantes e a participação efetiva na escola de membros da comunidade escolar.
Todos estes elementos estão conectados na medida em que não faz sentido ter turmas pequenas, o que vai demandar a contratação de novos professores, se tais professores não estiverem preparados para a interação com grupos pequenos de estudantes. Por outro lado, se os espaços e recursos didáticos são inadequados, deixam os estudantes confusos, desmotivados e sem foco, produz-se um ambiente desorganizado e desinteressante. Por sua vez, a não participação de familiares e outros membros da comunidade faz com que estes não se sintam parte do processo educacional, o que gera um clima pesado de cobrança e distanciamento, em que as responsabilidades são atribuídas e não compartilhadas.
A pesquisa ainda mostra que quando família e escola colaboram entre si, criam-se mecanismos de troca de informações, de alinhamento de expectativas e de suporte aos estudantes, o que acaba colaborando para o sucesso acadêmico e a convivência saudável na escola.
4. Aprendizagem acadêmica
Como observamos no início deste texto, as escolas devem estar muito mais atentas ao modo como os estudantes aprendem e como este aprendizado muda de ano para ano do que preocupadas com notas finais. Ao sentar-se para realizar provas e testes, os estudantes não aprendem nada. Ao final deste tipo de avaliação, eles são reduzidos a um número abstrato que desfaz qualquer relação significativa com o que é testado. No entanto, quando trabalham em projetos de pesquisa e laboratórios ou ao realizarem intervenções práticas para a resolução de problemas, os estudantes estão aprendendo e desenvolvendo habilidades num ambiente significativo em que a aprendizagem está contextualizada.
Numa outra perspectiva, avaliações formativas, baseadas em performance, observadas ao longo do tempo e organizadas em um portfólio, produzem evidências de aprendizagem sobre as habilidades e conhecimentos consolidados ou em vias de desenvolvimento. Através do estabelecimento de rubricas que indicam os níveis de performance de habilidades e atitudes, ao olhar para o conjunto destas realizações ao longo do tempo, tanto professores como famílias podem identificar pontos fortes e fracos do estudante. Ao contrário do que acontece nos testes e provas, em que a avaliação é pontual e não pode ser melhorada, na avaliação formativa o estudante aprende a partir do processo e passa a perceber o aprendizado como algo a ser constantemente aprimorado.
Portanto, para além do resultado de provas externas, as escolas podem colocar em prática algumas maneiras eficientes de mensurar os processos escolares, a aprendizagem acadêmica e o compromisso dos estudantes com seu aprendizado: a aprendizagem baseada em projetos e resolução de problemas, a avaliação formativa, o mapeamento do engajamento dos estudantes na escola e, após a saída, o acompanhamento dos estudantes que ingressaram na universidade e no mercado de trabalho.
5. Caráter e bem estar
É importante ter consciência de que não existe um conjunto de qualidades essenciais ou “corretas”. O que existe é um conjunto de valores que são importantes para as pessoas de um determinado contexto, cultura e visão de mundo. Além disso, qualquer abordagem que busque mensurar tais aspectos irá refletir tais valores e o contexto ao qual pertencem.
Na comunidade em que foi realizada a pesquisa apresentada por Schneider, há uma predileção por valores associados à cidadania, definida como habilidade de compreender e trabalhar com os outros: organizar membros da comunidade, construir uma visão social coerente, contribuir como puder para o desenvolvimento social e apresentar um compromisso com os seus concidadãos.
Outros valores que aparecem na pesquisa, são: trabalho ético, aceitação e compreensão das diferenças, perseverança nos estudos, o desenvolvimento de habilidades artísticas e criativas, saúde mental e equilíbrio emocional. Já a prática de esportes aparece como fator que contribui de maneira fundamental para o bem estar dos estudantes.
Em relação ao mapeamento deste cenário, este pode se dar através do processo de autoavaliação dos estudantes, perguntas diretas sobre como eles estão e de como se sentem, como também de observações por parte dos professores e de questionários aplicados junto às famílias.
A escola é um ecossistema em relação com outros
Por fim, precisamos observar que todas estas categorias observadas estão conectadas e conectam o ambiente escolar e o que ali acontece com componentes de fora da escola. É justamente o equilíbrio, entre as variáveis que afetam o ecossistema escolar, que pode produzir as condições básicas para uma aprendizagem de qualidade. Por isso, a cada pesquisa realizada para a avaliação de uma escola, é preciso compreender bem o contexto e aquilo que o afeta, pois isto pode alterar o foco e a forma como tais fatores se afetam entre si e determinam os efeitos sobre o ecossistema escolar como um todo.
Parece já evidente que a forma tradicional de mensuração e compreensão da escola ou do sistema escolar por meio de avaliações de larga escala tem um efeito danoso e impede qualquer tipo de mudança efetiva para o desenvolvimento da educação. Seja a nível nacional ou a nível local, ao desconsiderar os novos componentes de aprendizado incluídos na BNCC e ao pressionar a imitação de um tipo único e insuficiente de avaliação para os sistemas escolares e exames de ingresso em universidades, as avaliações de larga escala tornam impossível qualquer tipo de melhoria significativa na qualidade da educação oferecida nas escolas brasileiras.
