Etapa 4
Monitoramento e Avaliação
O monitoramento das ações é a atividade essencial de contínuo acompanhamento da execução das políticas públicas. Ele deve estar ancorado no planejamento da iniciativa, nos fluxos e responsabilidades definidos e em indicadores que mensurem a realização do que foi previsto.
O monitoramento difere da avaliação pela natureza da análise e pelo tempo em que ocorre. Enquanto o monitoramento consiste em acompanhar, ao longo do tempo, os recortes que compõem o cenário total, sejam eles relativos a serviços, produtos ou resultados, a avaliação pressupõe pausas para uma leitura integrada da intervenção.
Para que tenha sentido e significado para todos os atores envolvidos no processo, os materiais produzidos como resultado do monitoramento e da avaliação de políticas públicas precisam ser acessíveis; e, da mesma forma, é necessária a previsão dentro da governança estabelecida de momentos de análise para subsidiar as decisões, inclusive de eventual mudança de planos.
Estabelecida a governança necessária para a organização das ações colaborativas e a para a execução da política, é importante analisar se a estrutura e equipe responsáveis pelas ações também têm condições de monitorá-las e avaliá-las. Essa responsabilidade pode ser tanto da equipe da coordenação da política, como de outros setores da secretaria – como núcleos de dados, por exemplo. O ponto central é: a estrutura deve garantir profissional(is) com acesso às informações e conhecimento na gestão de dados. Para isso, é importante a construção de acesso direto com os Municípios.
É interessante notar que, aqui também, não há estrutura rígida: em Minas Gerais, por exemplo, um órgão ligado ao governador do Estado acompanhava e apoiava a secretaria de educação no monitoramento e avaliação das ações do PIP.
Para quê
Para verificar contínua e fidedignamente a qualidade das ações em colaboração no estado, a implementação da política e a eficácia de suas ações, gerando subsídios para a tomada de decisões e legitimidade às informações apresentadas.
Quem
Equipe de monitoramento devidamente prevista na governança.
Ferramentas
Documento com a listagem de perfis de profissionais. Para esta subetapa, sugerimos nova utilização da ferramenta com perfis e competências.
Com ela, pode-se verificar se a governança necessária ao monitoramento é consonante com a equipe estruturada ou se será necessária a seleção de profissional.
Para que o monitoramento seja executado a contento, três providências são necessárias:
a) Definição dos indicadores em si, ou seja, estabelecer quais são as informações que devem ser levantadas, as fórmulas de cálculo (incluindo datas de corte e critérios para consideração) e as fontes de informação;
b) Estabelecimento do fluxo de informação, contendo os prazos, a periodicidade e o formato de envio para cada informação de todos os órgãos e secretarias envolvidas; e
c) Construção de uma ferramenta de monitoramento, que pode ser feita em Excel ou outras linguagens de programação. É importante haver um balanço entre facilidade de manuseio da ferramenta versus facilidade de atualização da informação. Por exemplo, ferramentas de Excel tendem a ser mais fáceis de usar, mas a atualização automática é mais difícil.
Para quê
Para organizar as informações a serem coletadas e os instrumentos para seu levantamento, facilitando a tomada de decisão e o alinhamento de todos os envolvidos.
Quem
Equipe de monitoramento devidamente prevista na governança.
Ferramentas
Documento orientador sobre indicadores e exemplos de ferramentas de monitoramento.
Após o levantamento das informações, é importante analisar os resultados parciais e propor ações corretivas. Para que o processo seja mais eficiente, a equipe responsável por essa etapa do processo deve fazer uma análise prévia do resultado e levantar possíveis ações de correção de rota. A validação dessas ações deve ser feita em reunião com os demais envolvidos no processo, respeitando a governança definida.
Após a tomada de decisão, é importante informá-la a todos os envolvidos na colaboração. Isso pode ser feito via e-mail, newsletters, ligações, reuniões com videoconferência ou até mesmo visitas dos supervisores de ensino que viajam o Estado.
O processo de ajustes de rotas não possui uma receita a ser seguida. A cada reunião da governança decisões serão tomadas. Algumas delas serão acertadas e trarão resultados praticamente imediatos. Outras ainda precisarão de ajustes. É importante nesse momento ter em mente duas coisas:
a) Basear TODAS as decisões nos números trazidos dentro do processo de monitoramento, evitando a propagação de comunicações informais. Por exemplo: é possível que em algumas reuniões a informação atualizada não tenha sido enviada por algum Município ou por algum setor da secretaria. No entanto, essa falha de comunicação precisa estar exposta na governança, de forma que isso não se torne rotina. Ao permitir que uma decisão seja tomada com base em uma informação recebida informalmente ou fora da governança (mesmo que mais acurada ou atualizada) o processo torna-se frágil e pode perder seu valor; e
b) Entender que algumas decisões podem não ter o efeito desejado por precisar de mais tempo ou de outra forma de comunicação para apresentarem resultado. Em outras palavras, a decisão de tomar uma ação não necessariamente significa que ela será implementada imediatamente e, mesmo que seja, ainda pode demorar para gerar resultados.
Para quê
Para sistematizar os dados e poder estabelecer análise e, se necessário, alterações de rota.
Quem
Equipe de monitoramento devidamente prevista na governança.