1Os programas experimentais orientados para a promoção da inovação conheceram na Europa uma expansão significativa ao longo das duas últimas décadas. Para essa expansão contribuiu a iniciativa Europeia através de programas experimentais de luta contra a pobreza e Iniciativas Comunitárias como as Iniciativas Leader, Urban I e II, Emprego & Adapt ou Equal. Trata-se de programas com objectivos muito ambiciosos independentemente da sua escala ou do montante dos recursos financeiros associados ao seu financiamento. Procuram contribuir para o:
2— aprofundamento do conhecimento sobre os problemas, face à complexidade crescente das suas manifestações concretas (causas dos problemas, razões para a persistência das suas manifestações, razões para a ausência, insuficiência ou desadequação das respostas correntes, etc.);
3— desenvolvimento de acção com carácter experimental orientada para a promoção da inovação e do aperfeiçoamento das respostas públicas correntes (alargamento de perspectivas de acção, novas metodologias de intervenção, etc.);
4— alargamento de perspectivas para a acção, «transferabilidade metodológica e recomendações de política», («mainstreaming» horizontal e vertical).
5Os programas experimentais em causa apresentam-se constituídos por projectos de base territorial que são, correntemente, designados como «projectos locais». A opção por projectos locais constitui uma das perspectivas mais interessantes e promissoras por eles introduzidas.
6Mas, tal opção corre o risco de não ser suficientemente valorizada. De facto, a opção por uma abordagem territorial assente em projectos com carácter «local» nem sempre é suficientemente explicitada assim como nem sempre surgem suficientemente clarificadas as respectivas implicações de ordem metodológica, nomeadamente, na definição da natureza dos resultados a atingir.
7Com efeito, pressupõe-se o exercício de «selectividade territorial», uma vez que não é contemplada a «totalidade das localidades». Essa «selectividade territorial» exprime-se implicitamente através da prioridade atribuída à «capacidade de iniciativa e organização» evidenciada através da apresentação «espontânea» de propostas de projectos, em detrimento da gravidade das manifestações locais de problemas, o que implicaria o desenvolvimento prévio de «animação» para a constituição de projectos face à menor probabilidade da sua emergência «espontânea» nessas situações.
8Pressupõe-se, assim, a diferenciação entre problemas das localidades e problemas nas localidades uma vez que tais projectos partem das manifestações locais de problemas para a análise das mudanças nas condições societais (locais e não-locais) das quais se poderá admitir que depende a mitigação ou erradicação dos problemas em causa.
9Assim, pressupõe-se implicitamente a diferenciação entre fim do projecto e fim do problema (que se admite constituir a expressão contingente do efeito de estruturas e mecanismos). O objectivo dos projectos (enquanto projecto) não pode consistir na erradicação do problema mas na identificação do tipo de mudanças de que poderá depender a sua erradicação e inovar nas formas de resposta pública tendo em vista agir directamente na relação com os que os experimentam (auto-sustentação da acção local e não-local).
10Os exercícios de avaliação em programas públicos têm, em geral, um conjunto de objectivos conhecidos, procurando contemplar a:
11a) avaliação da coerência de objectivos e estratégias (natureza dos problemas e adequação da acção);
12b) avaliação de impacte (distinguindo «output» e «efeitos líquidos», procurando clarificar o que teria, ou não teria, ocorrido sem a existência do projecto);
13c) avaliação processual (eficiência na afectação de recursos escassos à obtenção de «efeitos líquidos», condições de mobilização integral de recursos, etc.).
14Em programas públicos experimentais os exercícios de avaliação ganham uma complexidade adicional uma vez que a natureza do «efeito líquido» a atingir (as mudanças que se admite não ocorrerem sem o efeito da acção do programa) adquire uma complexidade adicional. Trata-se de identificar não só efeitos da acção desenvolvida, como também possibilidades de inovação nas práticas correntes (condições de concretização elucidadas através da acção experimental). Nestes casos, a natureza do «efeito líquido» a determinar relaciona-se com:
15a) o carácter experimental dos programas, em que os objectivos envolvidos convidam a uma avaliação menos instrumental e mais orientada para a aprendizagem colectiva e para a construção de conhecimento comum;
16b) o esclarecimento sobre os processos geradores dos problemas (empobrecimento, desvinculação precoce do sistema produtivo, etc.) de modo a possibilitar a acção preventiva, natureza da ausência, insuficiência ou desadequação das respostas correntes responsáveis pela persistência dos problemas (incapacidade ou insuficiência das respostas) e esclarecimento sobre a natureza de processos e condições facilitadores, ou viabilizadores, de inovação (expansão de possibilidades para o aperfeiçoamento das respostas públicas);
17c) a análise da experiência desenvolvida pelos projectos locais, que terá que ser baseada em metodologias específicas tendo em vista a possibilidade de construção de conhecimento com validade geral a partir da análise da manifestação concreta (local) dos efeitos de processos (locais e não locais) em unidades territoriais definidas (locais de «projectos locais»).
18Face à natureza dos desafios envolvidos na realização de programas experimentais é compreensível a razão de ser de alguma perplexidade face aos resultados de exercícios convencionais de avaliação. A título ilustrativo, propõe-se algumas reflexões em tomo dos temas que adiante se enunciam.
19a) «Participação» e a dificuldade do diálogo entre diferentes formas de conhecimento
20É crescente a sensibilidade relativa ao reforço do papel da «participação» em processos de avaliação. Possivelmente, tal não será independente («participação» foi definida como princípio no terceiro programa Europeu de luta contra a pobreza) da perplexidade que se experimenta face à necessidade de incorporar o conhecimento dos participantes (decisores, técnicos, beneficiários e avaliadores) para a apreensão dos aspectos centrais do processo de avaliação (conhecimento «bottom-up»). Começa a estabelecer-se algum consenso sobre os riscos, as ineficácias e as ineficiências incomportáveis na sua não incorporação.
21Mas, o apelo à «participação» concorre para evidenciar o desfasamento entre o discurso sobre os problemas sociais (evidências aparentes), o senso comum e a ausência de rigor teórico-conceptual na formulação de objectivos. A não consideração explícita do carácter conceptualmente mediado da acção confere insatisfação e perplexidade acrescida à não consideração explícita da relação entre os resultados dos projectos e o efeito da implicação dos agentes da sua concretização. O papel que desempenham através do modo como interpretaram a natureza dos problemas e a natureza da acção esperada no contexto dos desafios estratégicos do programa em que se encontram envolvidos, adquire relevância central.
22Por exemplo, no âmbito da luta contra a pobreza, são conhecidas as implicações da falta de rigor conceptual na distinção entre os conceitos de privação e de pobreza, ou entre os conceitos de inserção, integração ou inclusão. Mas, para além disso, O discurso dos não-pobres sobre a pobreza encobre o desconhecimento profundo por parte dos não-pobres sobre o modo como os pobres vivem os problemas existenciais que os não-pobres definem como problemas de pobreza.
23b) Factores «invisíveis» e resultados paradoxais
24A dificuldade de aceitar, ou incorporar, a relevância de «realidades invisíveis» (relações interpessoais de carácter informal, etc.) na explicação dos resultados, a par da insatisfação com os resultados de exercícios de avaliação focalizados na facticidade de ocorrências como explicativas de fenómenos (n.º de acções de formação frequentadas, n.º de horas de formação, etc.), são ilustrativas de algumas das perplexidades que se vêm acentuando. Nem sempre é fácil a aceitação de que a mudança ocorre através da intervenção contínua (relação interpessoal) e de que a realidade não é só constituída pelo «observável» pois na experimentação para a inovação uma potencialidade também é «real».
25Por exemplo, são conhecidos resultados paradoxais de exercícios de avaliação em que se conclui que a formação profissional pode ter concorrido para facilitar o acesso ao emprego por parte dos participantes, embora não ocorrendo no domínio tecno-profissional em que a formação foi oferecida, ou seja, sem relação com as competências cognitivas e funcionais facilitadas. Se a formação em sala concorre para mudanças de atitude e comportamento nos planos afectivo e emocional (fora do plano cognitivo), adquire relevância central a natureza da relação pedagógica. A redução do objecto da avaliação à procura de relações entre a facticidade de acontecimentos (n.º horas de formação, etc.) e os resultados, retira ao exercício possibilidade de elucidar sobre a natureza dos mecanismos efectivamente facilitadores da mudança.
26c) Carácter aberto de impactes possíveis e o sentido de «pequenos sinais» de mudança
27Frequentemente se mostra necessário elucidar sobre a natureza de impactes esperados e concretizáveis muito antes do termo das acções contempladas tendo em vista a sua incorporação em programas sequenciais (o caso de avaliações intercalares servirem para a preparação de novos programas).
28Apreender o sentido da inovação potencialmente expectável em fase de avaliação intercalar (atribuição de sentido aos «pequenos sinais»), dificilmente poderá ser alcançado através de uma perspectiva de comparação «antes/depois» na realização de exercícios de avaliação. Se o objecto da avaliação não se orientar para a detecção precoce de «pequenos sinais» de impacte o exercício permanece inútil. O «sentido» a encontrar no significado dos «pequenos sinais» é indissociável do modelo teórico-conceptual em função do qual esse sentido pode ser atribuído. Exercícios de avaliação que não sejam apoiados em forte rigor teórico-conceptual, correm o risco de esterilidade no contexto de programas experimentais.
29d) Número limitado de projectos locais e legitimação de «lições estratégicas» de programas passíveis de generalização
30A necessidade de fundamentar recomendações de política («lições estratégicas») e transferabilidade metodológica («boas práticas»), a partir de um número limitado de experiências, coloca a tensão na ausência de metodologia adequada à apreensão da causalidade na inovação e à identificação das condições com base nas quais se pode admitir a sua eventual generalização. Comparações «antes/depois» não permitem esclarecer as condições com base nas quais a inovação se tomou possível. Não é possível apreender a natureza da mudança em jogo e saber como actuou o mecanismo que a propiciou. Não é possível identificar as relações substantivas presentes e reconstituir o como da concretização de resultados («efeito líquido»).
31Comparações «antes/depois» também não permitem legitimar a transferabilidade metodológica que não se pode limitar à coleccção de «boas práticas» e à sua descrição exaustiva desinseridas dos respectivos contextos, agentes e condições que as tomaram possíveis. O seu conhecimento tem que ser acompanhado pelo conhecimento relativo à sua natureza e à natureza das «lições» a transferir. Torna-se necessária a clarificação sobre a natureza do objecto transferível e generalizável.
32e) Resultados possíveis, visibilidade de resultados reais e sentido da generalização
33A não consideração explícita do carácter contextualmente dependente dos resultados e do carácter conceptualmente mediado da acção, pode tomar difícil a generalização das «lições a retirar». Paradoxalmente, o carácter experimental de Programas experimentais nem sempre é assumido na prática (desafios metodológicos específicos dos exercícios de avaliação, etc.). A preocupação com a execução financeira e com os resultados físicos «tangíveis», decorrente da preocupação face à visibilidade de resultados, concorrem frequentemente para que resultados potenciais possam ser bloqueados, ou insuficientemente reconhecidos e valorizados.
34Saber como agir para facilitar o acesso ao emprego por parte dos pobres através do auto-emprego, ou da sua própria iniciativa empresarial, não corresponde a afirmar que essa solução no acesso ao emprego seja possível para todos os pobres. O que está em causa é saber como e em que circunstâncias, pessoas nessa situação podem aceder ao emprego por essa via, ainda que em número muito pequeno. O que se toma relevante é saber como não deixar de aproveitar essa oportunidade nas situações em que algum potencial de iniciativa empresarial possa ser efectivamente realizável.
35Estão em causa não só limites dos métodos e técnicas convencionais de avaliação (experimentais e quase-experimentais) como limites do próprio paradigma científico em que se fundamentam. A «avaliação realista», cujo contributo para o desenvolvimento de exercícios de avaliação em programas experimentais à frente se deixa sintetizado, parte de uma epistemologia realista (T. LAWSON, 1997; W. OUTHWAITE, 1987; A. SAYER, 2000; A. SAYER, 1984).
36Como se sabe o realismo «crítico» constitui uma perspectiva em aprofundamento no debate epistemológico contemporâneo, tanto nas Ciências Sociais como nas Ciências Naturais, assentando num conjunto de posições que mereceriam desenvolvimento alargado. Deixam-se enunciados apenas alguns aspectos que têm implicações directas para a perspectiva da «avaliação realista».
37O realismo «crítico» assenta numa ontologia social explícita, de acordo com a qual a realidade é concebida de forma estratificada. Distingue-se o domínio do empírico (observável), o domínio das estruturas e mecanismos (não observável e só apreensível através da sua instanciação nas práticas dos agentes sociais) e o domínio do potencialmente real (possivelmente observável se aí conduzir o efeito da activação dos «poderes causais» de entidades sociais).
38O realismo «crítico» pressupõe a ruptura com a posição positivista e introduz explicitamente o domínio do possível num mundo aberto e em mudança (sistema aberto). Assim, o realismo «crítico» postula a existência de «poderes causais» (reais) independentemente de ocorrer a sua activação. No contexto de programas experimentais, a possibilidade da inovação passa a poder ser aprofundada a esta luz. No contexto de programas experimentais, equivale à identificação dos «poderes causais» e das condições com base nas quais a inovação possa ocorrer.
39Por outro lado, o realismo «crítico» introduz uma noção própria de causalidade. Ao distinguir relações substantivas (contingentes ou necessárias) e relações de interdependência formal, o realismo «crítico» enfatiza a apreensão das relações entre «poderes causais» e relações substantivas. Através de análise estrutural e do exercício da «rectrodução» (reconstituição descritiva do percurso retrospectivo que permite relacionar a manifestação concreta de um fenómeno social com as estruturas e mecanismos cujos «poderes causais» a ele deram lugar, [A SAYER, 1984]) postula-se a possibilidade de apreender a relação entre o exercício, ou não exercício, de «poderes causais» e a ocorrência, ou não ocorrência, dos respectivos efeitos observáveis. Em programas experimentais a determinação do «efeito líquido» (impacto) da acção passa a poder conhecer um aprofundamento analítico muito mais rigoroso. Principalmente, quando a ilustração da própria possibilidade da inovação passa a constituir um domínio explícito dos resultados a aferir.
40Ainda por outro lado, a análise estrutural requer um contexto de interacção real para a distinção entre relações formais e substantivas (contingentes e necessárias). É exactamente através do carácter «local» dos projectos que se vai procurar criar esse contexto em programas experimentais. O «local» constitui um método de análise estrutural para a apreensão «rectrodutiva» das estruturas e mecanismos societais que concorrem para a geração dos problemas e para a análise das condições com base nas quais a inovação experimentada poderá ser «tranferida» para outros contextos ou constituir a base de recomendações de política para a sua generalização na «totalidadade das localidades».
41Assim, o realismo «crítico» situa-se no domínio da teoria crítica. Não reduz o real ao que existe e procura aprofundar o conhecimento sobre o que existindo poderia não existir e sobre o que (ainda) não existindo poderá existir. Em programas experimentais, a promoção da inovação e das condições facilitadores da sua generalização (transferabilidade metodológica, recomendações de política, lições estratégicas) passam a poder conhecer uma análise adequada.
42Finalmente, o sentido da validade e utilidade do conhecimento a produzir é colocado em termos da sua «adequação prática». Trata-se do seu contributo potencial em práticas de transformação social e de promoção da emancipação social. Em programas experimentais que lidam com problemas sociais relevantes (pobreza, desemprego, crise urbana, etc.), esta perspectiva permite situar o sentido do conhecimento científico a produzir face às condições de erradicação de tais problemas incorporando no processo societal de resolução de problemas (pobreza, desemprego, «crise» urbana, etc.) todos os agentes sociais directamente implicados (pobres, desempregados, residentes, etc.).
43A avaliação em programas experimentais baseados em projectos locais deverá poder valorizar o conhecimento das condições contextuais subjacentes aos resultados da acção e ajudar a reflectir sobre as condições de generalização dos resultados alcançados. Condições de generalização essas, que tanto se podem traduzir sob a forma de recomendações de ordem metodológica na acção, como sob a forma de recomendações de política a endereçar a diferentes escalas territoriais e domínios sectoriais da acção pública, ou ainda, como alargamento de perspectivas de acção possível.
44A perspectiva para o exercícios de avaliação em programas experimentais que se propõe encontra a sua fundamentação nas propostas de «avaliação realista» cujas características essenciais se deixam enunciadas abaixo e cuja coerência deve ser situada no contexto de uma epistemologia realista, conforme atrás se referiu. É já significativa a expressão desta perspectiva no seio da literatura científica (G. JULNES, M. MARK & G. HENRY, 1998; D. FARRINGTON, 1998; R. PAWSON, 2002a; R. PAWSON, 2002b; R. PAWSON & N. TILLEY, 1998a; R. PAWSON & N. TILLEY, 1998b; R. PAWSON & N. TILLEY, 1997a; R. PAWSON & N. TILLEY, 1997b; R. PAWSON & N. TILLEY, 1994. Os trabalhos de Nick Tilley e Ray Pawson constituem a referencia central da perspectiva que seguidamente se apresenta.
45Em síntese, para a «avaliação realista», programas são entendidos como sistemas sociais cujos resultados só são inteligíveis através da compreensão dos mecanismos subjacentes e dos contextos que os sustentam. Programas não são entendidos como «forças» exteriores mas como «razões» e «recursos» que são tomados disponíveis aos participantes e que se concretizam através do modo como os envolvidos interpretam o que está em jogo e «escolhem» concretizar os programas. Finalmente, os programas são o resultado de acção informada e qualificada dos participantes e não são redutíveis à facticidade dos acontecimentos (realizações físicas, n.º horas de formação, etc.). Assim, o objecto da avaliação não poderá ser centrado na análise de comparações antes/depois, mas na análise da natureza e do contexto das interacções que tomaram os resultados possíveis.
46Enunciam-se, seguidamente, algumas orientações metodológicas decorrentes da adopção desta perspectiva de avaliação em programas experimentais.
47Exercícios de avaliação devem atender prioritariamente ao como e porquê programas sociais têm o potencial de causar mudança.
48Admite-se que mudança é gerada pelos «poderes causais» de indivíduos e comunidades. A acção de um programa exprime-se através do modo como razões e recursos são facilitadas aos participantes no sentido de facilitar a sua mudança. Logo, os exercícios de avaliação deverão procurar identificar que causa descreve o potencial transformador de fenómenos e não apenas a respectiva relação sequencial. Exercícios de avaliação devem penetrar para além da superfície de inputs e outputs observáveis de um programa; poderes causais de um programa geradores de mudança poderão não ser directamente observáveis (relações sociais).
49Admite-se que o processo gerador de mudança poderá não ser dedutível apenas através da facticidade de acções (n.º de acções de formação, n.º de realojamentos, etc.). Os exercícios de avaliação devem poder esclarecer como as mudanças introduzidas por um programa informam ou alteram as alternativas de escolha dos participantes. Os exercícios de avaliação devem permitir reflectir sobre o que são resultados potenciais de um Programa e como poderão ser alcançados.
50Os programas não são entendidos como coisas redutíveis à sua facticidade.
51Desencadeiam múltiplos mecanismos com efeitos diferentes, sobre indivíduos diferentes, em circunstâncias diferentes Os resultados devem ser analisados sob a forma de teste das teorias subjacentes e não apenas no sentido de saber se um programa tem sucesso, mas no sentido de saber como determinado efeito pôde ser alcançado no quadro de uma particular configuração de contexto-mecanismo.
52Exercícios de avaliação devem orientar-se para o esclarecimento do modo como mecanismos que geram problemas sociais são removidos ou contrariados através de mecanismos alternativos introduzidos através de um programa.
53Os programas são encontros sociais prolongados e deverá constituir uma tarefa analítica central o esclarecimento do modo como os mecanismos potenciais dos programas podem contribuir para remover ou tornear os mecanismos responsáveis pelos problemas originais. Os exercícios de avaliação de programas públicos carecem de conhecimentos sobre a natureza da causalidade e da mudança que não podem ser satisfatoriamente alcançáveis através de metodologias de inspiração quase-experimental.
54A inspiração numa epistemologia realista conduz a que a expressão empírica dos resultados de programas só seja inteligível através da compreensão dos mecanismos que se lhes encontram subjacentes e dos contextos que os sustentam; é necessário saber primeiro como, e em que circunstâncias, os programas afectam potenciais sujeitos, antes de poder começar a reflectir sobre o seu eventual «sucesso».
55Programas não são forças exteriores, às quais os sujeitos respondem; o sucesso dos programas depende do modo como os sujeitos (decisores políticos, técnicos, participantes beneficiários) escolhem concretizá-los e das condições que lhes permitam efectivamente agir desse modo. O conhecimento necessário não pode ser reduzido à simples comparação entre um antes e um depois.
56Programas públicos são o produto de acção informada («skilled action») e de negociação entre agentes humanos, e não são redutíveis à facticidade de um dado evento (frequência, duração, etc.). O que carece de análise relaciona-se com a natureza e o contexto dos contactos que possam ocorrer. Os exercícios de avaliação devem reter como questão central a de saber como foi determinado problema afectado pela existência do Programa.
57Exercícios de avaliação devem permitir compreender os contextos no seio dos quais são activados os mecanismos geradores de problemas sociais e no seio dos quais os mecanismos activados pelos programas podem conduzir ao sucesso.
58Trata-se de procurar saber «quem», e em «que circunstâncias», pode ser beneficiado pelos programas. As comunidades locais diferem entre si e exibem atributos que não são redutíveis ao somatório dos atributos dos indivíduos que as compõem (culturas, estruturas, relações, etc.). O sucesso de determinado programa depende das condições contextuais em que está inserido e do modo como todos os implicados favorecem, ou não, o seu funcionamento enquanto é implementado. A identificação de condições sociais favoráveis constitui um objectivo principal do conhecimento a produzir. O que se mostra necessário ser compreendido relaciona-se com as características particulares de determinadas comunidades que actuam como facilitadoras, ou bloqueadoras, do sucesso.
59Exercícios de avaliação devem orientar-se por modelos teórico-conceptuais inspirados por configurações do tipo «Contexto-Mecanismo-Resultado» se através deles se pretende formular lições cumulativas e transferíveis.
60A análise concentra-se na identificação das características da mudança individual e institucional das quais o sucesso depende. Os exercícios de avaliação devem procurar testar hipóteses relativas a saber como determinada mudança desejada pode efectivamente ser alcançada.
61Os exercícios de avaliação devem assentar em relações do tipo «professor-aprendiz» na relação entre entrevistador (avaliador) e responsáveis de política, responsáveis técnicos pelos programas e participantes beneficiários. A interacção dialógica deverá permitir ao avaliador aperceber-se dos modelos implícitos no discurso dos decisores, técnicos e participantes, e, uma vez devolvido de forma estruturada, deverá permitir envolver os interlocutores na própria reflexão, no sentido de recolher a sua perspectiva relativamente a aspectos-chave da avaliação. Os entrevistados não permanecem no papel de entrevistados. É-lhes proposto um modelo de análise e são activamente convidados a reflectir à luz desse modelo sobre a sua própria experiência pessoal no seio do programa.
62Finalmente, os exercícios de avaliação devem atender ao facto de os programas serem implementados num mundo social permeável e em mudança e que a eficácia dos programas pode ser subvertida, ou facilitada, pela intrusão não antecipável de novos contextos e de novos poderes causais.
63Se por um lado, persiste ainda alguma insatisfação com a concretização da perspectiva que acima se deixa esboçada, a experiência também vai mostrando que o caminho é promissor e que faz sentido investir no seu aprofundamento.
64A «avaliação realista» permite superar a «reificação» de resultados de Programas e introduzir muito maior subtileza na análise do sentido da mudança a que se procura associar resultados. A «avaliação realista» enfatiza a interdependência entre elementos de ordem teórico-conceptual e os resultados alcançados e convida a um rigor significativamente acrescido na explicitação de objectivos e resultados esperados tanto ao nível da gestão central de programas experimentais como ao nível da gestão dos projectos locais.
65Finalmente, a «avaliação realista» parece permitir desempenhar um papel relevante para a diminuição da «opacidade social» em tomo da realidade dos problemas sociais contemporâneos e contribuir para superar a «névoa» que envolve o discurso sobre os problemas sociais e as condições materiais da sua possível superação.