Navegação – Mapa do site

InícioNúmerosVol.10 nº 19ArtigosA Avaliação de Desempenho a 360º ...

Artigos

A Avaliação de Desempenho a 360º no Mercado de Trabalho Português: Facilitadores e Barreiras

The 360º Performance Appraisal in the Portuguese Labor Market: Facilitators and Barriers
Rita Andreia Monteiro Mourão, Sandra Miranda e Nelson Ramalho

Resumos

Para contornar algumas limitações da avaliação de desempenho tradicional (i.e., chefia avaliar o subordinado) torna-se pertinente uma abordagem à avaliação 360º, pois esta envolve mais do que um avaliador, permitindo controlar eventuais idiossincrasias dos mesmos. Nesse sentido, o presente estudo procura perceber as perceções de diferentes profissionais no que respeita aos facilitadores e às barreiras da avaliação 360º no mercado de trabalho português. Recorreu-se a um método do tipo qualitativo, tendo sido realizados quatro Focus Group. As informações recolhidas permitiram concluir que a avaliação 360º assume particular relevância quando comparada com a avaliação de desempenho tradicional, pois permite a participação ativa de todos/quase todos os atores organizacionais. Para além disso, promove o anonimato e a confidencialidade dos envolvidos, a sua formação enquanto avaliadores e a descentralização do poder avaliativo das chefias.

Topo da página

Notas da redacção

Recebido: 6 julho 2014

Aceite para publicação: 21 janeiro 2015

Texto integral

Introdução

1A avaliação de desempenho e a comunicação organizacional tendem a assumir um papel central no seio das organizações, tornando-se responsáveis por desempenhos mais eficazes dos colaboradores e, consequentemente, por uma maior eficácia organizacional (Aguinis, 2007).

2A comunicação organizacional é uma forma específica de comunicação, que tem vindo a assumir um papel de destaque ao nível de estudos de investigação, quer nacionais, quer internacionais (e.g. Europa, Estados Unidos). Este destaque poderá dever-se a fatores como a globalização e a crescente competitividade dos mercados, que contribuem para que os colaboradores se tornem mais contactáveis, quer a um nível pessoal, quer a um nível profissional (Miller, 2011).

3Na transição de paradigma da sociedade industrial para a sociedade do conhecimento, a instabilidade dos mercados de trabalho e a inovação tecnológica têm fomentado mudanças no que concerne ao papel do elemento humano no seio das organizações, tendendo este a ser encarado como um elemento estratégico e de competitividade entre as mesmas (Thomas e D’Aveni, 2008). Como tal, tem vindo a apostar-se no desenvolvimento de competências dos indivíduos em detrimento de uma aposta exclusiva nos recursos financeiros, tecnológicos ou logísticos (Taysen, Wald e Spieth, 2013).

4A avaliação de desempenho ecoa essa preocupação, assumindo um papel central na gestão dos recursos humanos e na gestão da comunicação organizacional, nomeadamente ao nível do desenvolvimento profissional dos indivíduos (Smither, London e Reilly, 2005) – contribuindo para um alinhamento do seu desempenho com as necessidades de eficácia organizacional (Aguinis, 2007) e facilitando o acesso mais célere, fluido e consistente à construção de planos de comunicação integrados, permitindo e incrementando, em ultima instância, a motivação e o desempenho profissional dos seus ativos (Kraut, Fish, Root e Chalfonte, 1990).

5A eficiência das práticas de avaliação de desempenho reside no feedback contínuo que estas facultam, permitindo corrigir e melhorar comportamentos (Smither et al., 2005) enquanto oferecem uma leitura das expectativas face ao comportamento dos indivíduos avaliados (Gagnon, 2000). Nesse âmbito, têm vindo a detetar-se algumas modalidades destinadas a procurar garantir esse feedback.

6No presente estudo, procura-se explorar o papel que a avaliação 360º assume nesse contexto, afigurando-se, porém, necessário enquadrá-la face a outros métodos avaliativos. Tal abordagem surge no sentido de se perceber como é que a metodologia 360º poderá tornar-se relevante no contorno dos dilemas, das tensões e das deficiências da avaliação de desempenho tradicional. Serão envidadas algumas recomendações, procurando perceber-se em que medida a avaliação de desempenho a 360º contribui para melhorar a comunicação organizacional.

1. A avaliação de desempenho tradicional, os seus dilemas e as suas tensões

7A avaliação de desempenho, quando realizada apenas pelos superiores hierárquicos dos colaboradores, designa-se por avaliação de desempenho tradicional/Top-Down (Schullery, Schullery, Knudstrup e Pfaff, 2009) (esta será referenciada de forma genérica, apenas por “avaliação de desempenho”). Uma parte muito considerável das decisões dos superiores hierárquicos face aos seus colaboradores deve-se à aplicação deste método avaliativo (Becton e Schraeder, 2004; Bracken, Timmreck, Fleenor, Summers, 2001). Assim, a avaliação de desempenho pode ter consequências a diferentes níveis, tais como: gestão de sistemas de recompensas (e.g. incrementos salariais); fundamentação de decisões relativas à gestão de carreiras profissionais (e.g. transferências, promoções); identificação de necessidades de formação dos avaliados, com vista ao seu desenvolvimento pessoal/profissional (Bracken et al., 2001; Brutus e Gorriti, 2005); processos de seleção/retenção de colaboradores (Caetano, 2008; Tannenbaum, 2006).

8No decurso de uma avaliação de desempenho poderão utilizar-se diferentes tipos de instrumentos, de acordo com a sua forma e com o seu foco (Tannenbaum, 2006). Assim, pode recorrer-se a questionários ou a observações, que tendem a incidir sobre os comportamentos dos indivíduos e sobre os seus resultados em contexto profissional, respetivamente (Gomes, Cunha, Rego, Cunha, Cardoso e Marques, 2008). Para além disso, também as entrevistas poderão considerar-se como importantes instrumentos de avaliação (Gomes et al., 2008). Nesse contexto, torna-se essencial a discussão entre avaliadores e avaliados, para que os avaliados consigam partilhar os seus pontos de vista relativamente aos resultados provenientes da sua avaliação e para que os avaliadores possam sugerir melhorias de desempenho (Smither, London, Reilly, Flautt, Vargas e Kucine, 2004). Preconiza-se que a realização das entrevistas de avaliação de desempenho tenha uma periodicidade anual (Caetano, 2008), considerando-se, contudo, que o feedback deva ser contínuo (Gomes et al., 2008). Isto porque os resultados serão tendencialmente menos positivos quando a avaliação é realizada apenas anualmente. Neste caso, os colaboradores tendem a mostrar-se surpreendidos com a apreciação final, podendo tornar-se reativos ao processo avaliativo (Gomes et al., 2008).

9A avaliação de desempenho assume um caráter de complexidade, devido aos custos temporais e monetários que acarreta aquando do seu planeamento e da sua realização (Mucha, 2011; Radnor e Barnes, 2007). Contudo, serão outras as limitações responsáveis pela geração de resistência à avaliação por parte dos avaliados. Os processos avaliativos tendem a provocar alguma ansiedade e resistência nestes, pois são elaboradas apreciações a seu respeito (Caetano, 2008; Tannenbaum, 2006). Um dos motivos desta resistência prende-se com a escassa exatidão dos julgamentos concretizados pelos avaliadores. Esta subjetividade poderá ter consequências ao nível da desconfiança no processo avaliativo, colocando em causa a motivação para participar neste, reduzindo a identificação dos colaboradores com a organização, levando a possíveis degradações de relações entre superiores hierárquicos e subordinados e ainda reduzindo eventualmente os níveis de desempenho dos avaliados (Gomes et al., 2008). Finalmente, um outro entrave à concretização da avaliação de desempenho tradicional prende-se com a privação de confidencialidade. O superior hierárquico torna-se o responsável por analisar e discutir os pontos fortes e de melhoria do subordinado (Caetano, 2008). Assim, o processo avaliativo deixará de ser confidencial, encontrando-se sujeito a discórdias de opinião e, consequentemente, à criação de hostilidades entre os envolvidos (Craig e Hannum, 2006).

10Embora a estrutura organizacional da maioria das empresas promova a concretização da avaliação por parte das chefias, considerando estas como detentoras do poder, as apreciações realizadas pelos superiores hierárquicos tendem a estar sujeitas a erros de cotação, designados por distorções avaliativas (Caetano, 2008). Estes enviesamentos contribuem para a manutenção da controvérsia em torno da avaliação de desempenho top-down, e, consequentemente, para a contestação por parte dos avaliados (Gomes et al., 2008). Assim, torna-se pertinente refletir sobre a importância da aplicação de outras metodologias avaliativas para além do método tradicional. Neste caso, urge a necessidade de considerar uma metodologia designada por avaliação 360º, considerando a possibilidade de esta contornar limitações da avaliação de desempenho tradicional apresentadas anteriormente.

2. Metodologia/avaliação 360º

11A metodologia 360º visa a mudança comportamental dos indivíduos, essencialmente ao nível do desenvolvimento das suas competências, para que as alterações comportamentais possibilitem uma eficácia organizacional (Bracken e Rose, 2011; Hensel, Meijers, Leeden e Kessels, 2010). Nesse sentido, esta metodologia enquadra-se no âmbito de um sistema de gestão e de avaliação de desempenho (Bracken, Timmreck e Church, 2000; Caetano, 2008).

12Uma das principais caraterísticas da avaliação 360º é ter como base a perspetiva de vários atores organizacionais (Caetano, 2008; Schullery et al., 2009), sendo esta a diferença primordial quando comparada com a avaliação de desempenho tradicional (Gillespie e Parry, 2006; McCarthy e Garavan, 2001). Contudo, a definição do círculo de atores organizacionais que participam nesta metodologia parece variar de autor para autor. No processo inerente à sua realização são inseridos, de forma consensual, o próprio colaborador (i.e., autoavaliação), os pares (i.e., os colegas) e o(s) supervisor(es)/a(s) chefia(s) (Bracken et al., 2001; Brutus e Brassard, 2005; Craig e Hannum, 2006; Morgeson, Mumford e Campion, 2005; Nowack, 2009; Schullery et al., 2009; Smither et al., 2005), podendo estes ser considerados como os atores organizacionais críticos da metodologia 360º. Para além disso, consideram-se também possíveis atores envolvidos na sua aplicação os clientes (Seifert, McDonald e Yukl, 2003; Shaun e Peter, 2004), os fornecedores (Brutus e Brassard, 2005; Morgeson et al., 2005) e ainda os familiares e os amigos (Brutus e Brassard, 2005; Gomes et al., 2008).

13Tal como acontece no caso da avaliação de desempenho tradicional, as avaliações provenientes dos diversos atores organizacionais tendem a ser posteriormente discutidas entre avaliadores e avaliados (Gomes et al., 2008), o que contribui para que o avaliado receba feedback acerca do impacto do seu desempenho no trabalho de diferentes pessoas, podendo verificar-se melhorias posteriores a esse nível (Caetano, 2008).

14A eficácia da aplicação da avaliação 360º depende de alguns fatores, tais como: conteúdos relevantes, através da utilização de escalas e instrumentos claros, personalizados e credíveis; dados fiáveis, pela condição anterior e por um número suficiente de avaliadores, devidamente formados e com a oportunidade de observarem os avaliados; contabilidade e mensurabilidade; consenso na participação dos envolvidos (Bracken et al., 2001; Bracken e Rose, 2011); anonimato e confidencialidade; acesso a follow-ups; desenvolvimento de planos de ação; e regularidade na aplicação da metodologia (Bracken et al., 2001).

15A formação dos sujeitos envolvidos tem sido fortemente realçada por diversos atores, pois permite aos avaliadores tornarem-se melhores observadores e repórteres (e.g. Bracken e Rose, 2011). Tal facto possibilita um aumento da aceitação da avaliação e da confiança nesta, por parte dos avaliados (Becton e Schraeder, 2004). Para além disso, evita eventuais erros e distorções avaliativas (McCarthy e Garavan, 2001), incrementando, consequentemente, a qualidade e a eficácia da avaliação 360º (Gagnon, 2000; Seifert et al., 2003).

16Importa referir, ainda, que a aplicação da metodologia 360º não poderá ser indissociável das particularidades de cada organização. A aplicabilidade deste método depende do clima e da cultura organizacionais, não sendo muito viável onde exista pouca partilha de poder (Caetano, 2008), devido ao recurso a múltiplas perspetivas.

2.1. Vantagens da avaliação 360º

17A avaliação 360º tende a apresentar uma validade superior à da avaliação de desempenho tradicional (Brutus e Gorriti, 2005; Gillespie e Parry, 2006). Tal facto deve-se à existência de múltiplos avaliadores, possibilitando o cálculo da média das suas diferentes contribuições e o controlo das suas eventuais idiossincrasias (Oh e Mount, 2011; Smither et al., 2005) e permitindo o acesso a uma imagem mais alargada no que concerne ao desempenho do colaborador, por comparação com a avaliação de desempenho top-down (Brutus e Brassard, 2005; Kline e Sulsky, 2009).

18Um outro aspeto vantajoso diz respeito à manutenção da confidencialidade e do anonimato dos envolvidos (Gillespie e Parry, 2006; Kline e Sulsky, 2009). Para além disso, segundo alguns autores, os indivíduos avaliados poderão selecionar os seus avaliadores (Gillespie e Parry, 2006), podendo também partilhar os seus pontos de vista apenas se o entenderem (Shaun e Peter, 2004). Tais questões têm vindo a contribuir para que os dados provenientes de uma avaliação 360º tendam a ser percebidos como mais justos. Nesse sentido, poderá existir uma maior aceitação da avaliação, comparativamente com o que se verifica na metodologia tradicional (Bracken, Timmreck, e Church, 2000; Gomes et al., 2008), e ainda uma maior confiança nos resultados provenientes das diferentes avaliações (Gillespie e Parry, 2006).

19Um outro aspeto diz respeito à oportunidade que é dada aos subordinados de poderem avaliar as suas chefias, facto que não se verifica na avaliação de desempenho tradicional (McCarthy e Garavan, 2001). Para além disso, esta metodologia permite a concretização de avaliações mais claras e objetivas, pois fomenta um maior diálogo e uma discussão mais ampla de pontos de vista entre avaliadores e avaliados (Gomes et al., 2008). Importa referir, ainda, que a aplicação da avaliação 360º, contemplando o envolvimento de diversos atores organizacionais, poderá tornar-se responsável pela dissolução de barreiras hierárquicas, e, consequentemente, pela democratização de algumas organizações (Brutus e Brassard, 2005).

2.2. Os potenciais riscos da avaliação 360º

20A avaliação 360º poderá acarretar, também, consequências menos positivas (Nowack, 2009). A aplicação deste método, por exemplo, implica custos temporais e monetários avultados (Bracken et al., 2001; Gillespie e Parry, 2006). Tais custos devem-se, essencialmente, a dois fatores: a complexidade do sistema, associada a múltiplos avaliadores e a múltiplas avaliações (Bracken et al., 2001; Brutus e Brassard, 2005; Smither, London, Reilly, Flautt, Vargas, e Kucine, 2004), e a exigência de que todos os colaboradores envolvidos na avaliação sejam devidamente formados para o efeito (Kline e Sulsky, 2009).

21A resistência por parte dos avaliados quanto a colaborarem no processo de avaliação 360º poderá constituir-se como outra barreira à sua aplicação (Brutus e Brassard, 2005), pois quando as reações iniciais destes se tornam negativas existe uma tendência para não se verificarem melhorias no seu desempenho (Smither et al., 2005). Esta resistência poderá dever-se à tendência que os indivíduos avaliados têm para modificar mais facilmente os seus comportamentos quando a avaliação é realizada somente pelos supervisores, ao invés de ser obtida através dos seus pares/clientes, tendo em conta que a chefia é encarada como uma figura de maior controlo e de maior poder, incitando mais a mudança no desempenho dos colaboradores (Smither et al., 2004). Para além disso, os avaliados tendem a recear avaliar os seus superiores, pois esta não é uma questão normativa com a qual estejam familiarizados (McCarthy e Garavan, 2001).

22Finalmente, um outro potencial risco associado à aplicação da avaliação 360º prende-se com eventuais distorções das avaliações (Shaun e Peter, 2004). Estas poderão dever-se às relações interpessoais estabelecidas entre os envolvidos. Assim, é possível verificar-se uma inflação da avaliação por simpatia com o avaliado e uma deflação da avaliação quando a relação interpessoal estabelecida entre avaliador e avaliado é negativa (Seifert et al., 2003). Para além da influência das relações interpessoais, sabe-se igualmente que a avaliação realizada pelos subordinados às chefias tende a ser parcial. Esta parcialidade poderá dever-se à informação restrita que os colaboradores têm relativamente ao trabalho que é realizado pelas suas chefias, como também ao receio de represálias quando a avaliação tende a constituir-se negativa, tendo em conta a diferença de posições hierárquicas (Gomes et al., 2008). Um outro aspeto que poderá levar a distorções avaliativas na metodologia 360º diz respeito à concretização das autoavaliações, pois os indivíduos tendem a autoavaliar-se de forma superior em relação aos restantes avaliadores envolvidos, de forma a colocarem-se numa posição privilegiada (Nowack, 2009; Oh e Mount, 2011).

3. Método

23Propõe-se como objetivo geral para a investigação em apreço explorar as perceções de colaboradores (com experiência profissional) relativamente à metodologia 360º, discriminando-se este nos seguintes objetivos específicos:

  1. Compreender o valor acrescentado percebido da metodologia 360º face à avaliação de desempenho tradicional;

  2. Aferir quais os facilitadores do acesso a essa metodologia e da sua utilização;

  3. Perceber quais as barreiras ao acesso à referida metodologia e à utilização desta.

24Para o cumprimento destes objetivos, e uma vez que se pretendia o acesso a interpretações pessoais dos colaboradores, realizou-se um estudo do tipo qualitativo, operacionalizado através de Focus Group (i.e., entrevistas em grupo).

3.1. Amostra e procedimentos

25A seleção dos participantes para a presente investigação teve em consideração características específicas destes que permitissem dar resposta aos objetivos previamente definidos.

26Os critérios de inclusão da amostra utilizados não se constituíram como muito restritivos, pretendendo-se, inicialmente, apenas indivíduos que tivessem idade superior a 18 anos e experiência profissional no mercado de trabalho português, independentemente do tempo de duração da mesma ou da área de atividade.

27A amostra de conveniência contou, então, com sete homens (33,3%) e 14 mulheres (66,7%), com idades compreendidas entre os 22 e os 61 anos, sendo a média de idades de 28,9 anos (DP=9,2). A maioria dos participantes deste estudo tinha nacionalidade portuguesa (n=18; 85,7%), embora dois fossem luso-italianos (9,5%) e um luso-brasileiro (4,8%). A maioria indicou ser natural do distrito de Lisboa (n=20; 90,5%). Relativamente às questões laborais, a maioria referiu encontrar-se numa situação laboral ativa (n=16; 76,2%) e ter menos de cinco anos de experiência profissional (n=13; 61,9%).

28No que concerne ao seu setor de atividade, teve-se em consideração o Guia Nacional das Profissões (2012). Nesse sentido, verificou-se que a profissão mais frequente era técnico psicossocial (n=7; 33,3%), seguindo-se técnico comercial (n=4; 19%) e técnico de informática (n=3; 14,3%).

29A maioria dos entrevistados (n=17; 80,95%) não apresentava uma experiência pessoal com a avaliação 360º. Para além disso, 15 (71,4%) dos participantes pertenciam a PME, sendo que apenas seis (28,6%) pertenciam a uma grande empresa. Todos os elementos dos grupos apresentavam o mesmo nível hierárquico (i.e., essencialmente subordinados e não chefias). Contudo, importa referir que em alguns dos Focus Group realizados estiveram presentes sujeitos que mantinham uma relação profissional entre si.

30Realizaram-se quatro grupos focais, tendo-se verificado um número variável de quatro a sete participantes, perfazendo um total de 21 indivíduos envolvidos. Estes foram conduzidos através de um guião semiestruturado, que englobava um conjunto de questões centrais relacionadas com os objetivos do estudo (e.g. “Gostaria que me falassem acerca da metodologia 360º”). De forma a certificar que as questões do guião se encontravam percetíveis, tornou-se necessária a realização de um pré-teste (Krueger e Casey, 2000).

31Os dados foram analisados de acordo com os princípios da análise de conteúdo, tendo sido construído um sistema de categorias a priori (i.e., o enquadramento teórico elaborado permitiu a constituição de categorias, possibilitando a deteção da sua presença ou ausência no corpo do material analisado) e a posteriori (i.e., constituiu-se um sistema de categorias diretamente a partir das características do corpo do material em análise). Nesse sentido, a combinação de ambos os processos de categorização levou à realização de um processo misto de análise de conteúdo (Vala, 2005). Por último, procedeu-se à elaboração de um sistema final de categorias/subcategorias, descritas pormenorizadamente num “Dicionário de Categorias”. Estas foram integradas em diferentes dimensões.

32Importa referir que, durante esta análise, foram considerados critérios de validade interna e de fidelidade intra e intercodificadores (Vala, 2005). No que respeita à validade interna dos dados analisados, considerou-se pertinente assegurar o caráter exaustivo e de exclusividade das categorias/subcategorias definidas. Para garantir a fidelidade intracodificadores assumiu-se que o mesmo codificador teria de aplicar os mesmos critérios de codificação à medida que realizava a análise de conteúdo. Por fim, e de modo a garantir a fidelidade intercodificadores, recorreu-se a mais do que uma codificação, realizada por mais do que um codificador, possibilitando um “Acordo Inter-Juízes”.

4. Resultados e discussão

33O critério misto da análise do conteúdo elaborado possibilitou a constituição de três dimensões, compostas por diferentes categorias e subcategorias, sendo estas: Dimensão I: Perceções sobre a Metodologia 360º; Dimensão II: Perceções sobre os Elementos Facilitadores da Metodologia 360º; Dimensão III: Perceções sobre as Barreiras à Metodologia 360º.

34Os resultados referentes à Dimensão I, “Perceções sobre a Metodologia 360º”, apresentados em seguida, poderão ser consultados na Figura 1.

35No que respeita à metodologia 360º, por um lado os envolvidos referiram que este tipo de avaliação permite o desenvolvimento pessoal e profissional dos colaboradores das organizações: “E é neste fator de desenvolvimento pessoal e individual, enquanto trabalhador, que a avaliação 360º recai” (P5, 1.º FG). Por outro lado, os entrevistados mencionaram que tal método avaliativo será, também, responsável por transmitir feedback aos colaboradores no seio organizacional: “O que está na génese da avaliação 360º, mais do que os objetivos, é dar o feedback” (P5, 1.º FG). Estas questões poderão ser fundamentadas por estudos anteriormente realizados neste âmbito, pois alguns autores consideram que a metodologia 360º permite a transmissão de feedback aos profissionais (Nowack, 2009), possibilitando igualmente o desenvolvimento das suas competências (Bracken e Rose, 2011).

36Os relatos dos entrevistados deixaram transparecer a existência de contextos organizacionais específicos para a aplicação de uma metodologia 360º (e.g. organizações em que existe uma maior partilha de poder): “Num contexto muito simples, podemos fazer uma avaliação 360º!” (P5, 1.º FG). Tal consideração poderá corroborar dados provenientes da revisão de literatura, pois, segundo Caetano (2008), a aplicabilidade da avaliação 360º dependerá do clima e da cultura organizacional da organização, tornando-se mais adequada em empresas com uma maior partilha de poder entre os colaboradores.

37Estudos anteriores consideram que a metodologia 360º poderá ter um carácter mais objetivo do que a avaliação de desempenho top-down, pois envolve múltiplas perspetivas (Hensel et al., 2010). Na presente investigação, os indivíduos também identificaram este caráter de objetividade, embora por razões distintas das apresentadas por diversos autores. Nesse sentido, torna-se possível acrescentar novas informações àquelas que teriam sido previamente abordadas na literatura. Assim, os participantes sublinharam o recurso a técnicas de avaliação (e.g. entrevistas, dinâmicas de grupo): “Então, na minha empresa nós temos o X e o Y. O X é feito aos concessionários, portanto é um inquérito de satisfação dos concessionários face ao nosso trabalho… do importador” (P3, 1.º FG); “Fez-me uma entrevista de duas horas e uma coisa de grupo e avaliou” (P4, 1.º FG). Paralelamente, referiram também o recurso a empresas de consultoria externa como eventual promotor do cariz objetivo da avaliação 360º: “Na 360º que fiz… Os meus colegas avaliaram-se, segundo critérios supostamente bastante bons, e eles depois foram para uma consultora [referindo-se a uma consultora externa que filtrou as avaliações]” (P4, 1.º FG); “Também é interessante perceber quem é que vai filtrar todas estas avaliações [referindo-se à metodologia 360º]… Se for um elemento externo, é… Eu acho que é muito mais fiável do que se for um elemento interno…” (P4, 3.º FG).

38Relativamente aos atores intervenientes numa metodologia 360º, os entrevistados indicaram, por um lado, uma multiplicidade de atores envolvidos nesta metodologia avaliativa: “Para já acarreta que haja uma avaliação colaborador/colaborador, ou colaborador/chefia direta, ou chefia direta/colaborador, nesse caso subordinado, e depois também era importante ter em conta a opinião dos stakeholders, dos clientes, dos fornecedores, e isto, sim, para ser uma avaliação de desempenho 360º na verdadeira aceção do conceito…” (P5, 1.º FG); “Podes ser avaliado mais para cima, por um lado, e tens de te preocupar, em termos de avaliação, não só com as tuas chefias diretas, etc., mas também com todos os pares envolvidos, ou seja, com os clientes, com os teus colegas…” (P3, 4.º FG). Por outro lado, os envolvidos referiram também a possibilidade de os clientes avaliarem a qualidade do serviço que lhes tende a ser prestado: “As políticas de qualidade da empresa podem intervir aí, e através dos seus clientes (pode perceber-se) qual é a ideia e o feedback que a rua dá ao escritório” (P2, 2.º FG). Pode concluir-se que estas descrições poderão conjugar-se com a informação proveniente de estudos anteriores, nomeadamente os que têm vindo a considerar a participação de uma multiplicidade de atores organizacionais na avaliação 360º (Brutus e Gorriti, 2005; Caetano, 2008; Schullery et al., 2009). De igual modo, tem vindo a ser referido que as avaliações provenientes de clientes surgiram devido à necessidade de avaliar a qualidade dos serviços prestados pelas organizações (Gomes et al., 2008).

39Na Figura 2, estão presentes os dados relativos à Dimensão II, “Perceções sobre os Elementos Facilitadores da Metodologia 360º”.

40Em relação aos elementos facilitadores da aplicação da metodologia 360º, os entrevistados evidenciaram que esta se apresenta como mais vantajosa do que outras metodologias de avaliação de desempenho: “Para mim, a avaliação 360º é a melhor (…)” (P5, 1.º FG); “Eu acho que dá um retrato mais fiel (…) daquilo que se passa dentro da empresa [referindo-se à metodologia 360º]” (P3, 3.º FG). Esta asserção corrobora estudos anteriores, que indicam que a esta metodologia, enquanto sistema de gestão e de avaliação de desempenho, permite colmatar algumas das limitações da avaliação tradicional (Brutus e Gorriti, 2005).

41A abrangência de perspetivas, característica de uma metodologia 360º, também poderá ser considerada como um aspeto positivo deste método, quando comparado com a avaliação de desempenho top-down. Nesse âmbito, os sujeitos que participaram no estudo em causa indicaram que a metodologia 360º poderá ter um caráter mais fiável do que a avaliação de desempenho tradicional: “À partida, se uma pessoa tem uma avaliação positiva tanto do colega do lado como do supervisor direto (ou do) vice-presidente… (…) Em princípio, alguma coisa está a fazer bem. Ou seja, é mais fiável, porque é mais difícil ter uma avaliação positiva em todos os campos se for avaliado por diferentes setores do que se for avaliado só pelo colega do lado que é amigo (…). Nesse aspeto, acho que pode ser mais fiável” (P3, 3.º FG). Neste caso, as informações provenientes da literatura não são consensuais. Por um lado, existem estudos que corroboram estas afirmações e defendem uma maior fiabilidade da metodologia 360º em relação à avaliação de desempenho top-down, devido à diversidade de perspetivas de vários avaliadores (Oh e Mount, 2011; Smither et al., 2005). Por outro lado, Van der Heijden e Nijhof (2004) – este último um dos investigadores de referência na presente área de estudo – contestam a premissa de que o recurso a múltiplas fontes aumenta a objetividade da avaliação, indicando que a soma de múltiplas subjetividades poderá ser fonte de mais subjetividade e não de mais objetividade.

42Um outro aspeto mencionado pelos participantes está relacionado com uma possível descentralização do poder avaliativo das chefias. Nesse sentido, os indivíduos referem que o facto de os resultados avaliativos não se encontrarem apenas dependentes da chefia poderá ser encarado como um aspeto positivo da metodologia 360º: “Acho que pode dar um ponto de vista mais transversal [referindo-se à metodologia 360º], porque, se houver o ponto de vista do cliente, da chefia, dos colegas… O cruzamento desses dados pode (…) dar um ponto de vista mais abrangente do que (…) sendo uma coisa vertical…” (P3, 3.º FG). Estes dados encontram-se na esteira dos que foram aferidos por McCarthy e Garavan (2001): a metodologia 360º é vantajosa na medida em que permite que os subordinados avaliem as suas chefias.

43Os inquiridos deixaram transparecer também que a metodologia 360º poderá providenciar uma avaliação do desempenho profissional dos colaboradores mais objetiva, distanciando-se das suas características de personalidade ou de aspetos relacionais. Neste caso, os indivíduos envolvidos no estudo reportaram-se a situações em que a metodologia 360º permite avaliar os colaboradores atendendo maioritariamente ao seu desempenho profissional e não tanto à qualidade das relações afetivas que estabelecem no seio organizacional, neutralizando, assim, a influência destas nos resultados avaliativos: “Eu acho que, se for transparente, se conseguirmos definir os objetivos a priori, se as pessoas (estiverem) conscientes de que objetivos é que têm de atingir, depois a questão qualitativa (é) em termos relacionais, em termos de comportamento dentro da empresa, do respeito, etc.. Não é o ‘eu gosto mais de ti’ ou o ‘gosto menos’; acho que é possível fazer com funções diferentes” (P4, 3.º FG); “Não é só a tua simpatia; tens de ir ao encontro das expetativas dos outros. E isso significa que tens de mudar uma postura dentro da companhia, que é a postura do ser a pessoa que resolve problemas” (P3, 4.º FG). Assim, segundo estes indivíduos a metodologia 360º possibilita uma avaliação do desempenho profissional dos colaboradores não atendendo tanto às relações afetivas que se estabelecem no seio organizacional. Mais uma vez, as informações vão ao encontro daquilo que é referenciado na literatura, pois, segundo alguns autores, a metodologia 360º permite um maior diálogo entre avaliadores e avaliados, possibilitando a concretização de avaliações mais claras e objetivas do que as permitidas pela avaliação de desempenho tradicional (Gomes et al., 2008).

44Finalmente, os sujeitos entrevistados referiram que a avaliação 360º poderá contribuir para pôr a descoberto possíveis conflitos latentes entre os colaboradores: “Pode mostrar é conflitos entre os membros da equipa…” (P6, 2.º FG); “O que te traz é um alerta (sobre) as pessoas com quem tu tens de te relacionar no teu trabalho. Ou seja: (…) tu és um menino bem-comportado ao pé do chefe (…) porque para os colegas és um sacana! Estás a ver? E és um menino bem-comportado ao pé do chefe, mas para baixo pisas a torto e a direito. (…) E esta avaliação 360º (permite-te) saber: ‘Espera lá, o menino bem-comportado se calhar não é assim tão bem-comportado quanto isso. Tem aqui uns problemas para resolver!’. Traz-te isto!” (P3, 4.º FG).

45 De igual modo, foi colocada em evidência pela amostra estudada a possibilidade de complementaridade entre as diferentes formas de avaliação de desempenho: “Para complementar! Acredito que sim. Ou seja, para cruzar a informação (…). Eu faço esta avaliação do meu colaborador, (e) já agora vou perceber o que é que a 360º me diz e cruzar essa informação. Pode ser útil aí como complemento, sim! (…)” (P4, 4.º FG). Uma vez mais, encontra-se paridade com a revisão da literatura elaborada, já que diversos autores gizam que a metodologia 360º se constitui como um sistema de gestão e de avaliação de desempenho que poderá colmatar eventuais limitações da avaliação de desempenho tradicional (Brutus e Brassard, 2005; Brutus e Gorriti, 2005), não sendo encarada como um complemento desta última. Assim, ao considerar-se este aspeto como um possível elemento facilitador da concretização da metodologia 360º, pode concluir-se que a presente investigação possibilitou o aprofundamento de conhecimentos a esse nível.

46Os resultados referentes à Dimensão III, “Perceções sobre as Barreiras à Metodologia 360º”, serão apresentados em seguida, podendo antes ser consultados na Figura 3.

47Para além dos elementos facilitadores, também foram mencionadas algumas barreiras à aplicação da metodologia 360º. Os indivíduos que participaram no estudo evidenciaram a sua maior complexidade e morosidade face a outros processos avaliativos: “Para mim a avaliação 360º tem dois fatores. É, por si só, mais complexa, porque é preciso ser bem (empregada), como o H. estava a dizer; é preciso saber bem os critérios claros (…)” (P5, 1.º FG). Estas considerações surgem em linha com dados provenientes de estudos anteriores, que indicam a existência de custos temporais elevados na metodologia 360º, resultantes da sua complexidade (i.e., recurso a múltiplos avaliadores e a múltiplas avaliações) (Bracken et al., 2001; Brutus e Brassard, 2005; Smither et al., 2004).

48Uma outra barreira apontada pelos inquiridos refere-se à dificuldade de aplicar a metodologia 360º em Portugal: “Se me disserem (…) ‘estamos numa conjuntura que dificulta as coisas’, claro que em Portugal é muito difícil haver uma avaliação 360º” (P5, 1.º FG); “Mas em Portugal acho um bocado difícil [referindo-se à aplicação da metodologia 360º], devido às mentalidades, não é?” (P1, 3.º FG). A dificuldade abordada pelos entrevistados prende-se sobretudo com o facto de as empresas atravessarem obstáculos financeiros acrescidos e de o tecido empresarial português ser composto maioritariamente por PME (Pequenas e Médias Empresas), que poderão não estar ainda preparadas e sensibilizadas para a importância desta forma de avaliação.

49A preparação inadequada para a avaliação na metodologia 360º foi outro aspeto referido pelos participantes como um possível entrave à aplicação deste método, tendo sido apontados quatro fatores principais. Em primeiro lugar, surgiu o desconhecimento do trabalho realizado pelas chefias: “Eu acho que às vezes o maior problema da avaliação 360º é mesmo (que) quem está mais em baixo não sabe o que é que é feito lá em cima, logo, não vai avaliar, porque não sabe como é que eles trabalham, o que é que é suposto eles fazerem; portanto, não vai saber avaliar. Tu precisas de (saber) o que é que é o pedido para conseguires avaliar, senão não consegues” (P1, 1.º FG). Em segundo lugar, o desconhecimento do trabalho desenvolvido pelos colegas: “Agora, se todos tivermos funções diferentes, aí não… Aí não… Eu não consigo avaliar a outra pessoa, não consigo!” (P1, 3.º FG). Em terceiro lugar, a possível influência das relações afetivas no processo avaliativo, principalmente por parte dos colegas. Neste caso, pese embora o perfil tendencialmente objetivo desta avaliação, alguns inquiridos reportaram-se a situações em que o caráter das relações afetivas, sobretudo entre colegas, poderá enviesar a forma como o processo avaliativo por metodologia 360º decorre. Assim, os indivíduos referiram que a avaliação tenderá a ser mais positiva quando existe uma boa relação entre as pessoas e mais negativa quando existe uma relação de conflito entre elas: “Depois, os teus colegas ou te dão notas máximas se gostam de ti… (Ou) se não gostam de ti dão-te piores ainda que a chefia. Por isso, não conta…” (P4, 1.º FG); “A pessoa reconhece muito mais legitimidade à pessoa X para a avaliar do que à pessoa Y, devido à relação que tem com ela ou à simpatia (…). Se for uma colega muito próxima (…), com quem se bebe café todos os dias, pronto, é uma coisa que temos de fazer, mas somos amigas (…)” (P3, 3.º FG). Em quarto lugar, e por último, o enviesamento dos resultados da autoavaliação: “Eu… (…) A minha autoavaliação, normalmente, puxo para cima…” (P4, 1.º FG). Na verdade, e ao contrário daquilo que estes entrevistados defenderam, alguns autores têm vindo a considerar que poderá ser possível conhecer o trabalho realizado pelas chefias e/ou pelos colegas. Por um lado, considera-se que o incremento do trabalho em equipa tem vindo a fomentar as avaliações realizadas pelos pares; por outro, supõe-se que seja possível os subordinados avaliarem as suas chefias, tendo em conta que conhecem a forma como estas organizam, delegam e comunicam as tarefas a desenvolver (Gomes et al., 2008).

50A última barreira apontada pelos participantes diz respeito aos constrangimentos que poderão advir do facto de os subordinados avaliarem as suas chefias, receando-se eventuais represálias: “Eu não consigo avaliar uma chefia direta, porque… É um facto: a avaliação 360º vai dizer que eu posso avaliar a minha chefia. A questão é que de hoje para amanhã (…) eu tenho um filho… Para o mês que vem vou ser promovido… Se eu avalio mal, ele vai-me cortar (…)” (P5, 1.º FG). Por outro lado, os inquiridos consideraram possível que as chefias rejeitem a avaliação por parte dos subordinados, na medida em que essa poderá, de certa forma, destituí-los da sua condição de poder: “Um chefe ser avaliado por um subordinado? Ele não gosta muito, com certeza, porque as pessoas não gostam de ser postas em causa, não é?” (P1, 3.º FG). Os dados aqui aferidos estão também documentados por estudos anteriores (McCarthy e Garavan, 2001, Smither et al., 2004).

Principais Conclusões

51Na generalidade, verificou-se que os indivíduos que participaram no estudo identificam a avaliação 360º como relevante. Os dados obtidos surgem na esteira das indicações da literatura da especialidade, embora alguns deles se constituam como inovadores – na medida em que algumas dimensões não haviam sido previamente abordadas noutros estudos (e.g. a metodologia 360º como um complemento à avaliação de desempenho tradicional). Os resultados apresentados permitem-nos, também, identificar possíveis relações entre as barreiras à avaliação de desempenho tradicional e os elementos facilitadores da avaliação 360º, aspeto que poderá ser analisado aprofundadamente em estudos futuros. Para além disso, os dados obtidos permitem-nos refletir sobre a relevância dos processos avaliativos no seio organizacional, remetendo-nos para a necessidade de ser aplicada uma metodologia 360º, através da qual se torne possível a participação ativa de todos os atores. Esta participação ativa dos colaboradores (mencionada pelos participantes) leva-nos a concluir que a aplicação da avaliação 360º poderá promover uma comunicação organizacional mais horizontal.

52Os discursos dos entrevistados permitem-nos perceber, também, outras vantagens da avaliação 360º para a comunicação estabelecida entre os atores organizacionais, como por exemplo comunicações mais abertas ou uma redução das distorções comunicativas, uma vez que se verifica uma maior distribuição do poder (i.e., menos receio dos colaboradores quanto a comunicar com os seus superiores hierárquicos).

53São igualmente dignos de realce alguns obstáculos à sua aplicação em cenários de trabalho nacionais, tendo sido estes mencionados pelos participantes neste estudo. Os principais entraves prendem-se com aspetos como o desconhecimento que os atores organizacionais têm relativamente ao trabalho que é desenvolvido pelos seus pares (dificuldade que poderá acentuar-se quando os participantes desempenham funções muito diferentes das que são levadas a cabo pelos seus colegas avaliadores); a possível influência de relações afetivas no processo avaliativo (situações em que o caráter das relações afetivas, sobretudo entre colegas, poderá enviesar a forma como este processo avaliativo decorre); ou o enviesamento dos resultados da autoavaliação (tendência que os colaboradores poderão ter para enviesar os resultados das suas autoavaliações). Por último, refere-se o receio de represálias (inibição por parte dos subordinados quanto a avaliarem as suas chefias). Todas estas questões poderão ser responsáveis por avaliações menos eficazes.

54O presente estudo apresenta algumas limitações ao nível do processo de recolha de dados. A utilização de uma amostra de conveniência poderá ter colocado em causa a sua fiabilidade e a representatividade. Uma outra limitação prende-se com o facto de em alguns grupos de discussão focalizada terem estado presentes indivíduos que se conheciam previamente, o que, apesar de permitir um maior conforto na participação, poderá ter conduzido a uma concordância excessiva de opiniões, colocando em causa a riqueza dos dados recolhidos. O facto de a maioria dos participantes não ter uma experiência pessoal com a avaliação 360º e pertencer a uma PME poderá, também, ter condicionado as suas respostas, uma vez que, tal como mencionado ao longo da revisão de literatura, a aplicação da metodologia 360º não poderá ser indissociável das particularidades de cada organização.

Implicações teóricas e práticas do presente estudo

55A nível teórico, tornou-se possível confirmar a relevância da metodologia 360º, uma vez que esta poderá contornar algumas das principais limitações da avaliação de desempenho top-down. Por outro lado, identificaram-se eventuais barreiras à concretização da avaliação 360º e elementos facilitadores desta, para além daqueles que haviam sido evidenciados na revisão de literatura. Nesse sentido, potenciou-se um enriquecimento do conhecimento sobre a temática, principalmente a nível nacional.

56Em termos operacionais, considera-se que as perceções dos entrevistados sobre a aplicação da metodologia 360º no mercado de trabalho português se tornam relevantes para compreender as suas experiências pessoais e, consequentemente, tentar ultrapassar possíveis limitações dos processos avaliativos e comunicativos vigentes. Portanto, a comunicação entre os colaboradores poderá tornar-se mais eficaz, uma vez que a avaliação 360º contribui para o estabelecimento de uma comunicação mais horizontal e, consequentemente, para uma diminuição de falhas comunicativas (Heijden e Nijhof, 2004; Mamatoglu, 2008).

57Estas informações poderão tornar-se pertinentes para desenvolver futuros projetos que promovam a aplicação de sistemas de avaliação de desempenho e de comunicação em organizações portuguesas que pretendam fomentar o desenvolvimento pessoal e profissional dos colaboradores.

Topo da página

Bibliografia

Aguinis, H. (2007). Performance Management. New Jersey: Prentice Hall.

Becton, J., e Schraeder, M. (2004). Participant Input into Rater Selection: Potencial Effects on the Quality and Acceptance of Ratings in the Context of 360-Degree Feedback. Public Personnel Management, 33: pp. 23-32.

Bracken, D., Timmreck, C., e Church, A. (2000). The Comprehensive Resource for Designing and Implementing MSF Processes. In D. W. Bracken, C. W. Timmreck., A. H. Church (Ed.), The Handbook of Multisource Feedback. New York, Jossey-Bass.

Bracken, D., Timmreck, C., Fleenor, J., e Summers, L. (2001). 360-Feedback From Another Angle. Human Resource Management, 40: pp. 3-20.

Bracken, D., e Rose, D. (2011). When Does 360- Degree Feedback Create Behavior Change? And How Would We Know It When It Does? Journal Business Psychology, 26: pp. 183-192.

Brutus, S., e Brassard, N. (2005). Unbilan de l’évaluation multisource. Gestion, 30: pp. 24-30.

Brutus, S., e Gorriti, M. (2005). La Evaluación Multifuente Feedback 360º. Revista de Psicología del Trabajo y de las Organizaciones, 21: pp. 235-252.

Caetano, A. (2008). Avaliação de Desempenho: O essencial que avaliadores e avaliado precisam de saber. Lisboa, Livros Horizonte.

Craig, S., e Hannum, K. (2006). Research update: 360-degree performance assessment. Consulting Psychology Journal: Practice and Research, 58: pp. 117-124.

Felts, A. (1992). Organizational Communication: A Critical Perspective, Administration e Society, 23: pp. 494-513.

Gagnon, E. (2000). How to Measure Work. Material Handling e Logistics, 55: pp. 71-77.

Gillespie, L., e Parry, R. (2006). Fuel for Litigation? Links between Procedural Justice and Multisource Feedback: JMI. Journal of Managerial Issues, 18: pp. 530-546.

Gomes, J., Cunha, M., Rego, A., Cunha, R., Cardoso, C., e Marques, C. (2008). Manual de Gestão de Pessoas e do Capital Humano. Lisboa, Edições Sílabo.

Heijden, B., e Nijhof A. (2004). The Value of Subjectivity: Problems and Prospects for 360-Degree Appraisal Systems, International Journal of Human Resource Management, 15: pp. 493-511.

Hensel, R., Meijers, F., Leeden, R. e Kessels, J. (2010). 360- degree feedback: how many raters are needed for reliable ratings on the capacity to develop competences, with personal qualities as developmental goals? The International Journal of Human Resource Management, 21(15): pp. 2813-2830.

Kline, T., e Sulsky, L. (2009). Measurement and Assessment Issues in Performance Appraisal. Canadian Psychology, 50: pp. 161-171.

Kraut, R., Fish, R., Root, R. e Chalfonte, B. (1990). Informal Communication in Organizations: Form, Function and Technology, SAGE publications.

Krueger, R. A., e Casey, M. A. (2000). Focus groups: a practical guide for applied

research. (3rd ed.). Thousand Oaks, SAGE.

Mamatoglu, N. (2008). Effects on Organizational Context (Culture and Climate) from Implementing a 360-Degree Feedback System: The Case of Arcelik, European Journal of Work and Organizational Psychology, 17: pp. 426-449.

McCarthy, A., e Garavan, T. (2001). 360 [degrees] feedback process: performance, improvement and employee career development. Journal of European Industrial Training, 25: pp. 5-32.

Miller, K. (2011). Organizational Communication: Aproaches and Processes, Boston, Wadsworth Cengage Learning.

Morgeson, F., Mumford, T., e Campion, M. (2005). Coming Full Circle: Using Research and Practice to Adress 27 Questions About 360-degree Feedback Programs. Consulting Psychology Journal: Practice and Research, 57: pp. 196-209.

Mucha, M. (2011). Performance Management Self Evaluation. Government Finance Review, 27: pp. 43-46.

Nowack, K. (2009). Leveraging Multirater Feedback to Facilitate Sucessful Behavioral Change. Consulting Psychology Journal, 61: pp. 280-297.

Oh, I., e Mount, G. (2011). Validity of Observer Ratings of the Five-Factor Model of Personality Traits: A Meta-Analysis. Journal of Applied Psychology, 96: pp. 762-773.

Radnor, Z., e Barnes, D. (2007). Historical analysis of performance measurement and management in operations management. International Journal of Productivity and Performance Management, 56: pp. 384-396.

Ruão, T. (1999). A Comunicação Organizacional e a Gestão de Recursos Humanos: Evolução e Atualidade, Cadernos do Noroeste, 12: pp. 179-194.

Schullery, N., Knudstrup, P., Schullery, S., e Pfaff, L. (2009, November). The Relationship Between Personality Type and 360-Degree Evaluation of Management Skills. Journal of Psychological Type, 69: pp. 141-155.

Seifert, C., McDonald, R., e Yukl, G. (2003). Effects of Multisource Feedback and a Feedback Facilitator on the Influence Behavior of Managers Toward Subordinates. Journal of Applied Psychology, 88: pp. 561-569.

Shaun, T., e Peter, W. (2004). The Use of 360 Degree Feedback Technique in the Evaluation of Management Development. Management Learning, 35(2): pp. 205-223.

Smither, J., London, M., Reilly, R., Flautt, R., Vargas, Y., e Kucine, I. (2004). Discussing multisource feedback with raters and performance improvement. Journal of Management Development, 23: pp. 456-468.

Smither, J., London, M., e Reilly, R. (2005). Does Performance Improve Following Multisource Feedback? A Theoretical Model, Meta-Analysis, and Review of Empirical Findings. Personnel Psychology, 58: pp. 33-66.

Tannenbaum, S. (2006). Applied performance measurement: Practical issues and challenges. In Bennett, W., Jr., Lance, C., & Woehr, D. (Ed.), Performance measurement: Current perspectives and future challenges. New Jersey, Lawrence Erlbaum Associates: pp. 297-319.

Thomas, L. G. e D'Aveni, R. (2008). The changing nature of competition in the US manufacturing sector, 1950-2002. Strategic Organization [S.I.], 7(4), pp. 387-431.

Tyssen A, Wald, A, e Spieth, P. (2013). The challenge of transactional and transformational leadership in projects. International Journal of Project Management, 78(1): pp. 86-97.

Vala, J. (2005). A análise de conteúdo. In Silva, A. S., e Pinto, J. M, Metodologia das ciências sociais. Porto: Edições Afrontamento: pp. 101-128.

Topo da página

Para citar este artigo

Referência eletrónica

Rita Andreia Monteiro Mourão, Sandra Miranda e Nelson Ramalho, «A Avaliação de Desempenho a 360º no Mercado de Trabalho Português: Facilitadores e Barreiras»Comunicação Pública [Online], Vol.10 nº 19 | 2015, posto online no dia 15 dezembro 2015, consultado o 28 janeiro 2022. URL: http://journals.openedition.org/cp/1088; DOI: https://doi.org/10.4000/cp.1088

Topo da página

Autores

Rita Andreia Monteiro Mourão

ritaandreiamourao@gmail.com

ISCTE – Instituto Universitário de Lisboa

Artigos do mesmo autor

Sandra Miranda

smiranda@escs.ipl.pt
Escola Superior de Comunicação Social – Instituto Politécnico de Lisboa
Morada para correspondência:
Campus de Benfica do IPL,
1549-014 Lisboa

Artigos do mesmo autor

Nelson Ramalho

Nelson.Ramalho@iscte.pt

ISCTE – Instituto Universitário de Lisboa

Topo da página

Direitos de autor

Licença Creative Commons
Comunicação Pública Este trabalho está licenciado com uma Licença Creative Commons - Atribuição-NãoComercial 4.0 Internacional.

Topo da página
Pesquisar OpenEdition Search

Você sera redirecionado para OpenEdition Search