External evaluation 2022 report brief

Avaliação externa realizada por: (Veja o relatório completo)

Em 2021 e 2022, as atividades de aprendizagem à distância continuaram a desempenhar um papel muito importante na carteira de serviços do Centro e a garantia da qualidade destas atividades de aprendizagem à distância é de importância primordial para a sustentabilidade da organização. A avaliação externa do Centro de 2022 centrou-se novamente nas atividades de aprendizagem em linha do Centro.

Esta reavaliação centrou-se exclusivamente nas atividades de formação que foram integralmente realizadas num formato em linha e abrangeu uma amostra de vinte atividades de formação oferecidas em 2021. Em relação à avaliação anterior de 2021, a reavaliação incorporou ainda uma abordagem comparativa, um enfoque tecnológico e elementos de conceção da experiência educativa específicos.

O objetivo da reavaliação era fornecer à liderança e à gestão do Centro provas da relevância, validade da conceção, eficácia, eficiência, impacto e sustentabilidade das suas atividades de formação totalmente em linha, avaliar quais as modalidades de formação em linha mais eficazes e eficientes, explorar as boas práticas, os ensinamentos retirados e formular recomendações para a melhoria e o desenvolvimento das atividades de formação em linha do CIF-OIT.

A avaliação foi realizada utilizando uma abordagem metodológica mista. Foi inicialmente realizada uma análise documental dos dados e relatórios disponíveis, incluindo uma análise sistemática da conceção da experiência educativa dos cursos analisados. Foram então recolhidos dados quantitativos por meio de um inquérito com uma amostra de 792 participantes de 130 países. Por último, foram utilizados métodos de avaliação qualitativa, incluindo entrevistas semiestruturadas com o pessoal do Centro envolvido na conceção e realização das vinte atividades de formação em linha, entrevistas semiestruturadas com parceiros institucionais, debates em grupo com antigos participantes e desenvolvimento de estudos de caso de impacto.

Para avaliar as experiências de aprendizagem dos/as participantes nas atividades de formação em linha do CIF-OIT, foi utilizado um instrumento para medir as três dimensões do quadro da Comunidade de Investigação (CoI), ou seja, a presença do ensino, a presença social e a presença cognitiva.

3.1 Pertinência e alcance

• O Centro serviu com êxito os seus grupos-alvo em 2021.

• O Centro tem desempenhado eficazmente o seu papel na prestação de formação especializada aos constituintes da OIT sobre diferentes aspetos da Agenda para o Trabalho Digno, através da oferta de atividades de formação em linha.

• Não há provas de que as atividades de formação em linha do Centro não tenham conseguido alcançar os seus grupos-alvo ou ministrar a formação exigida pelos seus beneficiários, parceiros e doadores.

• O Centro desempenhou um papel fundamental durante a pandemia de COVID-19d, ajudando as organizações parceiras e os/as participantes em todo o mundo a enfrentar as rápidas mudanças e os desafios associados; cada unidade, com base nos seus conhecimentos e na sua experiência de ensino há muito estabelecidos, desenvolveu rapidamente atividades de formação em linha relevantes para as situações de pandemia, que foram consideradas valiosas e críticas pelos/as aprendentes participantes.

• Devido ao crescimento da oferta de aprendizagem em linha e à distância na carteira de formação do CIF-OIT, o Centro pode atingir mais de 50 000 aprendentes por ano, o dobro do número alcançado antes da pandemia de COVID-19 de 2020.

• As atividades de formação presencial voltaram a aumentar, mas a um nível inferior, em comparação com o biénio 2018–19.  No entanto, a aprendizagem à distância continua a ser, claramente, a modalidade mais frequente em 2021. 

• Com a formação em linha, é possível alcançar um público mais vasto e diversificado, especialmente participantes de países de baixo e médio rendimento.

• Com base nas suas experiências com a aprendizagem em linha, os/as participantes foram questionados sobre o tipo de formato que prefeririam no futuro, escolhendo entre três diferentes modos de realização. Quase 70 % dos/as participantes continuam a preferir um formato digital de algum tipo no futuro.

• Em comparação com a avaliação do ano anterior, a modalidade de aprendizagem mista continua a ser a primeira opção dos/as participantes, aumentando ligeiramente no mesmo nível (de 39,6 para 40,9 %), enquanto a procura de aprendizagem em linha total diminuiu (de 35,7 para 27,2 %) e o desejo de formação presencial aumentou (de 28,8 para 32,0 %)

• Os resultados das preferências por região são congruentes com os do ano anterior. As diferenças entre países e regiões podem estar associadas a questões relacionadas com a infraestrutura técnica, a ligação à Internet e o acesso a dispositivos digitais.

3.2 Validade da conceção da experiência educativa

• De um modo geral, os/as participantes dos vinte cursos selecionados parecem estar bem equipados com dispositivos técnicos e ferramentas para aceder aos cursos em linha do CIF-OIT.

• Em contraste com a avaliação anterior, os/as participantes não mencionaram dificuldades no acesso aos cursos em linha através de dispositivos móveis, para além de questões gerais de conectividade que não estão relacionadas com os serviços de eCampus do CIF-OIT.

• 93,2 % dos/as participantes relataram ser capazes de escolher livremente e usar diferentes dispositivos (PC, computadores portáteis, telemóveis, tablets) para a realização da aprendizagem em linha.

• O acesso e a navegação no sistema de aprendizagem em linha, eCampus, não é um problema, com classificações médias acima de 4,0.

• As questões técnicas relacionadas com a participação regular em atividades de formação em linha continuam a constituir um problema. Os/as participantes de países africanos relataram problemas graves.

• Tal como na avaliação anterior, as pontuações médias para os pontos relacionados com o apoio técnico e a orientação são ambas inferiores a quatro. Assim, ainda há margem para melhorias no que se refere à informação dos/as participantes sobre onde encontrar ajuda e o tempo de resposta do apoio técnico.

• No entanto, o Centro adicionou apoio técnico mais explícito aos utilizadores do eCampus. Na primeira vez que iniciam a sessão, é oferecido aos novos utilizadores um tutorial separado sobre como navegar no eCampus; de forma mais positiva, metade das atividades analisadas ofereceu uma introdução adicional aos seus próprios sítios Web do eCampus e, em muitos casos, os/as tutores/as das atividades gravaram um breve vídeo introdutório

• Uma ligação robusta à Internet é um pré-requisito para participar na aprendizagem em linha. No entanto, a qualidade e a fiabilidade da ligação à Internet variam entre os países e regiões.

• Em áreas com uma menor largura de banda e ligações instáveis, as ferramentas de comunicação assíncrona para a entrega de conteúdos e meios são preferíveis porque os/as participantes podem iniciar a sessão, comunicar e descarregar o material de aprendizagem num momento conveniente, quando a Internet estiver disponível. Em contrapartida, a videoconferência síncrona requer uma maior largura de banda e uma ligação estável.

• Os meios e ferramentas digitais utilizados para a interação síncrona e assíncrona nos vários formatos de aprendizagem em linha desempenham um papel importante na melhoria da acessibilidade e da escalabilidade dos programas de aprendizagem em linha. Quando foi perguntado aos/às participantes se a conferência por computador assíncrona e o conteúdo de vídeo assíncrono, em comparação com a videoconferência síncrona, era usado com muita frequência, apenas o suficiente, ou não com frequência suficiente, as respostas indicaram que a frequência de utilização de ferramentas assíncronas e síncronas era, em média, a correta.   

• A videoconferência síncrona requer maior largura de banda e uma boa ligação à Internet. Muitos participantes da África e do Médio Oriente - as regiões com uma ligação à Internet mais lenta - disseram que passaram demasiado tempo em videoconferência síncrona.

• As três dimensões do quadro da Comunidade de Investigação (CoI) foram medidas utilizando uma escala de 5 pontos. Os resultados indicaram que os criadores e facilitadores de cursos do CIF-OIT conseguiram oferecer cursos em linha altamente envolventes, interativos e solidários, que proporcionaram oportunidades para experiências de aprendizagem ricas e profundas.

• Entre os vinte cursos analisados, sete foram eficazmente concebidos para proporcionar aos/às participantes um sentimento de presença de ensino bom ou razoável, e outras duas atividades proporcionaram um excelente sentimento de presença de ensino.

• Todas as atividades analisadas incluíram webinars regulares ou frequentes no decurso dos quais foi ministrado aos/às participantes a maior parte do ensino e da instrução diretos.

• Seis cursos endereçaram aos/às participantes uma mensagem de boas-vindas. Metade dos cursos forneceu uma introdução separada. Onze cursos integraram um fórum para perguntas e respostas ou informações de contacto específicas para apoio técnico. Duas atividades proporcionaram aos/às participantes a oportunidade de interagir diretamente com os/as seus/suas tutores/as.

• Dezanove atividades incluíam elementos de ensino síncronos, através dos quais os/as participantes podiam conhecer os/as seus/suas tutores/as e experimentar o ensino direto. Treze entre estas disponibilizaram gravações dos webinars.

• Entre os vinte cursos analisados, sete foram eficazmente concebidos para proporcionar aos/às participantes um sentimento de presença social bom ou razoável, e duas outras atividades proporcionaram um excelente sentimento de presença social.

• A maioria das atividades proporcionou webinars regulares durante os quais era provável que os/as participantes vissem outros/as participantes.

• Entre os vinte cursos, mais de metade proporcionou aos/às participantes a oportunidade de se encontrarem formalmente com os/as colegas e de se apresentarem a outros/as participantes, tendo sido uma funcionalidade do Google Maps que indica a localização geográfica dos/as participantes o recurso mais frequentemente utilizado. Apenas seis atividades ofereceram oportunidades de aprendizagem colaborativa. Nem todos os trabalhos em grupo foram, no entanto, bem facilitados.

• Onze atividades integraram um fórum de discussão. A maioria desses fóruns sem tópicos de discussão guiada não foi utilizada ativamente pelos participantes.

• Entre os vinte cursos analisados, seis atividades foram eficazmente concebidas para proporcionar aos/às participantes um sentimento de presença cognitiva excelente, e oito outras atividades proporcionaram um bom ou razoável sentimento de presença cognitiva. Não conseguimos encontrar muitas provas de um bom sentido de presença cognitiva em cinco atividades. Duas dessas cinco atividades parecem ter provocado uma sobrecarga cognitiva nos/as participantes. Uma atividade tem um sítio Web do eCampus pouco desenvolvido, que não forneceu informação adequada para avaliar a presença cognitiva potencialmente percebida pelos/as participantes. 

• Entre as vinte atividades de formação analisada, três duraram menos de uma semana, uma durou duas semanas e duas duraram três semanas. As restantes prolongaram-se por mais de um mês. As horas de aprendizagem previstas variavam entre essas atividades, de três a vinte horas por semana, com uma média de cinco horas por semana. Dado que a maioria dos/as participantes na formação têm empregos a tempo inteiro e outros compromissos sociais, parece razoável esperar que não dediquem mais de 10 horas por semana à formação. Quatro atividades não indicaram as horas de aprendizagem previstas, o que não ajudaria os/as participantes a desenvolver um bom sentido de presença cognitiva. Por outro lado, várias atividades indicaram as horas de aprendizagem previstas de forma demasiado específica.

• Dois dos vinte cursos analisados parecem ter uma carga de trabalho excecionalmente pesada, e os/as estudantes provavelmente teriam de lhes dedicar muito mais tempo do que as horas de aprendizagem indicadas.

• A maioria dos cursos analisados tinha uma divisão clara da atividade com um número de subunidades a ter lugar, de forma consistente e regular, diária e semanalmente. O restante tem distribuição irregular de subunidades no período de atividade.

• Nove atividades proporcionaram uma avaliação anterior à atividade em diferentes formatos; entre as restantes, sete atividades têm uma duração superior a quatro semanas; assim, poderia ter sido útil facultar esta avaliação para os/as participantes desenvolverem um sentido mais forte do seu desenvolvimento cognitivo e intelectual ao longo do período de atividade. Por outro lado, a maioria das atividades incluía uma avaliação após a atividade. 

• Embora a maioria das atividades analisadas tenha fornecido um calendário claro, apenas seis forneceram um manual abrangente aos seus participantes.

• Nove atividades proporcionaram recursos adicionais; entre elas, duas proporcionaram cursos adicionais que os/as participantes poderiam frequentar, o que é particularmente recomendável. Outras duas entre as nove, no entanto, parecem ter fornecido muita informação adicional, o que pode diminuir o sentido percebido de presença cognitiva entre os/as participantes. 

• O Centro melhorou a conceção e a consistência estrutural em todas as atividades de formação em linha oferecidas no eCampus, o que pode ajudar os/as aprendentes a navegar de forma mais conveniente e fácil nos diferentes sítios Web dos cursos, reduzindo potencialmente a sobrecarga cognitiva.

3.3 Eficácia

• Os cursos analisados alcançaram, de facto, os seus objetivos imediatos. Os resultados do inquérito aos/às aprendentes (bem como os resultados da avaliação do curso) sugerem que muitos acharam o seu envolvimento com as atividades benéfico, contribuindo para a sua prática e desenvolvimento profissionais. A fórmula simples – os bons objetivos adequados conduzem a bons resultados – foi observada neste processo de revisão. 

• A média de resultados de avaliação de participantes de dezassete cursos em linha foi de 4,3 em 5.

• Os resultados do inquérito aos/às participantes demonstraram que estes realizaram progressos satisfatórios dos seus conhecimentos e desenvolvimento de competências durante o período do curso.

• A qualidade global das atividades de formação em linha foi avaliada em 4,12, tendo 78 % dos/as participantes respondido com «muito bom» ou «bom». A eficácia do formato de formação também foi avaliada como relativamente positiva, com 4,01, tendo 72 % dos/as participantes escolhido a classificação «muito bom» ou «bom».

• No seguimento do impressionante resultado do último ano (98,3 %), 97,4 % dos/as participantes responderam que recomendariam aos seus colegas as atividades de formação em causa. 

• Mais de metade dos/as participantes no inquérito deram um exemplo concreto para mostrar de que forma a participação nas atividades de formação teve utilidade prática para a obtenção de resultados no seu trabalho.

• Dois grupos de discussão com seis aprendentes também confirmaram a avaliação positiva a este respeito. A perspetiva do/a aprendente sobre a eficácia das atividades de formação em linha foi altamente positiva.

• Em comparação com o enorme sentimento de incerteza e serendipidade que emergiu durante os inquéritos ao pessoal do ano passado, as descrições efetuadas pelo pessoal da conceção das suas atividades e a fundamentação para tal conceção foram muito claras, confiantes e, na maioria dos casos, convincentes.

• É evidente que o Centro alcançou com êxito o importante marco em termos das suas atividades de formação em linha, uma vez que o pessoal parece estar globalmente de acordo que a formação em linha é uma parte essencial das atividades do Centro.

• Os membros do pessoal parecem compreender bem as vantagens das abordagens de formação mista, não só em termos de combinação de atividades presenciais e em linha, mas também de combinação de atividades síncronas e assíncronas.

• Há, entre alguns membros do pessoal, um desejo claro de ter um mecanismo «sistemático» para a receção de feedback sobre a forma como estão a desempenhar a sua função e apoio «personalizado» para melhorar as suas práticas de ensino em linha.

• Embora o aumento da diversidade entre os/as participantes das atividades seja digno de nota e comemoração, também sugere um aumento da diversidade das necessidades dos/as participantes, colocando desafios subsequentes para os gestores de atividades e tutores/as.

• A expansão tecnológica alcançada pelo Centro num período tão curto é positiva. Além disso, a forma como a tecnologia RV foi utilizada nas atividades de formação analisadas este ano é certamente muito mais avançada e sofisticada.

• A maioria das atividades de formação analisadas empregava princípios básicos de acessibilidade. No entanto, as questões de acessibilidade ainda precisam de ser discutidas num sentido mais prático e específico.

• A analítica de dados dos/as aprendentes está em rápido desenvolvimento como uma das prioridades estratégicas do Centro para os próximos anos. Tais direções futuras abarcam, ambiciosamente, as possibilidades de análise de um conjunto de dados de aprendentes mais extenso, recolhido em diferentes plataformas, usando várias ferramentas.

3.4 Eficiência

• Todas as vinte atividades de formação em linha analisadas geraram receitas, cobrindo os custos diretos.

• À semelhança dos resultados da avaliação anterior, as atividades de formação em linha do Centro são altamente eficientes com base numa fórmula relativamente simples de entradas e saídas.

• O Centro redistribuiu e investiu eficazmente algumas das suas receitas para fazer avançar a infraestrutura tecnológica necessária ao desenvolvimento e à realização de atividades de formação em linha de qualidade. A maior parte do investimento financeiro em formação em linha é normalmente feita antecipadamente como despesas fixas únicas. Uma vez efetivamente criadas as infraestruturas tecnológicas e os mecanismos operacionais necessários, tende a verificar-se uma diminuição significativa das despesas correntes das atividades de formação em linha.

• É bem conhecido o resultado positivo dos investimentos em curso do Centro provenientes do fundo de desenvolvimento do pessoal para melhorar a utilização do eCampus pelo pessoal. O Centro melhora continuamente as funções pedagógicas do seu eCampus, inserindo diversas ferramentas técnicas e aplicações. Este investimento pode ser globalmente considerado eficiente.

• O Centro também investiu um nível significativo de recursos numa série de inovações na sua infraestrutura digital e estrutura organizacional, a fim de apoiar melhor o seu pessoal e (organizações parceiras) na melhoria da qualidade da oferta de formação em linha.

• O número crescente de atividades de formação em linha que integram eficazmente a tecnologia avançada de RV/RA, ou estão totalmente centradas nesta tecnologia, também comprova o êxito do investimento do Centro na inovação digital. 

• Em 2021, o Centro desenvolveu continuamente o seu «espaço físico dedicado à inovação da aprendizagem», que inclui uma série de ferramentas tecnológicas avançadas no campus de Turim, executando o Plano de Ação para a Inovação na Aprendizagem em todo o Centro, em 2018–21.

• É bastante evidente que o Centro desenvolveu com sucesso a sua reputação, desempenhando papéis importantes na realização de transformações digitais nacional e internacionalmente, e com um Laboratório de Inovação atualmente em desenvolvimento.

• O Centro também fez grandes investimentos na sua estrutura organizacional para apoiar melhor a oferta de formação em linha.

• Os conhecimentos e as competências especializadas do pessoal aumentaram significativamente em 2021, o que também pode ser vistcomo prova da eficiência da operação financeira global do Centro no que respeita ao desenvolvimento do pessoal. No entanto, a maioria dos membros do pessoal teria preferido receber feedback direto sobre as suas práticas de ensino, ao invés de participar em sessões de desenvolvimento de pessoal oficiais e pontuais.

• Não é necessariamente verdade que a formação em linha seja mais barata do que a formação presencial, se o trabalho humano for calculado como o principal «custo» da prestação eficaz das atividades de formação em linha. A análise não consegue esclarecer qual o montante dos recursos que foram investidos de forma eficiente em tais questões de organização do pessoal. 

3.5 Impacto

• A grande maioria dos/as participantes no inquérito concordou ou concordou fortemente (90,4 %) que os cursos que frequentaram forneceram muitos exemplos que traduziam a teoria em prática.

• Uma maior percentagem dos/as participantes concordou ou concordou fortemente que poderiam aplicar os conhecimentos obtidos no curso aos seus ambientes de trabalho (94,1 %).

• 52,2 % dos/as entrevistados/as apresentaram exemplos concretos da aplicação dos conhecimentos após a formação em linha.

• Os/as participantes comunicaram que conseguiram melhorias significativas ou muito significativas em termos das suas competências (68,2 %) e do desempenho no emprego (60,8 %) em resultado das atividades de formação.

• Com base nas entrevistas e discussões em grupo, foram escritos três estudos de caso que capturam efetiva e claramente os impactos positivos das atividades de formação em linha do Centro.

As conclusões e recomendações são elaboradas de acordo com os cinco critérios de avaliação do curso (relevância, alcance, validade da conceção da experiência educativa, eficácia, eficiência e impacto) e as três dimensões de desempenho definidas no plano estratégico do CIF-OIT para 2022–25 (desempenho técnico, desempenho financeiro e desempenho institucional).

Veja a resposta da gestão do CIF-OIT