QA Events

 
Report brief
Garantia da qualidade na gestão de eventos

Relatório original elaborado por:

Lisa Collett

Lisa Collett

International Education Technical Expert
Slaven

Gordon Slaven

Consultant- Organisational Development, International Higher Education
Rebecca Stomeyer

Rebecca Stromeyer

Founder & CEO at eLearning Africa, Conference Chair at OEB Global Conference
1. Contexto operacional

Um dos serviços não ligados à formação oferecidos pelo Centro é a facilitação de reuniões e eventos. A carteira desses serviços de gestão de eventos tem vindo a expandir-se rapidamente nos últimos anos com base em formatos não tradicionais, como feiras virtuais e conferências em linha. Prevê-se um maior crescimento da carteira em 2022–23, uma vez que é provável que os eventos em linha com um público mundial, em particular, satisfaçam a procura devido a preocupações ambientais e de saúde e segurança, mas também a considerações de custos.

Para consolidar e aumentar ainda mais a sua presença no segmento dos serviços de gestão de eventos nos próximos anos, o CIF-OIT procurou aconselhamento especializado sobre a criação de um sólido sistema de garantia da qualidade específico para o canal, baseado nos princípios de qualidade promovidos pela Organização Internacional de Normalização.

 

O objetivo de um sistema de gestão da qualidade

consiste em introduzir melhorias contínuas no sistema global. Assim, o objetivo é desenvolver uma abordagem inovadora que funcione bem, capte práticas excelentes e lições aprendidas, que possam ser partilhadas e incorporadas no sistema como um todo.  

 

  • Para fins internos: Alcançámos o nosso objetivo? (objetivo/resultados) Como podemos saber se os nossos eventos são bem-sucedidos? (medidas de avaliação) Estamos a gastar o nosso orçamento de forma eficiente? (resultados financeiros) Os nossos eventos são melhores do que os de outras organizações semelhantes? (avaliação comparativa)  
  • Para fins externos: os nossos clientes estão satisfeitos com os nossos serviços? Que feedback nos deram?  Pensam voltar a trabalhar connosco?
2. Gestão de eventos no CIF-OIT

 

As Propostas de Programa e Orçamento para 2022–23 do CIF-OIT destacam «uma nova combinação de serviços», que expõe como a CIF-OIT tenciona passar de uma única tónica no desenvolvimento de capacidades individuais para o desenvolvimento de competências institucionais, tanto dos constituintes como das organizações parceiras. As reuniões e os eventos constituem um dos seis «serviços não ligados à formação».

 

The new service mix

A primeira distinção clara nos eventos do CIF-OIT é entre os eventos internos e os realizados para/com outros organismos da ONU.

A segunda distinção clara é entre eventos de pequena escala, locais ou regionais, e eventos globais de grande escala.

A terceira distinção é entre empresa a empresa (B2B): eventos que são construídos em torno das necessidades de um cliente institucional pagante, e empresa a consumidor (B2C), em que o CIF-OIT comercializa um evento diretamente a clientes pagantes.

 

O CIF-OIT pode organizar eventos que:

  • Comuniquem um propósito claro a uma comunidade claramente definida que possa estar interessada no(s) tópico(s).
  • Informem, estimulem e desenvolvam um sentimento de comunidade, e mudem a prática para além do próprio evento.
  • Atraiam uma comunidade adequada de pessoas com interesses partilhados e, de diferentes maneiras, informadas, sobre o(s) tópico(s) do evento.
  • Atraiam oradores especializados, influenciadores e principais profissionais do setor
  • Proporcionem oportunidades de encontro com outras pessoas que tenham interesses semelhantes, para aprender sobre novas investigação e desenvolvimento na sua área, e para aumentar a compreensão dos tópicos discutidos.
  • Sejam realizados de forma financeiramente sustentável.
  • Cumpram as normas globais de boa governação para as organizações internacionais do setor público.
  • Atraiam entre 100–5 000 participantes.

 

Diferentes tipos de eventos terão diferentes abordagens e diferentes resultados desejados, mas todos os eventos devem ser registados de uma maneira comum e comunicados a toda a organização para garantir que a aprendizagem alcance toda a organização.

O número de diferentes partes interessadas também pode adicionar complexidade a estas dicotomias. É evidente que uma solução única para a garantia da qualidade em eventos do CIF-OIT constitui uma resposta inadequada. No entanto, é necessário um processo comum e consistente para alcançar qualidade em todos os eventos do CIF-OIT.

Todos os eventos precisam seguir uma abordagem sistemática por meio do ciclo de Deming: Planear–Executar–Verificar–Agir.

Alguns eventos serão menos bem-sucedidos do que outros. Os eventos menos bem-sucedidos devem ser tratados como oportunidades de aprendizagem.

Mais sobre os serviços de gestão de eventos do CIF-OIT

 

Taxonomia sugerida para os tipos de eventos do CIF-OIT:

(presencial, híbrido ou em linha)

  • Conferências
  •  Exposições/Feiras
  •  Workshops
  •  Seminários/webinars
  •  Retiros
3. A ISO 21502 como norma proposta para eventos do CIF-OIT

 

O princípio pode ser aplicado diretamente à gestão de eventos com um sistema normalizado para registo, participação, envolvimento em sessões específicas, questionários de feedback de participantes e apresentadores antes e após o evento, para apoiar a recolha e a interpretação dos dados.

A norma ISO 21502 aborda uma série de elementos:

 

  • organização funcional e física em relação a outras estruturas existentes;
  • procedimentos, processos, planos e sistemas contraditórios;
  • métodos e ciclos de comunicação;
  • disponibilidade e acesso à tecnologia;
  • o contexto das operações da organização;
  • o equilíbrio e otimização das características sociais, económicas e ambientais;
  • sistemas administrativos e de autorização;
  • requisitos de sustentabilidade e controlo.

Cada um destes tem algum peso e deve ser considerado no planeamento e desenvolvimento de um evento.

The Project Management ISO Context

O contexto da ISO na gestão de projetos A nova norma ISO 21502 (pmworldlibrary.net)

 

* O Centro apoia a recomendação dos consultores de utilizar o contexto da ISO para a gestão de projetos a fim de garantir a qualidade dos serviços de gestão de eventos. Esta abordagem proporciona ao Centro um modelo replicável e reutilizável que se baseia no ciclo Planear, Executar, Verificar, Agir (PDCA) e fornece orientações e considerações claras para o desenvolvimento de sistemas de garantia da qualidade normalizados adequados para outros tipos de serviços não ligados à formação oferecidos pelo Centro.

 

«A gestão de projetos deve ser executada por meio de um conjunto de processos e métodos que devem ser concebidos como um sistema e devem incluir as práticas necessárias para um projeto específico»

- ISO 21502 -

 

Existem várias outras normas ISO relacionadas que podem contribuir para um sistema de gestão da qualidade para o CIF-OIT:

 

  • ISO 9001: Sistemas de Gestão da Qualidade, 2015
  • ISO 20700: Orientações para os Serviços de Consultoria de Gestão, 2017
  • ISO 20121: Sistemas de Gestão da Sustentabilidade dos Eventos, 2012
  • ISO 21502: Gestão de Projetos, Programas e Carteiras, 2020
  • ISO 29993: Serviços de Aprendizagem fora do Ensino Formal, 2017

 

4. Boas práticas globais

Os eventos são geralmente abordados por meio de um quadro de gestão de projetos. A gestão da qualidade deve ser parte integrante de todo o processo. Não começa com o evento em si: começa assim que a ideia do evento é formada.

Apesar das diferenças de escala, requisitos e orçamento, todos os eventos partilham alguns princípios centrais. Todos os eventos:

  • Devem ter uma finalidade
  • Devem ser concebidos
  • Devem ser planeados em pormenor
  • Devem ser bem geridos na implementação
  • Devem ser avaliados

Todas estas etapas, se bem realizadas e com as lições aprendidas registadas, proporcionam um caminho iterativo para a melhoria contínua de todos os aspetos da preparação, implementação e avaliação de eventos futuros de uma organização. 

Cada uma destas áreas irá gerar uma grande quantidade de dados, que devem ser analisados e, quando necessário, as constatações devem ser utilizadas para melhorar a qualidade de eventos futuros.

Sobretudo quando se trabalha com parceiros, há um verdadeiro valor nos comités e nas listas de verificação, atribuindo claramente tarefas, funções e responsabilidades e assegurando que tudo é abrangido.

Para além do processo de melhoria da qualidade, deve ser considerada uma comunidade de prática formalizada de eventos do CIF-OIT para a partilha de boas práticas. 

 

Uma abordagem de gestão da qualidade numa organização:

 

  • desenvolve um conjunto de processos comuns a todos os eventos que a organização provavelmente realizará.

  • fornece consistência e coerência em pedidos de aprovação de orçamentos e outras aprovações, acordos com parceiros e outras questões relacionadas com o processo organizacional.

  • promove a identidade/marca da organização que planeia o evento, através do fornecimento de uma infraestrutura clara para facilitar o planeamento, a realização e a avaliação contínua dos eventos.

  • sinaliza sinergias em toda a organização onde talvez as atividades possam ser unidas, ou informações e partes interessadas partilhadas para apoiar o sucesso de eventos de outras equipas.

O processo de melhoria da qualidade é o ciclo de feedback que atualiza constantemente o sistema de garantia da qualidade com práticas inovadoras e bem-sucedidas, e pode fornecer «avisos» sobre eventuais problemas ou questões que precisam de atenção especial.

 

The feedback loop

O ciclo de feedback

Os eventos são cinéticos. Um evento é uma atividade social dinâmica, e mesmo se estiver seguro do seu objetivo e do seu papel no evento, as diferentes interações sociais, as diferentes expectativas pessoais do evento e até mesmo a sua opinião sobre a restauração ou a sinalética, afetarão o que retira desse mesmo evento. 

Desde o início de 2020, com o início da COVID-19, registaram-se mudanças substanciais na indústria de eventos. Parece provável que, no futuro, o número de eventos puramente presenciais diminua e o número de eventos «híbridos», com aspetos presenciais e em linha, aumente. E a realização em linha tornar-se-á o padrão para muitos eventos.

Os eventos em linha podem atrair muitos/as participantes e apresentadores/as que não poderiam participar num evento presencial. A sua organização é muito mais barata e, se a tecnologia permitir, podem fornecer acesso assíncrono a apresentações para além do próprio evento. É mais difícil criar um senso de comunidade com um evento em linha, e há menos elemento de acaso (a pessoa fascinante ao lado de quem se sentou durante o almoço) do que um evento presencial pode permitir. Os eventos híbridos devem poder proporcionar as vantagens de ambos: a divulgação mais ampla disponível através da Internet, juntamente com a serendipidade dos eventos presenciais. No entanto, é mais complexo geri-los com êxito para ambos os públicos.   

 

Os elementos comuns para todos os eventos incluem:

  • Compromisso antecipado com os principais parceiros e partes interessadas

  • Finalidade e conceção claros

  • Tecnologia

  • Sentido de oportunidade

5. Recomendações

As recomendações baseiam-se nos padrões de qualidade ISO para a Gestão de Projetos, Programas e Carteiras (21502), mas também se enquadram no paradigma Planear, Executar, Verificar e Agir já em vigor no CIF-OIT. Também são referidas outras normas ISO relevantes. As recomendações baseiam-se no mapa do processo:

  • Objetivo e conceção,
  • Planeamento (não relacionado com o conteúdo: logística, marketing e comunicação, etc.),
  • Planeamento (conteúdo e formatos),
  • Implementação,
  • Avaliação (imediata),
  • Avaliação (a mais longo prazo).

Os seis estágios correspondem ao paradigma PDCA, às normas ISO relacionadas e ao paradigma de alcance, envolvimento e conversão utilizado pela secção de sensibilização e comunicações do CIF-OIT.

Integrated cycles

Integração do PDCA e do paradigma de alcance/envolvimento/conversão num ciclo de projeto

Events that:

  • communicate a clear purpose to a clearly defined community
  • inform, stimulate, develop a community feeling, and change practice beyond the event itself
  • attract an appropriate community of people
  • attract expert speakers, influencers and key industry people
  • provide opportunities to meet with others who have similar interests
  • are delivered in a financially sustainable manner
  • attract between 50-5000 participants
  • to provide a central repository of reports on events, lessons learned, checklists, samples of evaluation forms, etc.
  • to provide further quality data analysis, updating of quality guidelines and disseminating these across the organisation
  • the team will have responsibility across all teams to promote quality assurance in event management
  • to implement an ongoing quality improvement process
  • to provide training, internships, and advice

Note: Other ISO standards can be used for particular aspects of an event.

 

Objetivo e conceção

It should answer the following questions:

  • How do we know if our events are successful?
  • Are we spending our budget efficiently?
  • Are our events better than those of other similar organisations?
  • Did we reach our objective? 
  • Are our clients happy with our services?
  • Will they use us again?
  • What feedback have they given us?
  • To assess each event against a set of appropriate criteria.
  • Gather, analyse and interpret data.
  • Use the analysis to disseminate successful approaches and address shortcomings.
  • These will provide a ‘mix and match’ analysis for many types of events, and the basis for measuring the quality of the event.
  • Templates/guidelines should be developed for each stage of event management, in relation to large/small, internal/ external, B2B or B2C.

Event Design: basic considerations

  • Face-to-face, online, or hybrid? Why?
  • When?:  is there sufficient planning time? Is it at an appropriate time for the proposed audience?
  • Where?: (face-to-face events only). Where is your anticipated audience?. 
  • Who? Would we like to present? Would we want to attend?
  • Why?... would people want to present/attend?
  • How will we run the event? What can we do to make it attractive to the people we want to attend?
  • Do we have the skills, and financial/human resources to do the event well?

 To highlight innovative successful practice, and  provide ‘warnings’ about where things can go wrong, or issues that need particular attention.

If ITCILO already has a general CRM database, we recommend a ‘tagging’ of appropriate contacts with an ‘Events’ tag, and specifying their areas of interest with regard to the thematic areas the different events address

Planeamento (não relacionado com o conteúdo)

This group should meet regularly before the event to assess progress, and identify any issues as early as possible.

  • Budget
  • Stakeholders/partners
  • Sponsors (if appropriate)
  • Communications and marketing
  • Logistics

The progress comments for each area should be updated e.g. each week, and exceptions reported to the planning team.

Planeamento (conteúdo e profissional)

Proper consideration should be given to:

  • Speakers/moderators
  • What kind of formats are most appropriate for the expected participants

This is best done by people with a good understanding of the topic area, with skill and experience in identifying, attracting and managing high quality speakers/presenters, ensuring that they have relevant expertise and profiles, and will provide a good experience for the participants.  

The ‘flow’ of the conference also needs to be carefully considered.

not only on their part in the event, but on the overall purpose of the event, who the audience will be, where their contribution ‘sits’ in the overall form of the event, and to consider what their presentation will contribute to achieving the purpose, and the ‘learning’ they are expecting participants to gain from their contribution.

  • Clear communication about the theme and topics of the event, and who is likely to most benefit from attendance.
  • Clearly identify the outcomes for the different stakeholders, to ensure that participants know what to expect at the event.
  • A targeted marketing and communications campaign which includes social and other media, and promotion through partner and other organisations to ensure that the largest number of potential participants are aware of the event.

The answers can form the baseline information for the immediate post event evaluation of the success of the event for each individual participant.

Examples of possible questions:

  • How did you hear about this event?
  • What is your main reason for attending this event?
  • Why did you choose this event? 
  • Which sessions are you most interested in?

to develop and identify indicators that can be monitored and tracked, pre, during and post the event.

A sample of indicators:

  • Likes, comments, shares
  • Mentions
  • Monitoring use of event hashtags and associated hashtags;
  • Articles in the media referencing the event;
  • Social media connections to the ITCILO or Linkedin event page;
  • Social media profile checks of the contributors and speakers;
  • Establishing the Net promoter score
Implementação

with specific people responsible for particular areas to ensure a smooth event experience.

Contingency considerations

  • Stewards for evacuating the building if needed.
  • Communication with online participants outside the event platform in case of issues.
  • Venue not prepared in time
  • Speakers not showing up.
  • Catering management.
  • Tech failure in general, or in specific rooms/sessions.
  • Overcrowding in sessions.
  • Management of online networking spaces.
  • ‘Help desk’ both at in person conferences, and online etc.
  • Acts of God
Avaliação (imediata)

To be held in a central ‘secretariat’ whose role is to both circulate learning from the event to the wider organisation, and to update the quality improvement guidance for event management across the organisation. 

Avaliação (mais longo prazo)

The evaluation form should be short, and easy to complete. Personal details, include the participants ‘objective’ in attending the event, and ask if this was achieved, partly achieved/not achieved. What has changed since you attended the event? To increase the number of responses, incentives could be provided.

Examples for KPIs for long term evaluation

  • that an idea (or case-study or best practice) presented at the conference has been adapted in another context; 
  • two or more participants are now working together on a new project/idea/innovation;
  • an initiative has gained more traction and a bigger audience; 
  • a start-up has attracted funding and support;
  • policy makers have been shown new evidence that they adopt to address solutions;
  • a new community of practice has been created.
  • new business for ITCILO and/or its event partners arising form the event
  • increased professional profile for ITCILO and/or its event partners arising from the event.
Processo de melhoria da qualidade para o desenvolvimento de competências institucionais
  • To be prepared (to a common format) by a senior member of the event team (and signed off by the person in charge).
  • This lists only aspects of the event, whether in the planning, content, implementation or evaluation, where things were noticeably better than expected, and should enter the quality process as an example of ‘good practice’.
  • Other aspects, where there were particular problems or where things did not go as planned, will be listed as areas to pay particular attention to in future events. 

Development of the initial draft toolkits is devolved to the teams with most experience of a particular type of event.

Medir o impacto e a utilização de dados

Also a longer term evaluation strategy, which can identify common trends across events, in terms of connected impacts in the longer term, for example, inter- and intra-organisational collaboration, publication of research papers, promotion, job / role change linked to engagement in the event.

 

Para a inovação e o desenvolvimento contínuos da prestação de eventos é fundamental existir um sistema de garantia da qualidade assente numa cultura de melhoria da qualidade, principalmente através da aplicação do ciclo «planear, executar, verificar, agir» adotado pela ISO e referenciado pelo CIF-OIT, e apoiado por uma estratégia de avaliação clara.

A forma como este sistema é desenvolvido e implementado é fundamental não só para a melhoria contínua da qualidade dos eventos no CIF-OIT, mas também para a medição do seu sucesso e impacto. 

6. O caminho a seguir

 

A fim de «incorporar» a garantia de qualidade na gestão de eventos, é necessário estabelecer um processo claro para registar a avaliação da gestão de eventos, juntamente com um processo para integrar a aprendizagem na «memória corporativa».

Deve ser seguida uma abordagem faseada para a implementação das recomendações. Cada etapa abaixo depende da conclusão das etapas anteriores.

Decidir quais as recomendações que serão postas em prática, em especial, se se deve utilizar a norma ISO 21502 como medida básica de qualidade estreitamente ligada ao sistema PDCA.

 

  • Identificar um pequeno número de eventos futuros (de diferentes tipos) para testar as abordagens à gestão de eventos recomendadas neste relatório:
  • Desenvolver conjuntos de ferramentas para diferentes tipos de eventos, com ICD associados e um registo pormenorizado dos processos para o planeamento, a implementação e a avaliação dos eventos.
  • As equipas individuais de eventos provavelmente precisarão de apoio adicional para o fazer, numa primeira instância, que pode ser facultado pelo secretariado proposto.
  • A documentação de qualidade deve ser atualizada após os eventos.

 



 

Estabelecer um «secretariado de eventos» emergente. Essa pessoa/grupo utilizará a aprendizagem colhida dos eventos piloto para desenvolver um primeiro projeto de uma documentação de gestão da qualidade dos eventos.

 

Divulgar a documentação do evento para uso em toda a organização. Este «evento de formação» seguirá igualmente as orientações de qualidade propostas.

A implantação e implementação contínuas da nova abordagem de gestão da qualidade.