Análise de IA e níveis de avaliação de aprendizagem
O modelo de quatro níveis de Donald Kirkpatrick moldou a forma como as equipes de T&D pensam sobre avaliação desde 1959. Reação, aprendizagem, comportamento, resultados. A lógica é sólida. A execução, para a maioria das organizações, termina no nível 2.
O nível 1 – reação – é fácil. As pesquisas pós-treinamento levam cinco minutos para serem criadas e preenchidas. O nível 2 – aprendizagem – é administrável. As pontuações da avaliação são capturadas pelo LMS. O nível 3 – transferência de comportamento – exige observar se as habilidades estão realmente sendo aplicadas no trabalho. O nível 4 – resultados de negócios – exige conectar o treinamento aos resultados com os quais a organização realmente se preocupa: receita, taxas de erro, produtividade, retenção.
Ambos exigem dados que residem fora do LMS. Ambos exigem sistemas de conexão que nunca foram projetados para se comunicarem entre si. E ambos exigem capacidade analítica que a maioria das equipes de T&D não possui. O resultado é uma indústria que mede a satisfação da formação em vez do impacto da formação – e questiona-se por que se esforça para justificar o seu orçamento às partes interessadas seniores.
Por que os níveis 3 e 4 sempre foram problemas de infraestrutura
O fracasso em atingir os níveis 3 e 4 não é um problema metodológico. As equipes de T&D entendem como é a transferência de comportamento. Eles sabem quais resultados de negócios estão tentando influenciar. O problema é o acesso.
Medir a transferência de comportamento requer comparar o que os funcionários fazem no trabalho antes e depois do treinamento – o que significa extrair dados de sistemas de gestão de desempenho, CRMs, painéis operacionais ou registros de observação direta do gerente. Nenhum desses dados reside no LMS. Consegui-lo requer um analista de dados, um relatório personalizado e várias semanas de coordenação multifuncional.
Medir os resultados dos negócios é ainda mais exigente. Requer conectar registros de conclusão de treinamento a métricas financeiras ou operacionais – cumprimento de cotas, taxas de erro, pontuações de satisfação do cliente, tempo até a competência. Esse tipo de análise entre sistemas sempre exigiu uma função analítica dedicada que a maioria das equipes de T&D simplesmente não possui.
Portanto, as organizações adotam como padrão o que é mensurável e não o que é significativo. As taxas de conclusão tornam-se o proxy para a melhoria do desempenho. As pontuações de satisfação tornam-se a proxy do impacto nos negócios. E a cadeia de evidências entre o investimento em aprendizagem e os resultados empresariais permanece permanentemente quebrada.
O que muda quando os dados se tornam consultáveis
A mudança que a análise conversacional permite na avaliação é, em princípio, simples: elimina a barreira técnica entre o profissional de T&D e os dados de que necessita.
Em vez de enviar uma solicitação de relatório a uma equipe de dados, um gerente de T&D pode perguntar: “Mostre-me as pontuações médias de desempenho de vendas dos funcionários que concluíram o treinamento do produto no primeiro trimestre, em comparação com aqueles que não o fizeram”. O sistema consulta as fontes relevantes – registros de treinamento, dados de CRM, avaliações de desempenho – e retorna a resposta em segundos.
Essa capacidade muda a aparência da avaliação na prática. A análise de nível 3 torna-se uma consulta semanal em vez de um projeto trimestral. As conexões de nível 4 tornam-se visíveis em tempo real, e não retrospectivamente. A pergunta “este treinamento funcionou?” deixa de ser retórico e passa a ser responsável. Isso também muda a conversa com as partes interessadas do negócio. Quando uma função de T&D consegue mostrar – com dados extraídos dos mesmos sistemas que a empresa utiliza – que um programa de formação se correlaciona com uma melhoria mensurável do desempenho, a conversa sobre o valor estratégico de T&D muda da afirmação para a evidência.
Construindo uma arquitetura de avaliação que atinge o nível 4
A avaliação prática de nível 4 requer três coisas: conectividade de dados, uma hipótese clara e uma cadência de medição. Conectividade de dados significa identificar quais métricas operacionais o treinamento foi projetado para influenciar — e garantir que essas fontes de dados estejam acessíveis no momento da consulta. Para um programa de treinamento de vendas, podem ser dados de cumprimento de cotas do CRM. Para um programa de conformidade, podem ser taxas de constatação de auditoria. Para um programa de integração, podem ser pontuações de avaliação de desempenho de 90 dias. As métricas específicas variam; o princípio é constante.
Uma hipótese clara significa definir, antes da execução do programa, o que se espera que mude e em quanto. “Os funcionários que concluírem este treinamento reduzirão os erros de processo em 15% em 60 dias” é uma hipótese testável. “Os funcionários melhorarão suas habilidades” não é. Uma cadência de medição significa decidir quando você analisará os dados – 30 dias, 60 dias, 90 dias após o treinamento – e incorporar esse ritmo no design do programa, em vez de tratar a avaliação como uma reflexão tardia.
A capacidade de consulta em linguagem natural torna essa cadência prática para equipes sem recursos de ciência de dados. O gerente de T&D que antes não conseguia executar uma análise entre sistemas sem o suporte de TI agora pode fazê-lo diretamente, em qualquer frequência que a cadência de medição exigir.
A dimensão de governança da avaliação intersistema
Conectar dados de treinamento a dados de desempenho de negócios levanta questões de governança que as equipes de T&D precisam responder antes de implementar análises de IA para fins de avaliação. Os dados individuais de desempenho dos alunos – especialmente quando associados a resultados de negócios, como cumprimento de cotas ou taxas de erro – cruzam-se com a legislação trabalhista, regulamentações de privacidade e políticas organizacionais de maneiras que variam de acordo com a jurisdição. Os quadros de governação de dados definem quem pode aceder a que dados, em que condições e com que registo de auditoria.
Num contexto de avaliação, isto normalmente significa que a análise agregada a nível de coorte é amplamente permitida, enquanto a atribuição de desempenho a nível individual requer controlos mais cuidadosos. Os líderes de T&D que implantam análises conversacionais para avaliação devem trabalhar com as partes interessadas de RH e conformidade para definir limites de acesso antes da execução da primeira consulta, e não depois.
A implicação mais ampla para a credibilidade de T&D
O modelo Kirkpatrick sempre esteve correto sobre o que importa. O problema nunca foi a estrutura – mas a infraestrutura para executá-la. Os níveis 3 e 4 eram aspiracionais para a maioria das organizações, não porque exigissem conhecimentos especiais, mas porque exigiam acesso a dados que não estavam praticamente disponíveis.
Essa restrição está diminuindo. As equipas de T&D que constroem actualmente uma arquitectura de avaliação em torno da análise conversacional – definindo hipóteses, estabelecendo ligações de dados e medindo a nível empresarial – serão aquelas que ganharão credibilidade estratégica genuína em vez de defenderem o seu orçamento com pontuações de satisfação. O modelo estava certo. As ferramentas finalmente foram alcançadas.