Milhares de lanternas: como a IA está iluminando cantos escuros

Nos meus dois artigos anteriores nesta série, exploramos o efeito da rua, ou seja, quando tendemos a procurar algo onde é conveniente (sob a luz da rua) e não onde está (o Dark Park). No caso de aprendizado e desenvolvimento (L&D), isso significa medir métricas facilmente disponíveis que estão sob nosso controle (conclusão do curso, tempo gasto em treinamento e satisfação). Este último artigo lançará luz (trocadilhos) os cantos mais escuros da medição do impacto da aprendizagem e mostrará como se pode pensar na IA como um multiplicador de força nas análises de L&D.

Por que é difícil medir o impacto da aprendizagem?

Alinhado com vários estudos e minha própria experiência, a mais recente pesquisa do ATD sobre o futuro da avaliação da aprendizagem revelou as mesmas barreiras e desafios (1):

1. Falta de tempo e recursos
2. Falta de acesso a dados
3. Falta de habilidades
4. Falta de adesão e apoio das partes interessadas

Parece familiar? Não é de admirar que a L&D fique na área bem iluminada do LMS. Para medir o impacto no trabalho, precisamos sair da bolha do LMS e trabalhar com os negócios, TI, aquisição de talentos etc. Precisamos de muitas lanternas para os cantos escuros. Até agora, a escalabilidade devido à falta de tempo e recursos parece ser uma das maiores barreiras.

A tecnologia não removerá todas as suas barreiras. A cultura, a falta de clareza, processos quebrados, objetivos e responsabilidades pouco claros, falta de responsabilidade etc. precisam ser abordados pelos seres humanos antes que a inteligência artificial (AI) possa ajudar.

A capacidade de iluminar em muitos lugares ao mesmo tempo, de maneira rápida e inteligente, de ver toda a imagem do impacto, é o que a análise de dados, a IA e a promessa de automação.

6 maneiras de ai como multiplicador de força pode ajudar na medição e avaliação

1. Ajudando com a estratégia

Os cálculos de priorização, análise de trade-off, design atrasado e ROI são alguns dos exemplos em que a automação e a IA podem fornecer orientações sobre o que assumir em primeiro lugar e como o sucesso deve ser medido.

2. Ajudando com o design

Mesmo antes da medição e avaliação, você pode usar a IA para ajudá -lo na redação da avaliação, por exemplo. Para os designers de aprendizagem, construí um bot da IA ​​que analisa suas perguntas de avaliação e fornece pontuação, sugestões e feedback detalhados sobre a abordagem. Esses assistentes estão agora evoluindo para agentes com a capacidade de executar, não apenas sugerem ações.

3. Transformando pesquisas de satisfação em perguntas focadas no desempenho

Transformar pesquisas de satisfação de aparência atrasada em perguntas focadas no desempenho, produzindo insights de dados acionáveis, é outra área em que a IA pode ajudar. Outro serviço de IA foi treinado no Modelo de Avaliação de Transferência de Aprendizagem (LTEM) e no design das perguntas da pesquisa focada no desempenho para ajudar a criar dados mais acionáveis ​​(2).

4. Analise os dados em escala e profundidade

A IA na medição de L&D pode nos ajudar a coletar e analisar dados em uma escala e profundidade que antes eram impraticáveis. Onde um analista humano pode ter dificuldade para correlacionar os dados de treinamento com seis métricas de desempenho diferentes espalhadas por três sistemas, uma ferramenta orientada a IA pode analisar esses números em segundos e padrões de ponto. Por exemplo, a IA pode rastrear dados de aprendizado juntamente com métricas de desempenho ao longo do tempo para identificar correlações, comparar grupos (que fizeram o treinamento versus quem não o fez) e até analisar dados qualitativos (como respostas de pesquisa aberta ou amostras de produtos de trabalho) para ver como os alunos estão aplicando habilidades (3).

5. Falta de tempo e recursos

Respostas de texto aberto, interações de bate-papo em tempo real ou pequenas conversas em grupo de divisão agora podem ser analisadas para resumir idéias, encontrar padrões, categorizar respostas, prever sentimentos, etc. Falta de tempo e recursos? Resolvido.

6. Diálogo imersivo e medição embutida

Na ATD Techknowledge Conference, em fevereiro de 2025, compartilhei um protótipo de uma aventura em 3D, onde os usuários poderiam entrevistar pessoas de interesse com base em uma determinada rubrica de melhores práticas. Os personagens da IA ​​interagiram em tempo real e tinham sua memória de curto e longo prazo. Eles compartilharam fatos sobre o mundo, mas também tinham uma consciência um do outro. No final, o treinador da IA ​​forneceu uma análise detalhada das entrevistas. Tudo isso eu construí dentro de um mês. Minha previsão é que esse tipo de atividade imersiva estará disponível em breve em todas as plataformas de aprendizado decentes.

Um relatório do setor 2025 observou que a IA avançada permite abordagens mais sofisticadas para vincular a aprendizagem e o desempenho-em vez de rastrear apenas as conclusões, as análises de IA podem avaliar coisas como compreensão, aplicação e mudança de comportamento, que são “os verdadeiros impulsionadores do desempenho comercial” (3). Isso significa que a IA não está deslumbrada com a luz da rua: está procurando ativamente o brilho do impacto no escuro.

Análise preditiva para fornecer informações acionáveis

Além disso, a IA pode prever e prescrever. Por meio de análises preditivas, a IA pode destacar quais funcionários provavelmente se beneficiarão de um treinamento específico (para que a L&D possa segmentar melhor intervenções). Também pode ajudar a identificar se um problema de desempenho está emergindo que o treinamento pode ajudar, alertando essencialmente a L&D para uma necessidade antes mesmo de a empresa pedir. Em nossa metáfora, a IA pode não apenas brilhar uma luz onde estão as chaves, mas até prever onde você deve parecer primeiro (“com base em padrões passados, as chaves geralmente são jogadas perto do banco do parque”).

E, finalmente, a privacidade e a ética não podem ser ignoradas – misturar uma luz em todos os lugares não deve significar espionar os funcionários ou violar a confiança. O objetivo é iluminar o impacto, não se intrometer na privacidade.

Temos a tecnologia para realmente medir o que sempre nos importamos: mudança de comportamento real e resulta de negócios de uma maneira escalável e em tempo real. Pense na IA como um multiplicador de força do seu impacto no Novo Mundo, em vez de uma ameaça ao seu trabalho na antiga.

Um futuro brilhante: medindo o que importa em todas as funções de L&D

Sair do círculo estreito da luz da rua e entrar em uma paisagem de medição mais ampla e bem iluminada não é apenas um bom de ter, é o futuro de L&D. E requer uma mudança de cultura que toca todos os papéis no campo de L&D:

Para designers instrucionais

Significa projetar com a medição em mente. Abrace modelos como o LTEM para garantir que suas soluções de aprendizado incluam oportunidades para demonstrar aplicação.

Para gerentes e facilitadores de programas de L&D

Trata -se de reforçar o aprendizado no trabalho e o acompanhamento. Pode ser necessário fazer parceria com os gerentes de linha para obter feedback sobre mudança de comportamento ou configurar pontos de contato pós-treinamento (como atualização ou sessões de treinamento) que aumentam a transferência e produzem informações sobre o progresso. Em vez de declarar sucesso quando a classe terminar, você verá sua função se estendendo ao local de trabalho: orientando os gerentes sobre como apoiar novos comportamentos e talvez fazer medições de luz, como amostragem de saídas de trabalho ou condução de grupos focais para ouvir como as pessoas estão aplicando (ou não aplicando) o treinamento.

Para líderes de L&D

Trata -se de estratégia e cultura. Lidere a acusação no alinhamento do aprendizado às metas de negócios. Advocar as ferramentas e recursos (talvez investindo em um LRS, ou talento de análise ou plataformas de IA) que permitam que sua equipe medir o que importa. Também cairá sobre você para educar as partes interessadas. Defina expectativas com executivos que a L&D reportará os resultados dos negócios, não apenas a atividade e, em seguida, cumprirá essa promessa. Por que não usar a rubrica de medição e priorizar solicitações de projeto em que as partes interessadas estão dispostas a colaborar na medição do impacto real?

Para analistas de aprendizagem ou cientistas de dados

Suas habilidades em análise e instalação com ferramentas de IA ajudarão a traduzir dados brutos em histórias significativas. Você experimentará diferentes métodos (testes A/B para treinamento, modelagem preditiva etc.) para realmente entender a causa, não apenas a correlação.

Conclusão: ai como força multiplique

Por fim, evitar o efeito da luz da rua na medição de L&D significa ter a coragem de buscar a verdade, mesmo que esteja em lugares sombrios e difíceis. Isso significa negociar o conforto imediato de uma métrica fácil para a recompensa mais gratificante de uma métrica significativa. Sim, é mais difícil medir como um novo treinamento de software afetou a produtividade do que contar quantas pessoas abriram o vídeo de treinamento. Mas qual você prefere trazer para o seu CEO? Qual deles realmente diz se o treinamento foi bem -sucedido?

Referências:

(1) O futuro de avaliar o aprendizado e medir o impacto: melhorando as habilidades e abordando os desafios

(2) Pesquisas de aluno e eficácia de aprendizado com Will Thalheimer

(3) Medição do que importa: Conectando resultados de aprendizado aos resultados dos negócios com IA