- Memnuniyet anketleri ("happy sheets") öğrenenlerin eğitimden hoşlanıp hoşlanmadığını ölçer, yetkinliğin değişip değişmediğini değil; sonraki performansla korelasyonu sıfıra yakındır (Alliger vd., 1997).
- Kirkpatrick Seviye 3 (davranış değişikliği) her zaman altın standart olmuştur; simülasyona kadar ölçeklenebilir ölçmesi pahalıydı (Kirkpatrick & Kirkpatrick, 2006).
- Ön/son yetkinlik ölçümü, finansın ve CEO'nun ROI olarak tanıdığı Cohen d etki büyüklüklerini üretir (Cohen, 1988).
- Doğru L&D metriği tamamlanma oranı değildir — ölçülebilir, işle ilgili yetkinlikler üzerindeki etki büyüklüğüdür.
Öğrenen memnuniyeti anketleri neden ROI değildir?
Eğitim sonrası memnuniyet anketleri, öğrenenlerin oturumdan hoşlanıp hoşlanmadığını ölçer; davranışın değişip değişmediğini değil. Alliger vd. (1997) memnuniyet seviyesi puanları ile sonraki iş performansı arasındaki korelasyonun sıfıra yakın olduğunu gösterir. Memnuniyet anketi ortalamalarını ROI olarak raporlamak bir kategori hatasıdır — yanlış yapıyı ölçer.
Her L&D lideri bunu bilir. Memnuniyet anketlerinin varlığını sürdürmesinin nedeni, davranış değişikliğini ölçmenin pahalı olmasıydı — ta ki simülasyon marjinal maliyeti on kat düşürene kadar.
Kirkpatrick Seviye 3 nedir ve şimdi neden önemlidir?
Kirkpatrick Seviye 3, işte davranış değişikliğini ölçer — Kirkpatrick modelinin her zaman en etkili ve ölçmesi en zor olarak tanımladığı seviye (Kirkpatrick & Kirkpatrick, 2006). Simülasyon tabanlı değerlendirme, program öncesi ve sonrası aynı kalibre edilmiş rubriği kullanarak Seviye 3'ü tekrarlanabilir, ölçeklenebilir bir ölçüme dönüştürür.
Çoğu L&D fonksiyonu Seviye 1 (tepki) ve Seviye 2 (öğrenme) raporlar çünkü uygun maliyetle ölçülebilir olan yalnızca bunlardı. Ölçekte Seviye 3, tüm bütçe konuşmasını anekdottan kanıta doğru yeniden çerçeveler.
Anlamlı bir L&D sonucu olarak hangi etki büyüklüğü sayılır?
Cohen d ön/son yetkinlik değişimi için standart metriktir: d≈0,2 küçük, d≈0,5 orta, d≈0,8 büyüktür (Cohen, 1988). L&D sonuçlarını tamamlanma oranı yerine etki büyüklüğü olarak raporlamak, CFO'nun eğitim getirisini ortak istatistiksel bir dille başka herhangi bir sermaye tahsisiyle karşılaştırmasına olanak tanır.
Ayrıca — ilk kez — L&D'nin bütçesini bir düşüş döneminde referanslardan başka bir şeyle savunmasına imkân verir.
Ön/son ölçüm döngüsünü nasıl kurarsınız?
Dört adımlı bir döngü çalıştırın: hedef yetkinlikleri program öncesi kalibre edilmiş simülasyonlarla temellendirin, müdahaleyi verin, aynı (veya eşdeğer form) senaryolarla yeniden ölçün ve yetkinlik başına ön/son Cohen d'sini kohort ve bireysel düzeyde güven aralıklarıyla raporlayın. Döngü denetlenebilir ve yeniden üretilebilirdir.
- Temelleme: program başlamadan önce hedef yetkinlikleri kalibre edilmiş simülasyonlarla ölçün.
- Müdahale: L&D programını yürütün.
- Yeniden ölçüm: aynı senaryoları (veya aynı zorluğa kalibre edilmiş eşdeğer form senaryoları) çalıştırın.
- Rapor: yetkinlik başına ön/son etki büyüklüğü, güven aralıklarıyla, kohort ve bireysel düzeyde.
Bu rehberin ardındaki ölçüm katmanı.
Altında yatan kalibrasyon, puanlama ve geçerlilik çalışmasını okumak için metodoloji sayfasına göz atın — ya da kendi senaryolarınızdaki rakamları görmek için demo talep edin.