İşimizin en önemli kısımlarından biri, müşterilerimize testlerimiz hakkında detaylı bilgi sağlamak. Geçenlerde, önemli bir uluslararası firma bilgi edinmek için ulaştı ve şunu belirtti: “Sadece güvenirliği ve geçerliği üçüncü bir taraftan onaylanmış mesleki değerlendirmelerini değerlendireceğiz.” Tecrübelerime göre, müşteriler bu soruyu belirli bir akreditasyon aradıkları zaman dile getiriyorlar. Bu sorgulama tamamen anlaşılabilir ancak içimdeki bilgiç bu soruyu problemli bir soru olarak görüyor.

Peki, geçerliği olan bir test talep etmenin neresi problemli? Aslında bu talep problemli değil. Problemli nokta, bu talepteki “dışsal” bölümü. Geçerlilik kavramının nereden geldiğini anlarsak, testlerimizi kendimiz analiz edebiliriz. Bu bizim seçeneklerimizi güçlendirir ve daha iyi sonuçlar almamızı sağlar.

“Onaylı Test” statüsü, gelecek müşteriler tarafından bir standart tescili olarak görülür.

Birleşik Krallık’ta test geliştiricileri, testlerini değerlendirilmesi için BPS’e (İngiliz Psikoloji Topluluğu) gönderir.  EFPA’nın (Avrupa Psikologlar Dernekleri Federasyonu), bu değerlendirme süreci için belirlediği belli başlı kurallar vardır. Testiniz, bu standart model üzerinden incelenir ve değerlendirilir. BPS, süreç sonucunda bulgularını “Test Değerlendirmesi” olarak yayınlar. Eğer testleriniz belirli standartları sağlarsa, testiniz onaylanır. Birçok insan, “Onaylı Test” statüsünü testin kalitesinin ispatı olarak görür ancak gerçekte durum bundan çok farklıdır.

Gerçek “dışsal geçerlilik”, bağımsız bir unsurun testinizi alması ve kendi analizleri için testiniz üzerinden veri toplaması ile gerçekleştirilebilir.

Belki de içimdeki bilgiç bu noktada devreye giriyor; BPS’in gerçekleştirdiği değerlendirme süreci, yukarıda bahsettiğim kriterde bir değerlendirme sağlamıyor. Gerçek dışsal geçerlilik, yukarıda bahsettiğim gibi bağımsız bir unsurun testiniz üzerinden verisini toplayıp, güvenirlik ve geçerlik analizlerini gerçekleştirmesi.

Elbette BPS/EFPA’nın, her test için kendi verisini toplaması çok fazla zaman alırdı ve pratik olmazdı. Bu kurumlar, test geliştiricisinin sağladığı bilgi ve veri üzerinden değerlendirmelerini gerçekleştirmekteler ve bu da başlangıç için kötü bir nokta değil.  Ben sadece dışsal geçerlilik kavramının ne olduğunu netleştirmek istiyorum. Test geliştiricisinin kendi değerlendirme araçları hakkında kendi verileri üzerinden konuşması teknik olarak dışsal bir analiz olmuyor.

Test geliştiricileri tarafından sunulan veriler de doğası gereği teknik anlamda karışıktır, ancak zaman kısıtlamaları nedeniyle inceleme detaylı bir analizi içermez. Bunun yerine, yetkili birinden ‘Sunulan bilgilere baktım ve tanımlanmış bir dizi standarda göre test Mükemmel / İyi / Yeterli / Yetersiz / Değerlendirme için yeterli bilgi sunulmadı’ şeklinde genel bir puanlama onay sağlar.

Bu değerlendirme, psikoloji geçmişi olmayan profesyonellere, testin kalitesi hakkında fikir sağlaması açısından çok yardımcı olmaktadır. Ancak daha yakından incelediğimizde; her test aynı standart değerlendirme sürecinden geçse de hiçbirinin aynı şekilde geliştirilmediğini fark ederiz.

Bir BPS değerlendirmesinde, test geliştiricisi verileri ile birlikte bir dizi çalışma sunmuş ve şunu eklemiş “Bu sene 10 çalışma daha gerçekleştirdik.” Bu 10 çalışma ile alakalı veri sunulmamış. Bu çalışmalar, testin hiçbir şeyi öngörmediğini gösterebilirdi ancak biz bunu bilmiyoruz. Değerlendirici yorumlarına göre ise bu, EFPA standartlarına göre “iyi” olarak değerlendirilebilir çünkü test geliştiricisi birçok çalışmaya atıfta bulunmuş. Bu noktada, bu 10 çalışmadan hiç bahsedilmemeli çünkü bu çalışmaların herhangi bir temeli bulunmuyor.

Yani Test Değerlendirme ve Test Onaylama süreçleri,  testin kalitesi hakkında teknik bilgisi eksik kişilere yardımcı olan bir araç. Ancak bir dışsal geçerlilik sağlamamakta. Ve sadece, bu incelemeye güvenmek, testin geçerliliğini garanti etmeyebilir.

Test kullanıcısı eğitiminde, eleştirel değerlendirme becerisinin öğretilmesinin, test kullanımı ve sonuç yorumlamanın öğretilmesi kadar önemli olduğunu düşünüyoruz.

Test kullanıcı eğitiminin neden çok önemli olduğu hakkında daha önce bir yazı paylaştık ve bu yazı şu mesajı güçlendirmekte: Bir testin en iyi değerlendiricisi, eğitimli bir test kullanıcısıdır. Elbette test değerlendirmeleri çok yardımcı olmaktadır ancak biz, son kullanıcıların testleri kendilerinin değerlendirmesini teşvik ediyoruz.

Detaylı bir şekilde inceleme yapmadan sadece dışsal geçerliliği test edilmiş değerlendirmeleri göz ününde bulunduracağız derseniz, bir test geliştiricisinin geçen sene üzerine 10 çalışma gerçekleştirdiği testi kullanmak durumunda kalabilirsiniz; etkileyici değil mi?