Kada govorimo o kvalitetu jednog psihološkog testa, najčešće se oslanjamo na dva osnovna kriterijuma: pouzdanost i validnost. Ove dve metrijske karakteristike testa čine temelj svakog ozbiljnog testiranja. Prva nam govori koliko su dobijeni rezultati konzistentni, dok druga procenjuje da li test zapravo meri ono što treba da meri.
Treba odmah napomenuti da test sam za sebe ne poseduje metrijske karakteristike, to su uvek metrijske karakteristike testa na određenom uzorku i mogu varirati od uzorka do uzorka.
Pouzdanost (Reliability) - Karakteristika koja pokazuje u kojoj meri test daje uvek iste rezultate. Može se reći da pouzdanost predstavlja odsustvo greške merenja. U idealnim uslovima, pouzdan test bi trebalo da uvek daje iste rezultate za istog ispitanika (pod pretpostavkom da se ono što se meri nije promenilo).
Važno je napomenuti da test ima pouzdanost samo ukoliko ima jedan predmet merenja. Ako test ima više predmeta merenja, potrebno je računati poseban koeficijent pouzdanosti za svaki od tih predmeta merenja.
Vrste pouzdanosti:
1. Pouzdanost interne konzistencije (stepen konzistencije ajtema)
Stepen srodnosti ajtema od kojih se predmet merenja sastoji, i predstavlja meru pouzdanosti zasnovanu na korelacijama između ajtema. Pretpostavka: ako su sve stavke indikatori istog predmeta merenja, onda one moraju da koreliraju. Tipično se procenjuje preko Kronbah alfa koeficijenta.
📌 Kronbah alfa koeficijent se kreće od 0 do 1, a njegovo tumačenje je veoma jednostavno:
- Ispod 0.7 -- nepouzdan test
- Od 0.7 do 0.8 -- nisko pouzdan
- Od 0.8 do 0.9 -- srednje pouzdan
- Iznad 0.9 -- visoko pouzdan test
Napomena: Pojedini autori smatraju da kritičan nivo može biti 0.5 odnosno 0.6 (pogotovo kada predmet merenja ima manji broj ajtema).
Zbog prirode izračunavanja Kronbah alfa koeficijenta, teže je dobiti visoku vrednost na manjem broju ajtema i lakše na većem broj ajtema. Stoga, za predmete merenja sa velikim brojem ajtema treba podići graničnu vrednost od 0.7.
2. Test-retest pouzdanost (stepen stabilnosti tokom vremena)
Korelacija između skorova na istom testu prilikom 2 zadavanja. Primenljivo samo za osobine koje se ne menjaju između 2 zadavanja, kao i za one kod kojih nema efekta učenja testa. Prigodan kod npr. testova brzine.
📌 Mana: Ograničena primena i neekonomičnost (pre svega vremenska).
3. Pouzdanost alternativnih formi (stepen ekvivalencije formi)
Korelacija između: dve alternativne forme testa, dve polovine testa ili dva ekvivalentna testa. Najčešće se izračunava preko split-half koeficijenta koji predstavlja korelaciju između dve polovine jednog predmeta merenja.
📌 Mana: Koeficijent pouzdanosti može da varira zavisno od toga kako se test podeli na dva dela.
4. Slaganje procenjivača (objektivnost)
Predstavlja se stepenom slaganja (korelacijom) između ocenjivača.
📌 Mana: Ograničena primena (samo za testove koji uključuju ocenjivanje)
Kada je u pitanju provera pouzdanosti, mi u Psihometrijskoj Laboratoriji koristimo Kronbah alfa koeficijent, i obraćamo pažnju na pokazatelj „Cronbach's Alpha if item Deleted" kako bismo identifikovali ajteme koji narušavaju internu konzistenciju.
Validnost (Validity) - Predstavlja stepen u kome podaci i teorija potkrepljuju interpretaciju skorova na testu. Može se definisati i kao mera koja pokazuje da li i u kolikoj meri test meri ono što treba da meri.
Tri ključne vrste validnosti:
1. Sadržinska validnost
Odnosi se na usklađenost sadržaja testa i sadržaja koji bi trebalo test da obuhvata, odnosno koliko je sadržaj testa relevantan i reprezentativan za ono za šta je namenjen.
Test poseduje sadržinsku validnost ako je uzorak ponašanja koje registruje reprezentativan za domen crte (skup svih ponašanja na koja utiče data psihološka crta).
Određuje se ekspertskom procenom tokom konstrukcije testa, pre njegove primene.
2. Konstruktna validnost
Test poseduje konstruktnu validnost ako se u ponašanjima koja izaziva manifestuju konstrukti koji su predmet merenja.
Nema univerzalnih postupaka za njenu procenu, ali napomenućemo samo neke koje mi koristimo:
- Faktorska analiza - postupak kojim se na osnovu povezanosti niza manifestnih varijabli izvlače zaključci o latentnim varijablama koje ih uzrokuju.
- Konfirmativna faktorska analiza (CFA) - istraživač definiše faktorski model (prema ključu za skorovanje), tj. definiše koje latentne varijable postoje i na koje manifestne varijable utiču, i onda testira adekvatnost tako postavljenog modela (pomoću indeksa fitovanja kao što su CFI, TLI, SRMR, RMSEA itd.).
- Eksplorativna faktorska analiza (EFA) - Ne definiše se unapred faktorski model, već se manifestni prostor pretvara u latentni, a potom zaključuje o broju faktora. Ovim putem se proverava da li strukture korelacija između ajtema odgovaraju teorijskim pretpostavkama (ako odgovaraju onda će ajtemi istog predmeta merenja imati najveća zasićenja na istom faktoru).
- Studija interne strukture - ispituje se da li delovi testa (npr. subskale) funkcionišu u skladu sa teorijskim pretpostavkama o konstruktu.
- Nomološka mreža - polazi se od znanja o tome kako je konstrukt koji se meri povezan sa različitim eksternim varijablama, i proverava se da li se test \"ponaša\" kako teorija predviđa.
3. Kriterijumska validnost
Korelacija između testa i kriterijuma (kriterijum - ponašanje čije nam je predviđanje važno).
Provera ove vrste validnosti je važna kod testova namenjenih predviđanju nekog konkretnog ponašanja kao što su npr. uspeh i produktivnost na poslu.
Kriterijum se uzima kao predmet merenja testa, a namena testa je da zameni kriterijum.
📌 Primer primene kriterijumske validnosti: profesionalna selekcija
U kontekstu profesionalne selekcije, koriste se testovi čiji su rezultati povezani s radnim ponašanjima na konkretnom radnom mestu. Na osnovu testnih rezultata donosi se odluka o tome ko je najbolji kandidat za posao.
U ovakvim slučajevima, fokus nije nužno na razumevanju samih rezultata, već na njihovoj prediktivnoj vrednosti -- odnosno, u kojoj meri rezultati omogućavaju predviđanje radne uspešnosti. Od HR-a se, u najmanju ruku, očekuje da identifikuje kandidate koji sa visokim stepenom verovatnoće neće zadovoljiti zahteve posla.
Istraživanja pokazuju i da osobe koje poseduju previše sposobnosti za određeni posao često izražavaju niže zadovoljstvo i imaju veći rizik od odsustvovanja ili napuštanja posla. Zato je važno dobro postaviti očekivane nivoe sposobnosti.
U ovim procesima, psiholog se oslanja na analizu radnih mesta, koja pruža valjan i objektivan opis konkretnih zadataka, nezavisno od trenutnog načina njihovog obavljanja. Na osnovu tog opisa, rezultata testiranja, stručnih procena i iskustva zaposlenih, definišu se ključne kompetencije i osobine koje su neophodne za uspešno obavljanje posla.
U sledećoj fazi, te informacije omogućavaju pripremu kvalitetnih postupaka za selekciju i klasifikaciju zaposlenih. HR tim određuje i kritične vrednosti na testu, u skladu sa zahtevima posla, kriterijumima uspešnosti i željenim nivoom selektivnosti.
Mi u Psihometrijskoj Laboratoriji, tokom konstrukcije jednog našeg testa:
- Sprovodimo ekspertsku analizu (proveravamo sadržinsku validnost)
- Ispitujemo težinu i diskriminativnost ajtema (proveravamo metrijske karakteristike ajtema)
- Računamo Kronbah alfa koeficijente (proveravamo pouzdanost)
- Sprovodimo EFA, CFA, studiju interne strukture i nomološku mrežu (proveravamo konstruktnu validnost)
- Kada je primenljivo, proveravamo i kriterijumsku validnosti (npr. kod testova za selekciju).
ZAKLJUČAK
Pouzdanost i validnost su osnovni stubovi svakog kvalitetnog psihološkog testa. Bez ovih karakteristika, test ne može služiti svojoj svrsi -- bilo da je u pitanju selekcija, razvoj zaposlenih, savetovanje ili istraživanje. U Psihometrijskoj Laboratoriji ove pokazatelje posmatramo kao neizostavan deo u razvoju i primeni testova.
Ukoliko želite da vaša organizacija koristi testove koji su naučno utemeljeni - sa zadovoljstvom ćemo konstruisati test prilagođen vašim potrebama.