Pemeriksaan validitas isi tes mengandalkan keakuratan menentukan domain tes. Indikator/item di dalam instrumen pengukuran harus sampel indikator/item yang representatif dari domain yang hendak ukur. Hal ini tidak berarti bahwa semua wilayah aspek dalam domain ukur perlu dilibatkan dengan proporsi setara (equal), namun proporsi pelibatan aspek di dalam domain ukur dikaitkan kepentingan relatif untuk konstrak yang hendak diukur. Meskipun koefisien statistika dan psikometris korelasi tidak dapat digunakan untuk menilai validitas isi, beberapa pendekatan telah diusulkan oleh para ahli untuk membantu mengukur validitas konten misalnya, pendekatan yang dikembangkan oleh Lawshe (1975) yang mengusulkan rasio validitas isi (content validity ratio/CVR) dan Koefisien Kappa.

Content Validity Ratio (CVR)

Dalam pendekatan ini, sebuah panel subjek-matter experts diminta untuk menunjukkan apakah suatu aitem pengukuran dalam satu skala lainnya adalah “penting” sebagai bentuk operasionalisasi bangunan teori. Masukan panel ini kemudian digunakan untuk menghitung CVR untuk setiap item engan calon dalam instrumen pengukuran.  Untuk mengukur CVR, sejumlah ahli (panel) diminta untuk memeriksa setiap item pada instrumen pengukuran. Penyekoran terdiri dari tiga alternatif, yaitu aitem tertentu adalah relevan, kurang relevan atau tidak relevan dengan domain yang diukur. Penyekoran ini dilakukan terhadap semua aitem.

Skor CVR pada tiap aitem dapat berkisar antara 1 hingga -1. Skor yang tinggi menunjukkan validitas konten yang lebih tinggi untuk item tersebut. Sebuah aitem yang memiliki CVR=0 menunjukkan bahwa separuh panel memberikan penilaian item tersebut sebagai aitem yang relevan dengan domain yang diukur. Dengan demikian, setiap nilai positif menunjukkan bahwa lebih dari setengah dari panel diberi nilai item tersebut termasuk pada kategori aitem yang cukup baik untuk dilibatkan dalam instrumen pengukuran. Aitem yang memiliki CVR sangat rendah akan tidak akan dilibatkan dalam administrasi pengujian instrumen (pilot test/try out). Aitem yang memiliki nilai CVR rendah menunjukkan bahwa item yang bersangkutan tidak mewakili domain ukur. Pendekatan validasi isi menyelidiki sejauh mana item yang terdiri dari tes ini mewakili dari konten teoritis instrumen ini dimaksudkan untuk menilai.

Pembuktian validitas isi secara umum memang belum mendefinisikan domain ukur dengan akurat karena sampel perilaku manusia yang hendak dijadikan item cukup banyak. Keakuratan validitas isi dapat dicapai jika pada pengembangan instrumen, domain ukur didefinisikan dengan baik dan aitem instrumen ditulis dengan benar. Selama proses validasi konten, ahli menggunakan definisi domain ukur yang kita susun sebagai dasar untuk menilai sejauh mana aitem mereprentasikan domain ukur yang dimaksudkan.

CVR = (Ne – N/2)/(N-1)

CVR = rasio validitas isi, jumlah
Ne = Jumlan panelis yang memberikan penilaian 3 (penting/relevan),
N = Jumlah semua panelis.

Contoh:

Seorang peneliti hendak mengembangkan skala efektivitas pembelajaran guru yang terdiri dari 10 aitem. Dia melakukan pengujian validitas isi melalui indeks CVR. Skala tersebut diberikan kepada 15 orang panelis yang merupakan pakar dibidang pendidikan untuk memberikan penilaian terhadap 10 aitem-aitem skala. Alternatif penyekoran dari panelis adalah 1=tidak relevan, 2=kurang relevan, dan 3=relevan. Dari penilaian tersebut didapatkan bahwa pada Aitem 1 ada 10 orang anggota panel yang memberikan penyekoran relevan, pada Aitem 2 ada 12 orang, dan Aitem 3 ada 7 orang. Dengan menggunakan rumus di atas maka, CVR ketiga aitem tersebut dapat diketahui :

CVR Aitem 1 –>  (Ne – N/2)/(N-1) = (10-15/2)/(15-1) = 0.18

CVR Aitem 2 –> (Ne – N/2)/(N-1) = (12-15/2)/(15-1) = 0.32

CVR Aitem 3 –> (Ne – N/2)/(N-1) = (7-15/2)/(15-1) = -0.04

Seperti instruktur lain yang sesuai nilai-nilai CVR akan melebihi tingkat statistik kebetulan. Lawshe (1975) mengembangkan CVR nilai minimum berdasarkan uji signifikansi satu sisi dengan p =. 05. Karena nilai CVR tergantung pada jumlah UKM dalam sampel, minimal nilai CVR signifikan secara statistik akan sangat tergantung pada jumlah UKM digunakan untuk memberikan peringkat. Sebagai contoh, Lawshe menyimpulkan bahwa nilai CVR dari 0,29 akan baik-baik saat 40 UKM yang digunakan, sebuah CVR dari 0,51 akan cukup dengan 14 UKM, tapi CVR minimal 0,99 akan diperlukan dengan tujuh atau lebih sedikit UKM. Jelas, berikut rekomendasi Lawshe yang ketat akan membutuhkan sejumlah besar UKM. Perhatikan bahwa, dalam prakteknya, positif CVR nilai-nilai yang lebih rendah dalam besarnya dari yang dibutuhkan dengan menggunakan kriteria Lawshe yang kadang-kadang digunakan sebagai dasar untuk berdebat untuk bukti validitas isi ketika sejumlah relatif kecil UKM digunakan untuk memberikan peringkat (misalnya, Schmitt & Ostroff, 1986).

Berapa nilai CVR yang direkomendasikan

Lawshe (1975) menyajikan sebuah tabel CVR nilai minimum berdasarkan uji signifikansi satu ekor dengan p =. 05. Karena nilai CVR tergantung pada jumlah panel maka nilai CVR tergantung pada jumlah panel yang digunakan . Sebagai contoh, Lawshe menyimpulkan bahwa nilai CVR dari 0,29 akan baik-baik untuk 40 panelis yang digunakan, sebuah CVR dari 0,51 akan cukup dengan 14 panelis, tapi CVR minimal 0,99 akan diperlukan dengan tujuh atau lebih sedikit Panelis. Jelas, berikut rekomendasi Lawshe yang ketat akan membutuhkan sejumlah besar UKM. Perhatikan bahwa, dalam prakteknya, positif CVR nilai-nilai yang lebih rendah dalam besarnya dari yang dibutuhkan dengan menggunakan kriteria Lawshe yang kadang-kadang digunakan sebagai dasar untuk berdebat untuk bukti validitas isi ketika sejumlah relatif kecil UKM digunakan untuk memberikan peringkat (misalnya, Schmitt & Ostroff, 1986).

Melalui Link ini anda akan dapat melihat berapa CVR yang direkomendasikan untuk masing-masing jumlah panelis. Klik di sini

Referensi

Shultz, D. K. S., & Whitney, D. J. (2004). Measurement Theory in Action: Case Studies and Exercises. Thousand Oaks: Sage Publications, Inc.
Program R untuk mengestimasi CVR
http://rss.acs.unt.edu/Rdoc/library/psychometric/html/CVratio.html