EVALUASI E-LEARNING LOKAL DAN GLOBAL

A.  Pendahuluan

Pengembangan produk-produk e-learning merupakan bagian dari produk yang proses perkembangannya sangat cepat terutama pada bidang-bidang pendidikan dan pelatihan. Internet, multimedia, TV interaktif, komputer adalah bagian dari produk-produk yang mampu mempercepat berkembangnya e-learning.

Meski demikian, keberadaan e-learning perlu selalu dievaluasi demi menuju pencapaian pembelajaran yang optimal. Dalam tulisan ini, persoalan evaluasi e-learning akan diuraikan dengan tidak berlebihan. Mulai dari deskripsi tentang evaluasi e-learning, lalu macam-macam evaluasi, sampai dengan level-level evaluasi e- learning (lokal dan global) disampaikan dengan sederhana. 

B.  Evaluasi E-Learning

Evaluasi merupakan sebuah proses untuk menganalisis sebuah prosedur dari aspek kualitasnya (Timothy, 2000: 220). Dalam bidang pendidikan, evaluasi merupakan proses yang sistematis guna mengumpulkan, menganalisis dan menafsirkan informasi serta menyimpulkan sejauh mana tingkat pencapaian tujuan pembelajaran (Gronlund, 1990: 5). Jadi, evaluasi e-learning adalah proses menganalisis kualitas proses pembelajaran berbasis Web (e-learning) dan sejauh mana ketercapaian dari proses e-learning tersebut untuk
dapat dirasakan para pebelajar.

Dalam pengukuran evaluasi e-learning dapat digunakan alat ukur yang sama dengan pembelajaran di kelas. Oleh karena itu, tidak perlu mengembangkan atau menerapkan teori baru untuk mengukur keberhasilan e-learning, hanya perlu meneruskan sistem yang sudah ada dan sudah diterapkan dalam pembelajaran di kelas selama ini dengan mengembangkan alat-alat teknologi sebagai media evaluasi e-learning.

            Evaluasi dapat dilakukan pada tiga waktu, yaitu (Timothy, 2000: 220-221):

1.   Sebelum proses pembelajaran (before)

Evaluasi ini dilakukan sebelum proses pembelajaran berlangsung dan berfungsi untuk mengukur potensi pelajar tentang materi yang akan disampaikan, sehingga instruktur dapat menganalisis kebutuhan pelajar berdasarkan latar belakang pengetahuan yang telah dimiliki.

2.   Pada saat proses pembelajaran (during)

Evaluasi ini bertujuan mengukur dan menganalisis proses pembelajaran serta merevisinya menjadi lebih baik.

3.   Setelah proses pembelajaran (after)

Evaluasi yang dilakukan setelah proses pembelajaran berfungsi untuk mengukur efektifitas dan efisiensi proses pembelajaran yang telah berlangsung demi perbaikan di masa yang akan datang.

C. E-Learning Lokal dan Global

Jaringan komputer adalah sebuah kumpulan komputer, printer dan peralatan lainnya yang terhubung. Informasi dan data bergerak melalui kabel-kabel sehingga memungkinkan pengguna jaringan komputer dapat saling bertukar dokumen dan data, mencetak pada printer yang sama dan bersama sama menggunakan hardware/software yang terhubung dengan jaringan. Tiap komputer, printer atau periferal yang terhubung dengan jaringan disebut node. Sebuah jaringan komputer dapat memiliki dua, puluhan, ribuan atau bahkan jutaan node.

Sebuah jaringan biasanya terdiri dari 2 atau lebih komputer yang saling berhubungan diantara satu dengan yang lain, dan saling berbagi sumber daya misalnya CDROM, Printer, pertukaran file, atau memungkinkan untuk saling berkomunikasi secara elektronik. Komputer yang terhubung tersebut, dimungkinkan berhubungan dengan media kabel, saluran telepon, gelombang radio, satelit, atau sinar infra merah.

Ada 5 macam jenis Jaringan/Network yaitu :

1.   Local Area Network (LAN) /Jaringan Area Lokal.

Sebuah LAN, adalah jaringan yang dibatasi oleh area yang relatif kecil, umumnya dibatasi oleh area lingkungan seperti sebuah perkantoran di sebuah gedung, atau sebuah sekolah, dan biasanya tidak jauh dari sekitar 1 km persegi.

Beberapa model konfigurasi LAN, satu komputer biasanya dijadikan sebuah file server. Yang mana digunakan untuk menyimpan perangkat lunak (software) yang mengatur aktifitas jaringan, ataupun sebagai perangkat lunak yang dapat digunakan oleh komputer-komputer yang terhubung ke dalam network. Komputer-komputer yang terhubung ke dalam jaringan (network) itu biasanya disebut dengan workstation. Biasanya kemampuan workstation lebih di bawah dari file server dan mempunyai aplikasi lain di dalam harddisknya selain aplikasi untuk jaringan. Kebanyakan LAN menggunakan media kabel untuk menghubungkan antara satu komputer dengan komputer lainnya.

Local Area Network (LAN), merupakan jaringan milik pribadi di dalam sebuah gedung atau kampus yang berukuran sampai beberapa kilometer. LAN seringkali digunakan untuk menghubungkan komputer-komputer pribadi dan workstation dalam kantor suatu perusahaan atau pabrik-pabrik untuk memakai bersama sumberdaya (resouce, misalnya printer) dan saling bertukar informasi (http://www.ai3.itb.ac.id/Tutorial/LAN.html).

2.  Metropolitan Area Network (MAN) / Jaringan area Metropolitan

Sebuah MAN, biasanya meliputi area yang lebih besar dari LAN, misalnya antar wilayah dalam satu propinsi. Dalam hal ini jaringan menghubungkan beberapa buah jaringan-jaringan kecil ke dalam lingkungan area yang lebih besar, sebagai contoh yaitu: jaringan Bank dimana beberapa kantor cabang sebuah Bank di dalam sebuah kota besar dihubungkan antara satu dengan lainnya.

Misalnya Bank BNI yang ada di seluruh wilayah Ujung Pandang atau Surabaya.

Metropolitan Area Network (MAN), pada dasarnya merupakan versi LAN yang berukuran lebih besar dan biasanya menggunakan teknologi yang sama dengan LAN. MAN dapat mencakup kantor-kantor perusahaan yang letaknya berdekatan atau juga sebuah kota dan dapat dimanfaatkan untuk keperluan pribadi (swasta) atau umum. MAN mampu menunjang data dan suara, bahkan dapat berhubungan dengan jaringan televisi kabel.

3.   Wide Area Network (WAN) / Jaringan area Skala Besar

Wide Area Networks (WAN) adalah jaringan yang lingkupnya biasanya sudah menggunakan sarana Satelit ataupun kabel bawah laut sebagai contoh keseluruhan jaringan BANK BNI yang ada di Indonesia ataupun yang ada di Negara-negara lain.

Wide Area Network (WAN), jangkauannya mencakup daerah geografis yang luas, seringkali mencakup sebuah negara bahkan benua. WAN terdiri dari kumpulan mesinmesin yang bertujuan untuk menjalankan program-program (aplikasi) pemakai

Menggunakan sarana WAN, Sebuah Bank yang ada di Bandung bisa menghubungi kantor cabangnya yang ada di Hongkong, hanya dalam beberapa menit. Biasanya WAN agak rumit dan sangat kompleks, menggunakan banyak sarana untuk menghubungkan antara LAN dan WAN ke dalam Komunikasi Global seperti Internet. Tapi bagaimanapun juga antara LAN, MAN dan WAN tidak banyak berbeda dalam beberapa hal, hanya lingkup areanya saja yang berbeda satu diantara yang lainnya.

4.   Internet

Sebenarnya terdapat banyak jaringan didunia ini, seringkali menggunakan perangkat keras dan perangkat lunak yang berbeda-beda . Orang yang terhubung ke jaringan sering berharap untuk bisa berkomunikasi dengan orang lain yang terhubung kejaringan lainnya. Keinginan seperti ini memerlukan hubungan antar jaringan yang seringkali tidak kampatibel dan berbeda. Biasanya untuk melakukan hal ini diperlukan sebuah mesin yang disebut gateway guna melakukan hubungan dan melaksanakan terjemahan yang diperlukan, baik perangkat keras maupun perangkat lunaknya.

Kumpulan jaringan yang terinterkoneksi inilah yang disebut dengan internet.

5.    Jaringan Tanpa Kabel

Jaringan tanpa kabel merupakan suatu solusi terhadap komukasi yang tidak bisa dilakukan dengan jaringan yang menggunakan kabel. Misalnya orang yang ingin mendapat informasi atau melakukan komunikasi walaupun sedang berada diatas mobil atau pesawat terbang, maka mutlak jaringan tanpa kabel diperlukan karena koneksi kabel tidaklah mungkin dibuat di dalam mobil atau pesawat. Saat ini jaringan tanpa kabel sudah marak digunakan dengan memanfaatkan jasa satelit dan mampu memberikan kecepatan akses yang lebih cepat dibandingkan dengan jaringan yang menggunakan kabel.

D. Macam-Macam Evaluasi E-Learning

Jossey Bass dalam bukunya, Web Based Training mengemukakan empat macam evaluasi e-learning dengan menggunakan model ADDIE, antara lain:

1. Subject Matter Expert Evaluation

2. Rapid Prototype Evaluation

3. Alpha Class Evaluation

4. Piloting Evaluation

E. Sebuah Contoh: Aplikasi Evaluasi Pilot

            Donald Kirkpatrick dalam bukunya Evaluating Training Programs: The Four Levels mengklasifikasikan model evaluasi pilot menjadi dari 4 (empat) level yang akan digambarkan pada table di bawah ini (Kirkpatrick: 1994 dalam Effendi, 2005: 154-192)

Level evaluasi	Isi evaluasi
Level l/Reaction	Mengukur efektivitas pelatihan berdasarkan persepsi dan reaksi pelajar
Level 2/Learning	Mengukur keberhasilan pelatihan berdasarkan pencapaian tujuan pelatihan yang telah ditetapkan
Level 3/Behavior	Mengukur keberhasilan pelatihan berdasarkan peningkatan kinerja pelajar di lingkungan pekerjaan
Level 4/Result	Mengukur keberhasilan pelatihan berdasarkan perubahan pada organisasi atau bisnis yang disebabkan pelatihan
Level 5/ROI	(digunakan jika hasil level 4 negatif)

Selanjutnya, akan dibahas lebih lanjut tentang masing-masing level evaluasi serta pengaplikasiannya dalam program e-learning.

Level 1/Reaction

Evaluasi level I/reaction merupakan evaluasi yang paling sederhana serta paling mudah untuk dilakukan. Evaluasi pada level ini meliputi tanggapan atau opini serta perasaan (feeling) peserta tentang situasi, kondisi serta materi-materi yang didapat selama pelatihan (Effendi, 2005: 156). Evaluasi ini cukup penting guna mengetahui seberapa jauh tingkat antusias dan interest serta kenyamanan peserta selama mengikuti pelatihan. Karena sangat mungkin dengan semakin tingginya tingkat antusias dan interest seseorang maka akan semakin mudah pula proses penginternalisasian materi.

Pada evaluasi level I/reaction, instruktur memberikan lembar evaluasi pada akhir proses acara pelatihan untuk langsung diisi oleh peserta pelatihan. Kemudian para pelajar diminta untuk memberikan reaksi langsung tidak hanya terhadap program pelatihan secara keseluruhan, tetapi juga terhadap komponen spesifik program, seperti kualitas pengajar, topik, metode, jadwal, perangkat audovisual, media, dan lain-lain.

Pertanyaan-pertanyaan yang diajukan dalam evaluasi level ini dapat berupa pilihan ganda maupun pertanyaan lepas seperti esai. Beberapa contoh pertanyaannya adalah sebagai berikut:

• Apakah tujuan pelatihan sesuai dengan kebutuhan Anda?
• Apakah keunggulan dan kelemahan pelatihan?

·         Apakah pelatih memiliki pengetahuan cukup tentang materi pelatihan?

• Apakah ruang kelas kondusif untuk pelatihan?
• Apakah snack yang diberikan memuaskan?

Jika dilihat dari bentuk dan contoh pertanyaan, evaluasi level 1 dapat mencapai komponen-komponen yang sangat spesifik pada suatu program pelatihan. Jadi, dengan evaluasi ini dapat diketahui bagian program pelatihan yang harus diperbaiki agar peserta merasa puas. Oleh karenanya, evaluasi level 1 mencerminkan popularitas suatu program pelatihan, dengan konsekuensi, jika hasil evaluasi level 1 sangat baik, maka dapat diketahui bahwa program pelatihan tersebut sangat populer. Di samping itu, evaluasi level ini juga berkaitan dengan evaluasi level 2 dan level 3, dalam artian, kegagalan pada evaluasi ini mencerminkan kegagalan pada evaluasi-evaluasi berikutnya.

Metode

            Terdapat tiga metode dalam melakukan evaluasi level 1, antara lain (Jollife,dkk, 2001: 253):

1. Evaluasi online dengan waktu yang berbeda pada saat proses pelatihan (during)
2. Evaluasi online pada akhir pelatihan (after)
3. Koresponden e-mail secara pribadi dengan peserta setelah proses pelatihan

Walaupun evaluasi level I sangat mudah dilakukan, akan tetapi evaluasi ini bukanlah satu-satunya cara yang paling efektif untuk mengetahui keberhasilan program e-learning, hal ini disebabkan oleh beberapa kelemahan, antara lain:

Pertama, pada evaluasi level 1, hubungan hasil evaluasi dengan tujuan organisasi tidak dapat terlihat langsung. Walaupun peserta dapat menjawab pertanyaan tentang seberapa relevan materi atau dapatkah materi diimplementasikan di lingkungan mereka, pelajar belum mencobanya. Mereka menjawab segera setelah pelatihan selesai. Oleh karenanya, jawaban belum tentu mencerminkan keadaan sebenarnya.

Kedua, reaksi peserta di akhir pelatihan tidak selalu terbentuk oleh faktor-faktor yang berhubungan dengan efektivitas pelatihan, akan tetapi dapat pula dipengaruhi oleh faktor ekstern yang tidak berhubungan dengan pelatihan. Misal latar belakang pendidikan, sosial, pengalaman,  dan sebagainya. Sebagai contoh, bila pelatih menunjukkan sikap yang sangat ramah, humoris, familiar dan dapat mendekati peserta dengan baik, maka peserta cenderung menyukai pelatihan tersebut dan memberikan nilai tinggi pada evaluasi I/reaction, walaupun materi tidak relevan. Sebaliknya, walaupun materi sangat relevan, tetapi pelatih tidak mampu mendekati peserta dengan baik serta sangat membosankan, maka peserta merasa bahwa program pelatihan tidak efektif. Kasus kedua tersebut banyak terjadi pada program pelatihan bersifat teknis tingkat tinggi, di mana pelatih adalah orang yang sangat ahli dalam bidangnya akan tetapi kurang memiliki kemampuan berkomunikasi dengan baik.

Ketiga, pengaruh kebudayaan Indonesia dan Asia yang tidak terlalu terbuka dalam memberikan nilai jelek atau sangat baik. Jika diminta untuk memberikan nilai 1 sampai 5 (di mana 5 mencerminkan hasil yang paling baik) untuk menilai suatu komponen program pelatihan, maka rata-rata pelajar Indonesia akan memberikan nilai 4 atau 3. Angka 2 jarang sekali disentuh, apalagi 1. Angka 5 jarang diberikan karena mereka tidak mau memberikan sesuatu yang ekstrim.

Level 2/Learning

Dalam evaluasi level 2, akan dilakukan evaluasi pada tataran materi pelatihan. Sehingga pertanyaan yang akan muncul berkaitan dengan apa yang dipelajari pelajar selama proses pelatihan.

Sebagaimana halnya evaluasi level 1, pertanyaan-pertanyaan untuk mendapatkan hasil evaluasi level 2 tidak diambil langsung dari materi pelatihan, tetapi disesuaikan dengan tujuan pelatihan. Tujuan pelatihan dapat dibedakan menjadi tiga macam, antara lain (Effendi, 2005: 159):

1. Perubahan pengetahuan (knowledge)

Contoh pertanyaan:

Alat apa saja yang dibutuhkan untuk mengakses internet?

Apa perbedaan Windows XP dengan Window 95?

2. Perubahan keahlian (skill)

Contoh pertanyaan:

Apakah Anda bisa mengirim email yang memiliki attachment?

Coba praktikkan instalasi operating system barn ke komputer !

3.      Perubahan sikap (attitude)

Contoh pertanyaan:

Apakah Anda telah terbiasa menggunakan Windows XP?

Apakah Anda lebih menyenangi email dibanding surat ­menyurat lewat pos?

Metode

            Pada evaluasi level 2 terdapat bermacam-macam metode yang dapat digunakan sesuai dengan objek evaluasi. Dalam mengukur pengetahuan (knowledge), dapat digunakan tes tulis ataupun tes tes lisan. Untuk tes tulis dapat digunakan tes bentuk uraian (essay), tes bentuk obyektif seperti tes benar salah (true-false), tes menjodohkan (matching test), dan tes pilihan ganda (multiple choice).

Sedangkan dalam mengukur keahlian (skill), peserta akan diminta melakukan sesuatu atau mempraktikkan suatu proses. Hal ini bertujuan untuk mengetahui tingkat pemahaman peserta terhadap materi pelatihan. Pada pelatihan di kelas, pelatih dapat memperhatikan peserta dalam simulasi atau peragaan untuk melihat sejauh mana ia memahami materi. Akan tetapi, hal tersebut tidak dapat dilakukan pada pelatihan e-learning.

          Proses mengukur keahlian (skill) pada program pelatihan e-learning merupakan proses yang membutuhkan tenaga dan waktu lebih lama. Pelatih dapat melakukannya ketika pengembangan materi. Metode yang biasa digunakan adalah simulasi pada materi e-learning. Misalnya, untuk mengukur apakah pelajar telah memiliki keahlian menyertakan attachment pada email dengan menggunakan program aplikasi MS Outlook, maka materi e-learning dapat menyertakan simulasi yang menampilkan MS Outlook. Kemudian menanyakan kepada pelajar tombol yang harus ditekan untuk memulai proses attachment. Jika pelajar dapat melakukannya dengan benar, maka simulasi dapat menanyakan langkah selanjutnya. Jadi, simulasi dapat dibuat sama seperti ketika pelajar benar-benar sedang membuka komputer dan MS Outlook.

Berbeda halnya dalam mengukur perubahan sikap (attitude) yaitu menggunakan daftar pertanyaan. Setiap pertanyaan meminta pelajar memberikan respons, misaInya pilihan sangat setuju, setuju, netral, tidak setuju, atau sangat tidak setuju. Contoh pernyataan untuk meminta respons dapat berupa:

• Saya lebih senang menggunakan email dibanding Surat biasa.
• Perbedaan di kantor adalah sesuatu yang tidak menyenangkan.
• Saya lebih senang menghindari konflik daripada bertengkar dengan orang.
• Saya telah terbiasa menggunakan MS Excel untuk,membuat laporan.

Dapat pula diajukan pertanyaan terbuka, seperti:

o   Bagaimana sikap Anda terhadap adanya perbedaan di kantor?

o   Bagaimana pendapat Anda tentang teknik problem solving yang diajarkan?

Sebagaimana evaluasi level 1, hasil evaluasi level 2 juga dapat dijadikan acuan dalam menyimpulkan evaluasi level selanjutnya. Apabila hasil evaluasi level 3 tidak menunjukkan hasil positif, sedangkan hasil evaluasi level 2 baik, kemungkinan besar hal ini karena faktor lingkungan pekerjaan, bukan faktor materi pelatihan (learning).

Level 3/Behavior

Evaluasi level 3 bertujuan untuk mengukur perubahan kinerja peserta setelah mengikuti pelatihan. Evaluasi level ini jarang dilakukan, karena membutuhkan usaha sangat besar dan waktu sangat panjang serta biaya yang membengkak.

Evaluasi level 1 bertujuan mengukur faktor-faktor yang mempengaruhi kepuasan dan motivasi pelajar, tetapi tidak mengukur hasil pelatihan secara langsung. Kemudian di level 2, dapat diukur apakah tujuan pelatihan dapat tercapai, tetapi pengetahuan, keahlian maupun sikap yang berhasil dipelajari sering tidak dipraktikkan di lingkungan pekerjaan.

Oleh karena itu, level 3 adalah evaluasi yang sangat urgen dan relevan dalam mengukur efektivitas pelatihan, karena evaluasi ini menilai, dapatkah dan sejauh mana materi pelatihan dapat diimplementasikan di lingkungan kerja? Hal ini berhubungan dengan faktor-faktor pendukung dan penghambat dalam pengimplementasian tersebut. Faktor-faktor pendukung yang dimaksud antara lain (Effendi, 2005: 162):

n  Kultur lingkungan mudah menerima perubahan.

n  Manajer pelajar memberikan dukungan untuk implementasi, misalnya memberikan penghargaan atau kompensasi dalam bentuk kenaikan gaji, piagam, kenaikan pangkat, pujian, dan lain-lain, untuk kinerja yang meningkat

n   Pelajar diberi kesempatan untuk menerapkan materi pelatihan

Metode

Dalam evaluasi level 3, terdapat beberapa metode yang dapat dilakukan, antara lain:

Observasi

            Observasi adalah suatu proses penghimpunan data-data yang dilakukan dengan mengadakan pengamatan dan pencatatan secara sistematis terhadap fenomena-fenomena suatu objek. Observasi dapat dilakukan terhadap dua sumber data, yaitu produk dan cara kerja pelajar (Sudjiono: 2005, 84).

Survei dan interview

Metode yang paling sering digunakan dalam evaluasi level 3 adalah survei atau interview. Interview adalah suatu metode yang digunakan untuk mendapatkan jawaban dari peserta dengan jalan tanya jawab sepihak (Arikunto, 1997: 57)

Survei dapat dilakukan lewat surat, email, maupun LMS, sedangkan interview dapat mendatangi target interview satu persatu atau mengundang mereka berkumpul dan menjawab pertanyaan bersama-sama, sebagaimana dalam fokus group.

Target survei dan interview adalah orang yang melakukan penilaian kinerja tahunan pelajar, yaitu atasan langsung pelajar atau orang lain yang terlibat dalam pekerjaan pelajar, seperti rekan kerjanya, bawahan, sampai kliennya.

E-learning dan Evaluasi Level 3

Penggunaan e-learning memiliki hubungan sangat erat dengan evaluasi level 3. E-learning sebagai teknologi dan proses baru akan menghadapi banyak tantangan dalam implementasinya. Oleh karena itu, e-learning harus membuktikan keunggulan dan hasil yang positif. Jadi, evaluasi level 3 berperan penting membuktikan bahwa e-learning membantu kinerja sumber daya manusia dalam mencapai tujuan organisasi.

Evaluasi level 3 memperlihatkan perbedaan antara pelatihan di kelas dan pelatihan e-learning. E-learning memiliki tiga keunggulan dalam melakukan evaluasi level 3.

Pertama, e-learning dapat digunakan di manapun, termasuk kantor peserta. Hal ini memberikan keuntungan lebih dibandingkan dengan pelatihan di kelas. Peserta dapat berada lebih dekat dan berinteraksi dengan lingkungan kerjanya. Sebaliknya, pada pelatihan di kelas, peserta tidak dapat berinteraksi dengan rekan atau lingkungan kerjanya.

Peserta dapat langsung melihat praktik nyata pelajaran yang dilihatnya di layar komputer dengan mengakses pelatihan e-learning di kantornya sendiri. Misalnya, bila pelajar sedang mempelajari program aplikasi MS Excel, ia dapat langsung mencari laporan yang harus dibuat saat itu dan membuatnya dengan MS Excel. Dengan demikian, dia langsung praktik saat belajar sehingga ia lebih cepat mengerti dalam konteks lingkungan kerjanya. Oleh karena itu, kemungkinan pelajar mengimplementasikan pengetahuan, keahlian atau sikap yang didapat lebih besar. Dengan kata lain, hasil evaluasi level 3 akan menunjukkan hasil lebih positif.

Kedua, berhubungan dengan kemampuan e-learning diakses pelajar di kantornya. Apabila seorang peserta mengikuti pelatihan di kelas, saat pelatihan satu atau dua hari, ia akan berkumpul dengan rekan-rekan sekelas dari lingkup pekerjaan berbeda. Sebaliknya, bila pelajar mengakses pelajaran e-learning di kantornya sendiri, ia akan dikelilingi oleh rekan dari lingkup pekerjaan yang sama. Jika pelajar memiliki pertanyaan tentang bagaimana mempraktikkan materi di lingkungan kerja, pada pelajaran di kelas ia hanya bisa mengajukan pertanyaan kepada pengajar. Sebaliknya, pada pelatihan e-learning ia dapat menghentikan laju pelajaran dan menghadap atasan atau rekan yang lebih senior dan berpengalaman untuk bertanya. Jawaban yang diperoleh tentu akan berbeda. Jawaban atasan akan lebih sesuai dengan lingkungan pekerjaan sehingga pelajar lebih mudah mempraktikkannya setelah menyelesaikan pelatihan.

Ketiga, berhubungan dengan sifat e-learning yang dapat diakses pelajar berulang kali dan setiap saat. Sebagai contoh, Ketika pelajar selesai mengikuti pelatihan di ruang kelas selama dua hari, ia kembali ke lingkungan pekerjaan dan mencoba mempraktikkan apa yang dipelajari. Akan tetapi, bila saat itu ia lupa salah satu materi vital atau menghadapi masalah dalam praktik lingkungan kerja, maka ia hanya dapat melihat kembali catatan, yang mungkin kurang lengkap dan sulit dimengerti kembali.

Sebaliknya, pada e-learning, pelajar dapat dengan mudah mengakses kembali pelatihan ke topik yang diinginkan serta langsung membuatnya teringat dan mengerti. Misalnya, ada seorang pelajar dari departemen SDM yang mengikuti pelatihan tentang peraturan perusahaan dalam mengurus administrasi pegawai yang ingin berhenti. Saat menghadapi praktik sebenarnya, ia mudah mengakses kembali pelatihan e-learning. la akan langsung menuju bagian langkah-langkah administrasi dan teringat kembali sehingga dapat menyelesaikan tugas dengan baik (Effendi, 2005: 167):

Dengan demikian, kinerja pelajar dapat meningkat karena memiliki referensi yang dapat selalu diakses. Dengan kata lain, hasil evaluasi level 3 yang dilakukan akan semakin baik.

Level 4/Result

Jika evaluasi level 3 bertujuan mengukur apakah kinerja peserta meningkat, maka evaluasi level 4 bertujuan untuk menentukan hasil peningkatan kinerja peserta yang berhubungan dengan tujuan organisasi. Oleh karena itu, bila pada evaluasi level 3 hasilnya negatif, maka evaluasi tidak perlu dilanjutkan ke level 4, karena level 4 adalah lanjutan hasil evaluasi level 3 yang positif (Effendi, 2005: 170).

Sebagai contoh, seorang pelajar dari departemen customer service mempelajari tentang bagaimana menjawab keluhan pelanggan. Pelajar lalu mempraktikkannya sehingga kinerja meningkat dan hasil evaluasi level 3 positif. Di level 4, kita ingin mencari hasil akhir meningkatnya kinerja pelajar dalam menjawab keluhan pelanggan. Setelah dilakukan penelitian level 4, hasilnya adalah peningkatan kepuasan pelanggan.

Hasil akhir evaluasi level 4 harus berbentuk kontribusi bagi pencapaian tujuan perusahaan. Misalnya, meningkatnya kepuasan pelanggan pada contoh di atas akan membawa dampak makin banyak pelanggan yang menggunakan produk perusahaan sehingga jumlah penjualan dan profil perusahaan meningkat.

Evaluasi level 4 merupakan evaluasi yang sangat sulit dilakukan. Mengapa demikian? Karena sangat sulit mengklasifikasikan pencapaian hasil akhir apakah benar-benar disebabkan oleh proses pelatihan ataukah faktor-faktor lain.

Karena evaluasi level 4 dilakukan beberapa bulan setelah program pelatihan, maka dalam jangka waktu tersebut banyak hal dapat terjadi dan turut memengaruhi hasil akhir.

Contoh klasik yang sering terjadi adalah hasil akhir berupa peningkatan penjualan. Peningkatan dapat terjadi karena staf penjual mendapat pelatihan selling skill, diturunkannya harga jual, kompetitor utama bangkrut, atau membaiknya perekonomian Indonesia.

Hasil akhir evaluasi level 4 lebih berdasarkan perkiraan evaluator. Oleh karena itu, hasil evaluasinya lebih lemah dan sulit dibuktikan bila dibandingkan dengan hasil evaluasi level-level sebelumnya, terutama hasil level 1 dan 2.

Semakin tinggi level evaluasi, semakin banyak faktor­-faktor yang memengaruhi hasilnya. Artinya, jangan terlalu optimis untuk memperoleh hasil level 4 yang positif. Hasil akhir harus dibagi dengan faktor-faktor lain yang memberikan kontribusi pula.

Karna relatif sulit untuk dilakukan, maka sedikit sekali perusahaan di dunia membuat evaluasi level 4. Biaya, waktu dan tenaga untuk melakukan evaluasi sangat banyak. Akibatnya, perusahaan menganggap hasil level 4 tidak sebanding dengan biaya yang harus dikeluarkan.

Metode Pengukuran

Lalu, bagaimana cara melakukan evaluasi level 4?

Umumnya, harus diperkirakan dahulu hasil akhir adanya perbaikan kinerja karena program pelatihan. Di samping itu, harus diketahui pula faktor lain yang memengaruhi hasil akhir. Kemudian, mulai diperkirakan berapa banyak hasil akhir yang benar-­benar disebabkan oleh program pelatihan.

Beberapa hasil akhir sebenarnya mudah diperoleh karena telah tersedia di perusahaan dan memang selalu diukur secara rutin, misalnya jumlah penjualan, tingkat perputaran pegawai, jumlah kecelakaan, jumlah profit, dan lain-lain. Akan tetapi, ada pula data yang sulit diperoleh karena memang sulit diukur, misalnya moral pegawai, kepuasan pelanggan, dan lain-lain. Data tersebut diperoleh dari survei yang anonim, tetapi tidak selalu tersedia di perusahaan. Oleh karena itu, sulit diperoleh ukuran hasil akhir sebelum program pelatihan.

Apabila data atau ukuran hasil akhir sebelum program pelatihan tidak tersedia, maka  dapat diukur saat pelatihan berlangsung atau segera setelah pelatihan berakhir. Kemudian, kembali mengukurnya setelah beberapa bulan dan membandingkan hasilnya untuk menunjukkan adanya perbaikan yang merupakan hasil akhir level 4.

Bagaimana kita dapat mengisolir peningkatan hasil akhir yang disebabkan pelatihan dari peningkatan yang disebabkan faktor-faktor lain?

Cara paling mendekati adalah mengukur hasil akhir pegawai lain yang berada di departemen sama, menjual produk sama, memiliki struktur gaji sama, tetapi belum mengikuti program pelatihan. Intinya, dua kelompok pegawai yang memiliki lingkungan pekerjaan dan atribut sama, di mana satu kelompok telah mengikuti program pelatihan dan kelompok lainnya belum.

Hasil akhir dua kelompok harus diukur dalam waktu dan metode pengukuran sama. Setelah berhasil mengumpulkan data, kemudian dianalisa apakah ada perbedaan peningkatan kinerja. Apabila ada perbedaan, maka dapat disimpulkan bahwa perbedaan disebabkan program pelatihan.

Sebagai contoh, Pegawai kelompok A mengikuti program pelatihan selling skill, sedangkan rekan di satu departemen, pegawai kelompok B, tidak. Tingkat penjualan kedua kelompok lalu diukur dan didokumentasikan.

Setelah pegawai kelompok A kembali dan menerapkan materi pada pekerjaannya, hasil penjualannya meningkat. Namun, saat itu, perusahaan mengumumkan perubahan struktur gaji untuk semua staf penjualan, di mana komisi setiap penjualan lebih besar. Hal tersebut menyebabkan semua pegawai lebih bersemangat meningkatkan penjualannya, termasuk pegawai kelompok A dan B.

Bagaimana dapat diketahui bahwa kenaikan penjualan pegawai kelompok A disebabkan pelatihan atau perbaikan sistem komisi penjualan? Oleh karena itu, perlu dibandingkan peningkatan penjualan pegawai kelompok A dan pegawai kelompok B.

Hasil pengukuran yang dilakukan sebelum pelatihan dan beberapa bulan setelah pelatihan memperlihatkan penjualan pegawai kelompok A meningkat, misalnya sebanyak 27%, sedangkan tingkat penjualan pegawai kelompok B meningkat 16%. Kesimpulan hasil pengukuran adalah peningkatan penjualan yang disebabkan pelatihan sebesar 11% (27%-16%), sedangkan yang 16% sisanya disebabkan peningkatan sistem komisi penjualan.

Pengukuran tentu tidak bisa dikatakan seratus persen akurat. Akan tetapi, cara pengukuran tersebut merupakan cara pengukuran paling mendekati. Apabila berhasil menunjukkan efektivitas program pelatihan dengan menunjukkan hasil akhir, menurut Kirkpatrick, maka evaluasi dapat berhenti sampai di sini. Selanjutnya dapat dilihat situasi berikut. Misalnya, hasil akhir evaluasi level 4 berupa peningkatan penjualan sebesar Rp 100 juta per tahun. Hal tersebut tentu merupakan hasil menggembirakan dan membuat prestasi departemen pelatihan meningkat pesat.

Akan tetapi, tunggu dulu, berapakah biaya pelatihan untuk mencapai peningkatan?

Jika setelah dihitung, ternyata biaya pelatihan sebesar Rp 120 juta per tahun, maka dapat dilihat bahwa sebenarnya hasil akhirnya bukan positif, tetapi negatif sebesar Rp 20 juta. Berdasarkan pemikiran tersebut, teori Kirkpatrick dikembangkan oleh Jack J. Phillips dengan menambahkan level 5/ROI.

Level 5/ROI

Jack J. Phillips menambahkan satu level sebagai lanjutan evaluasi level 4 yang disebut level 5/ROI (Return on Investment) (Effendi, 2005: 176). Di level 5, kita akan membandingkan hasil akhir level 4 dengan biaya yang kita keluarkan untuk pelatihan. Jadi, level 5 hanya meneruskan sedikit hasil evaluasi level 4, yaitu menambahkan komponen biaya pelatihan. Jadi, kita melakukan perbandingan antara biaya dengan keuntungan dalam nilai rupiah.

Pengukuran ROI adalah ukuran yang terbaik meski sangat sulit dilakukan. Oleh karena itu, walaupun para pakar e-learning mempromosikan penggunaan ROI, kenyataannya, hanya sedikit perusahaan yang benar-benar menerapkannya.

Pengukuran Biaya

Dalam mengukur biaya pelatihan e-learning, ada biaya langsung dan tidak langsung. Biaya langsung meliputi biaya mengembangkan atau membeli materi e-learning, biaya evaluasi, biaya subject matter expert yang menangani forum dan pertanyaan pelajar. Biaya tidak langsung termasuk biaya pemakaian network, biaya pemakaian komputer dan biaya lainnya.

Pengukuran Hasil/Benefit

Di evaluasi level 4, telah diukur hasil akhir yang disebabkan pelatihan. Hasil akhir harus diubah ke bentuk rupiah atau uang untuk menghitung ROI. Peningkatan hasil akhir dapat berupa peningkatan yang dapat diukur atau dikuantifikasikan (tangible benefit), maupun peningkatan yang tidak dapat diukur (intangible benefit). Jika hasil yang diukur adalah tangible benefit, maka pengukuran lebih mudah dilakukan karena hasil akhir dapat dilihat nyata dan diukur dengan jelas.

Contoh tangible benefit adalah:

• Peningkatan penjualan sebanyak 11%
• Peningkatan kepuasan pelanggan sebanyak 10%
• Penurunan jumlah kecelakaan per tahun sebanyak 36%
• Penurunan tingkat perputaran pegawai sebanyak 23%

Dalam menghitung tangible benefit, harus diyakini bahwa hasil hanya disebabkan program pelatihan. Agar tangible benefit berubah menjadi rupiah, maka dibutuhkan data pendukung lain. Mengukur peningkatan penjualan, misalnya, adalah salah satu pengukuran yang paling mudah karena penjualan telah diukur dengan satuan mata uang atau rupiah. Akan tetapi, bila ingin mengubah hasil peningkatan tingkat perputaran pegawai ke bentuk rupiah, maka harus diperlukan lebih banyak data.

Data yang harus dicari dalam contoh, misalnya biaya administrasi untuk mengurus administrasi pegawai yang berhenti, biaya mencari pegawai baru dan biaya pelatihan pegawai baru. Setelah mengumpulkan keseluruhan biaya per pegawai, kemudian dijumlahkan dan akan didapatkan biaya perputaran pegawai per orang, misalnya Rp 2 juta per orang.

Pengukuran memperlihatkan pengurangan perputaran pegawai, misalnya sebesar 23%, atau sebanyak 32 orang per tahun. Jadi, total biaya yang dapat dihemat adalah Rp 2 juta x 32 orang = Rp 64 juta. Angka 64 menunjukkan hasil akhir berbentuk rupiah. Pada intangible benefit, terdapat lebih banyak kesulitan, apalagi untuk mengubah ke bentuk rupiah.

Contoh intangible benefit adalah:

o   Peningkatan moral karyawan karena diberikan kesempatan pelatihan

o   Peningkatan teamwork karena pelatihan komunikasi dan team building

o   Penurunan tingkat stres di tempat kerja setelah pelatihan konflik management

Pengukuran intangible benefit sangat sulit dilakukan, sehingga sering hanya berupa data pengamatan. Bahkan mengubah hasil pengamatan ke bentuk rupiahpun relatif sulit. Perusahaan-perusahaan besar yang sudah memiliki model untuk mengubah intangible benefit ke bentuk uang mungkin mudah melakukannya. Akan tetapi, sebagian besar perusahaan mungkin membutuhkan banyak data dan perkiraan-perkiraan yang bersifat subyektif. Oleh karena itu, sebaiknya intangible benefit  tidak diubah ke bentuk uang untuk menghitung ROI, tetapi tetap mengikutsertakannya dalam laporan evaluasi sebagai benefit penerapan e-learning.

Mengenal Lebih Jauh tentang ROI

Setelah diperoleh semua biaya dan benefit, maka ROI dapat dihitung dengan membandingkan benefit dengan biaya sesuai model yang biasa dipakai perusahaan. ROI memang angka menarik yang selalu dijadikan acuan manajemen perusahaan. Akan tetapi, harus diingat bahwa pelatihan bukan sekedar angka karena melibatkan investasi ke hal lebih dalam, yaitu pengembangan manusia. Knowledge, skill dan attitude merupakan potensi besar yang dapat memajukan perusahaan secara terus-menerus.

Walaupun demikian, terlepas dari keterbatasan dan kompleksitas proses perhitungan, penggunaan atau pemahaman tentang ROI sangat membantu dalam mengetahui pos biaya yang harus diperhatikan dan benefit yang dapat dimaksimalkan melalui penggunaan e-learning. ROI dapat digunakan untuk memperoleh keunggulan teknologi e-learning dalam mengembangkan sumber daya manusia di organisasi.

Penerapan e-learning bukan sekedar mengurangi biaya pelatihan, melainkan lebih ke arah meningkatkan efisiensi dan kecepatan pembelajaran. E-learning bukan sekedar mendistribusikan materi pelatihan ke banyak orang, tetapi lebih meningkatkan kualitas masing-masing individu yang haus pengetahuan.

D. Penutup dan Kesimpulan

            Tulisan ini tentu sangat sederhana disbanding dengan banyak tulisan yang lain yang setopik. Meski demikian, tulisan ini dapat dijadikan pijakan untuk bahan diskusi bersama. Dari uraian yang sederhana di atas, dapat ditegaskan bahwa evaluasi e-learning akan selalu diperlukan untuk melihat ketercapaian hasil pembelajaran elektronik atau pembelajaran berdasarkan Web. Semuanya dilakukan, agar ketercapaian pembelajaran berbasis Web bagi peserta didik bisa dilakukan secara optimal.

Daftar Pustaka

Arikunto, Suharsimi, Dr., 1997, Dasar-dasar Evaluasi Pendidikan, Cet. 13, Yogyakarta, Bumi aksara

Efenndi, Empy dan Zhuang, Hartono. (2005). E-learning Konsep dan Aplikasi. Jakarta: Penerbit Andi.

http://www.ai3.itb.ac.id/Tutorial/LAN.html

http://www.w3.org/TR/REC-html40

http://sunsite.ui.ac.id/student/ristek/sig/infosys/artikel/artikel3/protokol1.htm

Jollifee, Alan, J. Riter and D. Stevens (2001). The Online Learning Hand Book: Developing and Using Web-Based Learning,  London: Kogan Page Limited.

Newby, Timothy J, 2000, Instructional Technology for Teaching and Learning: Designing Instruction, Integrating Computers, and Using Media, USA, Prentice Hall,

Sudjiono, Anas, Dr. Prof., 2005, Pengantar Evaluasi Pendidikan, Edisi I, Cet. 5, Jakarta, PT. Raja Grafindo Persada

Surjono, H.D. (2007). Wawasan ICT. Untuk Mahasiswa Baru Pascasarjana UNY 2007. Yogyakarta: Puskom UNY.