TEKNIK EVALUASI

TEKNIK EVALUASI


EVALUASI

• Adanya perdebatan tentang penilaian sebuah tampilan
• Ada yang mengatakan “BAGUS”, “SEDANG”, atau “JELEK”
• Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus
• Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena akan menambah waktu pengembangan dan biaya
• Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user


EVALUASI

• Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu
• Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll

EVALUASI

• Evaluasi digunakan untuk melihat apakah hasil
rancangan dengan proses uji coba sistem yang
telah dibuat sesuai dengan permintaan user
• Proses ini tidak dikerjakan dalam satu
fase proses perancangan tetapi melalui
perancangan dengan prinsip life cycle.


KAPAN EVALUASI DILAKUKAN?

 Evaluasi dapat dilakukan pada:
• Selama proses pembuatan produk tersebut supaya
selalu sama dengan yang diminta atau dibutuhkan
oleh user.Proses ini biasa disebut formative evaluations
• Saat produk tersebut telah jadi yaitu melalui prototype
• Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau
perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang
terbaru/upgrade, mis: program-terbaru/upgrade,
mis: program-program Windows, Winamp, dll.
Evaluasi ini biasa disebut summative evaluations

 Evaluasi produk dapat dilakukan melalui riset pasar, baik
melalui perorangan atau sekelompok user



TUJUAN EVALUASI

 Menilai seberapa jauh sistem berfungsi.
• Desain sistem memungkinkan user melakukan tugas yang
dibutuhkan dengan lebih mudah.
• Tidak hanya membuat fungsionalitas yang sesuai ada di sistem, tetapi
membuat mudah dicapai oleh user, user dapat melakukan aksi
untuk melaksanakan tugas.
• Mencakup kesesuaian penggunaan sistem terhadap harapan
user pada tugas tertentu.
• Evaluasi pada tahap ini meliputi pengukuran
unjuk kerja dari user pada sistem, untuk melihat
keefektifan sistem, sistem dalam mendukung tugas.


TUJUAN EVALUASI (2)

 Menilai efek (pengaruh) interface bagi user
• Hal ini mencakup pertimbangan aspek dari kemudahan sistem dipelajari, usability, dan perilaku user. Penting juga untuk mengidentifikasikan area desain yang berlebih dari user dengan menggunakan sejumlah informasi yang berlebih.


TUJUAN EVALUASI (3)

 Mengidentifikasi masalah khusus yang
terjadi pada sistem
• Ketika menggunakan konteks yang diinginkan menyebabkan
hasil yang tidak diinginkan, atau terjadi kekacauan
diantara user. Ini tentunya berhubungan dengan usability dan fungsionalitas dari desain (bergantung
pada sebab masalah). Tujuan ini merupakan aspek
negatif dari desain.


JENIS-JENIS- JENIS EVALUASI


 Kondisi Percobaan (laboratory)
• Keuntungan
 Peralatan spesial tersedia
 Lingkungan yang terinterupsi
• Kerugian
 Kekurangan konteks
 Sulit untuk mengamati beberapa pengguna
bekerjasama


JENIS-JENIS- JENIS EVALUASI(3)


 Dalam kondisi lokasi kerja sebenarnya (studi
lapangan)
• Keuntungan
 Lingkungan natural / alami
 Konteksnya terjaga (walaupun observasi
mengubahnya)
 Memungkinkan studi longitudinal (Studi
yang panjang)
• Kerugian
 Banyak yang menyelingi / mengganggu
 Noise (kegaduhan, keriuhan)


DESAIN PARTISIPAN


 Adalah suatu pemikiran yang melibatkan
keseluruhan alur perancangan dan tidak
hanya proses evaluasi saja.

 Perancangan ini dilakukan pada ruang
kerja yang melibatkan pengguna yang
tidak hanya digunakan sebagai subyek
percobaan tetapi juga sebagai anggota
yang aktif dalam team perancangan.


DESAIN PARTISIPAN (2)


 Karakteristik
• Meningkatkan lingkungan kerja dan tugas
• Mempunyai sifat kerja sama, yakni pengguna
dilibatkan dalam anggota team dan
mempunyai kontribusi pada setiap tingkat
perancangan.
 Mempunyai pendekatan iterative,
perancangan adalah suatu subyek untuk
evaluasi dan revisi pada setiap tingkatan.


DESAIN PARTISIPAN (3)


 Metode
• Brain storming (peneluran pikiran)
• Storyboarding (papan cerita)
• Workshops (lokakarya)
• Pensil dan latihan di kertas


DESAIN EVALUASI

 Cognitive Walkthrough
• Dikemukakan oleh Polson
• Analisis berfokus pada tujuan dan pengetahuan
• Mengevaluasi desain pada seberapa baik ia mendukung
• pengguna dalam pembelajaran tugas
• Biasanya dilakukan oleh pakar dalam psikologi kognitif
• Pakar ‘walks through’ (mendalami) desain untuk mengidentifikasi
masalah potensial menggunakan prinsip2 psikologi
• Form digunakan untuk memandu analisis
• Untuk setiap Walkthrough mempertimbangkan hal-hal berikut:hal-berikut:
 Dampak interaksi, apakah yang akan terjadi padainteraksi,
pengguna?
 Proses kognitif apakah yang dibutuhkan?
 Masalah pembelajaran apakah yang mungkin terjadi?


DESAIN EVALUASI(2)


 Evaluasi Heuristic
• Diajukan oleh Nielsen dan Molich
• Evaluasi ini ‘men-debug’(menelusuri
kesalahan) desain
• Perilaku sistem dapat diprediksi
• Perilaku sistem adalah konsisten
• Umpan balik tersedia


DESAIN EVALUASI (3)


 Evaluasi Berbasis Tinjauan (Review-
based)
• Hasil-hasil dilaporkan dalam literatur yang
digunakan untuk mendukung atau menolak
bagian-bagian desain
• Perlu perhatian untuk memastikan hasil-hasil
yang diperoleh dapat ditransfer / dipindahkan
ke desain yang baru.


DESAIN EVALUASI (4)


 Evaluasi Berbasis Model (Model-Based)
• Model kognitif digunakan untuk menepis opsi
desain
 Contoh : prediction GOMS dari kinerja pengguna
• Rasional desain dapat juga menyediakan
informasi yang berguna dalam
pengevaluasian desain.

EVALUASI IMPLEMENTASI

 Membutuhkan sebuah simulasi, prototype,
implementasi penuh.
 Metode Empirik : Evaluasi Eksperimen
• Evaluasi terkontrol dari aspek spesifikasi
pada perilaku interaktif
• Pengevaluasi memilih hipotesis yang akan
dicoba
• Jumlah kondisi eksperimen hanya dilihat
sebagai perbedaan dalam nilai dari beberapa
variabel terkontrol
• Perubahan dalam pengukuran kinerja
dihubungkan pada kondisi-kondisi yang
berbeda


EVALUASI IMPLEMENTASI(2)

 Faktor-Faktor-faktor Eksperimental
• Subyek
 Pemilihan subyek sangat penting dalam beberapa
eksperimen.eksperimen.
 Harus setepat mungkin dengan keinginan user.
 Jika subyek bukan user sebenarnya maka subyek yang
dipilih harus sama usia dan tingkatan pendidikan serta
pengalaman menggunakan komputer secara umum
dan keterhubungan sistem yang sedang dalam
pengujian
• Variabel
 Independent Variabel
Karakteristik suatu eksperimen yang memanipulasi
untuk menghasilkan kondisi yang berbeda untuk
perbandingan.perbandingan.
 Dependent Variabel
Variabel yang dapat diukur dalam eksperimen


EVALUASI IMPLEMENTASI(3)


• Hypothesis
 Merupakan prediksi yang dihasilkan dalam
eksperimen.
 Masih menggunakan variabel independent dan
dependent, dimana variasi di dalam independent
variable akan menyebabkan perbedaan pada
dependent variable.
 Tujuan dari eksperimen adalah untuk
menunjukkan bahwa perkiraan benar dengan
menyangkal adanya null hyphotesis, yang
menyatakan bahwa tidak ada perbedaan dalam
dependent variable diantara tingkatan dari suatu
independent variable.


EVALUASI IMPLEMENTASI(4)

 Metode Observasi
• Pengguna diobservasi sewaktu menjalankan tugas
• Pengguna ditanyai untuk menjelaskan apa yang ia kerjakan dan
mengapa, apa yang dipikirkanya akan terjadi, dll
• Keuntungan
 Penyederhanaan – membutuhkan sedikit kepakaran
 Dapat menghasilkan pengertian yang berguna
 Dapat menunjukan bagaimana sistem sesungguhnya
 digunakan.
• Kerugian
 Subjektif
 Selektif
 Tindakan dari penjelasan yang dilakukan mungkin
 mengubah kinerja tugas


EVALUASI IMPLEMENTASI(5)

 Metode Analisis Protokol
• Kertas dan Pensil
 Murah
 Dibatasi pada kecepatan menulis
• Audio
 Baik untuk pertimbangan yang lebih seksama
 Sulit untuk mencocokkan dengan protokol yang lain
• Video
 Akurat dan realistik
 Membutuhkan peralatan khusus
 Yang paling menonjol / kelihatan
• Komputer Logging (catatan terkomputerisasi)
 Otomatis dan tidak menonjol
 Jumlah data yang besar sulit dianalisis
• Catatan Pengguna
 Levelnya lebih kasar dan subjektif
 Pertimbangan yang berguna
 Baik untuk longitudinal study

EVALUASI IMPLEMENTASI(6)

 Teknik Query
• Interview
 Menginterview user tentang pengalaman mereka
dengan sistem interaktif yang menyediakan
informasi secara langsung dan terstruktur.
 Keuntungan
• Dapat divariasikan agar sesuai dengan
• konteksnya
• Isu dapat diexploitasi lebih jauh
• Pandangan pengguna bisa diperoleh dan
• permasalahan tak terantisipasi dapat dikenali
 Kerugian
• Sangat subjektif
• Memakan waktu

EVALUASI IMPLEMENTASI(7)


• Questionnaire
 Metode alternatif yang agak kurang fleksibel
 dibandingkan dengan interview tetapi dapat
 meraih subyek yang banyak dan membutuhkan
 waktu yang tidak lama.
 Keuntungan
• Cepat dan mencapai kelompok pengguna yang besar
• Dapat dianalisis lebih teliti
 Kerugian
• Kurang fleksibel
• Pemeriksaannya kurang


PEMILIHAN METODE EVALUASI


 Faktor-Faktor- faktor yang harus dipertimbangkan
• Di tahap mana suatu evaluasi dilakukan?
 Desain vs Implementasi
• Gaya evaluasi apakah yang dibutuhkan?
 Laboratorium vs Lapangan
• Objektivitas teknik seperti apakah yang
• seharusnya ada?
 Subjektif vs Objektif


PEMILIHAN METODE EVALUASI(2)


• Jenis pengukuran apakah yang dibutukan?
 Kualitatif vs kuantitatif
• Level informasi apakah yang dibutuhkan?
 Level tinggi vs level rendah
• Seperti apakah level gangguannya?
 Obtrusive (menonjol) vs unobtrusive (tidak
menonjol)
• Sumber daya apahkah yang tersedia?
 Waktu, subjek, peralatan, kepakaran