Ne yapıyoruz? Bir yapay zekâ sisteminin, kullanıcı isteklerini doğru
araca yönlendirip yönlendirmediğini ölçüyoruz. Sizden, sistemin verdiği kararları değil,
doğru cevabın ne olduğunu bağımsız olarak işaretlemenizi istiyoruz.
Ne kadar sürer? 300 öğe, öğe başına ortalama 15–25 saniye.
Toplam yaklaşık 1,5–2 saat. Tek oturumda bitirmek zorunda değilsiniz;
istediğiniz zaman bırakıp kaldığınız yerden devam edebilirsiniz.
Verileriniz ne olacak? İşaretlemeleriniz, her öğeye ne kadar süre
ayırdığınız ve varsa notlarınız kaydedilir. Bunlar bir akademik makalede ve makalenin açık
veri ekinde anonim olarak (annotator-1, annotator-2 … şeklinde) yayımlanır.
İsminiz veri dosyalarına girmez.
İsminiz makalede geçecek mi? Hayır — yazar değilsiniz. Yalnızca
siz açıkça izin verirseniz teşekkür (acknowledgements) bölümünde anılırsınız.
İzin vermemek hiçbir şeyi değiştirmez.
Diğer değerlendiriciler. Aynı öğeleri başka kişiler de bağımsız olarak
işaretliyor. Kimlerin işaretlediğini ve ne işaretlediklerini göremezsiniz —
bu kasıtlıdır: bağımsızlık ölçümün geçerliliği için şart.
Doğru cevabı bilmiyorsanız ne olur? Hiçbir şey. "Emin değilim"
seçeneği vardır ve onu seçmek hata değildir. Tahmin yürütmenizden çok daha
değerlidir. Yavaş olmanız da sorun değil; hız ölçmüyoruz.
Çekilme hakkı. İstediğiniz an bırakabilir, verilerinizin silinmesini
isteyebilirsiniz. Gerekçe belirtmeniz gerekmez.