Bagi kumpulan data menjadi subgrup demi subgrup hingga secara kebetulan Anda mendapatkan p <0,05 — lalu lihat sampel baru yang memutuskan apakah temuan Anda nyata atau hanya kebetulan.
Perawatan ini tidak memberikan efek nyata, jadi hal penting apa pun yang Anda temukan hanyalah kebisingan. Saring data ke dalam subkelompok dan jalankan kembali pengujian sebanyak yang diperlukan untuk mendapatkan nilai p di bawah 0,05, lalu serahkan 'temuan' Anda kepada pemberi referensi. Hal yang menarik: pemeriksaan replikasi mengambil sampel independen baru dan menguji ulang klaim persis Anda. Efek nyata tetap bertahan; p-hacks lenyap - dan kesenjangan itulah yang menjadi pelajaran keseluruhan.
Cherry Picker membahas tentang peretasan p, perbandingan ganda, dan mengapa replikasi penting — integritas statistik.
Menyaring ke dalam subkelompok dan menjalankan ulang uji sampai sesuatu tampak signifikan adalah pengerukan data — p-hacking: melakukan banyak uji dan hanya melaporkan uji yang hasilnya signifikan.
Rancangan orisinalnya adalah perlakuan itu tidak punya efek nyata, sehingga setiap hasil yang Anda temukan dipastikan hanyalah derau.
Itulah satu-satunya cara jujur untuk mengajarkan hal ini. Jika diceritakan secara abstrak, p-hacking terdengar seperti kecurangan yang tidak akan pernah dilakukan orang yang cermat; melakukannya pada data yang dijamin kosong menunjukkan betapa mudahnya signifikansi muncul, dan ini adalah masalah perbandingan berganda, bukan cacat karakter.
Cherry Picker adalah permainan statistik tentang peretasan p, banyak perbandingan, dan mengapa replikasi itu penting. Ini adalah game browser gratis asli yang dibuat untuk PlayPendium.