Dari Deskripsi ke Inferensi: Distribusi Sampling, Penaksiran, dan Kuantifikasi Ketidakpastian

Oleh Andi Illa Erviani Nensi | Magister Statistika dan Sains Data

Artikel lanjutan dari “Statistik Deskriptif: Fondasi Matematis untuk Memahami Struktur Data”

Abstrak

Artikel sebelumnya memandang ukuran deskriptif sebagai fungsional dari distribusi empiris dan membahas sifat serta ketahanannya. Artikel ini melanjutkan dengan pertanyaan berikutnya yang tak terhindarkan: seberapa jauh ringkasan yang dihitung dari satu sampel dapat dipercaya sebagai gambaran populasi? Pembahasan mencakup distribusi sampling dan teorema limit, sifat-sifat penaksir (bias, varians, galat kuadrat rata-rata, efisiensi, batas Cramér–Rao), metode penaksiran klasik (momen dan kemungkinan maksimum), interval kepercayaan dan bootstrap, serta pengujian hipotesis. Bagian akhir menghubungkan semuanya dengan praktik sains data modern: dependensi antarpengamatan, perbandingan berganda, dan trade-off bias–varians. Contoh numerik memakai kembali data {2, 4, 4, 6, 9} agar dapat dibandingkan langsung dengan artikel pertama.

Kata kunci: distribusi sampling, penaksir, galat kuadrat rata-rata, kemungkinan maksimum, interval kepercayaan, bootstrap

1. Pendahuluan: Batas Antara Mendeskripsikan dan Menyimpulkan

Statistik deskriptif menjawab pertanyaan “apa yang terjadi pada data ini?”. Inferensi menjawab pertanyaan yang lebih sulit: “apa yang dapat dikatakan tentang populasi di balik data ini, dan seberapa yakin kita?”. Pergeseran tersebut mengubah status setiap angka. Rata-rata sampel x̄ = 5 pada artikel pertama hanyalah ringkasan data. Dalam inferensi, x̄ adalah satu realisasi dari variabel acak X̄ yang akan berbeda jika sampel diambil ulang, dan seluruh pekerjaan inferensi adalah memahami sebaran dari variasi tersebut.

Artikel ini disusun dalam urutan berikut. Bagian 2 menetapkan kerangka model statistik. Bagian 3 membahas distribusi sampling. Bagian 4 dan 5 membahas kualitas dan konstruksi penaksir. Bagian 6 dan 7 membahas interval kepercayaan serta pengujian hipotesis. Bagian 8 menyorot beberapa jebakan yang khas pada sains data.

2. Kerangka: Model Statistik dan Distribusi Sampling

Inferensi parametrik dimulai dengan sebuah model: pengamatan X₁, …, Xₙ dianggap berasal dari keluarga distribusi {F_θ : θ ∈ Θ}, dengan θ parameter yang tidak diketahui. Tujuannya adalah menaksir θ (atau fungsi dari θ) dan menyatakan ketidakpastiannya. Pada pendekatan nonparametrik, F sendiri tidak dibatasi pada keluarga tertentu, dan yang ditaksir adalah fungsional T(F), misalnya mean atau median populasi.

Penaksir adalah statistik θ̂ = T(X₁, …, Xₙ), sehingga ia adalah variabel acak. Distribusi θ̂ di bawah pengambilan sampel berulang disebut distribusi sampling. Semua kualitas yang dibahas berikutnya (bias, varians, cakupan interval, nilai-p) adalah sifat distribusi sampling, bukan sifat satu sampel tertentu.

Asumsi yang paling sering diam-diam dipakai adalah bahwa pengamatan saling bebas dan identik distribusinya (i.i.d.). Bagian 8 menunjukkan betapa mahalnya pelanggaran asumsi ini.

3. Distribusi Sampling Rata-rata

3.1 Momen dan hukum limit

Jika X₁, …, Xₙ i.i.d. dengan mean μ dan varians σ² hingga, maka E[X̄] = μ dan Var(X̄) = σ²/n, sehingga galat baku (standard error) rata-rata adalah SE(X̄) = σ/√n. Dua hasil limit melengkapi gambaran ini:

•         Hukum Bilangan Besar: X̄ konvergen ke μ, sehingga rata-rata sampel adalah penaksir yang konsisten.

•         Teorema Limit Pusat (CLT): √n (X̄ − μ)/σ konvergen dalam distribusi ke normal baku, tanpa mensyaratkan data normal.

CLT adalah pernyataan asimtotik. Untuk n berhingga, teorema Berry–Esseen memberi batas kesalahan pendekatan: sup |F_n(z) − Φ(z)| ≤ C·ρ/(σ³√n), dengan ρ = E|X − μ|³ dan konstanta C < 0,48. Dua pelajaran penting muncul. Pertama, laju konvergensinya hanya O(1/√n). Kedua, semakin besar rasio ρ/σ³ (semakin menceng dan berekor berat distribusinya), semakin lambat konvergensinya.

Sebagai ilustrasi, rata-rata dari n pengamatan eksponensial berdistribusi Gamma dengan skewness 2/√n. Pada n = 30, skewness distribusi sampling X̄ masih sekitar 0,37, jelas tidak nol. Aturan praktis “n ≥ 30 sudah normal” karenanya hanya heuristik. Untuk data menceng berat, diperlukan sampel jauh lebih besar, atau metode yang tidak bergantung pada normalitas (Bagian 6.3). Kaitannya dengan artikel pertama jelas: semakin besar kemencengan dan kurtosis, semakin rapuh pendekatan normal untuk mean.

3.2 Ketika σ tidak diketahui: distribusi t

Dalam praktik σ tidak diketahui dan diganti dengan s. Jika data berdistribusi normal, statistik (X̄ − μ)/(S/√n) berdistribusi t Student dengan n − 1 derajat kebebasan (Student, 1908), dengan ekor lebih berat daripada normal baku yang mencerminkan ketidakpastian tambahan akibat penaksiran σ. Derajat kebebasan n − 1 adalah derajat kebebasan yang sama yang muncul pada koreksi Bessel di artikel pertama. Untuk n besar, distribusi t mendekati normal baku.

4. Kualitas Penaksir

4.1 Bias, varians, dan galat kuadrat rata-rata

Untuk penaksir θ̂ dari θ, bias didefinisikan sebagai E[θ̂] − θ. Ukuran gabungan yang paling umum adalah galat kuadrat rata-rata (mean squared error, MSE):

MSE(θ̂) = E[(θ̂ − θ)²] = Var(θ̂) + (Bias(θ̂))²

Dekomposisi ini adalah akar dari trade-off bias–varians yang dikenal luas dalam pembelajaran mesin (Hastie dkk., 2009). Penaksir tak bias tidak otomatis terbaik; menerima sedikit bias terkadang menurunkan varians cukup banyak sehingga MSE mengecil.

Contoh: tiga penyebut untuk varians. Misalkan data i.i.d. normal dan SS = Σ(Xᵢ − X̄)². Pertimbangkan penaksir SS/d untuk σ² dengan penyebut d berbeda. Maka:

Penyebut d	Bias	MSE	Untuk n = 5
n − 1	0	2σ⁴/(n − 1)	0,500 σ⁴
n	−σ²/n	(2n − 1)σ⁴/n²	0,360 σ⁴
n + 1	−2σ²/(n + 1)	2σ⁴/(n + 1)	0,333 σ⁴

Penyebut n − 1 yang tak bias justru memiliki MSE terbesar di antara ketiganya, sedangkan n + 1 meminimumkan MSE di antara penaksir berbentuk SS/d pada kasus normal. Pilihan penyebut karenanya bergantung pada kriteria yang diprioritaskan: ketaktakbiasan atau MSE. Pada n besar, perbedaannya menjadi tak berarti.

4.2 Konsistensi dan efisiensi

Penaksir θ̂ₙ disebut konsisten jika θ̂ₙ konvergen dalam probabilitas ke θ. Di antara penaksir tak bias, yang bervarians lebih kecil dikatakan lebih efisien. Batas bawah varians dinyatakan oleh ketaksamaan Cramér–Rao: untuk penaksir tak bias θ̂ dari θ dengan data i.i.d. dan kondisi keteraturan,

Var(θ̂) ≥ 1 / (n · I(θ))

dengan I(θ) informasi Fisher per pengamatan. Untuk data N(μ, σ²) dengan σ diketahui, I(μ) = 1/σ², sehingga batasnya σ²/n, persis varians X̄. Artinya, X̄ efisien (mencapai batas) pada model normal. Efisiensi relatif median terhadap mean pada model yang sama sekitar 2/π ≈ 64%, karena varians asimtotik median adalah (π/2)·σ²/n, atau SE sekitar 1,2533 kali SE mean. Angka ini adalah penjelasan kuantitatif atas pernyataan di artikel pertama bahwa ketahanan memiliki harga efisiensi.

5. Metode Penaksiran

5.1 Metode momen

Metode momen menyamakan momen populasi dengan momen sampel dan menyelesaikan untuk parameter. Metode ini sederhana, tetapi tidak selalu efisien, dan pada distribusi berekor berat momen yang dibutuhkan bisa tidak ada.

5.2 Kemungkinan maksimum

Penaksir kemungkinan maksimum (maximum likelihood estimator, MLE) memaksimumkan fungsi kemungkinan L(θ) = Π f(xᵢ; θ), atau setara log-kemungkinan. Di bawah kondisi keteraturan, MLE konsisten, invarian terhadap reparametrisasi, dan normal asimtotik dengan varians kebalikan informasi Fisher: √n (θ̂ − θ) konvergen ke N(0, 1/I(θ)). Dengan kata lain, MLE efisien secara asimtotik.

MLE menghubungkan kembali beberapa hasil dari artikel pertama:

•         Normal: MLE untuk μ adalah x̄, dan MLE untuk σ² adalah (1/n)Σ(xᵢ − x̄)², yaitu penyebut n, yang bias tetapi konsisten. Maksimisasi kemungkinan normal setara dengan meminimumkan jumlah kuadrat, sehingga mean muncul sebagai solusi kuadrat terkecil.

•         Laplace: untuk densitas f(x) = (1/2b)·exp(−|x − μ|/b), log-kemungkinan sebanding dengan −Σ|xᵢ − μ|, sehingga MLE untuk μ adalah median.

Dengan demikian, pilihan antara mean dan median bukan sekadar soal selera: keduanya adalah MLE di bawah asumsi galat yang berbeda (normal versus Laplace). Memilih fungsi kerugian pada praktik pembelajaran mesin (kuadratik versus absolut) sama dengan memilih asumsi tentang sebaran galat.

6. Kuantifikasi Ketidakpastian

6.1 Interval kepercayaan

Interval kepercayaan 100(1 − α)% adalah interval acak [L(X), U(X)] sedemikian sehingga P(L ≤ θ ≤ U) = 1 − α untuk setiap nilai θ. Interpretasi frekuentis yang benar: jika prosedur diulang pada banyak sampel, sekitar 100(1 − α)% interval yang dihasilkan memuat θ. Pernyataan “peluang μ berada di dalam interval ini adalah 95%” untuk satu interval yang sudah dihitung adalah salah tafsir, sebab μ tetap dan interval itu sudah menjadi realisasi.

Untuk mean pada data normal, interval t adalah:

x̄ ± t_{n−1, 1−α/2} · s/√n

6.2 Contoh numerik

Pada data {2, 4, 4, 6, 9}: x̄ = 5, s = √7 ≈ 2,646, sehingga SE = s/√5 ≈ 1,183. Nilai kritis t_{4; 0,975} = 2,776, sehingga margin galat ≈ 3,285 dan interval kepercayaan 95% untuk μ adalah sekitar (1,72; 8,29).

Bandingkan dengan interval yang memakai nilai normal 1,96: margin ≈ 2,319, interval (2,68; 7,32), yang jauh lebih sempit tetapi undercoverage pada n sekecil ini, sebab mengabaikan ketidakpastian dari menaksir σ. Selang yang lebar pada n = 5 bukan kelemahan metode, melainkan cerminan jujur dari sedikitnya informasi. Perlu dicatat pula bahwa interval t mengandaikan normalitas, sedangkan lima titik data tidak cukup untuk memeriksa asumsi itu.

6.3 Bootstrap

Bootstrap (Efron, 1979) mengganti distribusi populasi F yang tidak diketahui dengan distribusi empiris Fₙ dari artikel pertama. Langkahnya: (1) ambil B sampel berukuran n dengan pengembalian dari data; (2) hitung statistik pada setiap sampel; (3) gunakan sebaran hasil sebagai pendekatan distribusi sampling. Interval persentil diambil dari kuantil ke-α/2 dan 1 − α/2 sebaran bootstrap tersebut.

Keunggulannya, bootstrap berlaku untuk statistik yang rumus galat bakunya sulit diturunkan, seperti median, MAD, atau IQR. Beberapa catatan agar tidak keliru memakainya:

•         Pada sampel sangat kecil, sebaran bootstrap sangat diskret. Untuk data kita (n = 5) hanya ada C(9, 5) = 126 sampel bootstrap yang berbeda sebagai himpunan, sehingga bootstrap median tidak informatif.

•         Bootstrap gagal untuk statistik ekstrem seperti nilai maksimum dan untuk distribusi tanpa varians hingga.

•         Pada data bergantung (deret waktu, data berkelompok), diperlukan varian seperti block bootstrap atau cluster bootstrap.

Sebagai pembanding teoretis, galat baku asimtotik median adalah 1/(2 f(m) √n), dengan f(m) kepadatan di titik median m. Pada distribusi normal ini menghasilkan σ√(π/(2n)), konsisten dengan angka efisiensi 64% pada Bagian 4.2.

7. Pengujian Hipotesis

Pengujian hipotesis mengevaluasi apakah data sesuai dengan suatu klaim H₀ tentang parameter. Nilai-p adalah peluang, dengan asumsi H₀ benar, memperoleh statistik uji yang setidaknya sama ekstremnya dengan yang teramati. Nilai-p bukan peluang H₀ benar, dan bukan ukuran besarnya efek (Wasserstein dan Lazar, 2016).

Contoh: untuk H₀: μ = 0 pada data kita, statistik t = x̄/(s/√n) = 5/1,183 ≈ 4,23 dengan 4 derajat kebebasan. Karena nilai kritis dua sisi t₄ adalah 3,75 pada taraf 2% dan 4,60 pada taraf 1%, nilai-p dua sisi terletak antara 0,01 dan 0,02. Selang kepercayaan 95% pada Bagian 6.2 tidak memuat 0, konsisten dengan penolakan H₀ pada α = 0,05; ini adalah dualitas antara uji dan interval kepercayaan.

Tiga hal yang perlu dijaga:

1.       Kekuatan uji dan ukuran efek. Hasil “signifikan” pada sampel besar bisa berupa efek yang sangat kecil secara praktis; hasil “tidak signifikan” pada sampel kecil bisa disebabkan kekuatan uji yang rendah. Laporkan ukuran efek dan interval, bukan hanya nilai-p.

2.       Galat tipe I dan II. α adalah peluang galat tipe I, sedangkan galat tipe II (β) bergantung pada ukuran efek, n, dan σ.

3.       Asumsi. Validitas uji t bergantung pada normalitas (atau n besar) dan independensi.

8. Implikasi untuk Praktik Sains Data

8.1 Dependensi dan ukuran sampel efektif

Asumsi i.i.d. sering dilanggar: pengamatan berasal dari pengguna yang sama, sekolah yang sama, atau periode waktu yang berdekatan. Jika setiap pasang pengamatan berkorelasi ρ (struktur equicorrelation), maka Var(X̄) = (σ²/n)·[1 + (n − 1)ρ], sehingga ukuran sampel efektif adalah n_eff = n/[1 + (n − 1)ρ]. Dengan n = 100 dan ρ = 0,1, faktor inflasi variansnya 10,9 dan n_eff ≈ 9,2. Seratus pengamatan yang berkorelasi lemah hanya setara dengan sekitar sembilan pengamatan independen. Mengabaikan hal ini membuat galat baku terlalu kecil dan interval terlalu sempit, kesalahan yang paling umum pada analisis data observasional.

8.2 Perbandingan berganda dan p-hacking

Bila m hipotesis diuji pada taraf α dan semua H₀ benar, peluang paling sedikit satu penolakan keliru adalah 1 − (1 − α)ᵐ, yang untuk m = 20 dan α = 0,05 sudah sekitar 64%. Koreksi seperti Bonferroni (mengendalikan peluang kesalahan keluarga) atau Benjamini–Hochberg (mengendalikan false discovery rate) diperlukan ketika banyak fitur, subkelompok, atau model dieksplorasi. Eksplorasi yang tidak dicatat lalu dilaporkan seolah dirancang sebelumnya menggelembungkan galat tipe I secara sistematis.

8.3 Inferensi, prediksi, dan generalisasi

Pemisahan data latih dan uji dalam pembelajaran mesin pada hakikatnya adalah inferensi tentang galat generalisasi, dan galat uji itu sendiri adalah penaksir dengan distribusi sampling. Dua model yang tampak berbeda 0,5 poin akurasi pada satu himpunan uji belum tentu berbeda secara bermakna. Interval kepercayaan (misalnya melalui bootstrap pada himpunan uji) atau validasi silang berulang membantu menilai apakah selisih itu melampaui galat sampling. Kebocoran data (data leakage) merusak seluruh logika ini karena membuat data uji tidak lagi independen dari proses pemodelan.

9. Kesimpulan

Inferensi statistik mengubah ringkasan data menjadi pernyataan tentang populasi yang disertai ukuran ketidakpastian. Rata-rata sampel memiliki distribusi sampling yang dikarakterisasi oleh galat baku σ/√n, dengan pendekatan normal yang kualitasnya bergantung pada kemencengan dan ekor distribusi. Kualitas penaksir dinilai dari bias, varians, dan MSE, serta dibandingkan dengan batas Cramér–Rao; ketaktakbiasan bukan satu-satunya kriteria, sebagaimana ditunjukkan oleh contoh penyebut varians. MLE memberi kerangka terpadu yang menjelaskan mengapa mean dan median masing-masing optimal di bawah asumsi galat tertentu. Interval kepercayaan, bootstrap, dan uji hipotesis memberikan bahasa untuk menyatakan seberapa kuat kesimpulan didukung data, dengan syarat asumsi independensi dan model terpenuhi.

Bagi praktisi sains data, pelajaran intinya adalah bahwa setiap angka yang dilaporkan adalah satu realisasi dari distribusi sampling. Melaporkan estimasi tanpa ketidakpastian, mengabaikan dependensi, atau menjalankan banyak uji tanpa koreksi adalah cara-cara yang sama-sama efektif untuk menghasilkan kesimpulan yang keliru dengan tampilan yang meyakinkan.

Daftar Pustaka

• Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.
• Efron, B. (1979). Bootstrap methods: Another look at the jackknife. The Annals of Statistics, 7(1), 1–26.
• Efron, B., & Tibshirani, R. J. (1993). An Introduction to the Bootstrap. Chapman & Hall.
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer.
• Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
• Student [W. S. Gosset]. (1908). The probable error of a mean. Biometrika, 6(1), 1–25.
• van der Vaart, A. W. (1998). Asymptotic Statistics. Cambridge University Press.
• Wasserman, L. (2004). All of Statistics: A Concise Course in Statistical Inference. Springer.
• Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133.

•