Anket sonuçlarından ne zaman alıntı yapılmalı: Kalite nasıl belirlenir ve kırmızı bayraklar nasıl anlaşılır?

Gazeteciler, bir kamuoyu duygusu sunmak için genellikle anket sonuçlarını bir hikayeye dahil eder. Ancak tüm anketler eşit oluşturulmaz ve ne pahasına olursa olsun bazılarından kaçınılmalıdır.

Yakın tarihli bir telefon görüşmesinde, “partizan olmayan bir bilgi bankası” olan Pew Araştırma Merkezi’nde anket araştırması ve inovasyondan sorumlu başkan yardımcısı olan Courtney Kennedy, anket kalitesinin nasıl değerlendirileceği konusunda benimle tavsiyelerini paylaştı.

Uzunluk ve netlik için düzenlenen konuşmamızın daha uzun bir versiyonu The Freelance Center’da bulunabilir.

Bir anketi iyi yapan nedir?

On yıl önce bu, cevaplanması kolay bir soruydu çünkü bazı şeyleri yapmanın diğer yaklaşımlardan daha iyi olduğu kanıtlanmış, yerleşik, kodlanmış yolları vardı. Ancak anketlerin büyük ölçüde çevrimiçi olması ve bunun nasıl yapıldığı konusunda çok fazla çeşitlilik olması nedeniyle, ‘Muhabirlerin dikkat etmesi gereken üç şey var’ demek benim için artık kolay değil.

Daha önce anketler çoğunlukla telefonla mı yapılıyordu?

Bu doğru ve ‘Yalnızca, örneklem kaynağının tüm Amerikalıları kapsadığı, nüfusun rastgele bir örneğini çeken bir anketi rapor edin’ diyebilirsiniz. Bu, Amerika Birleşik Devletleri’ndeki tüm telefon numaralarının rastgele bir örneği olabilir çünkü Amerikalıların yaklaşık %98’inin bir telefon numarası veya tüm adreslerden rastgele bir örneği vardır.

Anketlerin çoğu çevrimiçi yapılıyorken şimdi gazetecilere ne söyleyebilirsiniz?

İnsanları şeffaflığa bakmaya teşvik ediyorum. Anket size nasıl yapıldığını anlatıyor mu? Bir kırmızı bayrak ve bence bir diskalifiye edici, ifşa edilen tek şeyin anketin çevrimiçi yapılmış olması. Bu, anketçinin örneği nasıl çizdikleri ve bunun nasıl yapıldığı hakkındaki konuşmadan gerçekten kaçınmaya çalıştığına dair bir işaret. Daha iyi anketçiler size ‘Bu anket çevrimiçi yapıldı. Ve numunenin geldiği yer burası. Ve işte o örneği mümkün olduğunca ulusal temsili yapmak için yaptığım şey ve işte verileri ağırlıklandırmak için yaptığım şey.’

Sponsor, anket için ödeme yapan kuruluş önemli mi?

Tarafsız, partizan olmayan bir kaynak tarafından yapılan anketlere bakarak, uzun vadede daha iyi veriler elde edeceksiniz. Sponsorun kim olduğuna ve çıkar çatışması olup olmadığına gerçekten dikkat edin.

Artık anketler çoğunlukla çevrimiçi yapıldığından, hala rastgele örnekleme ile mi yapılıyorlar?

Pew’de – ve Associated Press gibi diğer yerlerde – çevrimiçi anketler yapıyoruz, ancak bunları gerçekte çevrimdışı olarak toplanan titiz panellerle yapıyoruz. Panel, sürekli olarak anketlere katılmayı kabul eden bir grup insandır. Pew’de yaklaşık 10.000 kişilik bir panelimiz var ve onlarla yıllarca ayda bir veya iki kez röportaj yapıyoruz. Bunu bu şekilde yapıyoruz çünkü artık 1000 Amerikalıyı soğuk aramak pratik değil; insanlar artık telefonu açmıyor.

Bu panel rastgele bir örnek mi?

Evet. Posta Servisi konut adreslerinin ana listesini kullanıma sunduğundan, rastgele bir ulusal ev adresi örneği çiziyoruz.

Ancak tüm çevrimiçi anketler rastgele örnekleme kullanmaz.

Diğer yol uygun örneklemedir. Google’a girip bir arama yaparsanız veya sosyal medyadaysanız, bazen anketlere katılmak için bir reklam görürsünüz. Ya da örneğin Walgreens’ten ‘Müşteri Hizmetleri Programımızdasınız, lütfen bir ankete katılın’ yazan bir e-posta alabilirsiniz. Bu diğer çevrimiçi anketler kovasında yer alan ve bu, reklamların ve e-postaların bir kombinasyonu ve gelişigüzel örneklemedir.

Rastgele bir örnek neden uygun bir örnekten daha iyidir?

Rastgele bir örneklemede, ırkı, dini, geliri veya yaşı ne olursa olsun, halktaki herkesin anket için seçilme şansı vardı. Ve böylece, yanıt veren insanlar – bu mükemmel olmayacak – daha temsili olacak.

Verilerin ağırlıklandırılmasından bahsettiniz. Bu nedir?

Tüm anketlerin ağırlıklandırılması gerekir. Anketinizi gerçekten tamamlayan kişileri alır ve bu örneği ülkeyi daha iyi temsil eder hale getirir. Bu yüzden, Pew’in posta yoluyla işe alım yaptığını açıkladığımda, hangi nedenle olursa olsun kadınların postayı açma olasılığının erkeklerden daha yüksek olduğu ortaya çıktı. Ve böylece, verilerimizi aldığımızda, biraz fazla kadınsı olma eğilimindedir. Dolayısıyla, Sayım Bürosu bize ABD’deki yetişkinlerin %52’sinin kadın olduğunu söylerse, verilerimizi geri aldığımızda bu oran %56 kadın olabilir. Ancak verilerimizin ulus gibi görünmesini istiyoruz. Böylece tartıyoruz, örneklemdeki kadınların nihai tahminler üzerinde biraz daha az etkiye sahip olmasını sağlıyoruz. Halkın geneline yönelik bir anket, en azından temel demografik özellikler olan eğitim, yaş, cinsiyet ve ırk ve etnik köken gibi şeylere ağırlık vermelidir.

Muhabirler bir anketten alıntı yapıp yapmamaya karar verirken örneklem büyüklüğüne bakmalı mı?

En titiz anketler, ulusal bir örneklem ise en az 1.000 görüşme içerir. Ve bu ideal minimumdur. Sadece 300 kişiyle yapılmış bir anket görseydim, bu büyük bir kırmızı bayrak olurdu.

Anketör bir alt grubun, örneğin kanser hastalarının ve tüm Amerikalı yetişkinlerin fikrini ölçmeye çalışıyorsa, örneklem boyutunun daha küçük olması uygun mudur?

Evet, ama yine de en az 100 istersiniz.

Barbara Şömine (@BJMantel), bağımsız bir gazeteci, AHCJ’nin serbest topluluk muhabiridir. Çalışmaları, diğerleri arasında CQ Researcher, Rural Health Quarterly, Undark, Healthline, NBCNews.com ve NPR’de yayınlandı. Üyelerin serbest çalışanlar olarak başarılı olmaları için ihtiyaç duydukları kaynakları bulmalarına yardımcı olur ve önerilerinizi memnuniyetle karşılar.