زیاد بودن پاسخ‌ها همیشه به معنی نماینده بودن آن‌ها نیست. هنگام خواندن نظرسنجی، پاسخ‌دهندگان را با جامعه دعوت‌شده مقایسه کنیم.
رای هزار نفر لینک نظرسنجی می‌فرستیم و دویست پاسخ می‌گیریم. نتیجه نشان می‌دهد بیشتر پاسخ‌دهندگان یک گزینه را ترجیح می‌دهند. آیا می‌توانیم بگوییم بیشتر آن هزار نفر هم همین ترجیح را دارند؟ شاید، اما تعداد پاسخ‌ها به‌تنهایی چنین نتیجه‌ای را تضمین نمی‌کند.
چه کسی بیشتر احتمال دارد پاسخ بدهد؟
کسی که تجربه بسیار خوب یا بسیار بدی داشته، ممکن است انگیزه بیشتری برای جواب دادن داشته باشد. افرادی که وقت آزاد، دسترسی بهتر به کانال ارسال یا آشنایی بیشتری با محصول دارند هم شاید بیشتر شرکت کنند. این‌ها احتمال‌اند، نه قانون همیشگی. باید بررسی کنیم پاسخ‌دهندگان از نظر ویژگی‌های مرتبط با سؤال، با افراد دعوت‌شده تفاوت دارند یا نه.
نرخ پاسخ لازم است، کافی نیست
در مثال فرضی، نرخ پاسخ ۲۰ درصد است. این عدد درباره مشارکت اطلاعات می‌دهد، اما به‌تنهایی اندازه سوگیری را نمی‌گوید. نرخ پایین الزاماً نتیجه را بی‌ارزش نمی‌کند و نرخ بالا هم همه خطاها را حذف نمی‌کند. مهم این است که تفاوت میان کسانی که جواب داده‌اند و نداده‌اند، چقدر به موضوعی که می‌سنجیم مرتبط است.
یک مقایسه ساده قبل از گزارش
فرض کنیم کاربران پرمصرف فقط ۳۰ درصد جامعه دعوت‌شده‌اند، ولی ۷۰ درصد پاسخ‌دهندگان را تشکیل می‌دهند. اگر موضوع نظرسنجی زمان مطلوب استفاده باشد، این تفاوت می‌تواند مهم باشد. گزارش ترجیح کل را در کنار تفکیک گروه‌ها ببینیم. ویژگی‌های مقایسه باید از قبل و به دلیل ارتباطشان با سؤال انتخاب شوند؛ لازم نیست اطلاعات شخصی بیشتری صرفاً برای کامل کردن جدول جمع کنیم.
وزن‌دهی همه چیز را درست نمی‌کند
گاهی می‌توان با وزن‌دهی، سهم گروه‌های مشاهده‌شده را به ترکیب جامعه نزدیک کرد. اما اگر درون هر گروه هم فقط افراد با نظر خاص پاسخ داده باشند، وزن‌دهی ساده آن را برطرف نمی‌کند. گروه‌های کوچک و وزن‌های خیلی بزرگ هم می‌توانند نتیجه را ناپایدار کنند. روش، فرض‌ها و تعداد پاسخ‌های هر گروه باید کنار خروجی مشخص باشد.
بی‌پاسخی در یک سؤال هم مهم است
ممکن است فرد نظرسنجی را شروع کند، اما سؤال سخت یا حساس را خالی بگذارد. در این حالت، مخرج درصد همان تعداد کل شرکت‌کنندگان نیست؛ تعداد کسانی است که به آن سؤال پاسخ معتبر داده‌اند، مگر اینکه عمداً بی‌پاسخی را هم یک دسته گزارش کنیم. «۶۰ درصد موافق‌اند» بدون گفتن تعداد پاسخ معتبر و شیوه برخورد با پاسخ خالی، قابل تفسیر کامل نیست.
نتیجه را با دامنه درست بیان کنیم
اگر نماینده بودن نمونه را نمی‌توانیم دفاع کنیم، بنویسیم «در میان پاسخ‌دهندگان…» و محدودیت را توضیح بدهیم. برای شناخت افراد کم‌نماینده، می‌توان پیگیری کوتاهی با نمونه‌ای از آن‌ها طراحی کرد. هدف این نیست که نظرسنجی را کنار بگذاریم؛ می‌خواهیم بدانیم کدام تصمیم را پشتیبانی می‌کند و برای کدام تصمیم هنوز شواهد بیشتری لازم داریم.