وقتی دو شاخص با هم تغییر می‌کنند، هنوز نمی‌دانیم یکی باعث دیگری شده است. چند پرسش برای تفسیر محتاطانه‌تر داده.
در یک محصول فرضی می‌بینیم کاربرانِ استفاده‌کننده از یک قابلیت، خرید بیشتری دارند. نتیجه سریع این است: اگر همه را به استفاده از آن قابلیت تشویق کنیم، خرید بیشتر می‌شود. شاید درست باشد، اما مشاهده فعلی به‌تنهایی چنین چیزی را ثابت نمی‌کند.
ممکن است جهت رابطه برعکس باشد
شاید قابلیت باعث خرید بیشتر شده باشد. شاید هم کسانی که بیشتر خرید می‌کنند، بیشتر به آن قابلیت نیاز پیدا می‌کنند. در حالت دوم، استفاده از قابلیت پیامد فعالیت بیشتر است. زمان‌بندی رویدادها می‌تواند به بررسی این احتمال کمک کند، ولی جلوتر بودن یک رویداد هم به‌تنهایی اثبات علت نیست.
شاید عامل سومی در کار باشد
ممکن است کاربران قدیمی هم خرید بیشتری داشته باشند و هم قابلیت را بهتر بشناسند. در این صورت، سابقه کاربر بخشی از رابطه را توضیح می‌دهد. مقایسه در گروه‌های مشابه از نظر سابقه کمک می‌کند، اما همه عوامل را لزوماً ثبت نکرده‌ایم. کنترل چند متغیر در مدل، مجوز قطعی برای ادعای علّی نیست.
چه کسانی وارد داده شده‌اند؟
اگر فقط کاربران فعال را بررسی کنیم، درباره کسانی که از محصول خارج شده‌اند چیزی نمی‌بینیم. اگر فقط خریدهای موفق را داشته باشیم، ممکن است رابطه‌ای که در کل درخواست‌ها وجود دارد پنهان شود. انتخاب جامعه تحلیل بخشی از استدلال است. قبل از کشیدن نمودار، باید روشن کنیم چه کسانی بیرون از داده مانده‌اند و چرا.
چه چیزی ادعا را قوی‌تر می‌کند؟
وقتی امکانش باشد، آزمایش تصادفیِ درست طراحی‌شده ابزار مهمی برای بررسی اثر یک تغییر است. اگر آزمایش ممکن نباشد، روش‌های دیگری وجود دارند، اما به فرض‌های بیشتری نیاز دارند. حتی مقایسه قبل و بعد هم ممکن است هم‌زمان با فصل، تبلیغات یا تغییر ترکیب کاربران اتفاق افتاده باشد. بهتر است فرض‌ها را کنار نتیجه بنویسیم و از زبان متناسب با شواهد استفاده کنیم.
همبستگی هنوز مفید است
همبستگی می‌تواند سرنخ خوب یا ابزار پیش‌بینی باشد، حتی وقتی رابطه علّی نداریم. مشکل زمانی است که از آن مستقیم به نسخه اجرایی می‌رسیم. یک جمله دقیق‌تر این است: «این دو شاخص با هم تغییر می‌کنند؛ باید بررسی کنیم چه چیزی رابطه را توضیح می‌دهد.» این جمله شاید کم‌هیجان‌تر باشد، اما تصمیم بعدی را روی زمین محکم‌تری قرار می‌دهد.