رشد یک سرویس ممکن است بخشی از استفاده سرویس دیگر را جابه‌جا کند. اثر افزایشی را روی کل رفتار کاربر و با مقایسه درست بسنجیم.
یک کمپین اجرا می‌کنیم و استفاده از سرویس هدف بالا می‌رود. نتیجه در نگاه اول موفق است. اما اگر بخشی از این رشد از کم شدن استفاده سرویس دیگر آمده باشد، رشد کل کمتر از چیزی است که نمودار سرویس هدف نشان می‌دهد. برای فهم نتیجه، باید مرز چیزی را که می‌خواهیم رشد بدهیم روشن کنیم.
یک مثال کوچک
دو گروه تصادفی و هم‌اندازه از کاربران واجد شرایط داریم. در بازه آزمایش، گروه کنترل ۱۰۰۰ استفاده موفق ثبت می‌کند: ۲۰۰ مورد از سرویس هدف و ۸۰۰ مورد از سرویس دیگر. گروه دریافت‌کننده کمپین ۱۰۴۰ استفاده موفق دارد: ۳۰۰ مورد از سرویس هدف و ۷۴۰ مورد از سرویس دیگر. همه این اعداد فرضی‌اند. رشد سرویس هدف ۱۰۰ مورد است، ولی اختلاف کل فقط ۴۰ مورد است.
چه چیزی را می‌توان از این اعداد فهمید؟
در سطح گروه‌ها، افزایش ۱۰۰ موردی سرویس هدف با کاهش ۶۰ موردی سرویس دیگر همراه شده است. این الگو با جابه‌جایی بخشی از استفاده سازگار است، اما ثابت نمی‌کند دقیقاً ۶۰ اقدامِ فردی جایگزین شده‌اند. برای آن ادعا شواهد بیشتری لازم است. برآورد اختلاف کل در این مثال ۴ درصدِ مقدار گروه کنترل است؛ درباره قطعی بودن اثر هنوز باید عدم قطعیت آماری را بررسی کنیم.
کاربران کمپین را با کاربران دیگر مقایسه نکنیم
اگر فقط کسانی را که کد تخفیف مصرف کرده‌اند با بقیه مقایسه کنیم، خودانتخابی وارد تحلیل شده است. مصرف‌کننده کد ممکن است از ابتدا نیاز یا انگیزه متفاوتی داشته باشد. برای برآورد اثر کمپین، در یک آزمایش تصادفی درست، گروه‌ها را بر اساس تخصیص اولیه مقایسه کنیم؛ کسی که پیشنهاد را دیده و استفاده نکرده هم بخشی از نتیجه است.
وقتی گروه‌ها هم‌اندازه نیستند
در مثال قبلی تعداد کاربران برابر بود. اگر اندازه گروه‌ها متفاوت باشد، مقایسه تعداد خام مناسب نیست. ابتدا استفاده موفق به ازای کاربر تخصیص‌یافته را مقایسه کنیم. برای برآورد تعداد افزایشی در گروه کمپین، اختلاف این دو نرخ را در تعداد کاربران آن گروه ضرب می‌کنیم. این برآورد برای همان جامعه و بازه است و نباید بدون بررسی به کل بازار تعمیم داده شود.
ممکن است زمان استفاده جابه‌جا شده باشد
یک پیشنهاد کوتاه‌مدت شاید استفاده‌ای را که قرار بود هفته بعد اتفاق بیفتد به امروز بیاورد. در این صورت، نتیجه داخل کمپین خوب است، اما در دوره بعد بخشی از آن برمی‌گردد. بازه پیگیری را متناسب با فاصله معمول استفاده انتخاب کنیم. اثر کوتاه‌مدت و اثر در بازه بلندتر را جدا ببینیم تا جلو افتادن زمان خرید با ایجاد نیاز تازه اشتباه نشود.
رشد باید کنار هزینه خوانده شود
اگر کل استفاده بالا رفته، هنوز باید هزینه تخفیف و تغییر درآمد را بررسی کنیم. هزینه تقسیم بر استفاده افزایشی، وقتی برآورد اثر نزدیک صفر یا منفی است، می‌تواند گمراه‌کننده یا ناپایدار شود. بهتر است تعداد، اثر و عدم قطعیت را پیش از ساختن این نسبت نشان بدهیم. سؤال آخر این است: این کمپین چه رفتار بیشتری ساخته، برای چه کسانی و با چه هزینه‌ای؟