آزمون فرضیه در محصول: از ایده تا یادگیری سریع

نوآوری · · زمان مطالعه: ۵ دقیقه

تیم کوچک محصول گرد میزی با مسیرهای شاخه‌ای بلوک‌های شفاف و فردی که بلوک کهربایی را روی کوتاه‌ترین مسیر می‌گذارد

هر تیم محصولی که چند ماه روی یک قابلیت کار می‌کند و در پایان می‌بیند مشتری آن را نمی‌خواهد، بهای اشتباه را نه با پول که با زمان پرداخته است. دو اصطلاح کلیدی برای مقابله با این وضعیت وجود دارد: آزمون فرضیه (hypothesis testing) و یادگیری سریع (rapid learning). مشکل این‌جاست که در بسیاری از تیم‌ها این دو به آیینی تشریفاتی تبدیل می‌شوند؛ چند جلسه با چسب کاغذی، یک تختهٔ سفید پر از ایده و در پایان همان نقشهٔ راه قبلی. تفاوت تیم‌هایی که واقعاً سریع یاد می‌گیرند در یک چیز است: ایده را مجموعه‌ای از حدس‌های آزمون‌پذیر می‌بینند و برای هر حدس، ارزان‌ترین راه رسیدن به شاهد را انتخاب می‌کنند.

از ایده به فرضیه: جمله‌ای که می‌تواند غلط باشد

«داشبورد تحلیلی برای مدیران فروش» یک ایده است؛ نه درست است نه غلط. فرضیه اما جمله‌ای است که می‌تواند ابطال شود. یک قالب چهاربخشی کمک می‌کند ایده از سطح شعار پایین بیاید:

  • باور: فکر می‌کنیم چه چیزی برای چه کسی مسئله است.
  • مکانیزم: چه تغییری قرار است آن مسئله را حل کند.
  • نتیجهٔ قابل مشاهده: بعد از این تغییر، چه رفتاری را می‌بینیم.
  • منطق: چرا فکر می‌کنیم این مکانیزم کار می‌کند.

نمونه: «فکر می‌کنیم مدیران فروش گزارش هفتگی را دستی نمی‌سازند چون به دادهٔ به‌روز دسترسی ندارند؛ اگر خلاصهٔ فروش هر دوشنبه خودکار برایشان ارسال شود، آنگاه در سه هفتهٔ متوالی بیشترشان آن را باز می‌کنند و دست‌کم یکی بر اساس آن تصمیمی می‌گیرد؛ چون هزینهٔ ساخت گزارش، مهم‌ترین دلیل رها کردن آن است.» توجه کنید این جمله راه‌حل را تجویز نمی‌کند، بلکه پیش‌بینی‌ای دربارهٔ رفتار آدم‌هاست. همین ویژگی است که آن را قابل ابطال (falsifiable) می‌کند.

بازخوانی تجربهٔ سامانه‌های مدیریت مشتری نشان می‌دهد که گلوگاه معمولاً ثبت داده است، نه خود نرم‌افزار؛ به همین دلیل فرضیه‌ای که «مشتری ابزار کم دارد» را کنار می‌گذارد، معمولاً ثمربخش‌تر از فرضیه‌ای است که یک قابلیت تازه را تجویز می‌کند.

ارزان‌ترین آزمون، نه قانع‌کننده‌ترین آزمون

هیچ آزمونی به‌تنهایی حقیقت را ثابت نمی‌کند؛ هدف، کاهش ابهام با کمترین هزینه است. یک ترتیب پیشنهادی:

  1. مصاحبهٔ مسئله‌محور (problem interview): دربارهٔ رفتار گذشته بپرسید، نه دربارهٔ آینده و نه دربارهٔ نظرشان راجع به ایدهٔ شما. پرسش «آخرین بار این کار را چطور انجام دادید؟» بیشتر از «چنین قابلیتی را می‌خرید؟» یاد می‌دهد.
  2. نمونهٔ کلیک‌خور (clickable prototype): وقتی مسئله روشن شد، مسیر حل را با چند صفحهٔ ساده نشان دهید و ببینید کاربر کجا مکث می‌کند.
  3. آزمون خدمت دستی (concierge test) یا جادوگر آزاد (Wizard of Oz): محصول را کامل نسازید؛ خروجی را چند بار به‌صورت دستی تولید کنید. این کار نشان می‌دهد آیا کسی برای نتیجه ارزش قائل است یا نه.
  4. پایلوت محدود (pilot): با یک مشتری واقعی، در محیط واقعی و در بازه‌ای مشخص.
  5. آزمون A/B: وقتی حجم رفتار کافی دارید و می‌خواهید تفاوت دو نسخه را بسنجید، نه اینکه بفهمید اصل ایده ارزش دارد یا نه.

خطای رایج، پریدن از پلهٔ اول به پلهٔ آخر است: تیمی که هنوز نمی‌داند مسئلهٔ واقعی چیست، آزمایش A/B راه می‌اندازد و عددی به دست می‌آورد که هیچ تصمیمی به آن گره نخورده است.

یادگیری سریع، یعنی چرخهٔ کوتاه با تصمیم از پیش نوشته‌شده

سرعت یادگیری به ابزار اندازه‌گیری بستگی ندارد؛ به طول چرخه بستگی دارد: فرضیه، آزمون، شاهد، تصمیم. مهم‌ترین بخش، همان بخش آخر است که اغلب فراموش می‌شود. پیش از اجرای آزمون بنویسید اگر شاهد را دیدید چه می‌کنید و اگر ندیدید چه. چهار تصمیم ممکن را از قبل تعریف کنید:

  • ادامه: شاهد آن‌قدر روشن است که سرمایه‌گذاری بیشتر توجیه دارد.
  • اصلاح (pivot): مسئله درست است، اما مکانیزم یا مخاطب را باید عوض کرد.
  • توقف: فرضیه رد شد و جایگزین بهتری در دست نیست.
  • تعویق: شاهد ناکافی است و آزمون باید دقیق‌تر یا بزرگ‌تر تکرار شود؛ تعویق باید تاریخ بازبینی داشته باشد، وگرنه به فراموشی تبدیل می‌شود.

نوشتن تصمیم پیش از دیدن داده، جلوی تفسیر دلبخواهی نتایج را می‌گیرد. مدیریت پروژهٔ چابک هم در اصل برای همین است: کوچک کردن هزینهٔ اشتباه، نه سریع‌تر دویدن در مسیر اشتباه.

سه دام که ایده‌پردازی را به خودفریبی تبدیل می‌کند

  • فرضیهٔ لباس‌پوشیده: جمله‌ای که در آن «باید» و «قطعاً» هست، اما هیچ پیش‌بینی رفتاری ندارد. اگر نمی‌توانید بگویید چه مشاهده‌ای حرف شما را رد می‌کند، فرضیه ندارید؛ نظر دارید.
  • سوگیری تأیید (confirmation bias): جمع کردن فقط شاهدهای موافق. یک راه ساده این است که برای هر فرضیه، پیش از آزمون، یک شاهد مخالف را هم تعریف کنید.
  • سنجهٔ خودنمایی (vanity metric): عددی که رشد می‌کند و حال آدم را خوب می‌کند اما به تصمیم وصل نیست؛ مثل بازدید یک صفحه یا تعداد ثبت‌نام، بدون اینکه بدانید چند نفر بعداً همان کار را تکرار کردند.

دفترچهٔ یادگیری: حافظهٔ تیم، نه حافظهٔ افراد

یادگیری‌ای که ثبت نشود، با رفتن یک نفر از تیم از بین می‌رود. یک صفحهٔ ساده کافی است؛ سه ستون: فرضیه، شاهدی که دیدیم، تصمیمی که گرفتیم. مرور این صفحه پیش از هر دورهٔ برنامه‌ریزی، از تکرار آزمون‌های تکراری جلوگیری می‌کند. برای تیمی که از پروژهٔ سفارشی به محصول حرکت می‌کند این دفترچه ارزش دوچندان دارد، چون مسیر پروژهٔ سفارشی تا محصول نرم‌افزاری پر از فرضیه‌های حل‌نشده دربارهٔ مشتری دوم و سوم است؛ همان‌جا است که یک سفارشی‌سازی موفق می‌تواند به اشتباه «بازار» تفسیر شود.

جمع‌بندی

در محصول، ایده ارزش ذاتی ندارد؛ ارزش در سرعت تبدیل ایده به یک فرضیهٔ روشن، یک آزمون ارزان و یک تصمیم ثبت‌شده است. تیم‌هایی که این چرخه را کوتاه نگه می‌دارند، لازم نیست پیش‌گوی بهتری باشند؛ فقط زودتر از دیگران اشتباهشان را می‌فهمند و همان سرمایه را جای بهتری خرج می‌کنند.

← بازگشت به همه مقالات