هر بار تغییر پارامتر پس از دیدن نتیجه، احتمال انتخاب تصادفی ترکیب برنده را بالا می‌برد. مشکل زمانی پنهان می‌ماند که فقط نمودار سود نهایی دیده شود.
قواعد و پارامترها را پیش از آزمون ثبت کن و داده را به بخش توسعه و ارزیابی جدا تقسیم کن. پس از انتخاب نسخه، آن را بدون دستکاری روی دادهٔ خارج از نمونه بسنج.
کارمزد، اسپرد، لغزش، محدودیت اجرای سفارش و دادهٔ ناقص را لحاظ کن. نتیجه را بر اساس چند رژیم بازار، نه فقط یک روند قوی، گزارش بده.
آزمون گذشته تضمین سود آینده نیست. تغییر ساختار بازار یا منبع داده می‌تواند مزیت ظاهری را از بین ببرد.
اقدام کاربردی
بررسی فنی و سناریوی عملی
از ایده تا تعریف قابل‌اندازه‌گیری
برای تحلیل «چطور استراتژی را بدون بیش‌برازش بک‌تست کنیم؟»، گزارهٔ مقاله را به شرط قابل مشاهده، شرط تأیید و شرط ابطال جدا کن. دقیق بنویس چه داده‌ای پیش از تصمیم در دسترس بوده و چه چیزی فقط پس از نتیجه روشن شده است. این تفکیک سوگیری پس‌نگر را کم می‌کند و کمک می‌کند دو نمونه را با تعریف یکسان بسنجی؛ صرف شباهت ظاهری نمودار یا نتیجه، دلیل یکسان‌بودن موقعیت‌ها نیست.
جملهٔ «تنظیمات متعدد روی گذشته می‌تواند الگویی بسازد که در آینده دوام ندارد.» را به یک پرسش اجرایی تبدیل کن: چه چیزی را، در چه بازه‌ای، با کدام واحد ثبت می‌کنی؟ اگر جواب این پرسش در ژورنال یا دادهٔ خام قابل بازسازی نیست، فرضیه هنوز برای ارزیابی دقیق آماده نیست. از معیارهایی استفاده کن که قبل از دیدن نتیجه تعریف شده باشند و در نمونه‌های موفق و ناموفق به یک شکل اعمال شوند.
داده، اجرا و هزینه
پیش از آزمون، وضعیت‌هایی را که روش برایشان ساخته نشده مشخص کن: بازار رنج، خبر، نقدشوندگی کم یا گپ قیمتی. اگر فیلترها را پس از دیدن نتیجه اضافه کنی، احتمال بیش‌برازش بالا می‌رود. نسخهٔ قواعد را ذخیره کن و تغییر هر شرط را به‌عنوان نسخهٔ تازه بسنج؛ در غیر این صورت نمی‌فهمی بهبود از کدام متغیر آمده است.
این موضوع با بک‌تست استراتژی ارتباط عملی دارد؛ اگر دو موقعیت را مقایسه می‌کنی، متغیر مشترک را با یک تعریف و واحد اندازه بگیر و تفاوت شرایط را جدا ثبت کن. این پیوند در دل توضیح آمده تا همان مفهوم را دقیق‌تر دنبال کنی.
سناریوی آزمون و مرز اعتبار
معیارهای آزمون را فقط به درصد برد محدود نکن. امید ریاضی بر حسب R، میانگین برد و باخت، تعداد نمونه، افت سرمایه، طول رشتهٔ زیان، زمان در بازار و هزینهٔ اجرا را گزارش کن. فرض کن نتیجهٔ خام ۰٫۲R به ازای معامله باشد؛ اگر کارمزد و لغزش مجموعاً ۰٫۲۵R شوند، مزیت پیش از هزینه در اجرای واقعی باقی نمی‌ماند.
داده را به ترتیب زمانی به بخش طراحی و بخش آزمون جدا کن؛ جابه‌جایی تصادفی کندل‌های سری زمانی اطلاعات آینده را به گذشته نشت می‌دهد. بعد از انتخاب پارامتر، آن را روی دوره‌ای که برای تنظیم ندیده‌ای اجرا کن و نتایج بازارهای مختلف را با هم مخلوط نکن. تعداد زیاد پارامترها و جست‌وجوی بهترین ترکیب می‌تواند خروجی تاریخی فریبنده بسازد.
سناریوی مثال: در استراتژی شکست، کندل از سقف عبور می‌کند اما همان کندل هنوز بسته نشده است. اگر قانون ورود «بسته‌شدن خارج محدوده» باشد، ورود زودهنگام نقض سیستم است؛ اگر قانون لمس سطح باشد، باید لغزش و برگشت سریع را هم در بک‌تست ثبت کنی. تعریف ماشه را به‌خاطر یک نتیجهٔ بد یا خوب عوض نکن.
یک موقعیت ملموس
یک معامله سودده خارج از قواعد بوده است. در ژورنال به‌عنوان اجرای نامنظم علامت می‌خورد، نه موفقیت سیستم.
تجربه یا پرسشت را دربارهٔ همین موضوع بنویس
اگر در این موقعیت قرار گرفته‌ای، تجربه یا پرسشت را با ذکر بازار و شرایط معامله بنویس؛ همین جزئیات به معامله‌گر بعدی کمک می‌کند تصمیم دقیق‌تری بگیرد.