アウトオブサンプル(OOS)とは?

アウトオブサンプル(OOS・Out Of Sample)とは、EAのパラメータを決めるときに 使わなかった期間のことです。逆に、最適化に使った期間をインサンプル(IS)と 呼びます。EAの成績をインサンプルだけで評価すると、そのEAは「答えを見てから解いた テスト」の点数を報告していることになります。

なぜ分ける必要があるのか

バックテストのパラメータを細かく調整すると、過去の値動きの偶然のくせにまで 形を合わせられてしまいます(カーブフィッティング)。合わせ込んだ期間の成績は いくらでも良く見せられるので、その数字には情報がありません。意味があるのは パラメータを決めたあとで初めて当てたデータでの成績です。

実運用そのものが究極のアウトオブサンプルですが、それでは判断材料が たまるまで何ヶ月もかかります。そこでバックテストの期間を分割し、後半を 最適化に使わずに取っておく方法が使われます。

タシカメFXでの扱い

登録された事前バックテストについて、決済時刻の順に並べた取引の後ろ30% (実運用に時期が近い側)を BT-OOS と呼び、この区間から作った期待バンドとの比較を 既定で表示します。合わせ込みの影響を受けにくい、より現実に近い期待水準になるため、 バックテスト全期間の見かけの良さに引きずられずに比較できます。

合わせ込み自体を見るのはサマリータブの IS/OOS 分割表です。前半(IS)と 後半(OOS)の件数・平均・勝率・合計・PF を並べ、OOS の平均リターンが IS に対して どれだけ落ちているかを表示します。

あわせて、EA詳細の収益タブでは BT-OOS 区間の平均とばらつきから引いた期待の箱と、 実運用の実分布を箱ひげ図で並べ、中心とばらつきのずれを表示します。「合計では 勝っているが、バックテストとは別の挙動になっていないか」を確かめられます。詳しくは 乖離モニタリングと トレード分析をご覧ください。

読むときの注意

後ろ30%という区切りは、実運用に時期が近い区間を機械的に取り出すための 決めごとです。EAの開発時に実際どこまでを最適化に使ったかは、開発者本人しか 知りません。また分割は取引件数で行うため、区間の長さは取引頻度によって 変わります。取引数が少なければ分布の推定はその分だけ粗くなります。表示される内容は過去データにもとづく統計的な情報提供であり、投資助言では ありません。