カーブフィッティング(過剰最適化)とは?

カーブフィッティング(過剰最適化)とは、EAのパラメータを過去データの偶然の くせにまで合わせ込んでしまい、バックテストの成績は良いのに、まだ見ていない相場では 再現しない状態のことです。過去の値動きを説明することと、これからの値動きで利益を 出すことは別問題で、合わせ込むほど前者は良くなり、後者は保証されなくなります。

なぜ起きるのか

パラメータの数が多く、試した組み合わせが多く、評価する期間が短いほど起きやすくなります。 最適化は「その期間で最も成績の良かった組み合わせ」を選ぶ操作なので、たまたま偶然と かみ合った組み合わせが選ばれることを避けられません。バックテストのレポートには 最終的に選ばれた1通りしか載らないため、レポートを見るだけでは、その成績が実力なのか 偶然なのかを区別できません。

どう見抜くのか

基本は「パラメータを決めるのに使っていないデータで試す」ことです。期間を前半 (インサンプル・IS)と後半(アウトオブサンプル・OOS)に分けて後半で成績が保たれるかを見る方法、最適値の近くのパラメータでも 成績が大きく崩れないかを見る方法、そして実運用そのもの(フォワードテスト)があります。 どれも、成績の良さではなく成績の再現性を確かめる作業です。

タシカメFXでの扱い

EAに登録した事前バックテストの取引を決済時刻の順に並べ、前の70%をIS、後ろ30%を OOSとして、サマリータブにIS/OOS分割表を表示します。区間ごとの件数・平均・ 勝率・合計・PFを並べ、OOSの平均リターンをISの平均リターンで割った値(IS比)で評価 コメントを付けます。OOSの平均が0以下なら「強い疑い」、IS比50%未満なら「疑い」、 70%以上なら「兆候は小さい」、その間は「要観察」です。

あわせて、乖離モニタリングではOOS区間だけから作った 期待バンドとの比較を既定で表示します。合わせ込みの影響を受けにくい期待水準と比べる ことで、バックテスト全期間の見かけの良さに引きずられずに実運用を評価できます。 比較の仕組みはライブ × バックテスト比較を ご覧ください。

読むときの注意

IS/OOSの分割は取引件数で機械的に行う決めごとです。EAの開発者がバックテストの 全期間を最適化に使っていた場合、後ろ30%も「答えを見た後」のデータなので、分割表では 見抜けません。その場合に頼れるのは実運用の実績と期待バンドの突合だけです。また OOSの取引数が少ないと、IS比は偶然で大きく動きます。表示される内容は過去データに もとづく統計的な情報提供であり、投資助言ではありません。