Overfitting heißt, eine Trading Strategie so eng an vergangene Daten anzupassen, dass sie das Rauschen trifft statt eines wiederholbaren Musters. Lookahead Bias heißt, dass ein Backtest Informationen nutzt, die im Moment des Trades noch gar nicht verfügbar waren. Beides lässt einen Backtest viel besser aussehen als den Live Handel, und beides lässt sich vorher prüfen.
Was ist Overfitting bei einer Trading Strategie?
Overfitting bei einer Trading Strategie bedeutet, dass Regeln und Parameter einen bestimmten Abschnitt der Historie beschreiben statt eines dauerhaften Vorteils. Curve Fitting meint dasselbe: Bedingungen hinzufügen und Zahlen justieren, bis die Equity Kurve auf den getesteten Daten glatt aussieht. Auf Daten, die sie nie gesehen hat, scheitert die Strategie dann.
Die Ursache ist die Zahl der Versuche. Angenommen, eine Strategie hat überhaupt keinen Vorteil, und jeder Parametersatz hat eine Chance von 5 %, durch Zufall signifikant auszusehen. Testest du 100 unabhängige Sätze, erwartest du 5 scheinbar signifikante, und die Wahrscheinlichkeit, dass mindestens einer so aussieht, liegt bei rund 99 % (1 minus 0,95 hoch 100). Das beste Ergebnis einer großen Suche ist das, das am ehesten Glück ist.
Was ist Lookahead Bias im Backtesting?
Lookahead Bias im Backtesting ist jede Nutzung von Daten, die die Strategie zum Zeitpunkt ihrer Entscheidung nicht kennen konnte. Lookahead Bias ist meist ein Fehler, keine Absicht: eine Zeile, die den Schluss der aktuellen Kerze liest, oder ein Indikator, der auf dem ganzen Datensatz auf einmal berechnet wird. Das Ergebnis ist ein Backtest, der zu gut ist, um wahr zu sein.
| Quelle des Lookahead | Was schiefgeht | Die Lösung |
|---|---|---|
| Signal und Fill auf derselben Kerze | Die Regel liest den Schluss und füllt zu einem Kurs davor | Auf der geschlossenen Kerze entscheiden, zum nächsten Kurs füllen |
| Höhere Zeiteinheiten | Ein Tageshoch oder ein Stundenschluss wird genutzt, bevor die Kerze fertig ist | Nur die letzte abgeschlossene Kerze der höheren Zeiteinheit nutzen |
| Repainting Indikatoren | Vergangene Werte des Indikators ändern sich, wenn neue Daten kommen | Werte so nutzen, wie sie im jeweiligen Moment waren |
| Statistik über alle Daten | Normieren oder Ranken mit Mittelwert oder Spanne aller Daten, Zukunft inklusive | Statistik in einem rollierenden Fenster bis zur aktuellen Kerze rechnen |
| Reihenfolge in der Kerze | Annahme, dass das Ziel vor dem Stop getroffen wurde | Tickdaten nutzen oder den schlechteren Fall annehmen |
Woran erkennst du einen überoptimierten Backtest?
Ein Backtest ist wahrscheinlich überoptimiert, wenn sein Ergebnis auf Daten zusammenbricht, auf die er nicht optimiert wurde, oder wenn kleine Änderungen an einem Parameter das Ergebnis stark verändern. Robuste Strategien werden langsam schlechter, überoptimierte stürzen ab.
- Lücke zum Out of Sample: Profit Factor oder Sharpe Ratio fallen im zurückgehaltenen Zeitraum stark ab.
- Eine einzelne Spitze: Ein Parameterwert ist hervorragend, seine Nachbarn sind schwach. Ein breites Plateau ähnlicher Ergebnisse ist das Bild eines echten Vorteils.
- Zu viele Regeln für die Trades: viele Bedingungen und Parameter, wenige Trades. Hinter jedem freien Parameter sollten genug Trades stehen.
- Wenige Trades tragen alles: Ohne die besten zehn Trades ist der Gewinn weg.
- Eine zu glatte Equity Kurve: Sehr kleiner Drawdown bei hoher Rendite über Jahre ist öfter ein Fehler als ein Geschenk.
Wie vermeidest du Overfitting im Backtest?
Overfitting vermeidest du, indem du die Strategie einfach hältst und sie nur auf Daten beurteilst, die die Optimierung nie gesehen hat. Wenige Parameter, breite Tests und ein ehrlicher Out of Sample Zeitraum schlagen jede noch so feine Justierung.
- Mit einer Idee beginnen, nicht mit einer Suche. Schreib auf, warum der Vorteil existieren sollte, bevor du testest.
- Wenige Parameter mit groben Bereichen. Drei Parameter mit sinnvollen Schritten sind leichter zu vertrauen als acht mit feinen.
- Daten zurückhalten. Auf dem ersten Teil der Historie optimieren, einmal auf dem Rest testen und danach nicht weiter justieren.
- Walk Forward. Auf einem Fenster optimieren, auf dem nächsten testen, weiterschieben, wiederholen. Siehe Walk Forward Analyse.
- Plateaus suchen in einer Heatmap zweier Parameter statt die eine beste Zelle zu nehmen.
- Das Ergebnis belasten mit einer Monte Carlo Simulation der Tradereihenfolge, doppelten Kosten und anderen Märkten.
Wie schützt die Orion Quant Technologies Engine vor Overfitting?
Die Orion Quant Technologies Engine hat keinen Lookahead, das ist in ihrem Aufbau angelegt. Gegen Overfitting liefert sie die Tests von oben als Werkzeuge: Du hältst einen Teil des Zeitraums zurück, und jeder Durchlauf einer Optimierung zeigt sein Out of Sample Ergebnis und die Lücke zwischen beiden. Walk Forward läuft auf rollierenden oder verankerten Fenstern, und eine Heatmap zeigt das Ergebnis über zwei Parameter, so hebt sich eine einzelne Spitze von einem Plateau ab.
Das Audit eines fertigen Laufs ergänzt einen Risiko Tab mit Monte Carlo auf der Tradereihenfolge, dem Drawdown im 95. Perzentil, dem Anteil des Gewinns aus den besten zehn Trades und den Trades pro Parameter. Ein Urteil benotet den Lauf von A bis F über Edge, Robustheit, Risiko und Stichprobe, und zwei Läufe lassen sich nebeneinander vergleichen, mit jedem Unterschied ihrer Konfiguration. Die Engine ist im Frühzugang über die Warteliste.
Häufige Fragen
Was ist der Unterschied zwischen Overfitting und Curve Fitting?
Im Trading meinen beide Begriffe dasselbe: Regeln und Parameter, so lange justiert, bis sie das Rauschen des getesteten Zeitraums treffen. Manche nennen das Justieren Curve Fitting und das Ergebnis Overfitting, eine Strategie, die auf neuen Daten scheitert. Der Test ist in beiden Fällen gleich: Hält die Strategie auf Daten, auf die sie nicht optimiert wurde?
Wie viele Daten sollte ich für den Out of Sample Test zurückhalten?
Eine übliche Aufteilung hält 20 bis 30 % der Historie zurück, am besten den jüngsten Teil, damit der Test der Zukunft ähnelt, in der du handelst. Der Out of Sample Zeitraum sollte trotzdem genug Trades für ein Urteil enthalten, wenn möglich hundert oder mehr. Walk Forward wiederholt die Aufteilung viele Male und nutzt die Daten besser.
Wie prüfe ich meine Strategie auf Lookahead Bias?
Lies jede Zeile, die einen Kurs abfragt, und frag dich, ob dieser Wert im Moment der Entscheidung schon existierte. Dann ein einfacher Test: Verzögere jedes Signal um eine Kerze. Eine Strategie mit echtem Vorteil verliert meist etwas, eine mit Lookahead Bias oft den Großteil ihres Gewinns. Viel zu glatte Ergebnisse sind ein weiteres Warnzeichen.
Ist Optimierung immer Overfitting?
Nein. Optimierung wird zu Overfitting, wenn du die Strategie auf denselben Daten beurteilst, auf denen du sie justiert hast, oder wenn du so viele Varianten testest, dass die beste Glück ist. Wenige Parameter über grobe Bereiche optimieren, ein Plateau statt einer Spitze wählen und die Wahl Out of Sample und mit Walk Forward bestätigen ist gute Praxis. Siehe Strategie Optimierung.
Nur für Forschung und Tests. Ein Backtest zeigt, wie Regeln sich in der Vergangenheit verhalten haben, nicht was sie verdienen werden. Nichts hier ist eine Anlageberatung.