Come ottimizzare un Trading System

[alex69]

barchart

Grazie fnet,
non ci avevo proprio pensato.
Quando il cervello comincia a fumare......(vedasi post di Claudio)

[alex69]

.....

Devi solamente effettuare una modifica:

Devi scegliere un campione di dati su cui effettuare l'ottimizzazione sufficientemente ampio da garantire un numero di trade che abbia un minimo di significatività statistica e possibilmente deve contenere le varie fasi del mercato in quanto a direzione e volatilità, io comunque rispetto al numero non scendo mai sotto i 30 trade, di piu è ancora meglio.

quindi:

- aumenta il numero di barre da 1500 a 3000
- ottimizza i parametri
- scegli il profilo piu soddisfacente che abbia almeno 30 trade e una equity regolare con profit Factor >3
- infine testa il tutto su 6000 barre

Se i risultati sono in linea allora sei pronto per la verifica in paper sulle prossime 6000 barre ......

Allora, vediamo se questa volta il nostro TS passa l'esame, con i criteri sopra citati.

Solito TS, sul Bund con TF 1M.

1) Imposto il periodo di 3.000 barre.
2) Ottimizzo i 3 parametri (@periods, @lowMark, @highMark)
3) Ottengo i risultati dell'ottimizzazione.
In questo caso, avendo un TS che genera pochi trades e volendo rispettare il criterio n° minimo trades>30 ordino i risultati sulla colonna Num. Trades.
Passo in rassegna le righe con Num. Trades>30 valutando:
-Profit Factor
-Total Net Profit
-% Profitables
-Equity Line



Da qui in avanti non sono certo che la procedura che ho seguito sia corretta, in quanto non ho scelto 1 singolo set ma 6.
Non vorrei aver fatto una forzatura.

4) Prendo nota dei set migliori.
5) Imposto il periodo di 6.000 barre.
6) Verifico i 6 set, uno risulta idoneo.



Parametri rispettati:
-Percent Profitable: 78.79% (>60%)
-Profit Factor 3.05 (>3)

Dubbi:
-Equity fortemente penalizzata da un drawdown
-Efficiency Analysis, valori inferiori all'80%.
-Il Total Net Profit su 6.000 barre è praticamente uguale a quello su 3.000 barre.

Commenti?

[fnet]

Commenti?

... una vincita e una perdita di importo di gran lunga sopra la media ..... secondo me da analizzare ....
insomma una curva equity non omogenea ....

[Apocalips]

Allora Alex, se questi sono i dati, il Ts non ha superato il test.
Però prima di buttare il bambino con l'acqua sporca bisogna fare una cosiderazione.
Dalla Equity line vedo 2 trade uno in forte gain e l'altro in forte quadagno, 2 spike.
Verifica le cause che hanno prodotto questi 2 trade anomali e se si tratta di profitti/perdite derivanti da gap overnight allora devi eliminarli semplicemente impostando sia in exit long che in exit short la condizione

TIME>2129

Se di questo si tratta ripeti l'analisi e posta i risultati.
Se di questo non si tratta significa che il Ts è overfittato sulla serie di dati campionari (in sample)

Aspetto positivo: abbiamo visto l' efficacia di una analisi WFA che a mio avviso è l'unico mezzo per testare la robustezza di un Trading System e tenerci alla larga da sistemi sovraottimizzati e quindi non performanti su dati non campionari (Out sample)

Apo

[Apocalips]

Per tutte le simulazioni e backtest sul Bund il cui nuovo contratto è partito da pochi giorni, conviene caricarsi il future precedente che Barchart fornisce integralmente (3 mesi ) fino a time frame 1 minuto, oltre 50.000 barre pienamente scambiate, incredibile.



Ovviamente il giochetto si puo ripetere anche con altri future

Apo

[alex69]

Allora Alex, se questi sono i dati, il Ts non ha superato il test.
Però prima di buttare il bambino con l'acqua sporca bisogna fare una cosiderazione.
Dalla Equity line vedo 2 trade uno in forte gain e l'altro in forte quadagno, 2 spike.
Verifica le cause che hanno prodotto questi 2 trade anomali e se si tratta di profitti/perdite derivanti da gap overnight allora devi eliminarli semplicemente impostando sia in exit long che in exit short la condizione

TIME>2129

Se di questo si tratta ripeti l'analisi e posta i risultati.
Se di questo non si tratta significa che il Ts è overfittato sulla serie di dati campionari (in sample)

Aspetto positivo: abbiamo visto l' efficacia di una analisi WFA che a mio avviso è l'unico mezzo per testare la robustezza di un Trading System e tenerci alla larga da sistemi sovraottimizzati e quindi non performanti su dati non campionari (Out sample)

Apo

... una vincita e una perdita di importo di gran lunga sopra la media ..... secondo me da analizzare ....
insomma una curva equity non omogenea ....

Ok ragazzi, grazie per le vostre analisi e i suggerimenti.
Vediamo domani se ci sono evoluzioni.

[alex69]

........
Verifica le cause che hanno prodotto questi 2 trade anomali e se si tratta di profitti/perdite derivanti da gap overnight allora devi eliminarli semplicemente impostando sia in exit long che in exit short la condizione

TIME>2129

Se di questo si tratta ripeti l'analisi e posta i risultati.
Se di questo non si tratta significa che il Ts è overfittato sulla serie di dati campionari (in sample).....

Come consigliato ho caricato il future di dicembre 2014 (GGZ14) di Barchart.

Ho preferito ripartire da zero.
Stessi passaggi 1) 2) 3) visti nel post precedente. Arriviamo ai risultati dell'ottimizzazione:



4) Prendo nota dei set migliori.
5) Imposto il periodo di 6.000 barre.
6) Verifico i set, ma nessuno in questo caso ha il Profit Factor >3.

7) Voglio comunque fare la verifica suggerita ieri ed esamino quello con la performance migliore:



Due drawdown hanno fortemente penalizzato l'Equity Line.
Vediamo il perché analizzando i trades:



Dall'analisi del grafico non si evidenziano problemi di gap overnight:



Prendiamo quindi atto che il TS non passa il test.

In questo caso, quali soluzioni si possono ipotizzare?

A) Modificare il TS.
B) Testarlo sullo stesso sottostante con TF diversi.
C) Testarlo su altri sottostanti.
D) Abbandonare definitivamente il TS.

[Apocalips]

A) Modificare il TS.
B) Testarlo sullo stesso sottostante con TF diversi.
C) Testarlo su altri sottostanti.
D) Abbandonare definitivamente il TS.

Quando un TS non ha superato il test della Walk Forward Analisys, dopo essere stato ottimizzato , non ci sono Cristi che tengano, il sistema è overfittato e le cause possono essere diverse ma le principali sono:

1- Sovra- parametrizzazione
2 -Overscanning
3- Un campione di dati troppo piccolo

Se dopo aver rivisto e verificato questi punti, le cose non migliorano allora bisogna cambiare sensibilmente le regole del TS oppure abbandonare l'impianto iniziale e sviluppare altre idee magari con altri indicatori o combinazione di essi.

è dura....lo so...ma se così non fosse ci sarebbero ogni giorno i famosi pasti gratis a Wall Street.

Apo

[alex69]

Quando un TS non ha superato il test della Walk Forward Analisys, dopo essere stato ottimizzato , non ci sono Cristi che tengano, il sistema è overfittato e le cause possono essere diverse ma le principali sono:

1- Sovra- parametrizzazione
2 -Overscanning
3- Un campione di dati troppo piccolo

Se dopo aver rivisto e verificato questi punti, le cose non migliorano allora bisogna cambiare sensibilmente le regole del TS oppure abbandonare l'impianto iniziale e sviluppare altre idee magari con altri indicatori o combinazione di essi.

è dura....lo so...ma se così non fosse ci sarebbero ogni giorno i famosi pasti gratis a Wall Street.

Apo

Provo a modificare il TS inserendoci uno Stop Loss.
Inoltre aumento il range del parametro @periods per l'ottimizzazione.
In questo caso, avendo dei periodi più lunghi, aumento il numero delle barre a 6.000 per garantirmi almeno 30 trades.

Risultati dell'ottimizzazione:



- Prendo nota dei set migliori.
- Imposto il periodo di 12.000 barre.
- Verifico i set, ne trovo uno con Profit Factor >3.



Parametri rispettati:
-Percent Profitable: 90.77% (>60%)
-Profit Factor 3.66 (>3)

Dubbi:
-Equity Line mostra una certa sofferenza nella prima metà.
-E' corretto usare per l'ottimizzazione un numero di barre così elevato (6.000)?

[Apocalips]

- Prendo nota dei set migliori.
- Imposto il periodo di 12.000 barre.
- Verifico i set, ne trovo uno con Profit Factor >3.

Ho notato che hai commesso lo stesso errore Alex.
Questo è proprio il punto dolente, è come se stessi ingannando te stesso !!..è un classico succede quasi sempre.
Quando hai preso nota dei set migliori e verificati ad uno ad uno sul periodo di dati non campionari è come se avessi forzato i risultati all' equity che a te faceva comodo vedere, quella piu bella. In pratica è come se avessi ottimizzato anche il periodo di post ottimizzazione, quello dei dati non campionari. Tutto questo succede perche noi stiamo simulando il futuro su dati storici ma nella realtà non possiamo sceglierci il futuro che desideriamo, non so se ho reso l'idea.

Allora procediamo diversamente visto che abbiamo a disposizione una marea di barre, circa 50.000.
Posizionati nelle prime 5000 barre di questo campione con la funzione Date di Easy script e procedi con l'ottimizzazione senza esagerare. Una volta effettuata la scelta del miglior set di parametri, testa il TS nelle successive 2500 le quali però le devi considerare come se facessero parte del futuro e quindi non puoi fare nessun ragionamento su di esse.
Questo test di post ottimizzazione lo devi tenere separato dal precedente test di ottimizzazione quindi avrai 2 report, una da 5000 barre e l'altro da 2500 barre che salverai e chiamerai rispettivamente Ottimizzazione1 e Post-ottimizzazione1.

Se il test di questa singola Walk Forward viene superato allora hai vinto la prima battaglia e sei pronto al test della WFA completa che è quello definitivo che sentenzierà con la misura della WFE (Walk Forward Efficency) se il tuo modello previsionale è robusto e ripetibile nel tempo ....ma procediamo per gradi.

Complimenti per l'impegno e la disponibilità !!

Apo