Backtesting
O que é 'backtesting'
Backtesting é o processo de testar uma estratégia de negociação em dados históricos relevantes para garantir sua viabilidade antes que o negociador arrisque qualquer capital real. Um trader pode simular a negociação de uma estratégia durante um período de tempo apropriado e analisar os resultados para os níveis de lucratividade e risco.
Amostragem de Aceitação.
Negligência do tamanho da amostra.
Ordem de Mercado.
Teorema do Limite Central - CLT.
QUEBRANDO "backtesting"
Uma quantidade significativa do volume negociado no mercado financeiro atual é feita por traders que usam algum tipo de automação de computadores. Isso é especialmente verdadeiro para estratégias de negociação baseadas em análises técnicas. O backtesting é parte integrante do desenvolvimento de um sistema de negociação automatizado.
Backtesting significativo.
Quando feito corretamente, o backtesting pode ser uma ferramenta inestimável para a tomada de decisões sobre a utilização de uma estratégia de negociação. O período de tempo de amostra no qual um backtest é realizado é crítico. A duração do período de tempo da amostra deve ser longa o suficiente para incluir períodos de condições de mercado variáveis, incluindo tendências de alta, tendências de baixa e negociação limitada por faixa. Realizar um teste em apenas um tipo de condição de mercado pode gerar resultados únicos que podem não funcionar bem em outras condições de mercado, o que pode levar a conclusões falsas.
O tamanho da amostra no número de negociações nos resultados do teste também é crucial. Se o número da amostra de negociações for muito pequeno, o teste pode não ser estatisticamente significativo. Uma amostra com muitos negócios durante um período muito longo pode produzir resultados otimizados, nos quais um número esmagador de negociações vencedoras se aglutina em torno de uma condição ou tendência de mercado específica que é favorável à estratégia. Isso também pode levar um comerciante a tirar conclusões enganosas.
Mantendo a realidade.
Um backtest deve refletir a realidade na melhor medida possível. Os custos de negociação que, de outra forma, poderiam ser considerados insignificantes pelos comerciantes, quando analisados individualmente, podem ter um impacto significativo quando o custo agregado é calculado ao longo de todo o período de backtesting. Esses custos incluem comissões, spreads e derrapagens, e eles poderiam determinar a diferença entre se uma estratégia de negociação é lucrativa ou não. A maioria dos pacotes de software de backtesting inclui métodos para contabilizar esses custos.
Talvez a métrica mais importante associada ao backtesting seja o nível de robustez da estratégia. Isso é realizado comparando os resultados de um teste de retorno otimizado em um período de tempo de amostra específico (chamado de amostra) com os resultados de um backtest com a mesma estratégia e configurações em um período de tempo de amostra diferente (referido como out - de amostra). Se os resultados forem igualmente lucrativos, a estratégia pode ser considerada válida e robusta, e está pronta para ser implementada em mercados em tempo real. Se a estratégia falhar em comparações fora da amostra, então a estratégia precisa de mais desenvolvimento, ou deve ser abandonada por completo.
Backtesting: Interpretando o Passado.
O backtesting é um componente chave do desenvolvimento efetivo do sistema de negociação. Isso é realizado reconstruindo, com dados históricos, negociações que teriam ocorrido no passado usando regras definidas por uma determinada estratégia. O resultado oferece estatísticas para avaliar a eficácia da estratégia.
A teoria subjacente é que qualquer estratégia que funcionou bem no passado provavelmente funcionará bem no futuro e, inversamente, qualquer estratégia que tenha tido um desempenho ruim no passado provavelmente terá um desempenho ruim no futuro. Este artigo analisa quais aplicativos são usados no backtesting, que tipo de dados é obtido e como colocá-lo em uso.
Os dados e as ferramentas.
O backtesting pode fornecer muitos dados estatísticos valiosos sobre um determinado sistema. Algumas estatísticas de backtesting universais incluem:
Lucro líquido ou perda - Porcentagem líquida ganha ou perdida Medidas de volatilidade - Máximo percentual de acréscimo e desvantagem Médias - Ganho médio percentual e perda média, barras médias detidas Exposição - Porcentagem do capital investido (ou exposto ao mercado) Índices - Ganhos a perdas ratio Retorno anualizado - Retorno percentual ao longo de um ano Retorno ajustado pelo risco - Retorno percentual em função do risco.
Normalmente, o software de backtesting terá duas telas importantes. O primeiro permite que o comerciante personalize as configurações para o backtesting. Essas personalizações incluem tudo, desde período de tempo até custos de comissão. Aqui está um exemplo de tal tela no AmiBroker:
A segunda tela é o relatório de resultados de backtesting real. É aqui que você pode encontrar as estatísticas mencionadas acima. Mais uma vez, aqui está um exemplo desta tela no AmiBroker:
Em geral, a maioria dos softwares de negociação contém elementos semelhantes. Alguns programas de software high-end também incluem funcionalidades adicionais para realizar dimensionamento automático de posição, otimização e outros recursos mais avançados.
As 10 regras para o backtesting.
Há muitos fatores que os investidores prestam atenção quando estão testando estratégias de negociação. Aqui está uma lista das 10 coisas mais importantes a serem lembradas durante o backtesting:
Leve em consideração as amplas tendências de mercado no período de tempo em que uma determinada estratégia foi testada. Por exemplo, se uma estratégia só foi testada novamente em 1999-2000, ela pode não se sair bem em um mercado em baixa. Muitas vezes, é uma boa ideia fazer backtest durante um longo período de tempo, abrangendo vários tipos diferentes de condições de mercado. Leve em conta o universo em que ocorreu o backtesting. Por exemplo, se um sistema amplo de mercado for testado com um universo constituído por ações de tecnologia, ele pode não se dar bem em setores diferentes. Como regra geral, se uma estratégia é direcionada para um gênero específico de estoque, limite o universo a esse gênero; mas, em todos os outros casos, mantenha um universo grande para fins de teste. Medidas de volatilidade são extremamente importantes para considerar no desenvolvimento de um sistema de negociação. Isto é especialmente verdadeiro para as contas alavancadas, que são sujeitas a chamadas de margem se o seu patrimônio cai abaixo de um certo ponto. Os comerciantes devem procurar manter a volatilidade baixa para reduzir o risco e facilitar a transição dentro e fora de um determinado estoque. O número médio de bares mantidos também é muito importante para assistir ao desenvolver um sistema de negociação. Embora a maioria dos softwares de backtesting inclua custos de comissão nos cálculos finais, isso não significa que você deva ignorar essa estatística. Se possível, aumentar o seu número médio de barras pode reduzir os custos de comissão e melhorar seu retorno geral. A exposição é uma faca de dois gumes. O aumento da exposição pode levar a lucros mais altos ou perdas maiores, enquanto a diminuição da exposição significa lucros menores ou perdas menores. Em geral, é uma boa ideia manter a exposição abaixo de 70% para reduzir o risco e facilitar a transição para dentro e para fora de um determinado estoque. A estatística de ganho médio / perda, combinada com a relação ganhos / perdas, pode ser útil para determinar o tamanho ideal de posição e gestão de dinheiro usando técnicas como o Critério Kelly. Os traders podem assumir posições maiores e reduzir os custos de comissão aumentando seus ganhos médios e aumentando sua taxa de ganhos por perdas. (Para mais, consulte: Gerenciamento de dinheiro usando o critério Kelly.) O retorno anualizado é usado como uma ferramenta para avaliar os retornos de um sistema em relação a outros locais de investimento. É importante não só olhar para o retorno anualizado global, mas também para levar em conta o aumento ou diminuição do risco. Isso pode ser feito observando o retorno ajustado ao risco, que é responsável por vários fatores de risco. Antes de um sistema de negociação ser adotado, ele deve superar todos os outros espaços de investimento em risco igual ou menor. A personalização de backtesting é extremamente importante. Muitos aplicativos de backtesting têm entradas para quantidades de comissão, tamanhos de lotes redondos (ou fracionários), tamanhos de ticks, requisitos de margem, taxas de juros, premissas de slippage, regras de dimensionamento de posição, regras de saída de barra idêntica, configurações de parada (trailing) e muito mais. Para obter os resultados de backtesting mais precisos, é importante ajustar essas configurações para imitar o broker a ser usado quando o sistema for ativado. O backtesting às vezes pode levar a algo conhecido como otimização excessiva. Essa é uma condição na qual os resultados de desempenho são ajustados tão altos para o passado que não são mais precisos no futuro. Geralmente, é uma boa ideia implementar regras que se apliquem a todas as ações, ou a um conjunto selecionado de ações específicas, e que não sejam otimizadas na medida em que as regras não sejam mais compreensíveis pelo criador. O backtesting nem sempre é a maneira mais precisa de avaliar a eficácia de um determinado sistema de negociação. Às vezes, as estratégias que tiveram bom desempenho no passado não se dão bem no presente. O desempenho passado não é indicativo de resultados futuros. Certifique-se de que o comércio de papel é um sistema que foi testado com sucesso antes de entrar em operação para garantir que a estratégia ainda se aplica na prática.
Conclusão.
O backtesting é um dos aspectos mais importantes do desenvolvimento de um sistema de negociação. Se criado e interpretado corretamente, ele pode ajudar os traders a otimizar e melhorar suas estratégias, encontrar falhas técnicas ou teóricas, bem como ganhar confiança em sua estratégia antes de aplicá-la aos mercados do mundo real. (Para leitura relacionada, consulte: Backtesting and Forward Testing: A Importância da Correlação.)
Como backtest sistemas de negociação e evitar o ajuste de curva.
Para julgar como um determinado sistema comercial deve funcionar no futuro, nós o testamos em dados de mercado anteriores. O backtesting aplica um conjunto de regras de negociação a dados históricos para estimar como essas regras teriam sido realizadas se realmente as tivéssemos negociado. Bons resultados históricos hipotéticos não garantem que um conjunto de regras funcionará bem no futuro. No entanto, resultados históricos hipotéticos pobres quase certamente significam que um sistema não deve ser negociado em tempo real.
O valor percebido do backtesting está enraizado na crença de que as tendências históricas se repetem. Os comerciantes têm testado estratégias sobre dados históricos por gerações. No entanto, a prática tornou-se popular com o advento dos computadores pessoais e com o software de teste do sistema, como o System Writer, que evoluiu para o TradeStation. Este software e um banco de dados de dados históricos permitiram que aqueles sem um histórico de escrita de códigos testassem as idéias do sistema de negociação. A compreensão e aceitação mais amplas dos sistemas de negociação, bem como a frustração que muitos enfrentaram ao tentar construir sistemas de negociação por conta própria, ajudaram o mercado de sistemas de terceiros a florescer durante os anos 90.
A Futures Truth é uma empresa independente que acompanha os sistemas de negociação disponíveis comercialmente desde os anos 80. Atualmente, ele rastreia mais de 500 sistemas. A Futures Truth testa sistemas de negociação em tempo real, não em dados históricos. Isso impede a modificação de regras ao longo do tempo e simula melhor a execução de regras em condições reais de mercado, como períodos de alta volatilidade. De acordo com a Futures Truth, apenas cerca de 45% dos sistemas rastreados são rentáveis a longo prazo, enquanto apenas 20% exibiram uma boa relação risco / recompensa. No entanto, esses números provavelmente são melhores do que a população em geral, porque apenas os fornecedores realmente confiantes em sua lógica entregam-se à Futures Truth para análise em tempo real e crítica pública.
Muitos sistemas falham porque não têm uma premissa válida. Em vez disso, os parâmetros de entrada e saída são derivados da mineração de dados. A mineração de dados simplesmente verifica dados históricos em busca de regras que funcionariam no passado. Freqüentemente, essas regras se encaixam precisamente no passado e não têm esperança de funcionar melhor do que aleatoriamente em dados não vistos. Em vez disso, o desenvolvimento do sistema deve começar com uma teoria que possa ser testada, analisada e ajustada para aplicação. Esse conceito também implica uma perspectiva diferente sobre o próprio teste do sistema: o objetivo do backtesting não é produzir uma coleção de estatísticas hipotéticas de lucros e perdas. É testar a validade da teoria e a precisão das regras para capturar a premissa.
O teste do sistema é um processo multifacetado a partir dos dados, até a escala de tempo, para as suposições de entrada do pedido, para as especificações do contrato e controle de risco. A falha em qualquer um deles pode arruinar um teste de outra forma válido & mdash; ou, manipulá-los pode gerar resultados muito superiores ao que atingiríamos em tempo real. Você precisa fazer isso corretamente se você deseja validar o & mdash; ou quando apropriado, invalidar & mdash; Seu sistema.
Existem dois elementos para backtesting: as ferramentas adequadas & mdash; software e dados & mdash; e um método científico para desenvolver sistemas usando essas ferramentas. Vamos começar por olhar para as ferramentas do comércio.
Muitas opções estão disponíveis para testar suas ideias. Eles diferem na facilidade de transformar idéias em código e em como eles lidam com os detalhes, o que pode ter um grande impacto nos resultados. Por exemplo, se um sistema entrar em uma ordem de limite, algum software registrará um preenchimento se esse preço for tocado. No entanto, dificilmente há uma garantia de que tal ordem teria sido preenchida em negociação real, nem há uma garantia de que não vai ser. Entrando em paradas garante uma entrada, mas não um preço.
Outra questão é registrar preços reais. Embora a maioria dos softwares desenvolvidos profissionalmente não tenha mais esse problema, ainda é uma preocupação para aqueles que testam manualmente sistemas em planilhas, como o Microsoft Excel. Por exemplo, se um sistema compra em uma parada igual ao fechamento mais um terço da faixa média nos últimos três períodos, e se a faixa média é 10, então estamos comprando no fechamento mais 3,333. Se estamos negociando o E-mini S & P 500, ele negocia em tamanhos de 0,25 ticks. Isso significa que o diferencial de entrada deve arredondar para 3.50. Um operador iniciante pode não perceber isso se processar manualmente os números, e não faz muito tempo que muitos programas profissionais cometeram o mesmo erro. Com o tempo, esse erro pode resultar em uma discrepância considerável.
No quadro geral, no entanto, tais detalhes processuais são menores. O grande problema são os dados.
Комментариев нет:
Отправить комментарий