Backtests de bots de cripto: a taxa de acerto não é o resultado líquido

Uma taxa de acerto de 80% pode acompanhar um backtest de bot de cripto com perdas. Falta saber quanto contribui cada ganho e perda e o que inclui o total apresentado. Comece por uma verificação contábil antes de comparar estratégias.

A avaliação do agente antifraude da Coinbase Engineering de 7 de outubro oferece um paralelo oportuno: métricas complementares expõem compromissos que um único indicador principal pode ocultar. Detecção de fraude não é negociação e o Citrine não utiliza esse agente. A lição útil é examinar o que uma medida omite.

Defina o denominador

Aqui, taxa de acerto significa operações fechadas com ganhos divididas por todas as operações fechadas: com ganhos, perdas e sem ganho ou perda. Não há operações sem ganho ou perda neste exemplo. Noutros casos, verifique se as operações de resultado zero são excluídas e se "ganhar" é medido antes ou depois dos custos. Operações abertas, ordens rejeitadas e sinais não são operações fechadas; contá-los responde a outra pergunta.

Duas estratégias, 100 operações fechadas cada

Estes são exemplos aritméticos fictícios, não desempenho do Citrine ou de clientes nem uma recomendação. Ambas as estratégias têm 100 operações fechadas. Suponha dimensionamento de posições igual em ambas, sem capitalização e ainda sem custos.

Estratégia A: 80 ganhos × +$5

+$400

Estratégia A: 20 perdas × -$25

-$500

Estratégia A: total antes dos custos

-$100

Estratégia B: 40 ganhos × +$20

+$800

Estratégia B: 60 perdas × -$10

-$600

Estratégia B: total antes dos custos

+$200

A ganha 80/100 = 80%; B ganha 40/100 = 40%. O ganho médio de A é $5 e a magnitude média da perda é $25; em B, são $20 e $10. Em todas as operações fechadas, A tem uma média de -$1 por operação e B de +$2 antes dos custos. A frequência não substitui a dimensão. Nenhum exemplo prevê resultados futuros.

Reconcilie custos e financiamento

Para reconciliar um total antes dos custos, subtraia as comissões de entrada e saída e os débitos de financiamento, some os créditos de financiamento e contabilize o slippage se ainda não estiver refletido nos preços. Não subtraia qualquer custo duas vezes. Um rótulo "líquido" não basta: verifique que custos e eventos de financiamento inclui. Dados de financiamento em falta não são um zero verificado.

As operações fechadas não são toda a execução

Um total de operações fechadas exclui lucros ou perdas não realizados em posições ainda abertas no limite temporal. A alteração do capital de toda a execução pode incluir essa exposição e financiamento fora das operações fechadas. Compare o capital inicial e final na mesma base, separando depósitos ou saques, quando existam. Indique se as posições ficaram abertas, foram avaliadas a preços de mercado ou foram fechadas obrigatoriamente no final.

Torne a comparação justa

• Concentração: verifique se poucos ganhos elevados, um produto ou um dia dominam o resultado. Examine também sequências de perdas e drawdown.
• Amostra e datas: 100 operações numa fase de mercado não são 100 provas independentes. Faça corresponder horas de início/fim, fuso horário e cobertura de dados.
• Dimensionamento: mantenha comparáveis o capital inicial, as quantidades e a alocação. Dimensionamento ou capitalização diferentes podem explicar diferenças em dólares sem melhores sinais.
• Seleção: inclua períodos desfavoráveis e períodos de teste não utilizados nos ajustes. Ajustes repetidos na mesma amostra podem favorecer o acaso.