Teste A/B de VSL: o que testar primeiro, quanto tráfego usar e como escolher o vencedor
Um teste A/B de VSL divide os visitantes entre duas versões e mede qual rende mais por visitante. Aqui está a ordem do que testar, a calculadora de amostra com um exemplo, por que parar cedo encontra vencedores falsos e como dividir o tráfego sem bagunçar a medição.
Nesta página
- O que testar primeiro num teste A/B de VSL
- Por que testar uma variável por vez
- Quantos visitantes cada versão precisa?
- Por que parar o teste cedo engana
- Teste pelo RPV, não só pela conversão
- Divisão por peso e grudenta: como dividir o tráfego
- O teste A/B de VSL do começo ao fim
- Checklist antes de declarar um vencedor
- Perguntas frequentes
Um teste A/B de VSL manda parte dos visitantes para a versão atual (o controle) e parte para uma versão com uma única mudança, sempre a mesma versão para o mesmo visitante. Você define antes quantos visitantes cada versão precisa, espera esse número e escolhe pela receita por visitante (RPV), não só pela conversão. Comece pelo que todo visitante vê: o hook, a headline e o poster.
O que testar primeiro num teste A/B de VSL
A ordem vem de uma conta simples: um teste termina mais rápido onde passa mais gente, e uma mudança no começo do funil se multiplica por todas as etapas seguintes. O hook é visto por todo mundo que ativa o som; a oferta, só por quem chega ao pitch.
Veja o que cada tipo de teste mexe e o que medir em cada um:
O que testar, em ordem
Os primeiros segundos e o título acima do vídeo
Todo visitante vê. Mexe na taxa de ativação do som, na retenção do primeiro minuto e, por multiplicação, em tudo o que vem depois.
- Métrica de apoio: ativação do som e retenção em 1 minuto
- Decide: RPV
O primeiro teste para quase toda VSL.
A imagem antes do play ou do som
Decide se a pessoa toca no vídeo. Rosto, texto curto e o convite para ativar o som são as variáveis comuns.
- Métrica de apoio: play rate ou ativação do som
- Decide: RPV
Barato de produzir: teste várias ideias em sequência.
Preço, pacotes, garantia, bônus
Só quem chega ao pitch vê, então o teste demora mais. Em compensação, mexe direto no ticket médio.
- Métrica de apoio: CTR do botão e ticket médio
- Decide: RPV, nunca só a conversão
Uma mudança de oferta por teste.
Um roteiro novo contra o atual
Outro mecanismo, outra big idea, outra estrutura. Diz qual vende mais, não o porquê.
- Métrica de apoio: retenção até o pitch
- Decide: RPV
Vale quando os roteiros são bem diferentes.
Uma regra para escolher entre eles: olhe as métricas da VSL e teste na etapa que mais caiu contra a sua própria média. Se a taxa de ativação do som está estável e a retenção despenca no minuto 6, testar outro poster é gastar tráfego no lugar errado.
Por que testar uma variável por vez
Se a versão B tem headline nova, poster novo e preço novo, e rende mais, você não sabe qual das três mudanças fez a diferença. Pior: uma delas pode ter ajudado e outra atrapalhado, e o resultado esconde as duas. Na próxima VSL, você vai repetir o pacote inteiro sem saber o que funciona.
Uma variável por vez não quer dizer uma palavra por vez. "Hook de história contra hook de pergunta" é uma variável, mesmo que mude 40 segundos de vídeo. O que não pode é misturar coisas de etapas diferentes no mesmo teste.
A exceção é o teste de VSL inteira contra VSL inteira: um roteiro novo, com outro mecanismo ou outra big idea, contra o atual. É legítimo e às vezes é o teste que mais rende, mas ele responde só "qual das duas vende mais", nunca o porquê. Faça quando a diferença entre os roteiros for grande o bastante para valer o tráfego.
Quantos visitantes cada versão precisa?
O tamanho da amostra depende de três coisas: a conversão atual, a menor melhora que vale a pena encontrar e o nível de certeza. Quanto menor a melhora que você quer detectar, mais visitantes precisa, e a relação não é linear: para enxergar metade da melhora, você precisa de bem mais que o dobro de visitantes.
Exemplo: a VSL converte 2% dos visitantes, você recebe 1.500 visitantes por dia e só quer saber de uma melhora de pelo menos 20% (de 2% para 2,4%). A calculadora usa 95% de confiança e 80% de poder, os padrões usuais para comparar duas taxas de conversão:
Calculadora
Calculadora de amostra para teste A/B
Quantos visitantes cada versão precisa antes que uma diferença na conversão signifique alguma coisa.
- Visitantes no total
- Dias com o seu tráfego
- Pedidos por versão na taxa atual
95% de confiança e 80% de poder, os padrões usuais para comparar duas taxas de conversão. Defina a amostra antes de começar e leia o resultado quando ela for atingida: parar no momento em que uma versão passa na frente encontra vencedores que não existem. Com mais de duas versões, cada uma é comparada com o controle e precisa desse número de visitantes.
São 21.109 visitantes por versão, 42.218 no total: cerca de 28 dias com o seu tráfego, e uns 422 pedidos em cada versão. Se o teste for de uma mudança grande, em que só uma melhora de 30% interessaria, a conta cai bastante. Se for um ajuste fino, em que 10% já valeria, ela explode:
Visitantes por versão, conforme a melhora que você quer detectar
Exemplo com conversão de 2%, 95% de confiança e 80% de poder
Três consequências práticas:
- Com pouco tráfego, teste coisas grandes. Trocar uma palavra da headline pede uma amostra que você talvez nunca junte. Trocar o hook inteiro, não.
- Cada versão a mais custa uma amostra inteira. Com três versões (o controle e duas novas), cada uma precisa dos mesmos 21.109 visitantes: 63.327 no total, uns 42 dias a 1.500 por dia.
- Rode semanas completas. Mesmo que a amostra feche no dia 10, espere completar a segunda semana. O público de sábado não é o de terça.
Por que parar o teste cedo engana
A confiança de 95% só vale se você olhar o resultado uma vez, no fim. Quem abre o painel todo dia e para assim que uma versão aparece na frente está fazendo vários testes seguidos, e cada olhada é uma nova chance de pegar um acaso.
Evan Miller mostra o tamanho do problema num exemplo que ele mesmo chama de quase o pior caso: uma mudança que não faz diferença nenhuma, num teste checado depois de cada visitante e encerrado no primeiro resultado "significativo" ou aos 150 visitantes, é declarada vencedora em 26,1% das vezes, mais de cinco vezes os 5% que a pessoa acha que está aceitando. A recomendação dele é direta: decidir o tamanho da amostra antes e esperar o fim do experimento (How Not To Run an A/B Test, em inglês).
Na prática de VSL, isso aparece assim: no terceiro dia, a versão B está 50% na frente, com 9 pedidos contra 6. Parece óbvio, mas é uma diferença de 3 pedidos, e ela pode sumir ou inverter muito antes dos 21 mil visitantes por versão. Pedidos são poucos e chegam em grupos; o começo de qualquer teste é barulho.
Teste pelo RPV, não só pela conversão
A conversão conta pedidos; o RPV conta dinheiro. Numa VSL com pacotes de 1, 3 e 6 potes, as duas métricas podem apontar para lados opostos.
Imagine um teste de oferta com 10.000 visitantes em cada versão. A versão B coloca o pote único em destaque e vende mais pedidos, mas de ticket menor:
A versão que converte mais nem sempre rende mais
Números ilustrativos, 10.000 visitantes por versão
Rende mais por visitanteVersão A (controle)
- 200 pedidos: conversão de 2,0%
- Ticket médio de US$ 120
- Receita de US$ 24.000
- RPV de US$ 2,40
Mais pedidos de 3 e 6 potes.
Converte mais, rende menosVersão B (pote único em destaque)
- 230 pedidos: conversão de 2,3%
- Ticket médio de US$ 95
- Receita de US$ 21.850
- RPV de US$ 2,19
15% mais pedidos, 9% menos receita por visitante.
A versão B converteu 15% mais e rendeu 9% menos por visitante. Se você escolhesse pela conversão, trocaria uma VSL que rende US$ 2,40 por visitante por outra que rende US$ 2,19, e veria o ROAS cair sem entender por quê. Compare o RPV de cada versão com o seu custo por visitante e com o seu ROAS de equilíbrio.
Um cuidado honesto: o RPV varia mais que a conversão, porque cada pedido tem um valor diferente. A calculadora acima dimensiona o teste pela conversão; para decidir pelo RPV, trate esse número como o mínimo e prefira esperar mais.
Divisão por peso e grudenta: como dividir o tráfego
Dois detalhes técnicos decidem se o teste mede alguma coisa:
Por peso. Cada versão recebe uma parte do tráfego: 50/50 é o mais rápido para chegar à amostra. Uma divisão 80/20 protege a receita quando a versão nova é arriscada, mas custa tempo: a versão com 20% precisa dos mesmos 21.109 visitantes, então o teste pede 105.545 visitantes no total, uns 70 dias a 1.500 por dia.
Grudenta por visitante. Quem viu a versão A na segunda-feira e volta na quarta precisa ver a versão A de novo. Se o visitante cai cada vez numa versão, as duas recebem crédito pela mesma venda, a pessoa que voltou para comprar não acha a oferta que viu e a medição se mistura. A divisão grudenta guarda a versão de cada visitante novo e repete nas visitas seguintes.
Na RevvyScales, as pastas dividem o tráfego entre VSLs inteiras por peso, com a atribuição grudenta por visitante novo, em todos os planos (pastas e testes A/B, em inglês). Dentro de uma mesma VSL, os testes de headline, poster, oferta e velocidade de reprodução também são por peso e grudentos, a partir do plano Growth (teste de oferta, em inglês). A tabela da pasta mostra o RPV de cada versão ao lado da parte do tráfego:
Existe ainda a divisão inteligente (plano Growth e acima), que move o tráfego da pasta para as VSLs que rendem mais por espectador, julgando dias completos. Ela serve para ganhar mais enquanto o tráfego roda; para aprender qual versão é melhor, com uma leitura limpa, um teste de pesos fixos é mais simples de interpretar.
O teste A/B de VSL do começo ao fim
Cada etapa abaixo traz o que fazer, por que importa e o que costuma dar errado. Abra uma por vez:
Um teste A/B de VSL, etapa por etapa
1Escreva o que vai mudar e por quê
O que acontece: Uma frase: "trocar o hook de pergunta por um hook de história vai segurar mais gente no primeiro minuto".
Por que importa: Uma hipótese diz qual métrica de apoio olhar e o que aprender se perder.
O que dá errado:
- Testar "algo novo" sem saber o que se espera
- Mudar várias coisas de uma vez
2Calcule os visitantes e a data mínima
O que acontece: Na calculadora: conversão atual, menor melhora que vale encontrar, tráfego diário e número de versões.
Por que importa: É o que impede parar cedo e chamar acaso de vitória.
O que dá errado:
- Querer detectar melhoras pequenas com pouco tráfego
- Esquecer que cada versão a mais pede outra amostra
3Configure os pesos e a atribuição grudenta
O que acontece: Pesos iguais para chegar à amostra mais rápido; o mesmo visitante sempre na mesma versão.
Por que importa: Sem divisão grudenta, a mesma pessoa vê as duas versões e a medição se mistura.
O que dá errado:
- Mandar fontes de tráfego diferentes para cada versão
- Mudar os pesos no meio do teste
4Deixe rodar sem mexer
O que acontece: Mesma campanha, mesmo orçamento, mesmo checkout. Olhe só se está tudo funcionando: vídeo tocando, vendas chegando.
Por que importa: Qualquer mudança no meio vale para as duas versões de jeitos diferentes.
O que dá errado:
- Trocar o criativo do anúncio durante o teste
- Pausar uma versão porque "está perdendo" no terceiro dia
5Leia o resultado na data marcada
O que acontece: Compare o RPV das versões, confira as métricas de apoio e veja se a amostra e as semanas completas foram atingidas.
Por que importa: O RPV junta conversão e ticket; as métricas de apoio explicam o porquê.
O que dá errado:
- Escolher pela conversão quando o ticket mudou
- Declarar vencedor sem a amostra
Leia mais: Métricas de VSL: fórmulas e onde está o vazamento
6Anote e comece o próximo
O que acontece: Hipótese, datas, amostra, resultado e o que se aprendeu. O vencedor vira o novo controle.
Por que importa: Um registro evita repetir testes e mostra o que move o seu público.
O que dá errado:
- Não registrar os empates
Um teste que empata também ensina: aquela variável não move o seu público, e o próximo teste deve mirar outra etapa. Anote os empates junto com as vitórias. O guia de testes A/B de VSL (em inglês) mostra o que registrar em cada teste e os erros mais comuns em detalhe.
Checklist antes de declarar um vencedor
Marque cada item antes de mudar o tráfego para a versão nova:
Antes de declarar um vencedor
0 de 9 feitos
Depois que um vencedor é declarado, ele vira o novo controle, e o próximo teste começa dele. Uma sequência de testes pequenos e honestos, um por vez, é o que separa uma VSL que melhora mês a mês de uma que só troca de versão. Comece pelo hook da VSL, que é visto por todo mundo.
Perguntas frequentes
Quanto tempo deve durar um teste A/B de VSL?
O tempo que levar para cada versão atingir a amostra calculada antes do teste, arredondado para semanas completas. Com conversão de 2%, uma melhora mínima de 20% e 1.500 visitantes por dia divididos entre duas versões, são cerca de 28 dias. Com menos tráfego, ou buscando melhoras menores, o teste fica mais longo; parar antes da amostra encontra vencedores falsos.
Posso testar mais de duas versões ao mesmo tempo?
Pode, mas cada versão precisa da amostra inteira, porque cada uma é comparada com o controle. Três versões pedem 50% mais tráfego que duas; quatro, o dobro. Com muito tráfego, testar várias ideias de hook ao mesmo tempo economiza semanas. Com pouco tráfego, faça um teste de duas versões por vez, começando pela mudança maior.
O que é divisão de tráfego grudenta?
É quando cada visitante novo recebe uma versão e continua vendo essa mesma versão nas visitas seguintes. Sem isso, quem volta para comprar pode cair na outra versão, não encontrar a oferta que viu, e a venda fica dividida entre as duas na medição. A divisão grudenta mantém cada pessoa numa versão só, e o resultado descreve o que cada versão fez.
Dá para fazer teste A/B de VSL com pouco tráfego?
Dá, mas só para mudanças grandes. Com poucos visitantes por dia, a amostra para detectar uma melhora pequena pode levar meses. Teste coisas que tendem a mudar muito o resultado, como um hook completamente diferente ou uma oferta nova, e aceite que ajustes finos de palavra não vão ter resposta confiável. Uma melhora de 30% pede menos da metade dos visitantes de uma de 20%.
Devo escolher o vencedor pela conversão ou pelo RPV?
Pelo RPV, a receita por visitante. A conversão conta pedidos, mas não o valor deles. Uma versão que vende mais potes únicos pode converter mais e render menos, porque o ticket médio cai. O RPV junta conversão e ticket num número só e se compara direto com o custo por visitante. Use a conversão e as outras etapas para entender por que o RPV mudou.

