Se você chegou aqui procurando como montar um teste A/B dentro do Google Analytics, eu preciso te poupar tempo: esse caminho não existe mais. Neste guia, eu mostro como fazer teste A/B do jeito que funciona hoje, com um exemplo real.
A função de experimentos saiu do Analytics, virou um produto separado chamado Google Optimize, e o Optimize foi descontinuado em 30 de setembro de 2023. Hoje, quando você pergunta ao próprio Google como fazer teste A/B, a resposta oficial é usar uma ferramenta de terceiros.
A ferramenta mudou. O método, não.
Como decidir o que testar, quanto tempo deixar rodando e como saber se o resultado é real ou sorte continua exatamente igual. E é isso que eu quero te mostrar aqui, com um teste que rodou de verdade numa das páginas mais importantes da Conexorama, usando a ferramenta que a gente usa no dia a dia.
Antes de tudo: 80% dos testes não dizem nada
Eu repito isso há anos e vou repetir de novo. Na prática, a maior parte dos testes A/B que você rodar vai terminar inconclusiva, e isso é normal. Teste A/B não é máquina de resultado garantido: é método científico aplicado a página.
O que você está procurando é um padrão escalável. Algo que funcionou, que você entende por que funcionou e que pode replicar em outras páginas. Afinal, tesouro não se acha fácil, e quem promete taxa de acerto alta em CRO está vendendo achismo com nome bonito.
E tem uma coisa que pouca gente fala: teste perdido não é tempo perdido. Quando a variação perde ou empata, eu aprendi algo sobre o meu público que eu não sabia antes. Isso vale ouro.
A regra de ouro também não mudou: uma hipótese por vez. Um botão, um título, um bloco. Se você mexer em três coisas ao mesmo tempo e a conversão subir, você não vai saber qual das três causou. Não aprendeu nada, só teve sorte.
Passo 1: escolha a página pelo volume, não pela sua vontade
Por isso, o erro número um é começar testando a página que te incomoda. O certo é começar pela página que tem gente passando.
Teste A/B depende de amostra. Se a página recebe 60 visitantes por mês, não existe estatística que te salve: você vai rodar o teste por semanas e terminar sem conclusão. Então abra o relatório de páginas, ordene por visitantes e trabalhe nas primeiras.
Quando eu fiz esse exercício na nossa conta, a lista foi clara. Em primeiro lugar, disparado, a página da Formação em Metodologia do Inbound Marketing, com quase mil visitantes por mês. Logo abaixo vinham outros cursos, páginas de patrocinadores e um artigo bem ranqueado. Em contrapartida, da segunda página da lista em diante, o volume despencava para 60, 65 visitantes no mês.
Eu poderia testar o artigo? Poderia. Mas o objetivo dele seria tempo de leitura ou um clique, e o volume não sustentaria um teste semanal. A página da formação, por outro lado, tinha tráfego constante e um objetivo cristalino: gerar cadastro.
Uma dica que vale para qualquer negócio: se você tiver mídia paga ligada para alguma página, ela tende a ser uma ótima candidata. O anúncio garante fluxo de visitantes, e fluxo constante é o que dá velocidade ao teste.
Passo 2: defina a métrica-mãe e faça a conta
Escolhida a página, eu preciso saber exatamente qual número quero mover. Ou seja, é o que eu chamo de métrica-mãe.
Na formação, eu poderia olhar permanência na página, cliques ou o envio do formulário. Escolhi o clique no botão “criar meu acesso”, porque eu queria mexer na página, e não nas perguntas do formulário. Se o meu alvo fosse o formulário, eu estaria testando campos e perguntas, que é outro teste.
Antes de mexer em qualquer coisa, rodamos um mapa de calor nela:
Repare no que esse painel entrega: 196 visitantes no mobile, 38,27% deles interagindo com a página e um elemento concentrando 20,19% dos toques, o botão “criar meu acesso”, com 147 toques. Esse dado também me mostrou outra coisa importante: a esmagadora maioria das visitas vinha do celular. Num recorte de sete dias, foram 228 visitas no mobile contra 31 no desktop. Ou seja, o teste tinha que ser pensado para o mobile.
Como calcular o ganho
Agora vem a conta, e ela é bem simples. Faço numa calculadora mesmo.
Na semana de referência, a página teve 230 visitantes e 72 conversões, uma taxa de 31%. No histórico completo, ela já tinha chegado a 36%. Se eu levar essa taxa para 40% com o mesmo tráfego, saio de 72 para 92 cadastros por semana.
Ou seja, são 20 leads a mais por semana sem gastar um real a mais em mídia.
Por que 40%, e não 45%? Porque 45% seria um salto grande demais para um primeiro teste. Prefiro uma escadinha: passar o melhor histórico da página e chegar perto dos 100 cadastros semanais só nesse curso. Para mim, isso é fator de sucesso. Anotei a meta na minha planilha de controle, com data, e só então fui pensar no que testar.
Passo 3: transforme o dado em hipóteses
Hipótese não é “acho que esse botão está feio”. Em resumo, hipótese é uma frase que liga uma mudança a um efeito esperado, em cima de um dado que você já tem.
O ideal é fazer isso em brainstorming, com duas, três, no máximo quatro pessoas olhando os mapas juntas. Quando você está sozinho, vale o mesmo processo, só que com uma cabeça só. Foi o meu caso.
Eu cruzei três leituras do PageSense: o mapa de cliques (onde as pessoas tocam), o mapa de rolagem (até onde descem) e o mapa de atenção (onde param para ler). Desse cruzamento saíram quatro hipóteses:
- Topo no mobile: o topo ocupava duas linhas de tela e quase não recebia toques. Poderia ter uma chamada com senso de urgência.
- Os quatro boxes de benefícios: ninguém clica neles, e nem precisa, mas a rolagem mostrava cerca de 10% das pessoas indo embora logo ali. O texto deles poderia convencer mais.
- Headline do curso: o mapa de atenção mostrava gente parando para ler nesse trecho. Uma frase mais provocativa poderia segurar quem estava em dúvida.
- Foto do professor: um bloco grande, com minha foto (que, cá entre nós, eu nem gosto), que talvez funcionasse melhor como um resumo do curso.
Para tirar uma contraprova, assisti a algumas gravações de sessão no Android e no iOS. Gravação de sessão é qualitativa: você vê uma pessoa de cada vez. Por outro lado, o mapa de calor é quantitativo: mostra a média. Um complementa o outro, e nenhum deles sozinho deveria decidir o seu teste.
Passo 4: priorize com nota, não com gosto
Com quatro hipóteses na mesa, como escolher por qual começar? Eu uso uma pontuação chamada ICE: Impacto, Confiança e Facilidade, cada um com nota de 1 a 5.
Primeiro, impacto é quanto aquilo pode mexer na métrica-mãe. Aqui o PageSense ajuda muito, porque o impacto sai do clique, da rolagem e da atenção, e não da sua intuição.
Confiança mistura dado e experiência. Já testei topo antes e tive bons resultados? Tem clique ali, mesmo que pouco? Então a confiança sobe.
Facilidade é o esforço para montar a variação. Trocar texto é fácil. Gerar uma imagem nova do zero já não é, e às vezes isso até derruba a confiança, porque eu não sei se vou acertar a imagem de primeira.
Multiplicando as três notas, o topo com senso de urgência ficou na frente, com nota máxima nos três critérios. A headline veio logo atrás, e a troca da foto do professor ficou para depois.
Além disso, o bom dessa planilha é que ela já vira o seu calendário. Com quatro ou cinco hipóteses ranqueadas numa página que recebe tráfego toda semana, eu tenho praticamente o mês inteiro de testes planejado. E depois de cada resultado, eu volto nela e reviso as notas. A confiança muda conforme você aprende.
Passo 5: monte a variação
Aqui é a parte que antigamente exigia configurar meta no Analytics, copiar URL de página de destino e cruzar os dedos. Hoje é um editor visual: você abre a página, duplica em uma variação e edita o que combinou de testar.
Esse é o formato mais simples, e resolve a maior parte dos casos. Por outro lado, se você tiver duas páginas diferentes e quiser dividir o tráfego entre elas, existe o teste de divisão de URL. E para quem tem time técnico, dá para ir ainda mais fundo com testes feitos em código. Para começar, o editor visual basta.
Uma dica de organização que economiza dor de cabeça depois: batize o teste com taxonomia. O nosso ficou “Curso FIM, senso de urgência no topo”, com a sigla da página, o que está sendo testado, a versão e o mês. Além disso, eu também uso uma letra para o ritmo: S para semanal, Q para quinzenal, M para mensal, T para trimestral.
Parece frescura até o dia em que você abre a conta e encontra um teste antigo sem nome direito. Eu passei por isso: olhei um experimento meu e não sabia se era a primeira versão, nem quando tinha começado, nem por quanto tempo deveria rodar. Daqui a seis meses, com 20 experimentos na conta, você vai agradecer.
Outra recomendação: deixe um mapa de calor ligado junto com o teste. Os números dizem quem venceu. O mapa mostra o que as pessoas fizeram de diferente em cada versão, e te lembra o que você mudou.
Passo 6: volume mínimo e tempo de teste
Essa é a pergunta que todo mundo faz: quanto tempo deixo rodando?
Na prática, uma semana é o piso. Quinze dias dá mais segurança. O motivo é simples: comportamento de segunda-feira não é igual ao de sábado, e um teste de três dias pode estar medindo o dia da semana, não a sua mudança.
Se o seu site tem volume alto, pode ser menos. Se tem pouco tráfego, vai ser mais. Por isso, testes de 15 dias, um mês e até três meses são normais. Mais do que isso raramente compensa, e aí voltamos ao passo 1: talvez o seu problema não seja conversão, seja volume.
E sim, dá para ter mais de um teste rodando ao mesmo tempo, em páginas diferentes ou até com mais variações na mesma página (A, B, C). Eu ainda prefiro ir passo a passo, uma hipótese de cada vez, porque o aprendizado fica mais limpo.
Passo 7: leia o relatório (e desconfie de vencedor fácil)
Esse teste rodou de 19 a 30 de agosto, com 363 visitantes divididos quase ao meio: 181 viram o original e 182 viram a variação.
Na prática, tem dois números que você precisa olhar nessa tela, e um deles quase ninguém olha:
- Melhora relativa: quanto a variação subiu em relação ao original. É o número que todo mundo vai querer colocar no slide.
- Significância estatística: a chance de aquele resultado não ser acaso. Esse é o dado mais importante da tela. Uma melhora de 30% com significância baixa não vale nada. Uma melhora de 8% com 99% de significância é dinheiro no bolso.
No nosso teste, a variação com senso de urgência venceu com significância na casa dos 99%. Em praticamente todos os cenários, aquela mudança melhora a conversão. Aí sim você aplica no original e parte para o próximo teste.
Agora, para não parecer que é sempre assim, deixa eu te mostrar o outro lado. Por exemplo, na mesma conta, deixei rodando por bastante tempo um teste em outra página. Muita gente passou por ele, e o resultado ficou em 36,6% contra 36,03%. A significância? 66%.
Isso é praticamente um empate. As curvas chegaram a se separar no começo e depois se juntaram de novo.
Qual a significância mínima para confiar? Por outro lado, tem empresa que aplica qualquer ganho acima de 60%. Tem quem só aceite a partir de 90%. Eu, normalmente, começo a considerar a partir da casa dos 70%, e quando passa de 90% eu aplico sem medo. Abaixo disso, a resposta é rodar outro teste.
Os erros que eu mais vejo
O primeiro é pausar o teste no terceiro dia porque “já deu para ver que a B está ganhando”. Não deu. Além disso, nos primeiros dias as curvas pulam muito, e o que parece vantagem costuma ser amostra pequena.
O segundo é o oposto: deixar rodando para sempre esperando um vencedor que não vem. Se depois de duas ou três semanas as curvas continuam coladas, a resposta é que a sua hipótese estava errada, e isso também é aprendizado. Arquive, anote o que você descobriu e teste outra coisa.
O terceiro é escolher a hipótese pelo gosto pessoal. “Essa foto está feia” não é dado. Onde as pessoas param, onde clicam e onde vão embora, isso sim é dado.
O quarto é não anotar nada. Sem nome padronizado, sem planilha e sem mapa de calor no experimento, em três meses você não lembra mais o que testou nem o que aprendeu.
De teste isolado para rotina
Um teste A/B sozinho é um experimento. Uma sequência de testes, com hipóteses priorizadas, metas anotadas e aprendizados registrados, é uma rotina de otimização.
E é essa rotina que leva ao próximo nível, que é a personalização: entender cada vez melhor como comunicar com cada tipo de visitante. Quem não otimiza com frequência não chega lá.
Eu confesso que adoro esse processo. Me sinto um cientista dentro da própria operação, descobrindo coisas sobre o público que nenhuma opinião em reunião ia me dar.
Quer o passo a passo em vídeo?
Tudo o que está neste artigo, de escolher a página e ler o mapa de calor até priorizar com ICE, cadastrar o teste e interpretar o relatório, está gravado em detalhe no nosso curso de CRO na prática, dentro da Open School. São cinco módulos, do “por que CRO virou obrigação” até como transformar otimização em rotina mensal.
Transparência: o PageSense, da Zoho, é a ferramenta que usamos nos exemplos deste artigo e é patrocinador da Conexorama Open School. O método descrito aqui funciona em qualquer ferramenta de CRO. O que não funciona mais é fazer isso dentro do Google Analytics.