Aqui na agência, temos uma rotina de fazer Testes A/B no Analytics e no RD. É importante deixar claro, antes de qualquer coisa, que quase 80% dos Testes A/B não nos dizem nada, o que não é anormal, já que estamos buscando uma espécie de tesouro: um padrão que dá resultado e pode ser aplicado em outras peças.
Concorda que tesouros não são fáceis de encontrar? Da mesma maneira que um cientista realiza testes de medicamentos – que na maioria das vezes são completos desastres – nós fazemos os testes nos nossos públicos e dos nossos clientes.
Nosso objetivo é encontrar um padrão escalável, que gera muito resultado e que pode ser replicado. Somos cientistas de dados e precisamos tirar a prova do que dá certo e do que não dá. A melhor maneira de fazer isso é por meio do teste de variáveis!
A seguir, irei explicar o passo a passo para fazer testes A/B em Landing Pages e E-mails e, claro, os resultados do que realizamos aqui na Conexorama. Se você quiser entender como funciona isso e aplicar seus testes também, continua com a gente. Vamos?
O que você vai encontrar nesse artigo:
Experimento 1: Teste A/B em Landing Pages
O que fazer primeiro?
Para começar, optamos pela Landing Page de um material que ainda não havia sido lançado. No nosso caso, usamos um modelo de Landing Page chamado Progressive Profile, que só é enviado para nossa base.
Fazemos isso porque queremos ter uma visão do engajamento e interesse da nossa base que, por padrão, tende a ser o público mais qualificado.
Importante: Lembre-se sempre de testar uma única hipótese por vez: um botão, título ou um CTA. Nunca mais de uma coisa ao mesmo tempo, para que não percamos o controle do que realmente deu certo.
Configuração no Google Analytics > RD Station
1. Agora é hora de criar uma meta para o seu experimento, isto é, o objetivo central do seu teste. Quer tráfego em sua página? Testar um botão ou um formato de texto? Retirar um elemento da Landing Page? As possibilidades são infinitas. No nosso caso, testamos a hipótese de que a nossa Landing Page teria mais conversões sem o GIF que ela tinha anteriormente.
Quando o Lead converte, ele é enviado para TYP (Página de Agradecimento), certo? Assim, a meta é o que leva o Lead a essa página. Obs.: Deixe duas páginas abertas no Analytics, uma para o experimento e outra para criar a meta.
Vá até Administrador > Metas > + Nova Meta. Veja como configurar a meta no GA:
Ao chegar a essa tela, escolha a opção “Personalizado”.
2. Assim como o nome do Experimento e da Landing Page, usamos “PP (A/B) – W.11 – [WEBINAR] GESTÃO DE LEADS” para a meta também. Feito isso, escolha a opção de meta tipo “Destino”.
3. Se queremos testar a conversão, o objetivo é de que o visitante chegue até a Thank You Page (TYP), tornando-se um Lead. Em detalhes da meta, iremos configurar o destino. Para isso, copie a parte da URL que fica atrás da barra (‘/’). Essa parte é correspondente ao nome do eBook + algum ID que caracterize de página de destino. Em nosso caso, usamos “TYP”.
Então, você deve verificar a meta, salvar e seguir em frente!
4. Começando pelo RD Station: O primeiro passo é duplicar a Landing que desejamos testar. A LP deve conter um ID diferente da original. Aqui, nós chamamos a versão B de variável, conforme vê abaixo:
5. Feita a duplicação, vamos pular para o Google Analytics, onde daremos início ao nosso experimento. Para acessar o local, basta ir para: Comportamento > Experimentos. Lá, você vai em “Criar um Experimento”.
6. Escolha um nome para o seu experimento. Como estamos falando de uma Landing Page, o ideal é que coloquemos o nome do material rico, conforme vê abaixo:
Aqui utilizamos IDs para nossa organização interna. Exemplo, o material 1 é W.01, e assim por diante. Esse é o nosso material de número 11, por isso “W.11“.
7. O GA vai questionar você sobre o “objetivo do experimento. É nesse momento que a meta deverá ser selecionada. Como a meta foi criada há pouco tempo, é bem provável que ela esteja dentro do último conjunto de metas. No nosso caso, o último era “Conjunto de Metas 3”, como ver na imagem abaixo.
Agora você entende a importância de configurar a meta, o experimento e as Landings Pages com os mesmo IDs, certo?
8. Em seguida, vamos configurar o experimento. Lembra da Landing de Progressive Profile que duplicamos no início? É hora de voltar até ela. Copie a URL inteira e cole o endereço da original no primeiro campo e no segundo, cole o endereço da Variante.
Lembrete: O endereço deve ir sem HTTP, ok? Caso contrário não funcionará :/
- Hora de fazer o rastreamento das Landing Pages, adicionando o código do experimento. Para isso, devemos copiar todo o código sem script (sem faltar nenhum caractere, hein?!) e, após isso, colá-lo no HTML da Landing Page dentro do RD, conforme as instruções do próprio Google Analytics.
9. Volte para o RD Station. Copiou o código, certo? Agora você vai saber onde colá-lo. Abra apenas a Landing Page Original e esqueça a Variante por ora. Se você trabalha com o RD, provavelmente o código de acompanhamento da tag de site global já está nas páginas. Este é o código que rastreia a atividade nas páginas e fornece todas as informações que o Analytics precisa.
Se este for o seu caso, apenas vá até a Landing Page Progressive Profile orginal e siga o caminho: Aparência > Edição Avançada > JavaScript em Head. Veja conforme a imagem abaixo:
Atente-se a colar o código do experimento acima do tag de site global, que como falamos é o código de rastreamento do Analytics. Salve, republique a LP e siga em frente!
10. Estamos quase no final, calma! Se você inseriu o código corretamente, fará a validação do código de experimento na próxima etapa. A tela aparecerá exatamente assim:
Obs.: Com a duplicação da LP Original, a tag de site global irá automaticamente para a LP Variante. Mas atenção: o código de experimento deverá constar apenas na LP Original. Tenha em mente que LP original precisa conter o código da ferramenta GA + do nosso Teste A/B, enquanto a Variante só precisa do global.
Resultados e aprendizados do nosso Teste A/B em Landing Pages
Após concluir a configuração do experimento, o próximo passo é monitorar os resultados. Até o presente momento, executei Testes A/B em duas Landing Pages, ambas testando a hipótese de que o GIF ajudava no aumento das taxas de conversão. Os resultados foram os seguintes:
No primeiro teste, tivemos 18 dias de dados. Neste período, probabilidade da Variante (Sem GIF) superar a original, foi de 94%. Para que o resultado seja assertivo, a probabilidade deve ser de 95%. Dá para ver que chegamos bem perto de comprovar nossa hipótese, não é? É por isso que que repetimos o experimento.
A ideia é que o segundo teste fosse uma “contra-prova” para nossa hipótese. No entanto, em 8 dias de teste, vemos um cenário diferente. Se este padrão seguir, devemos ter um terceiro teste, para conseguir tomar uma decisão assertiva.
Observamos que existe uma grande diferença entre o teste e o contra-teste. É que no teste divulgamos um eBook e contra-teste foi um Webinar. Por padrão sabemos que o webinar recebe menos conversão do que um eBook, e isso também nos direciona para um terceiro teste.
E aqui temos um aprendizado: Quando for preciso um contra-teste, deve se ter o cuidado de criar um situação bem semelhante ao primeiro teste, caso contrário o resultado poderá ser bem diferente.
Aqui, no contra-teste, a Landing Page com GIF está convertendo um pouco melhor. Mas, como ainda temos, tecnicamente, mais 10 dias de dados e não é uma larga vantagem, o resultado ainda não é conclusivo. Sim, o jogo ainda pode ser virado!
O que podemos aprender com isso?
Bem, várias coisas. Inicialmente, devemos levar em conta que é recomendado que o Teste A/B tenha mais de 15 dias de dados para termos um resultado conclusivo. É importante também que seja testado com seu público mais qualificado, então é interessante medir o interesse da sua base de Leads.
Em nosso caso, utilizamos a Landing Page de Progressive Profile, que é o modelo que enviamos por e-mail para nossa base. É legal também atentar para a proporção entre as duas Landing Pages. Qual a chance da Variante superar a Original, ou vice-versa? Se a probabilidade for menor do que 95% o teste deve ser repetido, como fizemos aqui na Agência.
Enfim, o importante é sempre sair do Teste A/B com algum aprendizado. Se não encontrarmos nosso “tesouro”, ao menos devemos documentar tudo, para ter uma visão mais holística e traçar um padrão adiante.
Experimento 2: Teste A/B em E-mails
O que fazer primeiro?
Assim como no Teste A/B de Landing Pages, antes de criar um Teste A/B para E-mails, devemos ter bem clara a hipótese que iremos testar. O RD disponibilizou a feature para testes apenas em assuntos, por enquanto.
É possível testar títulos diferentes, nomenclaturas como “[eBook]” e “[Webinar]”, além de usar emojis de diferentes formatos. O nosso teste foi feito justamente com emojis, como iremos explicar a seguir.
Configuração no RD Station
O E-mail precisa ser criado com a opção de Teste A/B já selecionada. Ou seja, a finalidade do e-mail deve ser “Teste A/B para Assunto do E-mail”. Confira na imagem abaixo:
- Selecionou a opção Teste A/B para Assunto de Email? Agora crie o e-mail e siga em frente!
Um ponto bem importante: Quando for agendar o e-mail pelo RD, fique atento às segmentações. Para ter um panorama completo do Teste A/B, optamos pelo envio para toda a base (com exceção dos Leads Desengajados, que não devem ser incluídos). - A hipótese testada: O e-mail com emoji de estrela no assunto terá uma taxa de abertura maior. Uma vez que selecionada a opção Teste A/B antes da criação do e-mail no RD, poderemos criar as opções diferentes.
- O teste de assunto é bem simples. O próximo passo é só analisar os resultados. Depois de mais ou menos 15 dias do disparo, as estatísticas já podem ser mapeadas. Vá até Relacionar > Email > Estatística e observe:
Versão A:
Versão B:
Como podemos comprovar pelos dados, a Versão B não superou a Versão A. Tivemos uma taxa de abertura similar, o que nos diz que nossa hipótese não se comprovou.
O que podemos aprender com isso?
A abertura de e-mail marketing é uma métrica ainda mais sensível que a alteração feita na Landing Page. Logo, os testes devem ser feitos mais vezes, com outros temas de eBooks.
A lição que podemos tirar é que ainda devemos amadurecer os Testes em E-mail Marketing e buscar mais hipóteses para testar. E, claro, podemos afirmar que o emoji de estrela, em específico, não teve impacto sobre nossos cliques em e-mails.
A documentação é a parte mais importante
Como deixamos claro ao longo de todo o artigo, podemos tirar insights de todos os Testes A/B que fizermos. Todos eles têm nos dizem algo, mesmo que seja que uma hipótese não é válida.
Para ter uma visão do que dá certo e do que não dá em longo prazo, um fator muito importante é a documentação. A seguir, irei mostrar como documentamos nossos Testes aqui na Conexorama.
Status dos Experimentos
Utilizamos essa planilha para ter controle da situação de nossos Testes A/B. Assim, temos uma visão holística do que falhou, do que chegou perto de dar certo mas deve ser repetido e do que ainda está rolando. Mais adiante, teremos insights sobre o tempo de experimento, se devemos manter 15 dias, 20 ou se é preciso 30.
Essa aba também serve para controlar quem são os responsáveis pelos Testes A/B e qual foi o objetivo do teste.
Documentação de Testes
Chegamos à parte final do nosso experimento, a documentação. Nossa ideia é listar a hipótese, as métricas que analisamos, ferramentas, passo passo realizado, intervalo de acompanhamento e resultados de cada LP.
Cada passo do teste A/B é essencial. Em especial, é importante dar atenção ao Workflow, que irá comprovar se todos os passos foram seguidos e se não ficou nada para trás. Afinal, mesmo que não seja recorrente, o objetivo máximo do Teste A/B é incitar uma tomada de decisão.
Teste A/B é persistência e análise
Quando falamos em Teste A/B, não podemos esquecer de que estamos aprendendo por tentativa e erro. Não importa se 100 experimentos não geraram uma ação: esses testes, pelo menos, nos disseram o que não dá certo.
Se de um montante de 100 experimentos, conseguirmos sair com 2% de acerto, estamos em vantagem. Até porque, como falamos no início deste artigo, encontrar um padrão a ser replicado é como encontrar um tesouro no fim do caminho, ou uma fórmula perfeita para um medicamento. É tentativa, persistência e muito olho clínico.
E você, já faz Testes A/B para sua empresa, clientes ou para seu negócio pessoal? Se sim, compartilha com a gente suas experiências. E ah, não esquece de dizer o que achou do artigo! 🙂 Um abraço e até a próxima.
