Lansman email a/b testi yaparken sık yapılan hatalar

Kısa Cevap

Lansman email A/B testi yaparken en sık yapılan hatalar: çok fazla değişkeni aynı anda test etmek, çok az kişiye test göndermek, sonuçları erken kapatmak ve önemli metriksleri takip etmemektir. Ben de başlarda tüm bu hataları yaptım ve bundan öğrendiklerime bu rehberde paylaşıyorum.

Çok Fazla Değişkeni Aynı Anda Test Etmek

İlk lansmanımda konu satırı, gönderim saati, CTA butonu rengi ve emailin tamamını aynı anda test etmeyi denedim. Sonuç? Hiçbir şey açık olmadı. Çünkü bir B versiyonu A versiyondan daha iyi performans gösterse bile, hangi elementin bunu sağladığını bilemezsin.

A/B testi en temel ilkesi: bir seferde sadece bir değişkeni test et. Örneğin bu hafta sadece konu satırını test edebilirsin. Sonraki emailde sadece CTA butonunu değiştirebilirsin. Bu şekilde her değişkenin gerçek etkisini görebilirsin. Evet, daha yavaş ilerliyorsun ama aldığın veriler çok daha güvenilir oluyor.

Test Grubunun Çok Küçük Olması

Bekleme listem 500 kişiydi ve ben 50 kişiye A versiyonu, 50 kişiye B versiyonu gönderdim. Sonra "50 kişi de büyük bir örnek" diye düşündüm. Spoiler: değildi. Tesadüflere ve anomalilere çok açıktı bu sayı.

Email A/B testinde genellikle A ve B versiyonuna gönderilecek kişi sayısı, toplam listemin en az %10 ila %20'si olmalıdır. Eğer 1000 kişi varsa, 100'er kişiye değil, en az 200'er kişiye göndermek daha güvenilir sonuçlar verir. Daha az kişiyse testi tamamen atlayıp, en iyi uygulamaları kullanman daha mantıklı.

Sonuçları Çok Erken Kapatmak

Konu satırı testinde ilk 2 saatte B versiyonunun açılma oranı daha yüksekti. Çok sevinç, testi sonlandırdım ve geri kalanı B konu satırıyla gönderdim. Ama sonra fark ettim: farklı saatlerde açan insanlar vardı ve tam istatistiksel sonuca ulaşmamıştım.

Email açılış oranları, tıklama oranları, hatta satın alma oranları zaman geçtikçe değişir. Özellikle lansmanla ilgili emailler için en az 24-48 saat beklemelisin. Eğer yapabilirsen, test grubuna gönderimi hafta içi yapıp, sonuçları hafta sonu almak daha iyi. Böylece farklı davranış paternlerini yakalamazaın.

Yanlış Metrikleri Takip Etmek

Başlarda sadece açılma oranına bakıyordum. A versiyonu daha yüksek açılma oranına sahipti, o zaman her zaman A'yı kullandım. Ama sonra fark ettim: açanlar tıklamıyor, hiç siteme girmiyor, satın almıyor.

Lansman emailinin amacı nedir? Eğer amaç insanları ürüne çekmekse, tıklama oranına bakmalısın. Eğer satın alma hedefliyorsan, direkt satın alma oranına veya dönüşüm oranına bakmalısın. Açılma oranı önemlidir ama tek başına yeterli değildir. İdeal olarak açılma oranı, tıklama oranı, ve sonra da nihai dönüşüm metriğini takip etmelisin.

Segmentasyon Yapmamak

Tüm listeye aynı testi gönderdim. Ama sonra düşündüm: ilgili oldukları konu farklı olan insanlar, aynı emaile farklı tepki verebilirler. Email A/B testini yaparken, listenin parçalarını segmentlere ayırman çok faydalı olur.

Örneğin, eğer B2B ürün lansmanı yapıyorsan, farklı endüstrilere gelen insanları ayrı test etmeyi deneyin. Freelancer'lar ile ajansları, listenin yeni üyeleri ile eski üyeleri farklı şekilde cevap verebilirler. Her segmentte hangisi daha iyi çalışıyor, onu öğrenin.

Sıfırdan Test Etmek Yerine İyi Pratikleri Başlangıç Noktası Olarak Kullanmamak

Her testi tamamen sıfırdan başlayarak yapmak, müthiş zaman kaybıdır. Tüm lansmanlar için iyi çalışan ortak prensipler vardır: iyi bir konu satırı, net bir CTA, kişiselleştirme, sosyal kanıt vb. Bunları başlangıçta uygula, sonra da küçük detayları test et.

Örneğin, testimde konu satırını test ederken, ikisi de kişiselleştirilmiş olabilir. Fakat biri merak uyandırıcı, diğeri doğrudan fayda sunuyorsa, farklı açılma oranları görebilirsin. Böylece kendi hedef kitleniz için ne işe yaradığını öğrenirsin.

Test Sonuçlarını Belgelememek

İlk testlerimi yaptıktan sonra, sonuçları bir yere kaydetmedim. Sonra aynı testi tekrar yaptığımda, daha önceki sonuçla karşılaştıramadım. Çok aptalca bir hata oldu.

Her A/B testinin sonuçlarını basit bir Excel dosyasında tutuş: ne test ettin, A ve B versiyonları ne, kaç kişiye gönderildi, açılma oranları, tıklama oranları, dönüşüm oranları. Zamanla bu veriler senin lansmanları daha iyi hale getiren bir referans kütüphane olur.

Sıkça Sorulan Sorular

A/B testi yapmak için en az kaç kişiye ihtiyacım var?

İstatistiksel olarak geçerli sonuçlar için her grup en az 100 kişi olmalıdır. Daha az kişiye sahipsen, lansmanı erteleyip listeyi büyütmeyi veya diğer kanal testi yapmayı düşünebilirsin.

Konu satırı mı yoksa gönderim saati mi daha önemli?

Konu satırı, açılma oranını etkileyen en büyük faktördür. Gönderim saati de önemlidir ama konu satırı genellikle önce test edilmeli.

İstatistiksel anlamlılık nedir?

Basitçe: sonucun tesadüfi olmayıp, gerçekten o farklılığın olduğu anlamına gelir. Çoğu durumda en az %95 güven seviyesine ulaşmak iyi sayılır. Eğer küçük bir liste varsa, bu seviyeye ulaşmak zor olabilir.