Model sürümü değişince eski ölçümünüz geçersiz kalır

Bir denetim raporunda en tehlikeli cümle şudur: "Mart ayında ölçtük, marka %40 görünüyordu." Rapor Eylül'de okunuyorsa bu cümle artık bir bulgu değil, bir tarih kaydıdır — çünkü Mart'tan Eylül'e model büyük olasılıkla en az bir sürüm değiştirmiştir.

Sürüm neyi değiştirir

Bir model güncellendiğinde üç şey aynı anda değişebilir:

• Eğitim verisi kapsamı. Yeni sürüm daha güncel bir kesim veriyle

eğitilir; markanız o kesimde daha görünür ya da daha az görünür olabilir.

• İnce ayar davranışı. Aynı soruya daha uzun, daha kısa, daha temkinli

ya da daha iddialı cevap verme eğilimi değişebilir — bu, hangi markaların anıldığını da değiştirir.

• Web arama entegrasyonu. Bir sürüm web araması yaparken bir öncekinden

farklı kaynaklara öncelik verebilir, farklı sayıda sonuç tarayabilir.

Markanızda hiçbir şey değişmemiş olsa bile üçü tek başına sonucu değiştirir.

"Aynı model" göründüğü hep aynı model değildir

API'de model adı genellikle sabit görünür (gpt-4o, claude-3-5-sonnet gibi) ama sağlayıcılar bu adın arkasındaki ağırlıkları zaman içinde sessizce güncelleyebilir. Tek çalıştırma veri değildir yazısında anlatılan "model adı ve sürümünü kaydet" kuralı tam bu yüzden var — mümkünse dönen yanıttaki sürüm bilgisini, yoksa en azından ölçüm tarihini kayda geçirmek, ileride "neden değişti" sorusuna cevap verebilmenin tek yolu.

Kıyaslamanın üç kuralı

1 · Zaman içi kıyas yalnızca aynı sürüm ailesinde anlamlıdır. GPT-4o'da Mart'ta %40, GPT-5'te Eylül'de %25 çıkması "kötüye gitti" anlamına gelmez; iki farklı ölçüm cihazıyla ölçülmüş iki farklı büyüklüktür.

2 · Büyük sürüm sıçramasında geçmiş veri sıfırlanır. Trend grafiğine yeni sürümün verisini eski sürümün verisinin devamıymış gibi eklemeyin; grafikte sürüm geçişini işaretleyen dikey bir çizgi olmalı.

3 · Rakip kıyası sürüm sabitken güvenilirdir. Markanız ve rakipleriniz aynı çalıştırmada, aynı sürümle ölçüldüğü sürece göreli konum (ses payı) sürüm etkisinden bağımsız kalır — sürüm herkesi aynı yönde etkiler, göreli sıralama genelde korunur. Sürüm değiştiğinde önce bunu, mutlak sayıdan önce kontrol edin.

Pratik protokol

1. Her ölçüm kaydına model adı ve mümkünse sürüm/tarih damgası ekleyin.
2. Büyük bir sürüm duyurusu geldiğinde, tam ölçümden önce küçük bir

örnekle (5-10 sorgu) etkinin büyüklüğünü test edin.

1. Etki büyükse tam ölçümü tekrarlayın ve trend grafiğinde sürüm geçişini

işaretleyin.

1. Rapor ve sunumlarda "şu tarihte, şu sürümle" ifadesini asla atlamayın —

bu, şeffaflık maddesinin sürüm boyutundaki karşılığıdır.

Sürüm değişikliği tarihini kaydetmek neden zor

Sağlayıcıların çoğu, bir modelin arka planda ne zaman güncellendiğini kesin bir tarihle duyurmaz — büyük sürüm sıçramaları (isim değişikliği gerektirenler) duyurulur, ama aynı isim altındaki sessiz iyileştirmeler duyurulmaz. Pratik bir çözüm, kendi ölçüm günlüğünüze davranış değişikliği belirtileri düşmek: aynı sorgu setinde beklenmedik bir sıçrama (yukarı veya aşağı) görüldüğünde, bunu bir "olası sürüm değişikliği" olarak işaretleyip bir hafta içinde tekrar ölçmek.

İki model ailesini aynı anda izlemenin faydası

Tek bir sağlayıcıya (örneğin yalnızca ChatGPT) odaklanan bir ölçüm, o sağlayıcının sürüm değişikliğini rakip kıyasından ayırt edemez. Gemini ve AI Overviews farkında anlatıldığı gibi farklı sağlayıcıların sürüm takvimleri de bağımsızdır — aynı anda birden fazla platformu izlemek, "bu değişiklik bir sürüm mü yoksa gerçek bir görünürlük kaybı mı" sorusuna daha hızlı cevap verir: tek platformda düşüş varsa sürüm, tümünde aynı yöndeyse kategori çapında bir etki söz konusudur.

Kontrol listesi

• Her ölçüm kaydında model adı ve tarih var mı
• Zaman içi kıyaslar aynı sürüm ailesinde mi yapılıyor
• Trend grafiğinde sürüm geçişleri işaretli mi
• Büyük sürüm değişikliğinde tam ölçüm tekrarlandı mı
• Rakip kıyası, sürüm etkisinden ayırt edilmek için göreli konuma bakıyor mu