Tek çalıştırma veri değildir
Dil modelleri deterministik değil. Bir soruyu bir kez sorup sonucu rapor etmek, zar atıp sonucu istatistik diye sunmaktır. Savunulabilir ölçüm frekansla çalışır.
5 dk okuma
Ölçüm ve metodoloji
AI görünürlüğü nasıl savunulabilir biçimde ölçülür — ve piyasadaki araçların çoğu neden yanlış ölçüyor?
Ölçemediğiniz şeyi iyileştiremezsiniz; yanlış ölçtüğünüz şeyi ise iyileştirdiğinizi sanırsınız. Bu küme, ölçümün kendisiyle ilgili.
Temel ilke: tek çalıştırma veri değildir. Bir soruyu bir kez sorup sonucu rapor etmek, zar atıp sonucu istatistik diye sunmaya benzer. Savunulabilir bir ölçüm tekrarlı çalışır, tarihi ve model sürümünü kaydeder, ve bulgusunu ham kayda bağlar.