İki farklı karar
Robots.txt, uyumlu arama motoru botlarının hangi adresleri tarayabileceğini belirtir. Bir adresin arama sonuçlarından kesin olarak çıkarılmasını sağlamaz. Noindex ise sayfanın dizine alınmamasını isteyen bir yönergedir. Botun bu yönergeyi okuyabilmesi gerekir; sayfayı robots.txt ile engelleyip aynı zamanda noindex eklemek beklediğiniz sonucu vermeyebilir. Özel içerik için giriş kontrolü gibi erişim önlemleri gerekir. Kaynak: Google robots.txt açıklaması
Yayın kontrolü için örnek akış
Önce sayfayı oturum açmadan ziyaret edin. Ardından kaynak kodda robots meta etiketini ve HTTP yanıt başlıklarını kontrol edin. “noindex” görürseniz bunun sayfanın amacıyla uyumlu olup olmadığını değerlendirin. Bir hesap ayarları ekranında bu tercih makul olabilir; kamuya açık bir rehberde ise yanlışlıkla kalmış olabilir. Son olarak robots.txt kurallarının ilgili adresi etkileyip etkilemediğine bakın.
Değişiklikleri kayıt altında tutun
Kuralları değiştirirken mevcut dosyanın kopyasını saklayın. Test edeceğiniz üç adres seçin: ana sayfa, yayımlanmış bir yazı ve özel bir hesap ekranı. Her biri için beklenen davranışı yazın. Tek bir kural ekledikten sonra bu üç adresi tekrar kontrol etmek, sorunun hangi değişiklikten kaynaklandığını bulmayı kolaylaştırır.
Yanlış varsayımdan kaçının
Bir adres taranabiliyor diye hemen dizine alınacağı sonucu çıkmaz. Tersine, robots.txt içinde görünen bir yolun gizli olduğu da düşünülmemelidir. Dosyaya parola, yönetim anahtarı veya gizli bağlantı koymayın. Teknik görünürlük kontrolünü içerik kalitesi ve erişim güvenliğinden ayrı değerlendirin.
