Robots.txt Kontrolü
robots.txt dosyanızı ayrıştırır, hangi sayfaların taranmasını engellediğini gösterir.
- kontrol maddesi
- 3
- araç bu kategoride
- 17
Robots.txt Kontrolü
Devre dışıAraç arayüzü henüz yayında değil. Sonuçlar, araç açıldığında bu alanda görünecek.
Bu araç şu anda ne durumda?
Kaynak durumu ile arayüz durumu ayrı yazılır; biri diğerini ima etmez.
- Veri kaynağı
- Kendi site taramamızTanımlı
- Bu, aracın bağlı olduğu kaynağın tanımlı olup olmadığını gösterir; tek başına aracın kullanıma hazır olduğu anlamına gelmez.
- Arayüz
- YazılmadıBekliyor
- Araç arayüzü henüz yayında değil; bu sayfada bir analiz başlatılamaz. Tarih verilmiyor, verildiğinde burada yazacak.
robots.txt, bir arama motoru tarayıcısının sitede karşılaştığı ilk dosyadır ve nereye girip nereye giremeyeceğini buradan öğrenir. Dosya küçüktür ama etkisi sitenin tamamına yayılır: fazla geniş yazılmış tek bir satır, bütün kataloğu aramaya kapatabilir.
01
Bu kontrolde neye bakılır?
User-agent blokları
Kurallar tarayıcı adına göre gruplanır ve bir tarayıcı yalnızca kendisine en çok uyan bloğu okur. Genel bloğa yazılmış bir kuralın, özel bloğu olan tarayıcı için geçerli olmadığı sık gözden kaçar.
Disallow kalıplarının gerçek kapsamı
Bir kuralın hangi adresleri kapattığı, kuralın kendisine bakarak değil site adresleriyle eşleştirilerek anlaşılır. Kapsamın kural olarak değil sonuç olarak okunması gerekir.
Sitemap satırı
Dosyada bildirilen sitemap adresinin gerçekten erişilebilir olması gerekir; yanlış yazılmış ya da taşınmış bir adres sessizce yok sayılır.
02
Neden önemli?
robots.txt taramayı engeller, indekslemeyi değil. Bu ayrım pahalıya patlar: dışarıdan bağlantı alan ve robots.txt ile kapatılmış bir sayfa, içeriği okunamadığı hâlde arama sonuçlarında başlıksız bir kayıt olarak görünebilir. Bir sayfayı gerçekten indeks dışında tutmanın yolu taramayı kapatmak değil, sayfanın taranmasına izin verip noindex bildirmektir.
03
Sık sorulanlar
Açıldığında haber verelim
Kayıt yalnızca bu araç kullanıma açıldığında tek bir bilgilendirme içindir. Bülten değildir.
Bu kontrolün elle yapılmasını mı istiyorsunuz? Bize yazın — araç beklemeden de bakabiliriz.
Aynı kategorideki araçlar
- Sitemap KontrolüXML sitemap dosyasındaki her URL'yi tarar, kırık, yönlendirilen ve indekslenemeyen kayıtları listeler.
- Canonical Etiket KontrolüSayfadaki rel=canonical etiketini okur, birden fazla ya da çelişen canonical tanımlarını tespit eder.
- Yönlendirme KontrolüURL zincirindeki 301, 302 ve 307 yönlendirmelerini takip eder, döngü ve gereksiz zıplama sayısını raporlar.
- HTTP Durum Kodu KontrolüBelirttiğiniz URL listesindeki her adresin sunucudan döndürdüğü durum kodunu tek seferde toplu gösterir.
- Kırık Bağlantı KontrolüSayfa içindeki iç ve dış bağlantıları tek tek ziyaret eder, 404 ve zaman aşımına düşen bağlantıları listeler.
- HTTPS Güvenlik KontrolüSSL sertifikasının geçerlilik süresini denetler, HTTP üzerinden yüklenen kaynaklardan doğan güvenlik uyarılarını listeler.
Ücretsiz ön bakış
Rakipleriniz Sizi Geçmeden SEO'ya Başlayın
Sitenize ücretsiz bakalım, göze çarpan üç şeyle dönelim. Birlikte çalışmasak bile maddeler sizde kalır; hiçbir taahhüt gerekmez.
- Ücretsiz ön bakış
- Taahhüt yok
- Bütçe sorulmaz