Robots.txt Dosyası (robots.txt): Sitenin kök dizininde bulunan ve arama motoru botlarına hangi alanları tarayıp hangilerini taramamaları gerektiğini bildiren metin dosyasıdır.
Robots.txt Dosyası ne anlama gelir?
Dosya User-agent, Disallow, Allow ve Sitemap gibi komutlardan oluşur. Kurallara uyan botlar siteyi taramadan önce bu dosyayı okur. Yanlış bir satır tüm sitenin taranmasını engelleyebileceği için değişiklikler dikkatle test edilmelidir.
robots.txt bir güvenlik aracı değildir ve dizine eklemeyi kesin olarak engellemez. Engellenen bir sayfa başka sitelerden bağlantı alıyorsa içeriği görülmeden dizinde görünebilir; dizinden çıkarmak için noindex kullanılmalıdır.
Örnek
"User-agent: * / Disallow: /sepet/" satırları tüm botlara sepet sayfalarını taramamalarını söyler.
İlgili terimler
- Teknik SEODisallow Komuturobots.txt dosyasında belirtilen yolun, ilgili botlar tarafından taranmamasını isteyen komuttur.
- Teknik SEOAllow Komuturobots.txt dosyasında, engellenmiş bir klasörün içindeki belirli bir yol veya dosyanın yine de …
- Teknik SEOUser Agent Komuturobots.txt dosyasında, takip eden kuralların hangi bot veya botlar için geçerli olduğunu belirt…
- Teknik SEOSitemap Komuturobots.txt dosyasında XML site haritasının tam adresini belirterek arama motorlarının haritayı …
- Teknik SEONoindex EtiketiBir sayfanın arama motoru dizinine eklenmemesini veya dizinden çıkarılmasını isteyen robots yön…
Bu konuyu sitenizde birlikte ele alalım
Robots.txt Dosyası ve benzeri konuları markanızın hedefleriyle birlikte değerlendiriyor, uygulanabilir bir yol haritasına çeviriyoruz.
SEO Hizmetleri →