User Agent Komutu (User-agent Directive): robots.txt dosyasında, takip eden kuralların hangi bot veya botlar için geçerli olduğunu belirten satırdır.
User Agent Komutu ne anlama gelir?
"User-agent: " tüm botları, "User-agent: Googlebot" yalnızca Google'ın ana tarayıcısını hedefler. Bir bot kendisine özel bir grup bulursa genel () grubu dikkate almaz; bu nedenle kurallar gruplar arasında doğru kopyalanmalıdır.
Aynı kavram HTTP isteklerinde de geçer: her tarayıcı ve bot kendini user-agent metniyle tanıtır. Ancak bu metin taklit edilebildiği için bot doğrulamasında ters DNS kontrolü de yapılır.
Örnek
"User-agent: GPTBot / Disallow: /" satırları OpenAI'nin tarayıcısının siteyi taramamasını ister.
İlgili terimler
- Teknik SEORobots.txt DosyasıSitenin kök dizininde bulunan ve arama motoru botlarına hangi alanları tarayıp hangilerini tara…
- Teknik SEOGooglebotGoogle'ın web sayfalarını keşfetmek ve taramak için kullandığı tarayıcı yazılımının genel adıdı…
- GEO & Yapay ZekaYapay Zeka TarayıcılarıYapay zeka şirketlerinin model eğitimi, arama veya kullanıcı isteklerine anlık yanıt vermek ama…
Bu konuyu sitenizde birlikte ele alalım
User Agent Komutu ve benzeri konuları markanızın hedefleriyle birlikte değerlendiriyor, uygulanabilir bir yol haritasına çeviriyoruz.
SEO Hizmetleri →