robots.txt nasıl yazılır? GPTBot gibi yapay zekâ botlarını engellemeli miyim?

robots.txt, sitenin kök dizininde duran ve botlara hangi yolları tarayabileceklerini söyleyen düz metin dosyasıdır; User-agent, Disallow, Allow ve Sitemap satırlarından oluşur. Yapay zekâ botlarında karar, eğitim botlarını (GPTBot, ClaudeBot, CCBot, Google-Extended) arama ve yanıt botlarından (OAI-SearchBot, PerplexityBot) ayırarak verilmelidir; arama botlarını engellemek yapay zekâ yanıtlarında görünürlüğü azaltır.

robots.txt dosyası nasıl yazılır?

robots.txt dosyası, alan adının kökünde (ornek.com/robots.txt) UTF-8 düz metin olarak yayınlanır ve gruplardan oluşur. Her grup bir veya daha fazla User-agent satırıyla başlar, ardından o bota uygulanacak Disallow ve Allow kuralları gelir. Dosya yalnızca bulunduğu protokol, alan adı ve alt alan adı için geçerlidir.

• —"User-agent: *" tüm botları hedefler; "User-agent: Googlebot" yalnızca Google'ın tarayıcısını.
• —"Disallow: /panel/" o yolla başlayan tüm URL'leri taramaya kapatır; boş "Disallow:" her şeye izin verir.
• —"Allow: /panel/giris/" kapalı bir klasörün içinde istisna açar.
• —* herhangi bir karakter dizisini, $ URL sonunu ifade eder: "Disallow: /*?sort=" veya "Disallow: /*.pdf
  quot;.
• —Çakışmada Google en uzun (en özel) eşleşen kuralı uygular; eşitlikte daha az kısıtlayıcı olan Allow kazanır.
• —Google 500 KiB'den sonrasını okumaz ve Crawl-delay yönergesini desteklemez.

Sık gözden kaçan bir kural: bir bot, kendisine özel bir grup bulduğunda yalnızca o grubu uygular ve "User-agent: *" grubunu tamamen yok sayar. GPTBot için ayrı bir grup yazdıysanız, genel gruptaki yasakları o gruba da kopyalamanız gerekir.

Disallow ile noindex arasındaki fark nedir?

Disallow taramayı, noindex dizine eklemeyi engeller. robots.txt'de Disallow edilen bir sayfa, başka sitelerden bağlantı alıyorsa içeriği okunmadan yalnızca URL'siyle dizine girebilir. Bir sayfayı arama sonuçlarından çıkarmak için noindex meta etiketi veya X-Robots-Tag başlığı kullanılır ve Google'ın bu etiketi görebilmesi için sayfanın taranmasına izin verilmelidir.

Google, robots.txt içinde "Noindex:" satırını 2019'dan beri desteklemiyor. Pratik ayrım şöyle: sonsuz filtre kombinasyonları, iç arama sonuçları ve yönetim yolları gibi tarama bütçesini tüketen alanlar Disallow ile; teşekkür sayfası veya hukuki metin gibi erişilebilir ama arama sonucunda olmaması gereken sayfalar noindex ile yönetilir. robots.txt bir güvenlik aracı değildir; herkese açık bir dosyadır ve gizli yolları listelemek onları ifşa eder.

Sitemap satırı robots.txt'ye nasıl eklenir?

Sitemap satırı, robots.txt dosyasının herhangi bir yerine, gruplardan bağımsız olarak "Sitemap: https://ornek.com/sitemap.xml" biçiminde mutlak URL ile eklenir. Birden fazla sitemap varsa her biri ayrı satıra yazılır. Bu satır, Search Console'a sitemap göndermediğiniz arama motorlarının da haritanızı bulmasını sağlar.

404 Ajans'ın sitesinde robots.txt tüm botlara izin veren kısa bir dosyadır ve sitemap satırı, her build'de sayfa listesinden otomatik üretilen sitemap.xml'i gösterir. Dosyanın text/plain olarak ve doğru karakter kodlamasıyla sunulduğunu tarayıcıda açıp kontrol etmek, yayından sonraki basit ama önemli bir adımdır.

Hangi yapay zekâ botları var ve ne işe yarıyorlar?

Yapay zekâ botları iki ana gruba ayrılır: model eğitimi için veri toplayan eğitim botları ve bir kullanıcının sorusuna yanıt verirken kaynak bulan arama/getirme botları. robots.txt'de her biri ayrı user-agent adıyla kontrol edilir; bir şirketin eğitim botunu engellemek, çoğu durumda aynı şirketin arama botunu engellemez.

• —GPTBot (OpenAI): Model eğitimi için tarama yapar.
• —OAI-SearchBot (OpenAI): ChatGPT'nin arama özelliğinde sitelerin kaynak olarak gösterilmesi için tarar; eğitim için kullanılmaz.
• —ChatGPT-User (OpenAI): Kullanıcı ChatGPT içinde bir bağlantı açtığında yapılan anlık ziyaretler.
• —ClaudeBot (Anthropic): Model eğitimi için tarama. Anthropic ayrıca arama için Claude-SearchBot ve kullanıcı isteğiyle yapılan ziyaretler için Claude-User adlarını kullanır.
• —Google-Extended (Google): Ayrı bir tarayıcı değil, robots.txt'de kullanılan bir kontrol adıdır. İçeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarında grounding için kullanılmasını kontrol eder; Google Arama'da yer almayı ve sıralamayı etkilemez.
• —PerplexityBot (Perplexity): Perplexity'nin arama sonuçlarında siteleri göstermek için dizinleme yapar; Perplexity-User kullanıcı isteğiyle yapılan ziyaretlerdir.
• —CCBot (Common Crawl): Açık bir web arşivi oluşturur; bu arşiv birçok yapay zekâ modelinin eğitim verisinde kullanılır.
• —Applebot-Extended (Apple): İçeriğin Apple'ın yapay zekâ modellerinin eğitiminde kullanılmasını kontrol eden ek ad.

Önemli bir ayrıntı: Google'ın AI Overviews ve AI Mode özellikleri Google Arama'nın parçasıdır ve normal Googlebot taramasını kullanır. Google-Extended'ı engellemek sitenizi AI Overviews'tan çıkarmaz; bunun için Googlebot'u engellemek gerekir ki bu da sitenizi aramadan tamamen çıkarır.

Yapay zekâ botlarını engellemeli miyim?

Yapay zekâ botlarını engelleme kararı, içeriğinizin ne olduğuna ve yapay zekâ yanıtlarında görünmenin size ne kazandırdığına bağlıdır. Hizmet satan bir işletme için ChatGPT, Claude ve Perplexity yanıtlarında kaynak gösterilmek yeni bir müşteri kanalıdır; bu yüzden arama botlarını engellemek genellikle kendi görünürlüğünüzü azaltmak anlamına gelir.

• —Hizmet ve yerel işletme siteleri: Genellikle tüm botlara izin vermek mantıklıdır; içerik zaten müşteri çekmek için yazılmıştır ve AEO görünürlüğü doğrudan fayda sağlar.
• —Orta yol: Eğitim botlarını (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended) engelleyip arama botlarına (OAI-SearchBot, Claude-SearchBot, PerplexityBot) izin vermek.
• —Ücretli içerik, özgün araştırma veya lisanslı veri yayınlayanlar: Eğitim botlarını engellemek içeriğin değerini korumak için makul olabilir.
• —Her durumda: Kararınızı belgeleyin ve robots.txt'yi yılda en az bir kez gözden geçirin; yeni botlar ve yeni adlar ortaya çıkmaya devam ediyor.

Engelleme etkisinin sınırlarını da bilmek gerekir: robots.txt gönüllü bir protokoldür, kötü niyetli botlar ona uymaz. Ayrıca bir model zaten eğitildiyse robots.txt geriye dönük etki etmez. Kesin engelleme gerekiyorsa sunucu veya CDN düzeyinde user-agent ve IP doğrulamalı kurallar gerekir; Cloudflare gibi CDN'lerin yapay zekâ botlarını tek tıkla engelleyen ayarlarının sizin haberiniz olmadan açık olup olmadığını da kontrol edin.

Örnek robots.txt yapılandırmaları nasıl olur?

Örnek robots.txt yapılandırmaları, yukarıdaki üç stratejiyi somut satırlara çevirir. Aşağıdaki örnekler düz metin olarak tarif edilmiştir; her satır dosyada ayrı bir satırdır. Değişiklikten sonra Search Console'daki robots.txt raporuyla Google'ın dosyayı hatasız okuduğunu doğrulayın.

• —Tüm botlara izin: "User-agent: *", altında boş "Disallow:" ve en sonda "Sitemap: https://ornek.com/sitemap.xml".
• —Yönetim alanını kapatmak: "User-agent: *" grubuna "Disallow: /admin/" ve "Disallow: /*?sort=" eklemek.
• —Yalnızca eğitim botlarını engellemek: "User-agent: GPTBot", "User-agent: ClaudeBot", "User-agent: CCBot", "User-agent: Google-Extended" satırlarını alt alta yazıp tek bir "Disallow: /" ile kapatmak; genel grup açık kalır.
• —Hatırlatma: Bu ayrı grupta /admin/ gibi genel yasakları tekrar yazmazsanız, o botlar yalnızca "Disallow: /" kuralını uygular; burada zaten tüm site kapalı olduğu için sorun olmaz.

robots.txt'yi llms.txt ile karıştırmamak gerekir: robots.txt erişim izni verir veya kısıtlar, llms.txt ise yapay zekâ sistemlerine sitenin önemli sayfalarını özetleyen, henüz resmi standart olmayan bir öneri dosyasıdır.