Crawler Bilgisi

Rankoo-Bot

Bu sayfa, sitenizin erişim loglarında Rankoo-Bot/1.0 User-Agent'ını gördüyseniz veya web tarayıcımızın davranışı hakkında bilgi almak istiyorsanız hazırlandı.

Rankoo-Bot nedir?

Rankoo-Bot, Rankoo SEO platformunun web tarayıcısıdır. Türkçe içerikli web sitelerinin SEO analizini yapmak için kullanıcılarımızın kendi sitelerini veya FREE tarifede sınırlı sayıda sayfa-yüzey taramasıyla başkalarının sitelerini tarar.

User-Agent kimliği:

Mozilla/5.0 (compatible; Rankoo-Bot/1.0; +https://rankoo.net/bot)

Crawl davranışı

  • robots.txt'ye saygı duyar — Disallow kuralları takip edilir, kapsam dışı sayfalar taranmaz.
  • Crawl-delay header'ına saygı duyar — robots.txt'te belirtilen gecikmeyi (maks. 5 saniye) bekler.
  • Per-domain rate limit — aynı siteye saniyede en fazla 1 istek gönderir, sunucunuza yük bindirmemek için.
  • Sayfa başına maksimum 5.000 URL — site haritasından ya da BFS keşfiyle bulunan URL'leri sınırlandırır.
  • Sadece public sayfalar — kimlik doğrulama gerektiren alanlara, /api/* gibi backend endpoint'lere erişmez.
  • JavaScript render eder — Playwright Chromium ile sayfaları gerçek tarayıcı gibi yükler.
  • Bandwidth dostu — sadece HTML + temel CSS/JS yükler, görseller ve büyük asset'ler atlanır.

Rankoo-Bot'u nasıl bloklarım?

Sitenizin Rankoo-Bot tarafından taranmasını istemiyorsanız, üç seçeneğiniz var:

1. robots.txt ile (önerilen, anında etki)

Sitenizin robots.txt dosyasına ekleyin:

User-Agent: Rankoo-Bot
Disallow: /

Robots.txt önbelleğimiz 1 saat — değişiklik en geç 1 saat içinde uygulanır.

2. HTTP firewall / WAF ile

Cloudflare, sunucu firewall'unuz veya WAF kuralları ile User-Agent header'ında Rankoo-Bot içeren istekleri reddedin. Bu yöntem robots.txt'ye saygı duymayan saldırgan crawler'lar için tipik olarak kullanılır — Rankoo-Bot zaten robots.txt'ye saygı duyduğu için ek koruma sağlamaz.

3. Bize doğrudan opt-out talebi gönderin

Sitenizin tamamen Rankoo'nun crawl havuzundan çıkarılmasını istiyorsanız, aşağıdaki bilgilerle support@rankoo.net adresine yazın:

  • Sahibi olduğunuz domain (veya subdomain)
  • Domain sahipliğini doğrulayan bilgi (e.g. WHOIS kaydındaki email, DNS TXT kanıtı)
  • Talebin sebebi (zorunlu değil ama yardımcı)

Talepleri 5 işgünü içinde yanıtlıyoruz. Doğrulanan domain'ler crawl havuzumuzdan kalıcı olarak çıkarılır.

Rankoo-Bot'tan geldiğine emin değil misiniz?

User-Agent string'i kolayca taklit edilebilir. Gerçek Rankoo-Bot trafiği şu ağlardan gelir:

  • Railway hosting (rankoo-workers servisi) — IP aralığı sabit değil, Railway tarafından yönetilir

Şüpheli trafik için: ters DNS lookup yapın, domain .railway.app içermiyorsa Rankoo-Bot taklidi olabilir. Bu durumda support@rankoo.net adresine bildirin, araştıralım.

İletişim

Rankoo-Bot — Crawler Bilgi Sayfası | Rankoo