robots.txt ve XML Sitemap ile Otel Sitelerinde Tarama Kontrolü Nasıl Sağlanır?

robots.txt, arama motoru botlarına “bu siteyi tararken hangi klasör ve URL desenlerine yaklaşma / yaklaş” diyen bir yönerge dosyasıdır. En kritik nokta şudur: robots.txt indeksleme komutu değildir, tarama komutudur.

robots.txt nedir, ne işe yarar?

robots.txt, botların hangi URL’leri tarayıp taramayacağını belirler. Amaç; gereksiz sayfaları sınırlayıp tarama bütçesini önemli sayfalara yönlendirmektir.

robots.txt ile “taramayı durdurmak” ne zaman yanlış olur?

• •CSS/JS gibi render için gerekli dosyaları engellemek
• •Kanonik sayfaları robots ile kapatmak
• •Yanlışlıkla Disallow: / ile tüm siteyi kapatmak

Otel ve turizm sitelerinde amaç, botların zamanını “gelir getiren ve arama niyetiyle uyumlu” sayfalara ayırmaktır: oda, destinasyon, kampanya, konsept ve hizmet sayfaları. Buna karşılık; yönetim panelleri, test ortamları, teşekkür sayfaları, filtre kombinasyonları ve rezervasyon adımlarının çoğu tarama yükü üretir ve indekslenmesi genellikle istenmez.

Otel sitesinde robots.txt ile engellenmesi sık görülen alanlar

• •Admin / CMS: /admin/, /wp-admin/ vb.
• •Test/Staging: /staging/, /test/ veya ayrı alt alan adı
• •Teşekkür / form sonuç: /thank-you, /tesekkurler
• •Arama/filtre parametreleri: ?sort=, ?filter= gibi sonsuz kombinasyonlar
• •Rezervasyon adımları (booking steps): /booking/step-1, /checkout, /payment gibi

Rezervasyon adımları: Neden “index” riskli?

Rezervasyon akışı çoğu zaman: kullanıcıya özel, oturum bazlı, parametreli ve tekrarlanan URL’ler üretir. Bunların indexlenmesi:

• •Kopya URL üretimi
• •Tarama bütçesi kaybı
• •Kullanıcıların SERP’ten yanlış sayfaya inmesi (dönüşüm kırılması) gibi sonuçlar doğurur.

Varsayım: Rezervasyon motoru bazen üçüncü parti bir altyapıda olabilir; bu durumda kontrol alanınız domain/subdomain düzeyinde değişir.

Örnek robots.txt (otel odaklı, güvenli başlangıç)

Kritik not (kilitli gerçek): robots pattern desteği sınırlıdır; her parametre kuralı her botta aynı çalışmayabilir. Parametre yönetimini “tek başına robots” ile değil; canonical/noindex ve URL tasarımıyla birlikte ele alın.

Commons mistakes (en yaygın hatalar)

• •Disallow: / ile tüm siteyi kapatma
• •Sitemap satırını yanlış URL ile yazma
• •Kanonik sayfaları veya görsel/CDN yollarını yanlışlıkla engelleme
• •Staging’i açık bırakıp Google’ın test ortamını indexlemesi

Ne yapmalıyım?

1. “Engellenecekler” listesini otel özelinde standartlaştır (admin + booking + filtre).
2. Parametre çöplüğünü robots + canonical + Search Console parametre yönetimi ile birlikte çöz.
3. Rezervasyon akışını index yerine dönüşüm odaklı (analytics) yönetecek şekilde ayır.

XML sitemap, botlara “bu site için önemli URL listesi burada” diyen bir envanter dosyasıdır. Sitemap, Google’a garanti vermez ama keşfi hızlandırır ve özellikle büyük/çok dilli yapılarda kontrol sağlar. Otel sitelerinde genellikle standart (urlset) sitemap yeterlidir; ancak görsel ağırlığı yüksek sayfalarda image sitemap mantığı da düşünülür.

XML sitemap nasıl hazırlanır?

Sitemap, indexlenmesini istediğiniz kanonik URL’leri listeleyen bir XML dosyasıdır. Büyük sitelerde sitemap index kullanılır; URL’ler içerik türüne, diline veya silo’suna göre ayrı sitemaps’lere bölünür.

Sitemap index (çoklu sitemap yönetimi)

URL entry örneği (kanonik + güncelleme sinyali)

Otel sitelerinde sitemap stratejisi, site mimarisine paralel olmalıdır: oda, destinasyon, kampanya gibi “ticari niyetli” sayfalar ayrı takip edilirse hem tarama hem raporlama kolaylaşır. Ayrıca çok dilli yapı (TR/EN/DE/RU) varsa, dil bazlı sitemaps veya dil prefix’ine göre segmentasyon önem kazanır.

Dil bazlı sitemap senaryosu

Örnek:

• •sitemap-tr.xml → /tr/ URL’leri
• •sitemap-en.xml → /en/ URL’leri
• •sitemap-de.xml → /de/ URL’leri
• •sitemap-ru.xml → /ru/ URL’leri

Bu yaklaşım, Search Console’da dil bazında kapsama ve hata takibini kolaylaştırır.

Çok otelli yapı: birden fazla sitemap yaklaşımı

• •Tek domain / çok otel: otel bazlı sitemap bölümü (örn. sitemap-hotel-a.xml)
• •Ayrı domain: her domain kendi sitemap setini yönetir
• •Ayrı rezervasyon motoru domain’i: sitemap, ana siteyle karışmamalı; index stratejisi net olmalı

Teknik not: “Host” direktifi robots.txt’de bazı arama motorlarında anlamlı olabilir; Google için temel olan Sitemap bildirimidir. (Host kullanımı varsa bile stratejiyi bunun üzerine kurma.)

Crawl budget, Google botlarının sitenize ayırdığı tarama kaynaklarının pratik karşılığıdır. Çok sayıda gereksiz URL üretirseniz (filtre parametreleri, test sayfaları, kopya varyasyonlar), botlar enerjisini boşa harcar ve önemli sayfalarınız geç taranır veya geç güncellenir. Otel sitelerinde bu risk; kampanya dönemlerinde ve yoğun içerik üretiminde daha görünür olur.

Tarama bütçesini bozan otel senaryoları

• •Filtre URL’lerinin indexlenebilir gibi görünmesi
• •“Teşekkürler” ve rezervasyon adımlarının açık kalması
• •Staging ortamının crawl edilebilir olması
• •Aynı sayfanın çok sayıda URL varyasyonuyla erişilebilir olması (kanibalizasyon)

Hızlı kontrol: “Crawl hygiene” yaklaşımı

• •Gereksiz URL üretimini azalt (parametre/filtre yönetimi)
• •404 ve redirect zincirlerini temizle
• •Sitemap’te sadece “temiz” kanonik URL’leri tut
• •İç linklerde “çöp URL” üretme

robots ve sitemap değişikliklerinde “tek yanlış satır” büyük hasar üretebilir; bu yüzden test ve doğrulama süreci kilit önemdedir. Hedef; değişiklikleri canlıya almadan önce kontrol etmek, canlıda ise Search Console üzerinden doğru okunup okunmadığını düzenli olarak izlemektir.

Search Console’da robots ve sitemap testleri

• •robots.txt test: belirli bir URL bot tarafından engelleniyor mu?
• •sitemap gönderimi: sitemap okunuyor mu, kaç URL keşfediliyor?
• •indeks kapsamı: “excluded” nedenleri artıyor mu?
• •URL Inspection: kritik sayfalar taranabiliyor mu?

En kritik güvenlik kuralı

robots.txt ile engellediğiniz URL’ler “tarama dışı” kalır; ancak indeksleme hedefiniz varsa, doğru araç çoğu zaman noindex + canonical + iç link düzeni olur. robots ile “yanlış sayfayı kapatmak” kolaydır; geri dönüşü ise zaman alıcı ve risklidir.

robots.txt ve sitemap birlikte kullanıldığında, botlara aynı anda iki net mesaj verirsiniz: “gereksiz sayfalar burada değil” ve “asıl sayfalar burada”. Otel sitelerinde rezervasyon adımları ve filtre URL’leri en büyük tarama bütçesi sızıntısıdır; oda, destinasyon ve kampanya sayfaları ise en yüksek iş değerini taşır. Doğru kurguyla hem index kapsamı daha temiz olur hem de yeni içerikler daha hızlı keşfedilir.