Sitemap ve robots.txt: Neden Önemli ve Nasıl Oluşturulur?

Sitemap.xml Nedir?

Sitemap.xml, sitenizdeki tüm önemli sayfaların listesini arama motoruna sunan bir dizin dosyasıdır. Özellikle yeni yayınlanan, iç bağlantısı zayıf veya çok büyük sitelerde, botların hiçbir sayfayı gözden kaçırmadan keşfetmesine yardımcı olur.

Küçük bir site için bu dosya lüks gibi görünebilir, ama site büyüdükçe ve sayfa sayısı arttıkça, botların bazı sayfaları hiç fark etmemesi giderek daha olası bir risk haline gelir; site haritası bu riski önemli ölçüde azaltır.

Sitemap.xml, bir sayfanın dizine girmesini garanti etmez; yalnızca botlara o sayfanın var olduğunu ve keşfedilmeye değer olabileceğini bildirir. Sayfanın gerçekten dizine girip girmeyeceğine karar veren yine içerik kalitesi ve diğer teknik sinyallerdir.

Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, sitenizin kök dizininde yer alan ve arama motoru botlarına hangi bölümleri tarayabileceğini, hangilerini taramaması gerektiğini söyleyen basit bir metin dosyasıdır. Yönetim panelleri, iç arama sonuç sayfaları veya test ortamları gibi dizine girmesi gereksiz alanları bu dosya ile taramadan hariç tutabilirsiniz.

Bu dosyanın asıl amacı gizlilik sağlamak değildir; taramayı yönlendirmek içindir. Gerçekten gizli kalması gereken bir sayfa varsa, robots.txt yerine şifre koruması veya erişim kısıtlaması gibi gerçek güvenlik önlemleri kullanılmalıdır.

Dosyanın adı ve konumu standarttır; sitenizin ana adresinin hemen ardından /robots.txt eklenerek herkes tarafından görüntülenebilir, bu yüzden içine hassas bilgi yazılmamalıdır.

Sitemap İçinde Neler Olmalı, Neler Olmamalı

Site haritasını ne kadar çok sayfa o kadar iyi mantığıyla şişirmek yerine, yalnızca gerçekten kaliteli ve ziyaretçiye değer sunan sayfaları eklemek, botların zamanını daha verimli kullanmasını sağlar.

• Yalnızca dizine girmesini istediğiniz, kaliteli ve erişilebilir sayfalar dahil edilmeli
• Noindex etiketi taşıyan sayfalar site haritasına eklenmemeli, bu çelişkili bir sinyaldir
• Yönlendirilen veya hata veren URL'ler site haritasında bulunmamalı
• Çok büyük sitelerde tek dosya yerine bölünmüş, bir dizin dosyasına bağlı çoklu site haritası kullanılmalı

Robots.txt Söz Dizimi ve Temel Kurallar

Dosya, hangi bot için kuralın geçerli olduğunu belirten bir satır ile başlar, ardından izin verilen veya engellenen yollar sıralanır.

• User-agent satırı, kuralın hangi bota uygulanacağını belirtir; yıldız işareti tüm botlar anlamına gelir
• Disallow satırı, taranmaması istenen dizin veya sayfa yolunu belirtir
• Allow satırı, genel bir engelleme içinde belirli bir alt yolu istisna tutmak için kullanılır
• Sitemap satırı, dosyanın sonuna site haritanızın tam adresini eklemek için kullanılır

Yaygın Robots.txt Hataları ve Sonuçları

Bu hataların ortak özelliği, genelde fark edilene kadar haftalarca sessizce trafik kaybettirmeleridir.

Değişiklik yaptıktan sonra dosyayı Search Console'daki test aracıyla kontrol etmek, canlıya almadan önce hatalı bir kuralı yakalamanın en güvenli yoludur; bu tek adım, yukarıdaki hataların büyük kısmını daha yayına girmeden önler.

• Tüm siteyi yanlışlıkla engelleyen bir kural bırakmak, genelde geliştirme ortamından taşınırken unutulur
• CSS ve JavaScript dosyalarını engelleyip Google'ın sayfayı doğru render etmesini zorlaştırmak
• Disallow ile engellenen bir sayfanın yine de başka sitelerden gelen linkler yüzünden dizine düşebileceğini unutmak
• Dosyanın kök dizin dışında bir yere yüklenmesi; yalnızca kök dizindeki dosya geçerlidir

Sitemap'i Google'a Nasıl Bildirirsiniz?

Site haritası hazırlandıktan sonra hem robots.txt dosyasının içine adresi eklemek hem de Google Search Console'daki Site Haritaları bölümünden doğrudan göndermek en sağlıklı yöntemdir. Bu ikisi birbirini tamamlar: robots.txt herhangi bir botun dosyayı kendiliğinden bulmasını sağlarken, Search Console üzerinden gönderim durumunu ve olası hataları takip etme imkanı verir.

Yeni bir site için bu adımı atlamak, botların sitenizi sadece dışarıdan gelen linkler aracılığıyla keşfetmesini beklemek anlamına gelir; bu da özellikle henüz hiç backlinki olmayan yeni bir site için dizinlenmeyi haftalarca geciktirebilir.

Bildirim tek seferlik bir işlem olsa da, site haritanızın adresi değişirse (örneğin alan adı değişikliğinde) bu adımı tekrar yapmayı unutmamak gerekir; aksi halde Google eski, artık geçersiz bir adresi kontrol etmeye devam edebilir.

Dinamik Siteler İçin Otomatik Sitemap Üretimi

İçerik sık sık eklenen veya güncellenen sitelerde site haritasını elle güncellemek pratik değildir. Modern içerik yönetim sistemlerinin ve web çatılarının çoğu, yeni bir sayfa yayınlandığında site haritasını otomatik olarak güncelleyen eklentiler veya yerleşik özellikler sunar; kurulumda bir kez ayarlandıktan sonra ek bir işlem gerektirmez.

Otomatik üretilen bir site haritasını da zaman zaman elle kontrol etmek gerekir; bazı sistemler yanlışlıkla taslak veya silinmiş sayfaları da listeye dahil edebilir, bu da az önce bahsedilen kalite sorununu otomatik biçimde yaratır.

Bu kontrolü ayda bir yapmak, otomasyonun getirdiği rahatlığı korurken, sistemin sessizce ürettiği hataları da fark etmenizi sağlar; otomasyon bakımı tamamen ortadan kaldırmaz, sadece sıklığını azaltır.

Bio Link ve Tekil Sayfalar İçin Sitemap Gerekli mi?

LinkBio.click gibi tek bir profil sayfasından oluşan bir yapıda, klasik anlamda karmaşık bir site haritasına ihtiyaç yoktur; çünkü zaten tek bir adres söz konusudur ve platform bu sayfanın taranabilir ve dizinlenebilir olmasını altyapı düzeyinde sağlar. Site haritası ve robots.txt yönetimi, asıl olarak bio linkinizin yönlendirdiği kendi web siteniz veya mağazanız gibi çok sayfalı yapılar için kritik önem taşır.

Buna karşın, bio linkinizin yönlendirdiği kendi e-ticaret siteniz onlarca ürün sayfası içeriyorsa, o sitede sitemap ve robots.txt yönetimi ihmal edilmemesi gereken, doğrudan satışa yansıyan bir teknik detaya dönüşür.

Bu iki dünyayı birlikte düşünmek gerekir: bio linkiniz trafiği toplayan basit ve hızlı bir kapı, yönlendirdiğiniz site ise o trafiği karşılayacak, teknik açıdan sağlam bir hedeftir.

Sitemap ve Robots.txt Hızlı Kontrol Listesi

Her iki dosyayı da kurduktan sonra unutmamak için düzenli aralıklarla hızlıca gözden geçirmek, olası hataları büyümeden yakalamanızı sağlar.

Bu listeyi özellikle site yeniden tasarım veya sunucu taşıma gibi büyük değişikliklerden hemen sonra çalıştırmak iyi bir alışkanlıktır; bu tür geçişlerde robots.txt dosyası genelde farkında olunmadan sıfırlanır veya eski haline döner.

• Robots.txt dosyası sitenin tamamını yanlışlıkla engellemiyor mu?
• Site haritası adresi robots.txt içinde belirtilmiş mi?
• Site haritası Search Console'da hatasız görünüyor mu?
• Noindex olan sayfalar site haritasından çıkarılmış mı?