Aymoli.com
Robots.txt dosyası arama motorlarının sitenizin hangi dizin ve dosyalarını indekslemelerine izin vereceğinizi hangilerinin de indekslenmelerini istemediğinizi belirlemenize yarayan dosyadır. Konum itibarı ile sitenizin kök dizininde yer alır. Arama motorları sitenize geldiklerinde ilk olarak bu dosyaya bakacaklardır.
Sitenizin kullanıcılarını ilgilendirmeyen ve sitenin alt yapısını oluşturan önemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu işlem özellikle dinamik (php, .net vb.) sistemlerde güvenlik açısından faydalı bir önlem olacaktır.
Robots.txt dosyası, Googlebot gibi bir web tarayıcı yazılımının sitenizdeki belirli sayfaları taramasını önleyen bir metin dosyasıdır. Dosya esas olarak web tarayıcılarına hangi URL’lerin alınıp hangilerinin alınamayacağını söyleyen Allow ve Disallow gibi komutların bir listesidir. Dolayısıyla, herhangi bir URL robots.txt dosyanızda disallowed olarak belirlendiyse, söz konusu URL ve içerikleri Google Arama sonuçlarında görünmeyecektir.
Robots.txt dosyasına yalnızca, sitenizde Google’ın veya diğer arama motorlarının dizine eklemesini istemediğiniz içerikler varsa ihtiyacınız olacaktır. Google’ın sitenizin tamamını dizine eklemesini sağlamak için (boş bile olsa) robots.txt dosyası oluşturmayın.
Google’ın web sitenizdeki hangi URL’lere ulaşabildiğini hangilerine ulaşamadığını test etmek için robots.txt Test Aracı’nı kullanmayı deneyin.
