Yeni Konular

Robots.txt nedir, ne işe yarar, nasıl oluşturulur?

Robots.txt dosyası arama motorlarının sitenizin hangi dizin ve dosyalarını indekslemelerine izin vereceğinizi hangilerinin de indekslenmelerini istemediğinizi belirlemenize yarayan dosyadır. Konum itibarı ile sitenizin kök dizininde yer alır. Arama motorları sitenize geldiklerinde ilk olarak bu dosyaya bakacaklardır.

Sitenizin kullanıcılarını ilgilendirmeyen ve sitenin alt yapısını oluşturan önemli dosya ve dizinlerin indekslenmesini istemeyebiliriz. Bu işlem özellikle dinamik (php, .net vb.) sistemlerde güvenlik açısından faydalı bir önlem olacaktır.
Robots.txt dosyası, Googlebot gibi bir web tarayıcı yazılımının sitenizdeki belirli sayfaları taramasını önleyen bir metin dosyasıdır. Dosya esas olarak web tarayıcılarına hangi URL’lerin alınıp hangilerinin alınamayacağını söyleyen Allow ve Disallow gibi komutların bir listesidir. Dolayısıyla, herhangi bir URL robots.txt dosyanızda disallowed olarak belirlendiyse, söz konusu URL ve içerikleri Google Arama sonuçlarında görünmeyecektir.
Robots.txt dosyasına yalnızca, sitenizde Google’ın veya diğer arama motorlarının dizine eklemesini istemediğiniz içerikler varsa ihtiyacınız olacaktır. Google’ın sitenizin tamamını dizine eklemesini sağlamak için (boş bile olsa) robots.txt dosyası oluşturmayın.

Google’ın web sitenizdeki hangi URL’lere ulaşabildiğini hangilerine ulaşamadığını test etmek için robots.txt Test Aracı’nı kullanmayı deneyin.

   

Hakkında admin

Buna Baktın mı?

Google Yeni 3D Sanal Gerçeklik Tilt Fırça ile Çizim ve Modelleme

Uzay teknolojisine büyük yatırımlar yapan Google teknolojiyi yapmak ve üretmek için büyük bir güç harcıyor. İnternet aleminin …

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir