Subdomain ve Genel Robots.txt Kullanımı (Kodlarla Birlikte)
Merhabalar...
Sitenizde Subdomain var diyelim ve siz arama motorlarının bunları indexlememesini istiyorsunuz. Bunu nasıl yapabilirim diyorsanız diğer yöntemden hiçbir farkı yok.
Normal sitenize robots.txt dosyasını oluşturuyormuş gibi oluşturuyoruz ve subdomain dizinine atıyoruz. Çünkü arama motorları robots dosyalarını her kök dizinde arıyorlar. Yani Ana dizinden subdomain indexlenmesini engelleyemezsiniz, engellemek için subdomain içine bir tane daha robots.txt dosyası oluşturmak gerekmektedir.
Örnek robots txt dosyası ve kullanımı
[HIDE]User-agent: *
Disallow: /resimler/
Disallow: /dokumanlar/
Sitemap: http://siteadı.com/sitemap.xml
[/HIDE]
kullanabilirsiniz.
User-agent: hangi botlar sitenizi indexlesin anlamına gelir
* işareti ise hepsi indexlesin anlamındadır.
Mesela
User-agent: GoogleBot yaparsanız sadece Google indexler...
Disallow: indexlemesini engelleyeceğiniz dosyaları gösterir. Disallow: /resimler/ resimler klasörü ve içindekileri indexleme demektir.
Sitemap: ise sitenizin site haritasını arama motorlarına bildiriyor. Bu da sitenizin hızlı indexlenmesine yardımcı oluyor.
Merhabalar...
Sitenizde Subdomain var diyelim ve siz arama motorlarının bunları indexlememesini istiyorsunuz. Bunu nasıl yapabilirim diyorsanız diğer yöntemden hiçbir farkı yok.
Normal sitenize robots.txt dosyasını oluşturuyormuş gibi oluşturuyoruz ve subdomain dizinine atıyoruz. Çünkü arama motorları robots dosyalarını her kök dizinde arıyorlar. Yani Ana dizinden subdomain indexlenmesini engelleyemezsiniz, engellemek için subdomain içine bir tane daha robots.txt dosyası oluşturmak gerekmektedir.
Örnek robots txt dosyası ve kullanımı
[HIDE]User-agent: *
Disallow: /resimler/
Disallow: /dokumanlar/
Sitemap: http://siteadı.com/sitemap.xml
[/HIDE]
kullanabilirsiniz.
User-agent: hangi botlar sitenizi indexlesin anlamına gelir
* işareti ise hepsi indexlesin anlamındadır.
Mesela
User-agent: GoogleBot yaparsanız sadece Google indexler...
Disallow: indexlemesini engelleyeceğiniz dosyaları gösterir. Disallow: /resimler/ resimler klasörü ve içindekileri indexleme demektir.
Sitemap: ise sitenizin site haritasını arama motorlarına bildiriyor. Bu da sitenizin hızlı indexlenmesine yardımcı oluyor.