WordPress Için En İyi Robots.txt
Çoğu wordpress kullanıcısının robots.txt ile başı derttedir. Düzgün bir robots.txt sizi google da yüksek sıralara çıkarmaz tabi ki ama en azından yanlış robots.txt kullanıpta hiç indexlenmeme gibi bir sorun yaşamazsınız. Şimdi sizinle kendi kullandığım robots.txt dosyasını paylaşacağım. En iyi robots.txt diye birşey yok aslında herkes kendi sitesine göre düzenlemeli kendine göre en uygun olanı kendi dosya yapısına göre bulmalıdır.
Robots.txt de geçen komutlardan bahsedelim biraz.
Sitemap: Adından da belli olduğu gibi, sitenizin dizin haritasını belirler. Arama motorlarının botları geldiği zaman bildirir.
Allow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişip bundakileri gönül rahatlığı ile indexleyebilirsin diyor.
Disallow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişemezsin paşam, erişip napıcaksın indexlenmesin istiyorum benim malım bende kalsın diyor.
User-agent: (Bot ismi) : Bu komut ile de istediğimiz arama motorunun botuna istediğimiz izni verebiliyoruz. Bu sayede botlar uzun uzun uğraşmaktansa listeden kendi adına bakıyor neler yapabilir görüyor, işini halledip gidiyor.
Azıcıkta botlardan bahsedelim.
Ninjabot : Google dan görsel açı harici pek farkı yoktur, bazı öncelikleri vardır temel yapı olarak google ile birebir aynı diyebiliriz, zaten google'ın logosunu kıyıda köşede bir yerlerde görürsünüz bu arama motorunda. Bu arama motorunu genellikle webmasterlar kullanır ben zamanında çok kullandım hala kullanan vardır bir faydası olur belki diye robots.txt' me ye ekledim.
Googlebot : Sitemizde ki yazıları, sayfaları tarar
Googlebot-Mobile : Mobil kullanıcılar için yazıları, sayfaları tarar
Googlebot-Image : Google görseller için sitemizde ki resimleri tarar
Mediapartners-Google : Sitenizde yayınlanan adsense reklamlarının içeriğini belirlemek için sitemizi tarar
Adsbot-Google : AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar.
Çoğu wordpress kullanıcısının robots.txt ile başı derttedir. Düzgün bir robots.txt sizi google da yüksek sıralara çıkarmaz tabi ki ama en azından yanlış robots.txt kullanıpta hiç indexlenmeme gibi bir sorun yaşamazsınız. Şimdi sizinle kendi kullandığım robots.txt dosyasını paylaşacağım. En iyi robots.txt diye birşey yok aslında herkes kendi sitesine göre düzenlemeli kendine göre en uygun olanı kendi dosya yapısına göre bulmalıdır.
Robots.txt de geçen komutlardan bahsedelim biraz.
Sitemap: Adından da belli olduğu gibi, sitenizin dizin haritasını belirler. Arama motorlarının botları geldiği zaman bildirir.
Allow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişip bundakileri gönül rahatlığı ile indexleyebilirsin diyor.
Disallow: /(dosya) : Bu komut arama motorlarına bu dosyaya erişemezsin paşam, erişip napıcaksın indexlenmesin istiyorum benim malım bende kalsın diyor.
User-agent: (Bot ismi) : Bu komut ile de istediğimiz arama motorunun botuna istediğimiz izni verebiliyoruz. Bu sayede botlar uzun uzun uğraşmaktansa listeden kendi adına bakıyor neler yapabilir görüyor, işini halledip gidiyor.
Azıcıkta botlardan bahsedelim.
Ninjabot : Google dan görsel açı harici pek farkı yoktur, bazı öncelikleri vardır temel yapı olarak google ile birebir aynı diyebiliriz, zaten google'ın logosunu kıyıda köşede bir yerlerde görürsünüz bu arama motorunda. Bu arama motorunu genellikle webmasterlar kullanır ben zamanında çok kullandım hala kullanan vardır bir faydası olur belki diye robots.txt' me ye ekledim.
Googlebot : Sitemizde ki yazıları, sayfaları tarar
Googlebot-Mobile : Mobil kullanıcılar için yazıları, sayfaları tarar
Googlebot-Image : Google görseller için sitemizde ki resimleri tarar
Mediapartners-Google : Sitenizde yayınlanan adsense reklamlarının içeriğini belirlemek için sitemizi tarar
Adsbot-Google : AdWords açılış sayfası kalitesini ölçmek için sayfaları tarar.