Robots.txt Açıklaması

Güncelleme: 2022-07-26 / Makale: Jerry Low

robots.txt dosyası, arama motoru tarayıcılarının talimatlarını içeren basit bir metin belgesidir. Onlara hangi sayfaların taranacağını ve hangilerinden kaçınılacağını söyler. Bu, botların “bu web sitesini kullanmak için ihtiyacınız olan kurallar için buraya gelin” diyen bir işaret gibidir.

Bu dosyaların amacı, arama motorlarının sitenizi en iyi nasıl tarayacağını belirlemesine yardımcı olmaktır. Bu, bot ve sunucunuz üzerindeki yükü azaltmaya yarar. Sonuçta, gereksiz veri talepleri kimseye anlamlı bir şekilde fayda sağlamayacaktır.

Örneğin, bunun için bir sebep yok Googlebot (veya başka herhangi bir bot) blogunuzdaki en son gönderi veya güncelleme almış gönderiler dışında herhangi bir şeyi almak için.

Robots.txt Dosyası Nasıl Çalışır?

Nasıl çalıştığını anlamanın en kolay yolu, web sitenizi evinizde misafir olarak düşünmektir. Duvarlarınızda sergilemek istediğiniz tüm bu şeyler var ama misafirlerin gezinip bir şeylere dokunmasını istemiyorsunuz. Yani onlara şunu söyleyin: “Hey! Bu odadan uzak durun lütfen."

Robots.txt dosyası bunu yapar – arama motorlarına nereye gitmeleri gerektiğini (ve nereye gitmemeleri gerektiğini) söyler. Bu mucizeyi, önceden tanımlanmış bazı kuralları takip eden basit talimatlarla gerçekleştirebilirsiniz.

Her web sitesi yalnızca tek bir robots.txt dosyasına sahip olabilir ve bu tam adı takip etmelidir - ne eksik ne fazla.

Bir Robots.txt Dosyasına İhtiyacım Var mı?

Kısa cevap evet. Web sitenizde bir robots.txt dosyası olmalıdır.

Daha uzun cevap, nasıl yapılacağını bilmeniz gerektiğidir. arama motoru botları sitenizi tarayacak ve dizine ekleyecek ve ardından robots.txt dosyanızı buna göre yazacaktır.

Hassas bilgileri spam gönderenlerin ve bilgisayar korsanlarının elinden uzak tutmanın yanı sıra, düzgün yapılandırılmış ve bakımlı bir robots.txt dosyasına sahip olmak, sitenizin arama motoru sonuçlarındaki sıralamasını iyileştirmeye yardımcı olabilir.

İlgili Okumalar

Robots.txt Dosyanızı Nasıl Oluşturursunuz

robots.txt dosyası basit, boş bir metin belgesi olarak hayata başlar. Bu, MS Notepad gibi düz bir metin düzenleyici kadar basit bir araçla bir tane oluşturabileceğiniz anlamına gelir. Ayrıca metin düzenleyiciyi de kullanabilirsiniz. web hosting kontrol paneli, ancak dosyayı bilgisayarınızda oluşturmak daha güvenlidir.

Belgeyi oluşturduktan sonra, onu talimatlarla doldurmaya başlamanın zamanı geldi. Bunun olması için iki şeye ihtiyacınız var. Öncelikle robots.txt dosyasının botlara ne söylemesini istediğinizi bilmelisiniz. Ardından, botların anlayabileceği talimatları nasıl kullanacağınızı anlamanız gerekir.

Bölüm 1: Robots.txt Dosyasının Yapabilecekleri

  • Belirli botlara izin ver veya engelle
  • Botların tarayabileceği dosyaları kontrol edin
  • Botların tarayabileceği dizinleri kontrol edin
  • Görüntülere erişimi kontrol edin
  • Site haritanızı tanımlayın

Ve daha fazlası.

2. Bölüm: Robots.txt Sözdiziminin Nasıl Çalıştığını Anlama

İçerik teknik jargon gibi göründüğü için robots.txt örneklerine bakarken birçok kişinin kafası karışıyor. Bu ortalama bir insan için oldukça doğru. robots.txt dosyasını anlamanın anahtarı bir bilgisayar gibi düşünmektir.

Bilgisayarların çalışmak için talimatlara ihtiyacı vardır ve işleri bunlara dayalı olarak işlerler. Aynı durum botlar için de geçerlidir. Talimatları birer birer okurlar. Bu satırların her birinin belirli bir formatı izlemesi gerekir.

Robots.txt dosyası için bazı genel komutlar şunlardır;

KodAction
Kullanıcı aracısı: Googlebot-newsAllow: /
Kullanıcı aracısı: *İzin verme: /
Yalnızca Google'ın haber botunun web sitenizi taramasına izin verin
Kullanıcı aracısı: Googlebot-ImageDisallow: /images/dogs.jpgSmiley.jpg resminin Google görsel arama sonuçlarında gösterilmesini durdurun.
Kullanıcı aracısı: GooglebotDisallow: /*.gif$Google'ın botunun .gif uzantılı herhangi bir resim dosyasını taramasını engelleyin.

robots.txt dosyanız için daha kapsamlı bir talimat listesine şuradan ulaşabilirsiniz: Google'ın geliştirici belgeleri.

Facebook'un Robots.txt dosyası.
Örneğin, burada Facebook'un Robots.txt'i dosyası.
Google'ın Robots.txt dosyası.
Ve işte burada Google'ın Robots.txt'i dosyası.

Robots.txt için En İyi Uygulamalar

robots.txt için talimatları izleyin, aksi takdirde web siteniz için işler yolunda gitmeyebilir. (Kaynak: Google)

Bazı yönlerden robots.txt, bot davranışını özelleştirmenize izin verse de, bunun çalışması için gereksinimler oldukça katı olabilir. Örneğin robots.txt dosyasını web sitenizin kök dizinine yerleştirmelisiniz. Bu genellikle public_html veya www anlamına gelir.

Bazı kurallar tartışılabilir olsa da, bazı standart yönergeleri anlamak en iyisidir;

Siparişinizi İzleyin

robots.txt dosyasındaki talimatların sıralı önceliği vardır. Bu, çakışan talimatların varsayılan olarak dosyadaki ilk örneğe göre olacağı anlamına gelir. Eyalet mahkemesi kararıyla federal mahkeme kararını karşılaştırmak gibi.

Ayrıntılı Olun

Talimatları oluştururken, parametrelerinizde mümkün olduğunca spesifik olun. Botlar pazarlık yapmaz, bu yüzden onlara tam olarak ne olması gerektiğini söyleyin.

Alt Alanlar Mümkün

Ancak, her bir alt etki alanındaki robots.txt dosyasına ilişkin kurallar yalnızca dosyanın bulunduğu alt etki alanına uygulanacaktır.

Dosyayı Kontrol Et

Bir robots.txt dosyası oluşturmak ve atmak, felaket için bir reçete olabilir. İşleri serbest bırakmadan önce eklediğiniz kuralların veya talimatların işe yaradığından emin olun.

Hiçbir Şeyi Noindex Etmeyin

Google bunu robots.txt dosyasında yapmamanızı söylüyor; bu yüzden doğru olmalıdır.

Son Düşüncelerimiz

Açıkçası, bir robots.txt dosyasına ihtiyacınız yok. Bu, özellikle taranacak çok fazla içeriği olmayan daha küçük veya statik web siteleri için geçerlidir. Ancak, daha büyük web siteleri, web tarayıcılarının kaybettiği kaynakları azaltmada robots.txt dosyasını vazgeçilmez bulacaktır. Botların web sitenizi nasıl görüntülediğini çok daha iyi kontrol etmenizi sağlar.

Detaylı İncele

Jerry Low hakkında

WebHostingSecretRevealed.net (WHSR) 'nin kurucusu - 100,000 kullanıcıları tarafından güvenilen ve kullanılan bir hosting incelemesi. 15'in üzerinde web barındırma, bağlı kuruluş pazarlaması ve SEO konusunda yılların tecrübesi. ProBlogger.net, Business.com, SocialMediaToday.com ve daha fazlasına katkıda bulundu.