Robots.txt விளக்கப்பட்டது

robots.txt கோப்பு என்பது தேடுபொறி கிராலர்களின் வழிமுறைகளைக் கொண்ட எளிய உரை ஆவணமாகும். எந்தப் பக்கங்களை வலம் வர வேண்டும், எந்தப் பக்கங்களைத் தவிர்க்க வேண்டும் என்பதை இது அவர்களுக்குச் சொல்கிறது. "இந்த இணையதளத்தைப் பயன்படுத்துவதற்குத் தேவையான விதிகளுக்கு இங்கே வாருங்கள்" என்று போட்களுக்கான அடையாளமாக இது உள்ளது.

இந்த கோப்புகளின் நோக்கம், உங்கள் தளத்தை எவ்வாறு சிறந்த முறையில் வலைவலம் செய்வது என்பதைத் தேடுபொறிகளுக்கு உதவுவதாகும். இது போட் மற்றும் உங்கள் சேவையகத்தின் சுமையை குறைக்க உதவுகிறது. எல்லாவற்றிற்கும் மேலாக, தரவுக்கான தேவையற்ற கோரிக்கைகள் அர்த்தமுள்ள வழியில் யாருக்கும் பயனளிக்காது.

உதாரணமாக, எந்த காரணமும் இல்லை கூகள் (அல்லது வேறு ஏதேனும் போட்கள்) உங்கள் வலைப்பதிவில் சமீபத்திய இடுகை அல்லது புதுப்பிப்பைப் பெற்ற இடுகைகளைத் தவிர வேறு எதையும் மேலே இழுக்கவும்.

Robots.txt கோப்பு எவ்வாறு செயல்படுகிறது

இது எவ்வாறு செயல்படுகிறது என்பதைப் புரிந்துகொள்வதற்கான எளிதான வழி, உங்கள் வலைத்தளத்தை உங்கள் வீட்டில் விருந்தினராகக் கருதுவதாகும். உங்கள் சுவர்களில் நீங்கள் காட்ட விரும்பும் இந்த விஷயங்கள் அனைத்தும் உங்களிடம் உள்ளன, ஆனால் விருந்தினர்கள் அலைந்து திரிவதையும் பொருட்களைத் தொடுவதையும் நீங்கள் விரும்பவில்லை. எனவே, நீங்கள் அவர்களிடம் சொல்லுங்கள்: “ஏய்! தயவுசெய்து இந்த அறைக்கு வெளியே இருங்கள்.

அதைத்தான் robots.txt கோப்பு செய்கிறது - தேடுபொறிகள் எங்கு செல்ல வேண்டும் (எங்கு செல்லக்கூடாது) என்று அது சொல்கிறது. சில முன் வரையறுக்கப்பட்ட விதிகளைப் பின்பற்றும் எளிய வழிமுறைகளின் மூலம் இந்த அதிசயத்தை நீங்கள் அடையலாம்.

ஒவ்வொரு வலைத்தளமும் ஒரு robots.txt கோப்பை மட்டுமே வைத்திருக்க முடியும், மேலும் அந்த சரியான பெயரைப் பின்பற்ற வேண்டும் - அதிகமாகவோ, குறைவாகவோ இல்லை.

எனக்கு Robots.txt கோப்பு தேவையா?

குறுகிய பதில் ஆம். உங்கள் இணையதளத்தில் robots.txt கோப்பு இருக்க வேண்டும்.

நீண்ட பதில் என்னவென்றால், தேடுபொறி போட்கள் உங்கள் தளத்தை எவ்வாறு வலைவலம் செய்து அட்டவணையிடும் என்பதை நீங்கள் அறிந்து கொள்ள வேண்டும், பின்னர் உங்கள் robots.txt கோப்பை எழுத வேண்டும்.

ஸ்பேமர்கள் மற்றும் ஹேக்கர்களின் கைகளில் இருந்து முக்கியமான தகவலை வைத்திருப்பதுடன், ஒழுங்காக கட்டமைக்கப்பட்ட மற்றும் பராமரிக்கப்படும் robots.txt கோப்பை வைத்திருப்பது தேடுபொறி முடிவுகளில் உங்கள் தளத்தின் தரவரிசையை மேம்படுத்த உதவும்.

தொடர்புடைய வாசிப்புகள்

உங்கள் Robots.txt கோப்பை எவ்வாறு உருவாக்குவது

robots.txt கோப்பு ஒரு எளிய, வெற்று உரை ஆவணமாக வாழ்க்கையைத் தொடங்குகிறது. அதாவது எம்எஸ் நோட்பேட் போன்ற எளிய உரை எடிட்டரைப் போன்ற எளிய கருவியை நீங்கள் உருவாக்கலாம். உங்கள் வெப் ஹோஸ்டிங் கண்ட்ரோல் பேனலில் டெக்ஸ்ட் எடிட்டரைப் பயன்படுத்தலாம், ஆனால் உங்கள் கணினியில் கோப்பை உருவாக்குவது பாதுகாப்பானது.

நீங்கள் ஆவணத்தை உருவாக்கியதும், அதை வழிமுறைகளுடன் நிரப்பத் தொடங்க வேண்டிய நேரம் இது. இது நடக்க உங்களுக்கு இரண்டு விஷயங்கள் தேவை. முதலில், robots.txt கோப்பு போட்களுக்கு என்ன சொல்ல வேண்டும் என்பதை நீங்கள் அறிந்திருக்க வேண்டும். அடுத்து, போட்கள் புரிந்துகொள்ளக்கூடிய வழிமுறைகளை எவ்வாறு பயன்படுத்துவது என்பதை நீங்கள் புரிந்து கொள்ள வேண்டும்.

பகுதி 1: Robots.txt கோப்பு என்ன செய்ய முடியும்

  • குறிப்பிட்ட போட்களை அனுமதிக்கவும் அல்லது தடுக்கவும்
  • போட்கள் வலைவலம் செய்யக்கூடிய கோப்புகளைக் கட்டுப்படுத்தவும்
  • போட்கள் வலம் வரக்கூடிய கோப்பகங்களைக் கட்டுப்படுத்தவும்
  • படங்களுக்கான அணுகலைக் கட்டுப்படுத்தவும்
  • உங்கள் தளவரைபடத்தை வரையறுக்கவும்

இன்னமும் அதிகமாக.

பகுதி 2: Robots.txt தொடரியல் எவ்வாறு செயல்படுகிறது என்பதைப் புரிந்துகொள்வது

robots.txt மாதிரிகளைப் பார்க்கும்போது பலர் குழப்பமடைகிறார்கள், ஏனெனில் உள்ளடக்கம் தொழில்நுட்ப வாசகங்கள் போல் தெரிகிறது. இது சராசரி மனிதனுக்கு நியாயமான துல்லியமானது. robots.txt ஐப் புரிந்துகொள்வதற்கான திறவுகோல் ஒரு கணினியைப் போல சிந்திக்க வேண்டும்.

கணினிகள் வேலை செய்ய வழிமுறைகள் தேவை, மேலும் அவை அவற்றின் அடிப்படையில் விஷயங்களைச் செயல்படுத்துகின்றன. போட்களுக்கும் இதுவே உண்மை. அவர்கள் ஒரு நேரத்தில் ஒரு வரியில் வழிமுறைகளைப் படிக்கிறார்கள். அந்த வரிகள் ஒவ்வொன்றும் ஒரு குறிப்பிட்ட வடிவமைப்பைப் பின்பற்ற வேண்டும்.

robots.txt கோப்பிற்கான சில பொதுவான கட்டளைகள் இங்கே உள்ளன;

குறியீடுசெயல்
பயனர் முகவர்: Googlebot-newsAllow: /
பயனர் முகவர்: *அனுமதிக்க வேண்டாம்: /
உங்கள் இணையதளத்தை வலைவலம் செய்ய Google இன் நியூஸ் போட்டை மட்டும் அனுமதிக்கவும்
பயனர் முகவர்: Googlebot-ImageDisallow: /images/dogs.jpgGoogle படத் தேடல் முடிவுகளில் ஸ்மைலி.ஜேபிஜி படத்தைக் காட்டுவதை நிறுத்துங்கள்.
பயனர் முகவர்: GooglebotDisallow: /*.gif$.gif நீட்டிப்பு மூலம் எந்தப் படக் கோப்பையும் வலைவலம் செய்வதிலிருந்து Google இன் போட்டைத் தடுக்கவும்.

உங்கள் robots.txt கோப்பிற்கான வழிமுறைகளின் விரிவான பட்டியலைப் பெறலாம் கூகிளின் டெவலப்பர் ஆவணங்கள்.

Facebook இன் Robots.txt கோப்பு.
உதாரணமாக, இங்கே உள்ளது Facebook இன் Robots.txt கோப்பு.
Google இன் Robots.txt கோப்பு.
இங்கே உள்ளது Google இன் Robots.txt கோப்பு.

Robots.txtக்கான சிறந்த நடைமுறைகள்

robots.txtக்கான வழிமுறைகளைப் பின்பற்றவும் அல்லது உங்கள் இணையதளத்தில் விஷயங்கள் மோசமாகப் போகலாம். (ஆதாரம்: கூகிள்)

சில வழிகளில், robots.txt போட் நடத்தையைத் தனிப்பயனாக்க உங்களை அனுமதிக்கிறது, இது வேலை செய்வதற்கான தேவைகள் மிகவும் கடினமானதாக இருக்கும். எடுத்துக்காட்டாக, robots.txt கோப்பை உங்கள் இணையதளத்தின் ரூட் கோப்பகத்தில் வைக்க வேண்டும். இது பொதுவாக public_html அல்லது www.

சில விதிகள் பேச்சுவார்த்தைக்குட்பட்டவை என்றாலும், சில நிலையான வழிகாட்டுதல்களைப் புரிந்துகொள்வது சிறந்தது;

உங்கள் ஆர்டரைக் கவனியுங்கள்

robots.txt கோப்பில் உள்ள வழிமுறைகளுக்கு தொடர் முன்னுரிமை உண்டு. அதாவது கோப்பில் உள்ள முதல் நிகழ்விற்கு முரண்பட்ட வழிமுறைகள் இயல்புநிலையாக இருக்கும். இது ஒரு மாநிலம் மற்றும் கூட்டாட்சி நீதிமன்ற தீர்ப்பை ஒப்பிடுவது போன்றது.

விவரமாக இருங்கள்

வழிமுறைகளை உருவாக்கும் போது, ​​உங்கள் அளவுருக்களுடன் முடிந்தவரை குறிப்பிட்டதாக இருக்கவும். போட்கள் பேச்சுவார்த்தை நடத்துவதில்லை, அதனால் என்ன நடக்க வேண்டும் என்பதைத் துல்லியமாகச் சொல்லுங்கள்.

துணை டொமைன்கள் சாத்தியம்

இருப்பினும், ஒவ்வொரு துணை டொமைனில் உள்ள robots.txt கோப்பிற்கான விதிகள் கோப்பு இருக்கும் துணை டொமைனுக்கு மட்டுமே பொருந்தும்.

கோப்பை சரிபார்க்கவும்

robots.txt கோப்பை உருவாக்குவதும், கொட்டுவதும் பேரழிவுக்கான செய்முறையாக இருக்கலாம். விஷயங்களைத் தளர்த்துவதற்கு முன், நீங்கள் சேர்க்கும் விதிகள் அல்லது வழிமுறைகளை உறுதிப்படுத்தவும்.

Noindex எதையும் வேண்டாம்

அதை robots.txt இல் செய்ய வேண்டாம் என்று கூகுள் கூறுகிறது; எனவே அது உண்மையாக இருக்க வேண்டும்.

இறுதி எண்ணங்கள்

கண்டிப்பாகச் சொன்னால், உங்களுக்கு robots.txt கோப்பு தேவையில்லை. வலைவலம் செய்வதற்கு அதிக உள்ளடக்கம் இல்லாத சிறிய அல்லது நிலையான வலைத்தளங்களுக்கு இது குறிப்பாக உண்மை. இருப்பினும், பெரிய இணையதளங்கள், வலை கிராலர்களுக்கு இழக்கப்படும் ஆதாரங்களைக் குறைப்பதில் robots.txt இன்றியமையாததாகக் கண்டறியும். போட்கள் உங்கள் இணையதளத்தைப் பார்க்கும் விதத்தில் இது உங்களுக்கு சிறந்த கட்டுப்பாட்டை வழங்குகிறது.

மேலும் படிக்க

ஆசிரியரின் புகைப்படம்

ஜெர்ரி லோவின் கட்டுரை