WordPress Site Me SEO Ke Liye Robots.txt File Kaise Add Kare

वर्डप्रेस ब्लॉग  के SEO के लिए robots.txt फाइल  का एक महत्वपूर्ण भाग होता है।  सर्च इंजन बूट्स आपके ब्लॉग या वेबसाइट को कैसे क्रॉल करेगा यह robots.txt फ़ाइल निर्णय करता है।  आज वर्डप्रेस के लिए robots.txt फाइल  कैसे बनाया जाता है और उसे अपडेट  किया जाता है वह जानकारी देने जा रहा हूँ।  क्योंकि Robots.txt को एडिट करते वक्त अगर आप एक छोटी सी भी गलती करते हैं तो आपका ब्लॉग सर्च इंजन  में कभी भी इंडेक्स  नहीं होगा।  तो चलिए जानते हैं Robots.txt फाइल  क्या है और वर्डप्रेस  के लिए एक परफेक्ट robots.txt फाइल  कैसे बनाएं। 

robots.txt फाइल क्या है ?

यदि  में इसके बारे  में बताना चाहूँगा की यह एक ऐसी फ़ाइल होती है जिसमे कुछ कोड लिखा जाता है जिसे सर्च इंजन (गूगल, याहू, बिंग, यांडेक्स और आस्क डॉट कॉम आदि) का सख्ती से पालन करें। इसका मतलब आप इसके द्वारा अपने ब्लॉग के कंटेंट को सर्च इंजन में किस तरह इंडेक्स करना चाहते हैं इसमे यही  तय किया कि किया जाता है।

robots.txt फ़ाइल में जो भी कमांड आप सम्मिलित करें Google या अन्य खोज इंजन का उपयोग करें, करने के लिए मजबूर होना पड़ता है का पालन करें। इसमे याद आप चाहते हैं तो अपने ब्लॉग के किसी भी पोस्ट को सर्च इंजन में इंडेक्स होने से रोक सकते हैं। चले थोड़े इसे उदाहरण के माध्यम से समाधान की कोशिश करते हैं की अखिर फाइल के अंदर किस तरह की कोडिंग दिख रही है।

वर्डप्रेस वेबसाइट robots.txt फ़ाइल उदाहरण –

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: [Blog URL]/sitemap.xml

यह एक सिर्फ उदाहरण है जो सभी वर्डप्रेस ब्लॉग मुझे प्री-इंस्टॉल होती है। इसे एडिट करके हम अपने ब्लॉग को और ज्यादा एसईओ फ्रेंडली बना सकते हैं। तो चलो इसे एडिट करने से पहले ये भी जान लेटे हैं की इसे एडिट करना क्यों जरुरी होता है। 

Robots.txt फ़ाइल संपादित करें करना क्यो जरुरी है ?

याद आप डिफ़ॉल्ट robots.txt फ़ाइल अपने वर्डप्रेस साइट या ब्लॉग मैं खोज इंजन आपके ब्लॉग के हर प्रकार की सामग्री को इंडेक्स करता है । जैसा की हम सब जनता है की वर्डप्रेस में हमारी बहुत सारे ऐसी भी फाइलें होती है जिन्हे हम इंडेक्स नहीं करना चाहिए जिनमे से कुछ फाइलें आपके ब्लॉग की सुरक्षा भी कमजोर बनती है।

यदि  आपके ब्लॉग में कोई ऐसा पेज है या पोस्ट है जिसे आप सर्च इंजन से छिपाना चाहते हैं और चाहते हैं कि वो स्पेसिफिक पेज पोस्ट करें। सर्च इंजन इंडेक्स ना करे तो आपको फाइल को एडिट करने के लिए पोस्ट को इंडेक्स होने से ब्लॉक करना होता है।  वैसा ही ब्लॉग़ पोस्ट  एसईओ प्लगइन अपने वर्डप्रेस साइट में एसईओ के लिए उपयोग करते हैं, इसे भी किसी पोस्ट या पेज को आप इंडेक्स होने से ब्लॉक कर सकते हैं।

इसका सबसे अच्छा और मुख्य रूप से यह  होता है की अपने वर्डप्रेस ब्लॉग की किसी भी डायरेक्टरी फोल्डर या फाइल को आप आसन से ब्लॉग कर सकते हैं, जो आपके विज़िटर्स के लिए किसी भी काम की नहीं होती है, बल्कि  उन्हे कुछ ब्लैक हैट साइट को हैकर आपकी साइट का उपयोग करते हैं हैक करने में उसका उपयोग है ।

वैसे  मुझे आगे बताने वाला हूँ की वह  कौन कौन सी डायरेक्टरी फोल्डर है जिन्हे आपको अपने वर्डप्रेस ब्लॉग के लिए सर्च इंजन में इंडेक्स होने से कैसे रोक सकता है।

यदि आप अपने ब्लॉग में कस्टम robots.txt फ़ाइल सही तरीके से उपयोग करते हैं तो आपका ब्लॉग और अधिक एसईओ अनुकूलित हो जाता है क्योंकि सर्च इंजन वही सामग्री को स्कैन करता है जिसे आपने फ़ाइल की मदद से अनुमति दी है। और यदि  जब कोई उपयोगकर्ता सामग्री खोज करता है टैब खोज इंजन आपके ब्लॉग को जल्दी स्कैन कर लेगा क्योंकि आपने फालतू चीज अस्वीकार कर रखी  है। इसे आपके ब्लॉग का ट्रैफिक बहुत अच्छा हो जाता है। यही  इसका सबसे बड़ा प्रॉफिट होता है की आपके ब्लॉग का एसईओ ऑप्टिमाइजेशन और ज्यादा मजबूत हो जाता है। तो चले अब जनता है की एसईओ के लिए इतनी महत्वपूर्ण फाइल को सही तारिके से कैसे एडिट कर सकते हैं मैटलैब वेबसाइट के लिए रोबोट txt फाइल कैसे बनाएं।

वर्डप्रेस ब्लॉग में Robots.txt फ़ाइल कैसे बनाये  ?

याद आप अपने ब्लॉग में SEO Yoast plugin  का उपयोग कर रहे हैं तो फाइल को बनाना बहुत ही सरल हो जाता है। तो चले आप हमारे द्वारा बताए गए स्टेप्स को ध्यान से फॉलो करें -

स्टेप संख्या 01

• अपने वर्डप्रेस डैशबोर्ड को लॉगिन करें।

स्टेप संख्या 02

• SEO पर जाये और टूल्स Tools पर क्लिक करें।

स्टेप संख्या 03

• अब फ़ाइल Editor पर क्लिक करें। 

स्टेप संख्या 04

• इसके बाद अब आप क्रिएट  robots.txt फाइल बटन  पर क्लिक करे। 

स्टेप संख्या 05

इसके बाद अब आप Robots.txt के नीचे जो खाली है वहां आप डिफ़ॉल्ट कोड को रिमूव करके नीचे जो  robots.txt कोड जो दिया गया है उसे पेस्ट  करें और Save Changes to Robot.txt पर क्लिक करे। 

User-agent: * Disallow: /wp-admin/ Disallow: /cgi-bin/ Disallow: /comments/feed/ Disallow: /trackback/ Disallow: /xmlrpc.php Allow: /wp-admin/admin-ajax.php User-agent: Mediapartners-Google* Allow: / User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: / Sitemap: https://gondalivenews.com/post-sitemap.xml Sitemap: https://gondalivenews.com/page-sitemap.xml Sitemap: https://gondalivenews.com/category-sitemap.xml Sitemap: https://gondalivenews.com/sitemap.xml

नोट–साइटमैप https://gondalivenews com/sitemap.xml  की जगह  अपने ब्लॉग की साइटमैप सबमिट करे। 

वर्डप्रेस में robots.txt फाइल  को अपडेट  करने के बाद सर्च कंसोल में robots.txt टेस्टर टूल  के द्वारा यदि  कोई error है या नहीं उसे चेक करना जरूरी है।  यह टूल  आपकी वेबसाइट  के robots.txt फ़ाइल को automatically fetch करेगा और यदि errors और warning है तो उसे प्रदर्शित करेगा।  आपकी robots.txt फाइल  का मुख्य लक्ष्य है सर्च इंजन को उन pages को crawl करने से रोकना है, जो सार्वजनिक करना जरूरी नहीं है। अब उम्मीद करता हूँ कि  हूं यह गाइड  आपको एक एसईओ ऑप्टिमाइज़  robots.txt कोड  बनाने में मदद करेगा। 

रोबोटेक्स फाइल का एसईओ के लिए महत्वपूर्ण टैक्निकल  जानकारी क्या है ?

User-agent:*-  आपने इसमें जो User-agent  है इसके द्वारा हम सर्च इंजन को रूल्स फालो करने के बारे में जानकारी देते है। और asterisk(*)  को हम इस लिए लिखते है। क्योकि यह सभी सर्च इंजन के लिए होता है जैसे-गूगल,याहू,बिन्ग,यान्डेक्स आदि। 

Disallow:/-इसको हम किसी कन्टेन्ट या फोल्डर को सर्च इंजन को नानइन्डेक्स करने के लिए कहते  है। जबकि forward slash(/)  यह इस लिए लिखते है। जिसे सर्च इंजन को यह ज्ञात रहे की उसे विशेष फाइल को इन्डेक्स करने से रोका गया है। 

Allow:-इसे हम इस लिए लिखते है जिसे सर्च इंजन समझ सके की उसे क्या-क्या इन्डेक्स करना है। 

रोबोटेक्स फाइल में क्या Disallow: करे ?

मित्रो जो रोबोटेक्स कोड ऊपर दिया गया है उसमें ब्लाग का कुछ डाटाबेस फाइल को Disallow किया है। 

जैसे-/wp-admin,/cgi-bin/,/comments/feed/,/trackback/,/xmlrpc.php  इन सबको सर्च इंजन में सबमिट करके इन्हे इन्डेक्स नही करने को कहा गया है। क्योकि यह फाइल या फोल्डर किसी विजिटर के लिए उपयोगी नही होता है। ऐसे में इन्हे डिस्लाउ करना वर्डप्रेस ब्लाग के लिए एक बेहतरीन एसईओ रूल्स है। 

रोबोटेक्स फाइल में क्या Disallow न करे ?

गूगल ने कुछ समय पहले काफी कुद बदलाव यिा है। और इसी वजह से हमें कुछ बातो को जरूर ध्यान देना चाहिए। अन्यथा आपके ब्लाग का ट्रैफिक का पता भी नही चलेगा की वह कहा गया। कौन-कौन से फाइल हमें Disallow करना चाहिए इसका विवरण नीचे दिया गया है। 

01-/wp-includes/  इस डयरेक्टरी को अपने वर्डप्रेस ब्लाग के लिए रोबोटेक्स फाइल में डिस्लाउ रूल्स सेट करके सर्च इंजन के लिए ब्लाक नही करना चाहिए। क्योकि यह बहुत पुराना एसईओ में इसे डिस्लाउ किया जाता था। और यह अब लेटेस्ट एसईओ के लिए यह बहुत महत्वपूर्ण है। इस लिए इसे ब्लाक नही किया जाता। इसका कारण यह है कि आज के समय में यह लगभग सभी ब्लाग थीम में asynchronous java script  जिसे हम AJAX  भी कहते है। यदि इसे प्रयोग किया जाता है तो यदि आप इसे ब्लाक कर देगें तो आपके साइट का अधूरा पार्ट क्राल नही होगा  और इससे हमारे ब्लाग के एसईओ पर नकारात्मक प्रभाव पडेगा। इसका तात्पर्य यह है कि हमें हमारे ब्लाग का ट्रैफिक खत्म हो जायेगा। 

/wp-content/plugins/ इस डायरेक्टरी को भी हमें ब्लाक नही करना चाहिए। क्योकि यदि आप इसे ब्लाक कर देगें तो सर्च इंजन,जावास्क्रिप्ट और सीएसएस को स्कैन नही कर पायेगा। जिससे आपके कनटेन्ट को रेनडर करने में उसे समस्या होगा। क्योकि लेटेस्ट एसईओ में गूगल आपके ब्लाग के जावा स्क्रिप्ट और सीएसएस को क्राल करता है। यदि आप इसे डयरेक्टरी को ब्लाक कर देगें तो आपके ब्लाग को सर्च इंजन रेन्डर नही कर पायेगा। जिससे आपके ब्लाग को ट्रैफिक कम प्राप्त होगा। 

/wp-admin/- इस डायरेकटरी को भी आप ब्लाक नही कर सकते है। क्योकि यदि इसे ब्लाक करेगें तो इस डायरेक्टरी में एक admin-ajax.php  नाम की लिंक होता है। यदि इसे सर्च इंजन में इसे ब्लाक करेगें तो भी हमारे ब्लाग को इन्डेक्स करने में समस्या होगा। ऐसे में आपक दिमाग में यह प्रश्न उठता होगा कि ऊपर दिया गया रोबोटेक्स कोड में तो /wp-admin/- ब्लाक कर दिया है और अब बोल रहे है और अब आप बोल रहे है कि इसे ब्लाक नही करना चाहिए। तो इसके लिए आप यह जान ले कि आपको इसके लिए बिल्कुल डरने की जरूरत नही है। यदि आप ध्यान पूर्वक कोड को देखेगें तो तो आपको ज्ञात होगा कि मैने /wp-admin/- को ब्लाक किया परन्तु /wp-admin/admin-ajax.php को  Allow  कर रखा है। जिससे सर्च इंजन को ब्लाग रेन्डर करने में कोई समस्या नही होगा। 

यदि आपको लगता है कि यह जानकारी अधूरा है तो आप ग्रेट एसईओ के लिए Yoast wordpress robots.txt  का अध्ययन कर सकते है। इस पोस्ट को अध्यन करने से आपको इसके बारे में सम्पूर्ण जानकारी तिल जायेगा। 

रोबोटेक्स फाइल में क्या Allow करे ?

जैसा कि जो रोबोटेक्स फाइल के लिए कोड यिा गया है उस कोड में क्या Allow किया गया है उसका विवरण नीचे निम्न दिया गया है। 

Allow:/wp-admin/admin-ajax.php-इसके बारे में आपको ऊपर बताया गया है। यदि आप इसे ब्लाक कर देगें तो आपके साइट को गूगल क्राल नही करेगा। 

User-agent:Mediapartners-google*

Allow:/-  यदि आप एडसेन्स यूजर है तो आप इसे एलाउ करके जरूर रखे नही तो आपके साइट पर गूगल एडसेन्स विज्ञापन सर्वर नही किया जायेगा। इस लिए इसे Disallow ना करे। और यदि आप एडसेन्स प्रयोग नही करते है तो आप इसे Disallow कर सकते है।  इसके बारे में आप अधिक जानकारी के लिए रोबोटेक्स गूगल सर्पोट के पेज पर जाकर विजिट कर सकते है। 

User-agent:Googlebot-image

Allow:/wp-content/uploads/-    यह डायरेक्टरी हमें इस लिए Allow करना चाहिए जिससे ब्लाग की इमेज सर्च इंजन में रेन्डर हो सके। यदि आप इसे Disallow कर देगें तो गूगल आपके ब्लाग की इमेल को क्राल नही करेगा। 

User-agent:Adsbot-google

Allow:/   यह अधिकतर एडर्वड के लिए प्रयोग किया जाता है जिससे विज्ञापन प्रदाता के लिए सर्च इंजन को रेन्डर करने के लिए रूल्स सेट किया जाता है। 

User-agent:Googlebot-mobile

Allow:/   इसको इस लिए किया जाता है कि जब कोई मोबाइल यूजर उस कन्टेन्अ को सर्च करता है। तो आपके साइट को मोबाइल वर्जन में क्राल किया जाता है। यदि आप मोबाइल विजिटर है तो आपके लिए यह बहुत ही महत्वपूर्ण होगा हमारे जानकारी के अनुसार सभी साइट पर मोबाइल से ट्रैफिक लगभग 50 प्रतिशत को आता ही है। इस लिए हम इसे भी । Allow करके रखते है। 

Sitemap:-  इसका प्रयोग तो सभी को मालूम होता है यदि नही मालूम तो आपको यह जानना चाहिए। कि साइटमैप में ब्लाग का सम्पूर्ण कन्टेन्ट होता है। जैसे-पोस्ट,पेज इत्यादि। तो इसे तो हम अपने ब्लाग के रोबोटेक्स फाइल में रखना ही होगा। 

आवश्यक नोट- आपको इस बात का ध्यान होना चाहिए कि साइटमैप एक से ज्यादा है तो  उन सभी को रोबोटेक्स फाइल में एड करना होगा। जिससे पोस्ट की साइटमैप अलग हो सकता है और पेज,कटेगरी,टैग इत्यादि सभी साइटमैप को उसी तरह एड करना होगा। जिस प्रकार ऊपर कोड में दिया हुआ है। अब आपने रोबोटेक्स फाइल की महत्वपूर्ण जानकारी के बारे में अच्छी तरह से समझ गये होगे। और यह भी समझ गये होगें कि सर्च इंजन में रोबोटेक्स फाइल कैसे एड करते है। 

मित्रो मुझे अब उम्मीद  है कि आप लोगो ने WordPress Site Me SEO Ke Liye Robots.txt File Kaise Add Kare   को अच्छे  तरह से समझ गये होगें। फिर भी यदि आप लोगो को इस आर्टिकल से सम्बन्धित किसी भी प्रकार की कोई समस्या उत्पन्न होता है। तो आप लोग इसके लिए हमें ईमेल के माध्यम से या कमेन्ट करके या दूरभाष पर सम्पर्क करके अपने समस्या को साझा कर सकते है। जिससे आपके समस्या का निदान हो सके। यदि आप WordPress Site Me SEO Ke Liye Robots.txt File Kaise Add Kare के लिए दिए गये तकनीकों को सीखते हैं, तो कृपया नीचे टिप्पणी करें, या दूसरों की मदद करने के लिए इस लेख को साझा करें।