जो लोग गूगल SEO करते हैं, वे जानते हैं कि टूल्स दक्षता के उत्तोलक (leverage) हैं। Screaming Frog को ही लें, यह क्रॉलर टूल 8 घंटे के मैन्युअल काम को 20 मिनट में पूरा कर सकता है: यह आपकी वेबसाइट के हर URL को क्रॉल कर सकता है और 80-120 सामान्य SEO समस्याओं (जैसे 404 डेड लिंक्स, डुप्लिकेट टाइटल, बिना Alt एट्रिब्यूट वाली इमेज) का सटीक पता लगा सकता है।
यह लेख आपको इंस्टॉलेशन और सेटिंग्स से लेकर डेटा के इस्तेमाल तक ले जाएगा, जिससे Screaming Frog आपका “SEO माइक्रोस्कोप” बन जाएगा।
इंस्टॉलेशन और बुनियादी सेटिंग्स
Screaming Frog को इंस्टॉल करना “नेक्स्ट पर कुछ क्लिक” जैसा सरल लगता है, लेकिन कुछ उपयोगकर्ताओं ने फीडबैक दिया है कि इंस्टॉलेशन के दौरान सिस्टम संगतता पर ध्यान न देने के कारण, Mac संस्करण धीमी गति से चला और क्रॉलिंग गति सामान्य से 40% धीमी रही;
कुछ लोगों ने क्रॉलिंग डेप्थ को लापरवाही से सेट किया, जिसके परिणामस्वरूप एक छोटी वेबसाइट के मुख्य पेजों को क्रॉल करने में 2 घंटे लग गए।
इंस्टॉलेशन से पहले की तैयारी
1. सिस्टम संगतता
Screaming Frog, Windows 10/11 (64-बिट) और macOS 10.15 और उससे ऊपर के वर्ज़न को सपोर्ट करता है। यदि आपका कंप्यूटर Windows 7 या macOS 10.14 है, तो इंस्टॉलेशन पैकेज डाउनलोड करने पर “असंगत” (incompatible) का संकेत मिलेगा, और इसे जबरन चलाने से यह क्रैश हो सकता है (वास्तविक परीक्षण में Win7 उपयोगकर्ताओं के लिए क्रैश दर लगभग 35% थी)।
2. अनुमति (Permissions) की समस्याएं
- Windows: एडमिनिस्ट्रेटर अकाउंट से इंस्टॉल करने की सलाह दी जाती है (पैकेज पर राइट क्लिक करें → “Run as administrator”), अन्यथा अपर्याप्त अनुमति के कारण क्रॉल किया गया डेटा सेव नहीं हो पाएगा (सामान्य एरर: “लॉग फ़ाइल सहेजने में असमर्थ”)।
- Mac: क्या “सिस्टम इंटीग्रिटी प्रोटेक्शन” (SIP) को बंद करने की आवश्यकता है? नहीं, लेकिन पहली बार चलाने पर आपको “System Preferences → Security & Privacy” में “Open Anyway” पर क्लिक करना पड़ सकता है, अन्यथा यह ब्लॉक हो जाएगा (लगभग 20% Mac उपयोगकर्ता इस स्टेप पर अटक जाते हैं)।
3. नेटवर्क वातावरण
क्रॉलिंग से पहले प्रॉक्सी सॉफ़्टवेयर (जैसे VPN, एक्सेलेरेटर) बंद कर दें, 200ms से अधिक की स्थानीय नेटवर्क लेटेंसी के कारण क्रॉलिंग गति में 50% की गिरावट आएगी (वास्तविक परीक्षण: 200ms लेटेंसी पर प्रति सेकंड 10 URL क्रॉल होते हैं; 50ms लेटेंसी पर प्रति सेकंड 25 URL क्रॉल होते हैं)।
औपचारिक इंस्टॉलेशन
Windows सिस्टम
- Screaming Frog की आधिकारिक वेबसाइट (www.screamingfrog.co.uk) पर जाएं, “Download Free Version” पर क्लिक करें (मुफ्त संस्करण छोटी और मध्यम वेबसाइटों के लिए पर्याप्त है);
- “Windows Installer” चुनें और डाउनलोड पूरा होने के बाद चलाने के लिए डबल-क्लिक करें;
- इंस्टॉलेशन पाथ चुनने के लिए संकेतों का पालन करें (डिफ़ॉल्ट C ड्राइव की सलाह दी जाती है ताकि बाद में कॉन्फ़िगरेशन फ़ाइलें गायब न हों), “Create desktop shortcut” को चेक करें और “Install” पर क्लिक करें;
- इंस्टॉलेशन पूरा होने के बाद, डेस्कटॉप पर एक हरा मकड़ी का आइकन दिखाई देगा, इसे खोलने के लिए डबल-क्लिक करें।
macOS सिस्टम
- उसी आधिकारिक वेबसाइट से डाउनलोड करें और “macOS DMG” चुनें;
- डाउनलोड की गई .dmg फ़ाइल पर डबल-क्लिक करें और “Screaming Frog SEO Spider” आइकन को “Applications” फ़ोल्डर में ड्रैग करें;
- पहली बार खोलते समय, सिस्टम कह सकता है “खोला नहीं जा सकता क्योंकि यह एक अज्ञात डेवलपर से है”, “System Preferences → Security & Privacy” पर जाएं और “Open Anyway” पर क्लिक करें।
4 बुनियादी सेटिंग्स
इंस्टॉलेशन के बाद, पहली बार सॉफ़्टवेयर खोलते समय आपको “स्पाइडर” (Spider) पैरामीटर कॉन्फ़िगर करने की आवश्यकता होती है।
यदि सेटिंग्स गलत हैं, तो बाद में क्रॉल किया गया डेटा पूरी तरह से बेकार हो सकता है।
यूज़र एजेंट (User Agent)
- कार्य: वेबसाइट सर्वर को बताना कि “मैं कौन हूँ”, गूगल क्रॉलर का यूज़र एजेंट “Mozilla/5.0 (compatible; Googlebot/2.1; +[http://www.google.com/bot.html](http://www.google.com/bot.html))” है।
- सेटिंग विधि: शीर्ष मेनू “Configuration → Spider” पर क्लिक करें, “User Agent” ड्रॉप-डाउन बॉक्स में “Googlebot” चुनें (डिफ़ॉल्ट “Screaming Frog” होता है)।
- यह महत्वपूर्ण क्यों है: यदि आप डिफ़ॉल्ट “Screaming Frog” यूज़र एजेंट का उपयोग करते हैं, तो कुछ वेबसाइटें क्रॉलर को ब्लॉक कर देंगी (उदाहरण के लिए “Disallow: /screamingfrog” सेट करके), जिससे डेटा कैप्चर नहीं हो पाएगा; “Googlebot” का उपयोग करके वास्तविक गूगल क्रॉलर का अनुकरण किया जा सकता है, जिससे अधिक सटीक डेटा मिलता है (वास्तविक परीक्षण: स्विच करने के बाद, एक ई-कॉमर्स वेबसाइट की क्रॉलिंग सफलता दर 65% से बढ़कर 92% हो गई)।
क्रॉलिंग डेप्थ (Crawl Depth)
- परिभाषा: होमपेज से शुरू करते हुए, अधिकतम कितने लेवल के लिंक्स पर क्लिक करना है (जैसे होमपेज → कैटेगरी पेज → प्रोडक्ट पेज 3 लेवल है)।
- सेटिंग सुझाव:
- छोटी और मध्यम वेबसाइटें (पेज ≤ 1000): 5 लेवल सेट करें (यह 90% से अधिक मुख्य पेजों को कवर करता है);
- बड़ी वेबसाइटें (पेज ＞ 1000): 10 लेवल सेट करें, लेकिन इसे “क्रॉलिंग मात्रा सीमित करें” (नीचे देखें) के साथ जोड़ना होगा ताकि क्रॉलिंग में बहुत अधिक समय न लगे।
क्रॉल किए जाने वाले URL की अधिकतम संख्या (Max URLs to Crawl)
- कार्य: वेबसाइट पर बहुत अधिक लिंक (जैसे फ़ोरम, अनंत स्क्रॉलिंग पेज) होने के कारण सॉफ़्टवेयर को लगातार क्रॉल करने से रोकना।
- सेटिंग विधि: “Configuration → Spider” में “Limit number of URLs to crawl” को चेक करें और एक विशिष्ट संख्या दर्ज करें (छोटे और मध्यम साइटों के लिए 5000-10000, बड़ी साइटों के लिए 50,000 से अधिक नहीं)।
- सेट न करने के परिणाम: एक उपयोगकर्ता ने “अनुशंसित उत्पाद” डायनेमिक लिंक वाली ई-कॉमर्स साइट को क्रॉल किया। संख्या सीमित न होने के कारण, सॉफ़्टवेयर 24 घंटे तक चलता रहा और 230,000 URL कैप्चर किए (जिनमें से 80% डुप्लिकेट उत्पाद विवरण पेज थे)।
पैरामीटर्स बाहर निकालें (Exclude Parameters)
- समस्या: कई वेबसाइटों के URL में अतिरिक्त पैरामीटर होते हैं (जैसे ?utm_source=weibo, ?page=2), ये पैरामीटर सामग्री को प्रभावित नहीं करते हैं, लेकिन Screaming Frog द्वारा अलग URL के रूप में पहचाने जाते हैं, जिससे डुप्लिकेट क्रॉलिंग होती है।
- सेटिंग विधि: “Configuration → Exclude” पर क्लिक करें और “Query Parameters” में उन पैरामीटर्स को दर्ज करें जिन्हें आप फ़िल्टर करना चाहते हैं (कोमा से अलग करके), जैसे “utm_source,utm_medium,page”।
- प्रभाव: एक शैक्षिक वेबसाइट ने 12 ट्रैकिंग पैरामीटर्स को फ़िल्टर किया, जिससे क्रॉल किए गए URL की संख्या 12,000 से घटकर 4,500 हो गई और क्रॉलिंग समय 40% कम हो गया।
होमपेज के साथ “मिनी क्रॉल” चलाएं
सेटिंग्स पूरी होने के बाद, पूरी साइट को क्रॉल करने के लिए जल्दबाजी न करें—पहले होमपेज URL दर्ज करें, और छोटे पैमाने पर परीक्षण (100 URL तक सीमित) चलाने के लिए “Start” पर क्लिक करें, और 3 चीजें जांचें:
- क्या महत्वपूर्ण पेज छूट रहे हैं: उदाहरण के लिए, क्या होमपेज नेविगेशन के “About Us” और “Contact Us” कैप्चर किए गए हैं (रिपोर्ट में कीवर्ड खोजें);
- क्या डुप्लिकेट URL हैं: रिपोर्ट में देखें कि क्या एक ही पेज के अलग-अलग पैरामीटर वर्ज़न हैं;
- क्या 404 ट्रिगर हो रहा है: डेड लिंक्स की जांच करें।
यदि समस्याएं मिलती हैं, तो “Configuration” पर वापस जाएं और पैरामीटर्स को एडजस्ट करें, फिर दोबारा टेस्ट करें।
एक बुनियादी क्रॉल को तेज़ी से शुरू करना
कई लोग सोचते हैं कि “स्टार्ट पर क्लिक करना” ही सब कुछ है, लेकिन वास्तविकता में 30% लोग विवरणों को अनदेखा करने के कारण अपना डेटा अमान्य कर देते हैं।
उदाहरण के लिए: किसी ने बिना नेटवर्क जांचे शुरू किया, और उच्च लेटेंसी के कारण बीच में ही अटक गया; किसी ने सीमा तय नहीं की, जिससे सॉफ़्टवेयर घंटों तक डुप्लिकेट क्रॉल करता रहा; और किसी ने गलत URL प्रारूप दर्ज किया, जिससे “0 परिणाम” मिले।
शुरू करने से पहले 3 जांच
1. पुष्टि करें कि बुनियादी सेटिंग्स पूरी हो गई हैं
- यूज़र एजेंट: इसे “Googlebot” पर सेट होना चाहिए (चेक करें “Configuration → Spider”), अन्यथा वेबसाइट द्वारा ब्लॉक किया जा सकता है।
- क्रॉलिंग डेप्थ: वेबसाइट के आकार के अनुसार समायोजित करें (छोटी साइटें 5 लेवल, बड़ी साइटें 10 लेवल)।
- पैरामीटर्स बाहर निकालें: अनावश्यक ट्रैकिंग पैरामीटर्स को फ़िल्टर करें।
2. नेटवर्क स्थिरता का परीक्षण करें
- लेटेंसी आवश्यकताएं: स्थानीय से लक्ष्य वेबसाइट तक लेटेंसी ≤100ms होनी चाहिए।
- लेटेंसी ≤100ms: प्रति सेकंड 20-30 URL क्रॉल हो सकते हैं;
- लेटेंसी ＞200ms: क्रॉलिंग समय दोगुना हो सकता है।
- हस्तक्षेप से बचें: VPN या डाउनलोड टूल बंद कर दें।
3. पुष्टि करें कि लक्ष्य वेबसाइट सुलभ (Accessible) है
- ब्राउज़र में सीधे URL टाइप करके देखें कि क्या यह सामान्य रूप से खुल रहा है।
4 चरणों में संचालन, 10 मिनट में परिणाम
1. लक्ष्य URL दर्ज करें
- प्रारूप आवश्यकताएं: पूर्ण URL दर्ज करना आवश्यक है (जिसमें http:// या https:// शामिल हो), अन्यथा सॉफ़्टवेयर “अमान्य URL” एरर दिखाएगा।
2. सीमाएँ निर्धारित करें (वैकल्पिक लेकिन अनुशंसित)
- क्रॉलिंग मात्रा सीमित करें: “Configuration → Spider” में “Limit number of URLs to crawl” को चेक करें।
3. “Start” पर क्लिक करें और रीयल-टाइम स्थिति देखें
- प्रोग्रेस बार: शीर्ष बार समग्र क्रॉलिंग प्रगति दिखाता है (हरा = सामान्य, पीला = धीमा, लाल = अटका हुआ)।
4. बीच में आने वाली समस्याओं का समाधान
- यदि अटक जाए: नेटवर्क जांचें या आईपी ब्लॉक होने की स्थिति में यूज़र एजेंट बदलकर “Bingbot” करने का प्रयास करें।
क्रॉलिंग पूर्ण
क्रॉलिंग समाप्त होने के बाद, सॉफ़्टवेयर “Crawl Completed” दिखाएगा। अब डेटा की गुणवत्ता सुनिश्चित करने के लिए 3 काम करें:
1. देखें कि क्या कुल कैप्चर संख्या उचित है
2. जांचें कि क्या मुख्य पेज कैप्चर किए गए हैं
3. देखें कि क्या बहुत अधिक एरर कोड हैं (404, 500, 301 आदि)
SEO रिपोर्ट की व्याख्या (इन 6 पर ध्यान दें)
SEO करने वाले अक्सर कहते हैं कि “डेटा झूठ नहीं बोलता”, लेकिन Screaming Frog की दर्जनों रिपोर्टों में से, गूगल रैंकिंग को प्रभावित करने वाली जानकारी केवल 6 रिपोर्टों में होती है।
रिस्पॉन्स कोड रिपोर्ट (Response Codes)
यह रिपोर्ट प्रत्येक पेज के HTTP स्टेटस कोड को रिकॉर्ड करती है। यदि स्टेटस कोड गलत है, तो क्रॉलर सीधे आपके पेज को छोड़ सकता है।
- 200 (सामान्य): यह ＞85% होना चाहिए।
- 404 (डेड लिंक): 404 URL सूची निर्यात करें → लिंक स्रोत की जांच करें → अमान्य लिंक हटाएं या 301 रीडायरेक्ट सेट करें।
URL लंबाई और संरचना रिपोर्ट
गूगल क्रॉलर के पास लंबे URL के लिए सीमित “धैर्य” होता है। URL जितना लंबा होगा, उसके पूरी तरह से क्रॉल होने की संभावना उतनी ही कम होगी।
- लंबाई वितरण: आदर्श लंबाई ＜80 वर्ण है। 100 वर्णों से अधिक वाले URL को छोटा करें।
टाइटल टैग रिपोर्ट (Page Titles)
टाइटल वह मुख्य आधार है जिससे गूगल पेज के विषय का निर्णय लेता है। डुप्लिकेट या अमान्य टाइटल सीधे रैंकिंग कम कर सकते हैं।
- डुप्लिकेट दर: सुनिश्चित करें कि प्रत्येक पेज का एक अद्वितीय (unique) टाइटल हो।
- लंबाई: आदर्श लंबाई 50-60 वर्ण है।
मेटा विवरण रिपोर्ट (Meta Description)
मेटा विवरण सीधे रैंकिंग को प्रभावित नहीं करता है, लेकिन यह तय करता है कि उपयोगकर्ता आपके पेज पर क्लिक करेगा या नहीं।
- अनुपस्थिति दर: जहां मेटा विवरण नहीं है, वहां उसे मैन्युअल रूप से लिखें (150-160 वर्ण)।
H1 टैग रिपोर्ट
H1 पेज का मुख्य शीर्षक है। गूगल H1 के माध्यम से पेज की मुख्य सामग्री का आकलन करता है (एक पेज पर केवल 1 H1 होना सबसे अच्छा है)।
इमेज Alt एट्रिब्यूट रिपोर्ट
Alt एट्रिब्यूट इमेज का टेक्स्ट विवरण है। Alt की कमी इमेज सर्च ट्रैफ़िक को बर्बाद करती है।
इंटरनल लिंक समस्याओं की थोक (Bulk) जांच
हमने पाया है कि जिन वेबसाइटों में इंटरनल लिंक्स की जांच नहीं की जाती है, उनके 15-20% पेज इंटरनल लिंक समस्याओं के कारण प्रभावी ढंग से इंडेक्स नहीं हो पाते हैं।
डेड इंटरनल लिंक्स
इसका मतलब है कि पेज के लिंक हटाए गए या अप्राप्य पेजों (404) की ओर इशारा कर रहे हैं। उपयोगकर्ता ऐसे लिंक पर क्लिक करके तुरंत साइट छोड़ देते हैं, और क्रॉलर भी 404 के कारण क्रॉलिंग कम कर देते हैं।
अकेले पेज (Orphan Pages)
अकेले पेज वे होते हैं जिनमें सामग्री तो है लेकिन उनकी ओर इशारा करने वाला कोई इंटरनल लिंक नहीं है। ऐसे पेजों के इंडेक्स होने की संभावना सामान्य से 60% कम होती है।
अथॉरिटी का केंद्रीकरण (Weight Concentration)
इसका मतलब है कि होमपेज या कुछ मुख्य पेजों पर बहुत अधिक लिंक हैं, जिससे क्रॉलर की ऊर्जा बिखरी रहती है और अन्य महत्वपूर्ण पेजों को क्रॉल होने का मौका कम मिलता है।
बल्क प्रोसेसिंग के 3 टिप्स
- हाई-फ्रीक्वेंसी समस्याओं को फ़िल्टर करने के लिए Excel का उपयोग करें।
- हाई-अथॉरिटी पेजों के इंटरनल लिंक्स को प्राथमिकता दें।
- नियमित जांच करें: हर दो सप्ताह में एक बार क्रॉल करें।
अंत में, टूल केवल एक सहायक है, गूगल रैंकिंग का मुख्य केंद्र हमेशा “उपयोगकर्ता की ज़रूरत की सामग्री” ही होती है।
