כיצד לסרוק אתר שלם

כשמתחילים סריקה, כדאי לקחת רגע ולהעריך איזה סוג מידע אתה מחפש לקבל וכמה גדול האתר. לפעמים, עם אתרים גדולים יותר, עדיף להגביל את הסורק לתת-חלק של כתובות האתרים כדי לקבל מדגם מייצג טוב של הנתונים.

כברירת מחדל, הצפרדע סורקת רק את תת-הדומיין שאתה מזין. כל תת-דומיינים נוספים בהם נתקל הצפרדע ייראו כקישורים חיצוניים. על מנת לסרוק תחומי משנה נוספים, עליך לשנות את ההגדרות בתפריט תצורת הצפרדע. על ידי סימון 'סרוק את כל תחומי המשנה', תבטיח שהצפרדע יסרוק קישורים שהוא נתקל בתתי-דומיינים אחרים באתר שלך.

 

שלב 1:

 

שלב 2:

אם אתה מתחיל את הסריקה שלך מתיקיית משנה או ספריית משנה ספציפית ובכל זאת רוצה ש- צפרדע תסרוק את כל האתר, סמן את התיבה המסומנת "סריקה מחוץ לתיקיית התחלה."

כברירת מחדל, הצפרדע מוגדר לסרוק את תיקיית המשנה או את תת תיקיית המשנה שאתה סורק קדימה. אם ברצונך לסרוק את כל האתר ולהתחיל מתיקיית משנה ספציפית, וודא שהתצורה מוגדרת לסריקה מחוץ לתיקיית ההתחלה.

טיפ למומחה קידום אתרים

כדי לחסוך זמן ושטח דיסק, יש לזכור משאבים שאולי לא תזדקק להם בזחילה. אתרי אינטרנט מקשרים להרבה יותר מסתם דפים. בטל את סימון המשאבים של תמונות, CSS, JavaScript ו- SWF כדי לצמצם את גודל הסריקה.

 

כיצד לסרוק תיקיית משנה יחידה

אם ברצונך להגביל את הסריקה לתיקיה אחת, פשוט הזן את כתובת האתר ולחץ על התחל מבלי לשנות אף אחת מהגדרות ברירת המחדל. אם החלפת את הגדרות ברירת המחדל המקוריות, אפס את תצורת ברירת המחדל בתפריט 'קובץ'.

אם ברצונך להתחיל את הסריקה שלך בתיקיה ספציפית, אך ברצונך להמשיך לסרוק את שאר תת-הדומיין, הקפד לבחור 'סריקה מחוץ לתיקיית ההתחלה' בהגדרות תצורת הצפרדע לפני שתזין את כתובת ה- URL הספציפית שלך.

כיצד לסרוק קבוצה ספציפית של תת-דומיינים או ספריות-משנה

אם ברצונך להגביל את הסריקה למערכת ספציפית של תת-דומיינים או ספריות-משנה, אתה יכול להשתמש ב- RegEx כדי להגדיר כללים אלה בהגדרות הכללה או אי הכללה בתפריט תצורה.

אי הכללה:

שלב 1:

עבור אל תצורה> אל תכלול; השתמש בביטוי רגיל של תווים כלליים כדי לזהות את כתובות האתרים או הפרמטרים שברצונך לכלול.

 

שלב 2:

בדוק את הביטוי הרגיל שלך כדי לוודא שהוא אינו כולל את הדפים שציפית לכלול לפני שתתחיל את הסריקה שלך.

 

 

אני רוצה רשימה של כל העמודים באתר שלי

כברירת מחדל, הצפרדע מוגדרת לסרוק את כל התמונות, JavaScript,CSS וקבצי הבזק שהצפרדע נתקל בהם. כדי לסרוק HTML בלבד, תצטרך לבטל את הבחירה 'בדוק תמונות', 'בדוק CSS', 'בדוק JavaScript' ו- 'בדוק SWF' בתפריט תצורת עכביש.

הפעלת הצפרדע כשההגדרות הללו לא מסומנות, למעשה תספק לך רשימה של כל העמודים באתר שלך עם קישורים פנימיים המצביעים אליהם.

לאחר סיום הסריקה, עבור לכרטיסייה 'פנימי' וסנן את התוצאות שלך לפי 'HTML'. לחץ על 'ייצא', ותהיה לך הרשימה המלאה בפורמט CSV.

טיפ גם אם אתה מקדם אתרים פרילנסר:

אם אתם נוטים להשתמש באותן הגדרות עבור כל זחילה, Screaming Frog מאפשר כעת לשמור את הגדרות התצורה שלכם:

אני רוצה רשימה של כל הדפים בספריית משנה ספציפית

בנוסף לביטול הבחירה של 'בדוק תמונות'. , 'בדוק CSS', 'בדוק JavaScript' ו- 'בדוק SWF', תרצה גם לבטל את הבחירה 'בדוק קישורים מחוץ לתיקיה' בהגדרות תצורת הצפרדע. הפעלת הצפרדע כאשר ההגדרות הללו לא מסומנות, למעשה תביא לך רשימה של כל העמודים בתיקיית ההתחלה שלך.

 

כיצד למצוא את כל תחומי המשנה באתר ולאמת קישורים פנימיים.

ישנן מספר דרכים שונות למצוא את כל תת-הדומיינים באתר.

שיטה 1:

השתמש בצפרדע כדי לזהות את כל תת-הדומיינים באתר נתון. נווט לתצורה> עכביש, וודא שבחרת בסריקה של כל תת-הדומיינים. ממש כמו לסרוק את כל האתר שלך למעלה, זה יעזור לסרוק כל תת-דומיין שקשור אליו בסריקת האתר. עם זאת, לא תמצאו תת-דומיינים מיותמים או שאינם מקושרים.

שיטה 2:

השתמש ב- Google לזהות את כל באינדקס. תחומי משנה

על ידי שימוש בתוסף Scraper Chrome וכמה מפעילי חיפוש מתקדמים, אנו יכולים למצוא את כל תת-הדומיינים הניתנים לאינדקס עבור דומיין נתון.

שלב 1:

התחל על ידי שימוש באתר: חיפוש ברשת בגוגל כדי להגביל תוצאות לתחום הספציפי שלך. לאחר מכן השתמש במפעיל החיפוש -Inurl כדי לצמצם את תוצאות החיפוש על ידי הסרת הדומיין הראשי. עליך להתחיל לראות רשימה של תת-דומיינים שאונדקסו בגוגל שאינם מכילים את הדומיין הראשי.

לסרטונים נוספים ניתן להיכנס לקורס קידום אתרים החינמי שלנו

שלב 2:

השתמש בתוסף Scraper כדי לחלץ את כל התוצאות לגליון של Google. פשוט לחץ באמצעות לחצן העכבר הימני על ה- URL ב- SERP, לחץ על ייצא למסמך Google.

שלב 3:

ב- Google Doc שלך, השתמש בפונקציה הבאה כדי לקצץ את כתובת האתר לתת-דומיין:

= LEFT (A2, SEARCH ("/", A2,9))

בעיקרון, הנוסחה שלמעלה אמורה לסלק את כל ספריות המשנה, העמודים, או שמות קבצים בסוף אתר. נוסחה זו אומרת בעצם לגליונות או ל- Excel להחזיר את מה שמשמאל לקו הקצה. מספר ההתחלה של 9 הוא משמעותי, מכיוון שאנו מבקשים ממנו להתחיל לחפש חתך אחרי המיקום ה -9. זה אחראי לפרוטוקול: https: // שאורכו 8 תווים.

שכפל את הרשימה והעלה את הרשימה לצפרדע במצב רשימה – אתה יכול להדביק ידנית את רשימת הדומיינים, להשתמש בפונקציית ההדבקה או להעלות CSV.

שיטה 3:

הזן את כתובת האתר, בכלים שעוזרים לך לחפש אתרים שעשויים להיות באותו IP או במנועי חיפוש שתוכננו במיוחד לחיפוש תחומי משנה, כמו FindSubdomains. צור חשבון בחינם כדי להתחבר ולייצא רשימת דומיינים. לאחר מכן העלה את הרשימה לצפרדע באמצעות מצב רשימה.

לאחר שהעכביש סיים לרוץ, תוכלו לראות קודי סטטוס, כמו גם כל הקישורים בדפי הבית של תת-דומיין, טקסט עוגן וכותרות עמודים כפולים.

דברו איתי בווצאפ
שילחו הודעה לווצאפ
מתעניינים בקידום/בניית אתר לעסק שלכם?
דילוג לתוכן