מהו תקציב זחילה ואיך גוגל מתייחסים אליו?

אז..אני לא נוהג לעשות את זה בד"כ אבל הפעם מדובר בנושא שנוי במחלוקת והחלטתי שיהיה הכי טוב להביא את ההתייחסות הרשמית הראשונה ולתרגם את הפוסט של גארי איליס בנושא תקציב זחילה (וודאי כאשר הפוסט הגיע כתגובה לשרשור הציוצים שלי איתו ולמרות שאליאבוס הקדים אותי).

אז מכאן – זהו התרגום שלי לפוסט המקורי מאנגלית:

לאחרונה, שמענו כמה הגדרות שונות למונח "תקציב זחילה", בכל אופן, אין לנו מונח יחיד שיתאר את כל מה שכולם מתכוונים אליו.
בפוסט הזה אנו נבהיר מהו בדיוק תקציב זחילה ומה המשמעות שלו עבור הזחלן של גוגל.

קודם כל, נרצה להדגיש שתקציב זחילה, כמו שמתואר למטה, הוא לא משהו שרוב בעלי האתרים צריכים לדאוג לגביו.
אם נראה שעמודים חדשים באתר נסרקים באותו יום בו הם פורסמו, תקציב זחילה הוא לא דבר שבעלי האתרים האלה צריכים להתמקד בו.
בנוסף, אם לאתר יש פחות מכמה אלפי עמודים, לרוב הוא יסרק באופן יעיל.

קביעת סדר עדיפויות לאילו עמודים לסרוק, מתי וכמה משאבי אחסון השרת יכול להקדיש לסריקה היא חשובה יותר עבור אתרים גדולים או אלה שמייצרים באופן אוטומטי עמודים מבוססי פרמטרים (לדוגמה).

 

הגבלת קצב סריקה

גוגלבוט תוכנת להיות "האזרח הטוב של הרשת".
זחילת עמודים היא בראש סדר העדיפויות שלו תוך כדי ווידוא כי אינו פוגע בחוויית הגולשים המשתמשים באתר.
אנו קוראים לזה "הגבלת תקציב זחילה", אשר מגביל את כמות סריקת העמודים המקסימלית לאתר נתון.

בפשטות, מספר זה מייצג את כמות החיבורים המקבילים שגוגלבוט יכול להשתמש בהם על מנת לסרוק אתר, וגם את הזמן שהוא ממתין בין סריקה לסריקה.
קצב הזחילה יכול לעלות ולרדת בהתבסס על כמה פקטורים:

• בריאות הזחילה: אם האתר מגיב במהירות רבה, הגבול יעלה למעלה, כלומר יהיה ניתן להשתמש ביותר חיבורים במקביל על מנת לסרוק את האתר.
  אם מהירות האתר נמוכה או שמקבלים שגיאות שרת, הגבול ירד, כלומר גוגלבוט יסרוק פחות עמודים באתר.
• הגבלות שהוגדרו בSearch Console: בעלי אתרים יכולים להוריד את קצב הזחילה של גוגל בוט אצלם באתר.
  חשוב לציין שהגגדרות מגבלות גבוהות יותר לא יביאו לעלייה בקצב הזחילה באופן אוטומטי.

זחילה על פי דרישה

אפילו אם תקציב הזחילה לא נוצל באופן מלא, אם אין יש מעט מה לאנדקס באתר, תהיה פעילות נמוכה של גוגלבוט.
שני פקטורים שמשפיעים באופן משמעותי על דרישת הזחילה:

• פופולריות: עמודים שיותר פופולריים באינטרנט נוטים להיסרק באופן תכוף יותר על מנת לשמור אותם מעודכנים באינדקס שלנו.
• התיישנות (במקור: מעופש): המערכת שלנו מנסה למנוע מכתובות URL להתיישן ולהפוך למעופשות.

בנוסף, שינויים רוחביים באתר כמו העברת אתר עלולים להוות טריגר להעלאת קצב הזחילה על מנת לאנדקס את כתובות הURL החדשות.

שני המונחים האלה, קצב זחילה ודרישת זחילה יחד הן מה שאנו מגדירים "תקציב זחילה" – מספר הכתובות שגוגלבוט יכול ורוצה לסרוק.

כמה מילים שלי

מניסיון, קידום אתרים לאתרי חדשות או לאתרי מסחר אלקטרוני גדולים דורש אופטימיזציה לתקציב הזחילה.
עלינו לעזור לגוגל להבין מהם העמודים החשובים באתר ולמנוע ממנו לגשת לעמודים שאינם רלוונטיים לו.

בזמן שאתם בודקים את האתרים שלכם, אני אמשיך להתרגש מהעובדה שגארי איליס כתב פוסט במיוחד בשבילי 🙂