מפת אתר XML Cross Domain

תאריך עדכון: 10/07/2017

לפני כחודש התחלתי לעבוד עם לקוח חדש, פורטל גדול עם מאות אלפי עמודים מאונדקסים בגוגל.
התחלתי להריץ את הבדיקות הרגילות שאני עושה בכל קבלת פרויקט קידום אתרים חדש ושמתי לב שישנה ירידה די משמעותית בהפניות מגוגל תמונות לאתר בחצי השנה האחרונה.

כשניסינו לשחזר האם בוצע שינוי כלשהו בתקופה זו לא הצלחנו לעלות על שום דבר עד שתוך כדי שיחה נזרק לאוויר "וכן, התחלנו להשתמש בCDN".

צ'אצינג!! 

הCDN של הלקוח היה מחובר לסאב דומיין images.domain.com ושם אוחסנו כל קבצי המדיה (כולל וידאו) של הפורטל .

למה CDN?

בשביל להבין טוב יותר מהו CDN – צפו בסרטון הקצר הבא וקראו את הפוסט שכתבתי על שיפור מהירות אתר.

למה התמונות לא אונדקסו בגוגל?

קודם כל, התמונות אונדקסו, רק לא תחת הדומיין שרצינו.
היות וכתובות התמונות היו על דומיין נפרד מדומיין האתר – גוגל לא יכול היה לדעת שהפורטל הוא הבעלים של התמונות ולכן לא יכול היה לאנדקס אותן תחת הדומיין שלו.

אבל רגע…הפורטל הוא כן הבעלים של התמונות והוא פשוט השתמש בCDN, למה הוא צריך להיפגע?

הפתרון לאינדוקס תמונות ו/או וידאו CROSS DOMAIN

התשובה היא פשוטה – האתר לא אמור להיפגע (כל עוד עושים את הכל נכון).

גוגל בעצם באים ואומרים לנו דבר פשוט: "אין לנו אפשרות להציג את התמונות תחת הדומיין שלכם כל עוד לא הוכחתם שאתם הבעלים של התמונות".

איך מוכיחים בעלות?

כמה צעדים פשוטים והבעיה נפתרת:

1. בדומיין של הCDN (במקרה שלנו סאב דומיין images.domain.com) נפתח קובץ robots.txt.

2. על הדומיין הראשי (במקרה שלנו הפורטל) שלנו נמקם מפת אתר XML של תמונות המכילה את כל התמונות שבסאב דומיין.

3. מקובץ הrobots של הסאב דומיין נצביע על מפת האתר שנמצאת בדומיין הראשי באופן הבא:

User-agent: *
Sitemap: https://www.domaim.com/sitemap-img.xml

4. מקובץ הrobots של הדומיין הראשי נצביע גם כן על מפת האתר כמו שעשינו בסעיף 3.

5. נשלח את מפת האתר המכילה דרך הsearch console של האתר הראשי (כן, למרות שהיא מכילה כתובות של הסאב דומיין – בשביל זה ביצענו אימות).

6. נמתין שגוגל יאנדקס את התמונות תחת הדומיין שלנו!

לסיכום

הפתרון אותו אני מציע פה יפתור את בעיית הצגת התמונות המאוחסנות על CDN ברוב המקרים (כמובן כאשר זו הבעיה ואין מניעה אחרת).

אם בכל זאת יש לכם בעיה עם אינדוקס של תמונות, כתבו בתגובות או דרך עמוד הצור קשר ואנסה לעזור 🙂