מידע על Google למנהלי אתרים

אתה צריך להסיר תוכן מהאינדקס של Google?

מבחינת Google, היקף תוצאות החיפוש שלנו בא עדיפות עליונה. אנו מחויבים לספק למשתמשינו תוצאות חיפוש יסודיות וללא משוא פנים; לפיכך, איננו יכולים להשתתף בצנזורה מכל סוג שהוא. אנו מפסיקים לכלול דפי אתר באינדקס רק על-פי בקשת מנהל אתר האחראי לדפים אלה, כאשר האתר מציף את האינדקס בהודעות ספאם או אם הדבר נדרש בהתאם החוק. מדיניות זו הכרחית על-מנת להבטיח שדפים לא יוסרו באופן בלתי הולם מהאינדקס שלנו.

אפשרויות הסרה

אנא בחר באחת האפשרויות שלהלן לקבלת הוראות. ההסרה תיכנס לתוקף בפעם הבאה ש- Google יסרוק את האתר שלך.

הסר את כל האתר שלך
הסר חלק מהאתר שלך
הסר קטעים
הסר דפים מאוחסנים במטמון
הסר קישור לא מעודכן ("מת").
הסר תמונה מחיפוש התמונות של Google

הסר את כל האתר שלך

אם ברצונך שלא לכלול את כל האתר שלך באינדקס של Google, תוכל להציב קובץ בשם robots.txt ברמת הבסיס של השרת. זהו הפרוטוקול הסטנדרטי שאותו מבינים רוב סורקי האינטרנט, לשם אי-הכללת שרת אינטרנט או ספריה באינדקס. מידע נוסף על robots.txt זמין כאן: http://www.robotstxt.org/wc/norobots.html (קישור לאתר באנגלית). אנא שים לב ש- Googlebot אינו מפרש תגובה 401/403 ("לא מורשה"/"אסור") להבאת robots.txt כבקשה שלא לסרוק דפים כלשהם באתר.

על-מנת להסיר את האתר שלך ממנועי חיפוש ולמנוע מכל הרובוטים לסרוק אותו בעתיד, הצב את הקובץ robots.txt ברמת הבסיס של השרת שלך:

User-agent: * Disallow: /

על-מנת להסיר את האתר מ- Google בלבד ולמנוע מ- Googlebot בלבד מלסרוק אותו בעתיד, הצב את קובץ robots.txt הבא ברמת הבסיס של השרת שלך:

User-agent: Googlebot Disallow: /

כל יציאה חייבת להיות בעלת קובץ robots.txt משלה. אם אתה מגיש תוכן הן באמצעות http והן באמצעות https, תזדקק באופן מיוחד לקובץ robots.txt נפרד עבור כל אחד מפרוטוקולים אלה. לדוגמא, כדי לאפשר ל- Googlebot לכלול באינדקס את כל דפי ה- http אבל לא את דפי ה- https, עליך להשתמש בקבצי ה-robots.txt שלהלן.

עבור פרוטוקול http (http://yourserver.com/robots.txt):

User-agent: * Allow: /

עבור פרוטוקול shttp (https://yourserver.com/robots.txt):

User-agent: * Disallow: /

הערה:אם את סבור שבקשתך דחופה ולא תוכל להמתין עד לפעם הבאה שבה Google יסרוק את האתר, השתמש באפשרות automatic URL removal system (הדף באנגלית בלבד). כדי שתהליך ממוכן זה יפעל, מנהל האתר ליצור ולהציב תחילה קובץ robots.txt באתר המדובר.

Google ימשיך שלא לכלול את האתר או הספריות שלך בסריקות עתידיות, אם הקובץ robots.txt קיים ברמת הבסיס של השרת. אם אין לך גישה לרמת הבסיס של השרת, ניתן להציב את הקובץ robots.txt ברמה שבה מצויים הקבצים שברצונך להסיר. פעולה זו ושליחה באמצעות מערכת הסרת כתובת האתר האוטומטית, תגרום להסרה זמנית בת 180 יום של האתר מהאינדקס של Google, גם אם תסיר את הקובץ robots.txt לאחר קבלת בקשתך. פעולה זו ושליחה באמצעות מערכת הסרת כתובות האתר האוטומטית, תגרום להסרה זמנית של הספריות המפורטות בקובץ robots.txt מהאינדקס של Google, למשך 180 יום, גם אם תסיר את הקובץ robots.txt לאחר קבלת בקשתך. (שמירת הקובץ robots.txt באותה רמה תחייב אותך לחזור למערכת הסרת כתובות האתר כל 180 יום, על-מנת להורות מחדש על הסרה).

הסר חלק מהאתר שלך

אפשרות 1: Robots.txt

להסרת ספריות או דפים פרטניים של אתר האינטרנט, תוכל להציב את הקובץ robots.txt ברמת הבסיס של השרת. לקבלת מידע על אופן יצירת קובץ robots.txt, ראה The Robot Exclusion ardStand (קישור לאתר באנגלית). בעת יצירת קובץ robots.txt, אנא זכור את הדברים הבאים: כאשר הוא מחליט על אילו דפים לסרוק במארח מסוים, Googlebot מציית לרשומה הראשונה בקובץ robots.txt הכוללת סוכן משתמש המתחיל ב-"Googlebot". אם ערך כזה אינו קיים, הוא יציית לרשומה הראשונה עם סוכן משמש "*". בנוסף, Google יכול לכלול גמישות גדולה יותר בקובץ הסטנדרטי robots.txt באמצעות שימוש בכוכביות. דפוסים אסורים עשויים לכלול "*" כדי להתאים לכל רצף של תווים, ודפוסים יכולים להסתיים ב-"$" כדי לציין סוף שם.

להסרת כל הדפים בספריה מסוימת, (לדוגמה, lemurs), השתמש בערך הבא בקובץ robots.txt:

User-agent: Googlebot Disallow: /lemurs

להסרת כל הקבצים מסוג מסוים, (לדוגמה, .gif), השתמש בערך הבא בקובץ robots.txt:

User-agent: Googlebot Disallow: /*.gif$

להסרת דפים המיוצרים בצורה דינמית, השתמש בערך הבא בקובץ robots.txt:

User-agent: Googlebot Disallow: /*?

אפשרות 2: תגי Meta

סטנדרד נוסף, העשוי להיות נוח יותר לשימוש בדפים נפרדים, כרוך בהוספת התג <META> לדף HTML, על-מנת להורות לרובוטים לא לכלול דף זה באינדקס. סטנדרד זה מתואר באתר http://www.robotstxt.org/wc/exclusion.html#meta (קישור לאתר באנגלית).

על-מנת למנוע מכל הרובוטים לכלול דף מהאתר שלך באינדקס, עליך להציב תג meta במקטע <HEAD> של הדף:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

על-מנת לאפשר לרובוטים אחרים לכלול את הדף באינדקס שלך, ולמנוע רק מהרובוטים של Google לכלול את הדף באינדקס, עליך להשתמש בתג הבא:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

כדי לאפשר לרובוטים לכלול את הדף באינדקס, אולם להורות להם שלא לעקוב אחרי קישורים יוצאים, עליך להשתמש בתג הבא:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

הערה:אם אתה סבור שבקשתך דחופה ואינה יכולה להמתין עד לפעם הבאה שבה Google יסרוק את האתר, השתמש באפשרות automatic URL removal system (הדף האנגלית בלבד). כדי שהתהליך הממוכן יפעל, מנהל האתר חייב להוסיף תחילה את תגי ה-meta המתאימים אל תוך קוד דף ה-HTML. פעולה זו ושליחה באמצעות מערכת ההסרה האוטומטית של כתובות אתר, תגרום להסרה זמנית של דפים מהאינדקס של Google, למשך 180 יןם, גם אם תסיר את הקובץ ה-robots.txt ואת תגי ה-meta לאחר הפעלת בקשתך.

הסר מקטעים

מקטע הוא טקסט מבוא המופיע מתחת לכותרת הדף בתוצאות החיפוש שלנו ומתאר את תוכן הדף.

על-מנת למנוע מ- Google להציג מקטעים עבור הדף, הצב תג זה בחלק <HEAD> של הדף:

<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET">

הערה: הסרת מקטעים מסירה גם דפים המאוחסנים במטמון.

הערה:אם אתה סבור שבקשתך דחופה ולא יכולה להמתין עד לפעם הבאה שבה Google יסרוק את האתר, השתמש באפשרות automatic URL removal system (הדף באנגלית בלבד). כדי שהתהליך הממוכן יפעל, מנהל האתר חייב להוסיף תחילה את תגי ה-meta המתאימים בקוד ה-HTML של הדף.

הסר דפים מאוחסנים במטמון

Google מבצע "צילום" אוטומטי של כל דף אותו הוא סורק, ומוסיף אותו לארכיון. גרסת "מטמון" זו מאפשרת למשתמשי הקצה שלך לאחזר דף אינטרנט מסוים אם הדף המקורי אינו זמין (בשל כשל זמני של השרת שבו מצוי הדף). הדף המאוחסן במטמון מוצג למשתמשים בדיוק כפי שנראה בפעם האחרונה ש- Google סרק אותו, ובחלקו העליון של הדף מוצגת הודעה המציינת שזו גרסת מטמון. משתמשים יכולים לגשת לגרסת המטמון על-ידי בחירה בקישור "מטמון" בדף תוצאות החיפוש.

על-מנת למנוע ממנועי חיפוש להציג קישור "מאוחסן במטמון" של האתר, הצב תג זה בחלק <HEAD> של הדף:

הערה: תג זה מסיר רק את הקישור ה"מאוחסן במטמון" של הדף. Google ימשיך לכלול את הדף באינדקס ולהציג מקטע.

Google מעדכן את האינדקס כולו דרך קבע, באופן אוטומטי. כשאנו סורקים את האינטרנט אנו מוצאים דפים חדשים, נפטרים מקישורים מתים ומעדכנים קישורים באופן אוטומטי. קרוב לוודאי שקישורים שאינם מעודכנים כעת "יתפוגגו" מהאינדקס במהלך הסריקה הבאה.

להסרת כל התמונות שבאתר מהאינדקס שלנו, הצב את קובץ ה-robots.txt שלהלן ברמת הבסיס של השרת:

זהו הפרוטוקול הסטנדרטי אשר רוב סורקי האינטרנט מבינים לאי-הכללת שרת אינטרנט או ספריה באינדקס. מידע נוסף על robots.txt ניתן למצוא כאן: http://www.robotstxt.org/wc/norobots.html (קישור לאתר באנגלית).