כיצד החיפוש מארגן מידע

לפני שאתם מחפשים, סורקי אינטרנט אוספים מידע שמקורו במאות מיליארדי דפי אינטרנט ומארגנים אותו באינדקס החיפוש.

העקרונות הבסיסיים של החיפוש

תהליך הסריקה מתחיל ברשימה של כתובות אינטרנט שמקורה בסריקות קודמות ומפות Sitemap שסופקו על-ידי בעלי אתרים. כשהסורקים מבקרים באתרים האלה, הם משתמשים בקישורים שנמצאים בהם כדי לגלות דפים אחרים. התוכנה נותנת דגש לאתרים חדשים, שינויים באתרים קיימים וקישורים לא פעילים. תוכנות קובעות אילו אתרים יש לסרוק, באיזו תדירות לסרוק אותם וכמה דפים לאחזר מכל אתר.

אנחנו מספקים כלים למנהלי אתרים כדי לתת לבעלי אתרים אפשרות לקבוע באופן ספציפי את האופן שבו Google סורקת את האתר שלהם: הם יכולים לספק הוראות מפורטות לגבי אופן עיבוד הדפים באתר, הם יכולים לבקש סריקה חוזרת והם יכולים להפסיק את הסריקה לחלוטין בעזרת קובץ שנקרא “robots.txt”. בשום מקרה, Google אינה מקבלת תשלום כדי להגביר את תדירות הסריקה של אתר מסוים - אנחנו מספקים את אותם כלים לכל האתרים כדי לוודא שהמשתמשים שלנו יקבלו את התוצאות הטובות ביותר.

חיפוש מידע בעזרת סריקה

רשת האינטרנט היא כמו ספריה שיש בה כבר מיליארדי ספרים ועדיין ממשיכה לגדול – אך אין בה שיטת מיון מרכזית. אנחנו משתמשים בתוכנות שנקראות סורקי אינטרנט כדי למצוא דפים שזמינים לציבור הרחב. הסורקים "קוראים" דפי אינטרנט ו"לוחצים" על קישורים בדפים האלה, בדומה למה שהייתם עושים אם הייתם מחפשים תוכן באינטרנט. הם עוברים מקישור לקישור ומחזירים אל השרתים של Google נתונים לגבי דפי האינטרנט האלה.

ארגון המידע בעזרת אינדקס

כשסורקים מאתרים דף אינטרנט, המערכות שלנו מעבדות את תוכן הדף כפי שעושה דפדפן. אנחנו מחפשים סימנים בעלי חשיבות – ממילות מפתח ועד עדכניות האתר – ושומרים תיעוד של כל המידע הזה באינדקס החיפוש.

האינדקס של חיפוש Google מכיל מאות מיליארדים של דפי אינטרנט, וגודלו עולה על 100,000,000 ג'יגה בייט. אפשר להשוות אותו לאינדקס בחלק האחורי של ספר – יש בו רשומה לכל מילה שמופיעה בכל אחד מדפי האינטרנט שהוספנו לאינדקס. כשאנחנו מוסיפים דף אינטרנט לאינדקס, הוא נוסף לרשומות של כל המילים שהוא מכיל.

 

 

בעזרת תרשים הידע אנחנו ממשיכים לפתח דרכים, מלבד התאמה של מילות מפתח, כדי להבין מהם האנשים, המקומות והדברים שמעניינים אתכם. כדי לעשות את זה, אנחנו מארגנים סוגים שונים של מידע, בנוסף למידע לגבי דפי אינטרנט. כיום, חיפוש Google יכול לעזור לכם לחפש טקסט במיליוני ספרים מספריות מרכזיות, למצוא לוחות זמנים של חברות התחבורה הציבוריות המקומיות שלכם או לעזור לכם לקבל נתונים ממקורות ציבוריים, כמו הבנק העולמי.