Як Пошук упорядковує інформацію

Перш ніж ви починаєте шукати, веб-сканери збирають інформацію із сотень мільярдів веб-сторінок і впорядковують її в індексі Пошуку.

Основи Пошуку

Процес сканування починається зі списку веб-адрес, просканованих раніше, і файлів sitemap, які надають власники веб-сайтів. Коли сканери перевіряють ці веб-сайти, вони переходять за посиланнями на них, щоб знайти інші сторінки. Програмне забезпечення приділяє особливу увагу новим сайтам, змінам на наявних сайтах і недійсним посиланням. Комп’ютерні програми визначають, які сайти сканувати, як часто та скільки сторінок із кожного сайту слід завантажувати.

Завдяки інструментам для веб-майстрів власники сайтів можуть вибрати, як Google сканує їхні сайти. Вони можуть надати детальні вказівки щодо обробки сторінок на своїх сайтах, надіслати запит на повторне сканування або взагалі відмовитися від сканування, скориставшись файлом robots.txt. Google ніколи не приймає платежі за частіше сканування сайтів. Щоб користувачі могли отримували найкращі результати, усім веб-сайтам надаються однакові інструменти.

Як Google шукає інформацію за допомогою сканування

Інтернет – це наче бібліотека з мільярдами книг без централізованої картотеки. Для пошуку загальнодоступних веб-сторінок Google використовує програмне забезпечення, відоме як веб-сканери. Сканери переглядають веб-сторінки та переходять за вказаними на них посиланнями подібно до того, як користувачі переглядають вміст в Інтернеті. Вони перевіряють кожне посилання й надсилають дані про ці веб-сторінки на сервери Google.

Упорядкування інформації за допомогою індексування

Коли сканери знаходять веб-сторінку, наші системи відображають її вміст, як це робить веб-переглядач. До уваги беруться основні фактори – від ключових слів до новизни веб-сайту – і відстежуються в індексі Пошуку.

Індекс Пошуку Google містить сотні мільярдів веб-сторінок і займає понад 100 000 000 ГБ. Це немов алфавітний покажчик у кінці книги із записом для кожного слова на веб-сторінках, які ми індексуємо. Під час індексації веб-сторінки Google додає вісі слова, що на ній містяться.

 

 

Мережа знань дає змогу розширити відповідність ключових слів, щоб краще розуміти, які люди, місця та речі цікавлять користувача найбільше. Для цього ми не лише впорядковуємо інформацію про веб-сторінки, але й інші типи інформації. Сьогодні в Пошуку Google можна шукати текст із мільйонів книг у великих бібліотеках, дізнаватися час поїздок у місцевих громадських компаній-перевізників або переглядати дані із загальнодоступних джерел, як-от зі Світового банку.