Нямате търпение новото ви съдържание да бъде индексирано? Уморихте се да чакате за индексиране на страница от Google? Помогнете му, като се уверите, че страниците ви са достъпни за обхождане.

Научете защо е толкова трудно да се прецени колко време може да отнеме индексиране на страница от Google и какво можете да направите, за да ускорите нещата.

Индексирането е процесът на изтегляне на информация от вашия уебсайт, категоризирането ѝ и съхраняването ѝ в база данни. Тази база данни – индексът на Google – е източникът на цялата информация, която можете да намерите чрез търсенето в Google.

Страници, които не са включени в индекса, не могат да се появят в резултатите от търсенето, независимо колко добре отговарят на дадена заявка.

Да предположим, че наскоро сте добавили нова страница в блога си. В новата си публикация обсъждате актуална тема с надеждата, че тя ще ви осигури много нов трафик. Но преди да можете да видите как се справя страницата в търсенето на Google, трябва да изчакате тя да бъде индексирана.

И така, колко точно време отнема процесът по индексиране на страница от Google? И кога трябва да започнете да се притеснявате, че липсата на индексиране може да сигнализира за технически проблеми на сайта ви?

Нека проучим въпроса!

Колко време отнема индексиране на страница от Google?

Индексът на Google съдържа стотици милиарди уеб страници и заема над 100 милиона гигабайта памет.

Освен това Google не ограничава броя на страниците на даден уебсайт, които могат да бъдат индексирани. Въпреки че някои страници могат да имат приоритет в опашката за индексиране, като цяло не се налага страниците да се конкурират за него.

Все трябва да има място за още една малка страница в тази колосална база данни, нали? Няма нужда да се притеснявате за записа в блога си? За съжаление, може да се наложи.

Google признава, че не всяка страница, обработена от нейните обхождащи устройства, ще бъде индексирана.

През януари 2021 г. Джон Мюлер, адвокат по въпросите на търсенето в Google, хвърли светлина по темата. Той разкри, че е съвсем нормално Google да не индексира всички страници на голям уебсайт.

Мюлер обясни, че предизвикателството за Google е да се опитва да балансира между желанието да индексира възможно най-много съдържание и преценката дали то ще бъде полезно за потребителите на търсачката.

Ето защо в много случаи неиндексирането на дадена част от съдържанието е стратегически избор на Google.

Google не иска в индекса му да попадат страници с ниско качество, дублирано съдържание или страници, които е малко вероятно да бъдат търсени от потребителите. Най-добрият начин да не допускате спам в резултатите от търсенето е да не го индексирате.

Но ако поддържате публикациите в блога си ценни и полезни, те ще се индексират, нали? Отговорът е сложен, тъй като е изчислено, че  средно 16% от ценните и индексируеми страници в популярни уебсайтове никога не се индексират.

Има ли гаранция, че страницата ви ще бъде индексирана от Google?

Както може би вече сте се досетили от заглавието на тази статия, няма окончателен отговор на този въпрос за индексирането. Няма да можете да си зададете напомняне в календара за деня, в който публикацията ви в блога трябва да бъде индексирана, за да проверите дали това е станало.

Но много хора са задавали същия въпрос и преди, като са призовавали Googlе експертите и опитните SEO професионалисти да дадат някои съвети. Според тях индексирането на дадена страница може да отнеме от няколко часа до няколко седмици, като повечето добро съдържание се улавя и индексира в рамките на около седмица. Проведени изследвания показват, че средно 83% от страниците се индексират в рамките на първата седмица от публикуването им.

Някои страници обаче трябва да чакат до осем седмици, за да бъдат индексирани. Разбира се, това се отнася само за страниците, които в крайна сметка се индексират.

Какво значи търсене и бюджет за обхождане?

За да бъде открита и индексирана нова страница в блога ви, Googlebot трябва да претърси блога.

Колко често Googlebot претърсва вашия уебсайт със сигурност влияе върху това колко бързо ще бъде индексирана новата ви страница, а това зависи от естеството на съдържанието и честотата, с която то се актуализира.

Новинарските уебсайтове, които публикуват ново съдържание изключително често, трябва и да бъдат претърсвани често. Рядко ще бъде претърсван сайт за историята на ковачеството например, тъй като е малко вероятно съдържанието му да се обновява много ежедневно или ежеседмично.

Google автоматично определя колко често да обхожда един сайт. По време на първоначалното обхождане търсачката проверява за какво се отнася сайтът и кога е бил актуализиран за последен път.

Решението за по-често или по-рядко обхождане на сайта няма нищо общо с качеството на съдържанието – решаващият фактор е предполагаемата честота на актуализациите.

Вторият важен фактор е честотата на обхождане. Това е броят на заявките, които Googlebot може да направи, без да претовари вашия сървър.

Ако хоствате блога си на сървър с ниска пропускателна способност и Googlebot забележи, че сървърът се забавя, той ще се приспособи и ще намали скоростта на обхождане.

От друга страна, ако сайтът реагира бързо, лимитът се увеличава и Googlebot може да обхожда повече URL адреси.

Какво трябва да се случи, преди индексиране на страница от Google?

Тъй като индексирането отнема време, човек може да се запита как точно се изразходва това време? Как информацията от вашия уебсайт се категоризира и включва в индекса на Google?

Нека да обсъдим събитията, които трябва да се случат преди индексирането.

1. Откриване на съдържание

Нека се върнем към примера, в който сте публикували нов запис в блога. Googlebot трябва да открие URL адреса на тази страница в първата стъпка от процеса на индексиране.

Това може да стане чрез:

• Следвайки вътрешните връзки, които сте предоставили на други страници на блога си.
• Следвайки външни връзки, създадени от хора, които са намерили новото ви съдържание за полезно.
• Преминаване през XML картата на сайта, която сте качили в Google Search Console.
• Фактът, че страницата е била открита, означава, че Google знае за нейното съществуване и URL адрес.

2. Претърсване

Претърсването е процесът на посещение на URL адреса и извличане на съдържанието на страницата.
По време на обхождането Googlebot събира информация за основната тема на дадена страница, какви файлове съдържа тази страница, какви ключови думи се появяват на нея и т.н.

След като открие връзки на дадена страница, обхождащият робот ги проследява до следващата страница и цикълът продължава. Важно е да запомните, че Googlebot следва правилата, създадени от robots.txt, така че няма да обхожда страници, блокирани от директивите, които сте предоставили в този файл.

3. Изобразяване

То трябва да се осъществи, за да може Googlebot да разбере както съдържанието на JavaScript, така и изображенията, аудио- и видеофайловете. Тези видове файлове винаги са били по-голяма трудност за Google, отколкото HTML.

Застъпникът на разработчиците на Google, Мартин Сплит, сравнява рендирането с приготвянето на ястие. В тази метафора първоначалният HTML файл на уебсайта с връзки към друго съдържание е рецептата. Можете да натиснете F12 на клавиатурата си, за да я видите в браузъра си.

Всички ресурси на уебсайта, като CSS, JavaScript файлове, изображения и видеоклипове, са съставките, необходими за придаване на окончателния вид на уебсайта.
Когато уебсайтът достигне това състояние, имате работа с визуализиран HTML, по-често наричан Document Object Model. Сплит казва, че изпълнението на JavaScript е най-първият етап на визуализация, защото JavaScript работи като рецепта в рецептата.
В недалечното минало Googlebot индексираше първоначалната HTML версия на дадена страница и оставяше JavaScript рендирането за по-късно поради скъпото и времеемко естество на процеса. В SEO индустрията това явление се наричаше “две вълни на индексиране”. Сега обаче изглежда, че тези две вълни вече не са необходими. В днешно време почти всеки нов уебсайт преминава през етапа на рендиране по подразбиране.

Една от целите на Google е обхождането, визуализацията и индексирането да се случват по-близо едно до друго.

Можете ли ускорите процеса по индексиране на страница от Google?

Не можете да принудите Google да индексира новата ви страница.

Колко бързо ще се случи това, също е извън вашия контрол. Можете обаче да оптимизирате страниците си така, че откриването и обхождането да протичат възможно най-гладко.

Ето какво трябва да направите:

1. Уверете се, че страницата може да се индексира

Има две важни правила, които трябва да спазвате, за да поддържате страниците си индексируеми:
1.1. Трябва да избягвате блокирането им чрез robots.txt или директивата noindex.

Robots.txt е файл, съдържащ инструкции за роботите, които посещават сайта ви. Можете да го използвате, за да посочите на кои роботи не е позволено да посещават определени страници или папки. Всичко, което трябва да направите, е да използвате директивата disallow.

Например, ако не искате роботите да посещават страници и файлове в папката със заглавие “пример”, вашият файл robots.txt трябва да съдържа следните директиви:

User-agent: *

Disallow: /example/

Понякога е възможно по погрешка да блокирате индексирането на ценни страници от Googlebot. Ако се притеснявате, че страницата ви не се индексира поради технически проблеми, непременно трябва да погледнете своя robots.txt.

Googlebot е учтив и няма да предаде на конвейера за индексиране нито една страница, за която му е казано да не се индексира. Начин да изразите такава заповед е да поставите директива noindex:

X-Robots-tag в HTTP заглавието на отговора на URL адреса на страницата ви.

Мета-robots таг в секцията <head> на вашата страница.

Уверете се, че тази директива не се появява на страници, които трябва да бъдат индексирани.

Както обсъдихме, Google иска да избегне индексирането на дублиращо се съдържание. Ако открие две страници, които изглеждат като копия една на друга, вероятно ще индексира само едната от тях.

 1.2. Трябва да маркирате каноничната версия на дадена част от съдържанието с каноничен таг.

Каноничният таг е създаден, за да се избегнат недоразумения и да се насочи незабавно Googlebot към URL адреса, който собственикът на уебсайта счита за оригиналната версия на страницата.

Не забравяйте, че изходният код на страницата, която искате да присъства в индекса на Google, не трябва да сочи към друга страница като канонична.

2. Подаване на карта на сайта

Картата на сайта съдържа списък с всички URL адреси на вашия уебсайт, които искате да бъдат индексирани (до 50 000).
Можете да я изпратите в Google Search Console, за да помогнете на Google да открие картата на сайта по-бързо.
С картата на сайта улеснявате Googlebot да открие страниците ви и увеличавате шанса той да обходи тези, които не е намерил, докато е следвал вътрешните връзки.

Добра практика е да направите препратка към картата на сайта във вашия файл robots.txt.

Помолете Google да претърси отново страниците ви

Можете да поискате обхождане на отделни URL адреси с помощта на инструмента за инспектиране на URL адреси, наличен в Google Search Console.

Това все още няма да гарантира индексиране и ще ви е необходимо известно търпение, но е още един начин да се уверите, че Google знае за съществуването на вашата страница.

3. Предотвратяване на претоварването на сървъра на вашия сайт

И накрая, не забравяйте да осигурите добра пропускателна способност на вашия сървър, така че Googlebot да не намали скоростта на обхождане на вашия уебсайт.

Избягвайте да използвате доставчици на споделен хостинг и не забравяйте редовно да правите стрес-тестове на сървъра си, за да сте сигурни, че може да се справи с работата.

Обобщение

• Невъзможно е да се предвиди с точност колко време ще отнеме процеса за индексиране на страницата от Google (или дали изобщо ще се случи), защото Google не индексира цялото съдържание, което обработва.

• Обикновено индексирането се случва от часове до седмици след публикуването.

• Най-голямата пречка за индексирането е незабавното обхождане.

• Ако съдържанието ви отговаря на праговете за качество и няма технически пречки за индексиране, трябва да обърнете внимание преди всичко на това как Googlebot обхожда сайта ви, за да индексира бързо свежото съдържание.

• Преди страницата да бъде пренасочена към канала за индексиране, Googlebot я обхожда и в много случаи визуализира вградените изображения, видеоклипове и JavaScript елементи.

• Уебсайтовете, които се променят по-често и следователно имат по-висока нужда от обхождане, се претърсват по-често.

• Когато Googlebot посети вашия уебсайт, той ще съобрази честотата на обхождане въз основа на броя на заявките, които може да изпрати към вашия сървър, без да го претовари. Затова си струва да се погрижите за добра пропускателна способност на сървъра.

• Не блокирайте Googlebot в robots.txt, защото тогава той няма да обхожда страниците ви.

• Не забравяйте, че Google също така се съобразява с метатага noindex robots и обикновено индексира само каноничната версия на URL адреса.

Ако всичко, което разказахме в статията, ви се струва твърде сложно и времеемко, винаги можете да се обърнете към професионалист. Ние от Дигитална агенция Technocomp с радост ще ви съдействаме! Нашата техническа поддръжка и SEO оптимизация включва всичко от гореизброеното.