Ինչպես ջնջել կայքը կամ դրա բեկորները Google- ի ինդեքսից

Ըստ Google- ի կողմից ընդունված ինդեքսավորման հայեցակարգի, հաշիվը հաշվի է առնվում տվյալների ամբողջականության, օբյեկտիվության եւ որոնման արդյունքների համապատասխանության ապահովման արդյունքում: Եթե անօրինական բովանդակություն ունեցող կայքը մուտք է գործում ինդեքսը կամ ռեսուրսը նախատեսված է սպամի համար, ապա նման կայքի էջերը չեն նշվի որոնման ընդհանուր տվյալների բազայում: Մենք նաեւ պետք է իմանանք, թե ինչպես հեռացնել կայքը կայքի սերվերի որոնման արդյունքներով:

Google- ի զրոյական ինդեքսավորման տարբերակները

Երբ սողունը, նոր ռեսուրսների մասին տեղեկատվությունը հավաքելու ծրագիրը, էջի էջը կավելացնի էջում, ապա, եթե այն համապատասխանում է Google- ի վերլուծության հետ կապված քաղաքականության պահանջներին, ապա այն կկիրառվի: Բայց մենք նաեւ նկարագրելու ենք, թե ինչպես ջնջել ձեր կայքը կամ առանձին բեկորները որոնման համար, օգտագործելով robots.txt- ին ցուցիչ եւ միաժամանակ որոնման terminator:

Ամբողջ ռեսուրսը թողարկումից բացառելու համար սերվերի արմատային թղթապանակում ստեղծվում է որոշակի տեքստային գոտի, որի վրա տեղադրված է կայքը `վերը նշված robots.txt: Այս գոտին մշակվում է որոնման համակարգերով եւ գործում է ըստ հրահանգների:

Հիշեք, որ Google- ի որոնման համակարգը էջը ինդեքսավորելու է, նույնիսկ եթե օգտվողին թույլ չեն տալիս դիտել: Երբ զննարկիչն արձագանքում է 401 կամ 403 արձագանքին, «Մուտքը վավեր չէ», սա վերաբերում է միայն այցելուներին, այլ ոչ թե այս որոնման սերվերի հավաքագրման ծրագրերին :

Հասկանալ, թե ինչպես ջնջել կայքը որոնման ինդեքսավորման համար, տեքստը ցուցիչին պետք է մուտքագրեք հետեւյալ տողերը.

User-agent: Googlebot

Թույլ չտալ. /

Սա ցույց է տալիս որոնման ռոբոտին, որ արգելվում է կայքի ամբողջ բովանդակությունը ցուցադրել: Ահա թե ինչպես ջնջել Google- ի կայքը, որպեսզի կայքը չի պահպանում ռեսուրս հայտնաբերված կայքերում :

Տարբեր արձանագրությունների համար սկան տարբերակներ

Եթե Ձեզ անհրաժեշտ է ցուցադրել անհատական հաղորդակցման ստանդարտներ, որոնց համար ցանկանում եք կիրառել Google- ի ինդեքսագրման կոնկրետ կանոններ, օրինակ, առանձին http / https հիպերտման արձանագրությունների համար, սա նաեւ պետք է գրվի robots.txt- ում հետեւյալ կերպ (օրինակ):

(Http://yourserver.com/robots.txt) - Ձեր կայքի դոմենի անվանումը (ցանկացած)

User-agent: * - ցանկացած որոնման համար

Թույլատրել / / թույլ տալ ամբողջական ինդեքսավորում

Ինչպես հանել հիպոթեքային արձանագրության համար կայքը հեռացնելուց

(Https://yourserver.com/robots.txt):

User-agent: *

Թույլ չտալ,

Ռեսուրսի URL- ի շտապ հեռացում Google- ի Google- ի որոնումից

Եթե դուք չեք ցանկանում սպասել վերագրանցման համար, եւ կայքը պետք է հնարավորինս շուտ թաքնվի, ես խորհուրդ կտայի օգտագործել http://services.google.com/urlconsole/controller ծառայությունը: Pre-robots.txt- ը պետք է տեղադրվի կայքի սերվերի արմատային գրացուցակում: Հրահանգները պետք է գրվեն այնտեղ:

Եթե նշիչը ինչ-ինչ պատճառներով անհասանելի է արմատային գրացուցակում խմբագրելու համար, բավական է ստեղծել այն այն օբյեկտներով թղթապանակում, որի համար ցանկանում եք թաքցնել որոնման համակարգերից: Երբ դա անում եք եւ դիմեք ավտոմատ ջնջման ծառայությանը հիպերտեքստային հասցեների համար, Google- ը չի ստուգի այն թղթապանակները, որոնք գրված են robots.txt- ում:

Նման անտեսանելիության ժամկետը սահմանվում է 3 ամսվա ընթացքում: Այս ժամանակաշրջանից հետո թողարկումը հեռացվում է Google- ի կողմից:

Ինչպես ջնջել կայքը, մասամբ սկանավորելու համար

Երբ որոնիչը կարդում է robots.txt- ի բովանդակությունը, ապա դրա բովանդակության հիման վրա որոշ որոշումներ են կայացվում: Օրինակ, դուք պետք է բացառեք ցուցադրությունից անատոմ անունով ամբողջ գրացուցակը: Դա անելու համար բավական է գրել նման հրահանգները.

User-agent: Googlebot

Թույլատրեք / / անատոմ

Կամ, օրինակ, ցանկանում եք չհրապարակել նման բոլոր պատկերները: Դա անելու համար ավելացրեք հետեւյալ ցանկը.

User-agent: Googlebot

Թույլ չտալ

Ահա եւս մեկ օրինակ: Եկեք վերացնենք դինամիկ գեներացվող էջերի մասին տեղեկությունները վերլուծությունից, ապա ավելացնել հետեւյալ նշումը սանդղակի վրա.

User-agent: Googlebot

Թույլ չտալու: / *?

Այսպիսով, մոտավորապես, եւ որոնման կանոնները սահմանվում են: Մեկ այլ բան այն է, որ այս ամենը շատ ավելի հարմար է օգտագործել META պիտակը: Իսկ վեբ-վարպետները հաճախ օգտագործում են այնպիսի ստանդարտ, որը կարգավորում է որոնման գործողությունները: Բայց մենք կխոսենք այս մասին հաջորդ հոդվածներում: