სეზონურმა ბლოგერების უმეტესობამ ნამდვილად იცის რა არის robots.txt და რატომ გჭირდებათ ეს ფაილი. მაგრამ რამდენიმე ავტორი დაუყოვნებლივ ჩქარობს robots.txt ფაილის შექმნას WordPress– ზე ბლოგის დამონტაჟების შემდეგ.
Robots.txt არის ტექსტური ფაილი, რომელიც ატვირთულია თქვენი საიტის ძირეულ კატალოგში და შეიცავს ინსტრუქციებს მცოცავებისთვის. მისი გამოყენების მთავარი მიზანი არის ცალკეული გვერდების და სექციების ინდექსირების აკრძალვა. ამასთან, robots.txt- ის გამოყენებით, თქვენ ასევე შეგიძლიათ მიუთითოთ დომენის სწორი სარკე, განსაზღვროთ გეზი საიტის რუქაზე და ა.შ.
თანამედროვე საძიებო სისტემების უმეტესობამ ისწავლა პოპულარული CMS– ის ნავიგაცია და, როგორც წესი, არ ცდილობს შინაარსის ინდექსაციას, რომელიც ამისთვის არ არის გამიზნული. მაგალითად, Google არ მოახდენს თქვენი WordPress ბლოგის ადმინისტრატორის არეალის ინდექსაციას, მაშინაც კი, თუ მას პირდაპირ რობოტებში არ მიუთითებთ. Robot.txt. ამასთან, ზოგიერთ შემთხვევაში, პირდაპირი აკრძალვების გამოყენება მაინც შეიძლება სასარგებლო იყოს. პირველ რიგში, ჩვენ ვსაუბრობთ დუბლირებული შინაარსის აკრძალვაზე.
ზოგიერთი ვებოსტატერი იქამდე მიდის, რომ კრძალავს კატეგორიის და ტეგიანი გვერდების ინდექსირებას, ვინაიდან მათი შინაარსი ნაწილობრივ ასლის მთავარი გვერდის შინაარსს. მაგრამ უმეტესობა შემოიფარგლება უკუკავშირისა და არხების გვერდების აკრძალვით, რაც მთლიანად ასლის სტატიის შინაარსს და საერთოდ არ არის განკუთვნილი საძიებო სისტემებისთვის. ამგვარი სიფრთხილე არამარტო "სუფთა" გახდის საიტის შედეგებს, არამედ გიშველიებთ ძებნის შესაძლო ფილტრებისგან, განსაკუთრებით ახალი Google Panda ალგორითმის დანერგვის შემდეგ.
აქ მოცემულია მითითებული მითითებები robots.txt ფაილისთვის (ის იმუშავებს თითქმის ნებისმიერი WordPress ბლოგისთვის):
მომხმარებლის აგენტი: * აკრძალვა: /wp-login.php აკრძალვა: /wp-register.php აკრძალვა: /xmlrpc.php აკრძალვა: / wp-admin აკრძალვა: / wp- მოიცავს დაშვება: / wp-content / plugins აკრძალვა: / wp-content / cache აკრძალვა: / wp-content / themes აკრძალვა: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
გთხოვთ გაითვალისწინოთ, რომ robots.txt ინდექსაციისთვის ადმინისტრაციული საქაღალდეები wp-admin და wp- მოიცავს მთლიანად დახურულია. Wp-content საქაღალდე მხოლოდ ნაწილობრივ არის დახურული, რადგან იგი შეიცავს ატვირთვის კატალოგს, რომელიც შეიცავს თქვენი ბლოგის ყველა სურათს, რომელიც უნდა იყოს ინდექსაციური.
თქვენ მხოლოდ უნდა დააკოპიროთ მითითებები ზემოთ მოცემული კოდექსიდან (გაითვალისწინეთ, რომ თითოეული დირექტივა უნდა დაიწეროს ახალ სტრიქონზე), შეინახეთ ტექსტურ ფაილში, სახელწოდებით robots.txt და ატვირთეთ თქვენი საიტის ძირეულ დირექტორიაში.
ყოველთვის შეგიძლიათ შეამოწმოთ, მუშაობს თუ არა სწორად robots.txt Google Webmaster Tools და Yandex Webmaster ინტერფეისების საშუალებით.
