powykovux robotivДля будь-яких гостей бажано створювати правила, щоб не влаштовувати в своєму будинку бедлам.

Приємно усвідомлювати, що є можливість керувати роботами пошукових систем Яндекса, Гугла, Бінга і інших – вони зобов’язані індексувати ваш сайт згідно написаним правилам. Вами написаними).

Правила поведінки (індексування) роботів пошукових систем прописані в маленькому, скромному файлі – robots.txt. Значення файлу велике, так як він вказує що саме необхідно індексувати на сайті. Що дозволяє уникнути дублів індексації сторінок, спливання яких або матеріалів, не призначених для громадськості і т.д. Маленький файл є сильним і значущим інструментом seo.

Спочатку я використовував плагін для створення robots.txt. Плагін безкоштовний, скачується і встановлюється без проблем. Створює і розміщує в автоматичному режимі. Також надає можливість редагувати файл robots.txt. Це плагін – PC Robots.txt. Але якщо можна уникнути використання плагіна, то необхідно це зробити.

Файл robots.txt можна створити в звичайному блокноті.

Основні директиви в файлі це User-Agent, Disallow, Host.

User-Agent – показує для якого робота ПС встановлені правила індексування блогу
Disallow – директива заборони
Host – директива дозволяє уникнути проблем з дзеркалами сайту.

Можна ще використовувати і Allow – деректіви роздільна індекс. Але сама по собі дана функція трохи безглузда, так як файл robots.txt файл показує на виключення, на те, що ви хочете виключити з індексації.

User-Agent. Фактично у файлі їх тільки 2, Yandex та *. Яндекс як зазвичай виділився, а всім іншим цілком затишно і в «общазі».

Disallow. Зміст залежить тільки від вас і вашого сайту. Вказувати необхідно те, що слід закрити від індексації. Наприклад Disallow: / wp-content/plugins – закриваєте від індексації папку з плагінами. Так як нічого її індексувати).

Host – важлива директива для User-agent: Yandex, яка вказує на головне дзеркало сайту (www.site.ru або site.ru). З директивою Disallow не пов’язана. Вказується в кінці, після списку виключень.

Існує ще додатковий синтаксис, так наприклад # дозволяє залишати коментарі до рядку, що не заважають працювати пошуковим роботам, наприклад Disallow: / wp-content/plugins # здравствуйте роботи)). З нового рядка дію синтаксичного знака закінчується. Але я вважаю синтаксис зайвим і не цілком функціональним, так що і затримуватися на ньому не буду.
По створенню даного файлу можна і дисертацію захистити)), але по-моєму це втрата часу.

Отже … після нетривалих пошуків у мене вийшло наступне

User-agent: Yandex
Disallow: / wp-login.php
Disallow: / wp-register.php
Disallow: / xmlrpc.php
Disallow: / template.html
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: / wp-content/plugins
Disallow: / wp-content/gt-cache
Disallow: / wp-content/cache
Disallow: / wp-content/themes
Disallow: / wp-trackback
Disallow: / wp-feed
Disallow: / wp-comments
Disallow: * / trackback
Disallow: * / feed
Disallow: * / comments
Disallow: / tag
Disallow: / category
Disallow: / archive
Disallow: * / trackback /
Disallow: * / feed /
Disallow: * / comments /
Disallow: /? Feed =
Disallow: /? S =
Host:  Ваш сайт

User-Agent: MJ12bot
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp-login.php
Disallow: / wp-content/gt-cache

User-agent: *
Allow: / wp-content/uploads /
Disallow: / wp-login.php
Disallow: / wp-register.php
Disallow: / xmlrpc.php
Disallow: / template.html
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: / wp-content/plugins
Disallow: / wp-content/cache
Disallow: / wp-content/gt-cache
Disallow: / wp-content/themes
Disallow: / wp-trackback
Disallow: / wp-feed
Disallow: / wp-comments
Disallow: * / trackback
Disallow: * / feed
Disallow: * / comments
Disallow: / tag
Disallow: / category
Disallow: / archive
Disallow: * / trackback /
Disallow: * / feed /
Disallow: * / comments /
Disallow: /? Feed =
Disallow: /? S =
Sitemap: http://Ваш сайт /sitemap.xml

В принципі нічого незвичайного, стандарний robots.txt. Всі директиви пишуться з нового рядка. Директиви для різних агентів в стовпці розділені порожнім рядком. Нічого складного. Є звичайно нюанси, але не значущі).

При копіюванні не забудьте змінити директиви host і Sitemap на свої, і виключити директиву Disallow:/wp-content/gt-cache, так як вона розрахована на перекладача.

Ось так кілька рядків починають проводити генеральне seo роботу на блозі, що дозволяє йому швидше і краще розкручуватися і просуватися, а відповідно розвивається і ваш інтернет бізнес, якщо, звичайно стоїть така мета.

А також раджу вам прочитати про  конструктор форм для кращого розуміння пошукового просування.

Успіху.