Wanablogu wengi wenye ujuzi hakika wanajua robots.txt ni nini na kwa nini unahitaji faili hii. Lakini waandishi wachache hukimbilia mara moja kuunda faili ya robots.txt baada ya kusanikisha blogi kwenye WordPress.
Robots.txt ni faili ya maandishi ambayo imepakiwa kwenye saraka ya mizizi ya tovuti yako na ina maagizo kwa watambazaji. Kusudi kuu la matumizi yake ni kuzuia uorodheshaji wa kurasa za kibinafsi na sehemu kwenye wavuti. Walakini, ukitumia robots.txt, unaweza pia kutaja kioo sahihi cha kikoa, kuagiza njia ya ramani ya tovuti, na zingine kama hizo.
Injini nyingi za utaftaji za kisasa zimejifunza kuzunguka CMS maarufu vizuri na kwa kawaida hawajaribu kuorodhesha yaliyomo ambayo hayakusudiwa kwa hii. Kwa mfano, Google haitaorodhesha eneo lako la msimamizi wa blogi ya WordPress hata ikiwa hautaja moja kwa moja kwenye robots.txt. Walakini, wakati mwingine, matumizi ya marufuku ya moja kwa moja bado yanaweza kuwa na faida. Na tunazungumza haswa juu ya marufuku ya yaliyomo katika nakala.
Wasimamizi wengine wa wavuti huenda hata kuzuia uorodheshaji wa kurasa za kitengo na lebo, kwa kuwa yaliyomo katika sehemu hiyo yanarudia yaliyomo kwenye ukurasa kuu. Lakini nyingi zimepunguzwa kwa kupiga marufuku kurasa za nyuma na za kulisha, ambazo zinaiga nakala za nakala na hazikusudiwa kwa injini za utaftaji. Tahadhari kama hiyo haitafanya tu matokeo ya wavuti kuwa "safi", lakini pia itakuokoa kutoka kwa vichungi vinavyowezekana vya utaftaji, haswa baada ya kuanzishwa kwa algorithm mpya ya Google Panda.
Hapa kuna maagizo yaliyopendekezwa ya faili ya robots.txt (itafanya kazi kwa karibu blogi yoyote ya WordPress):
Wakala wa Mtumiaji: * Ruhusu: /wp-login.php Ruhusu: /wp-register.php Ruhusu: /xmlrpc.php Ruhusu: / wp-admin Ruhusu: / wp-inajumuisha Ruhusu: / wp-yaliyomo / programu-jalizi Ruhusu: / wp-yaliyomo / cache Ruhusu: / wp-yaliyomo / mandhari Ruhusu: / trackback / Ruhusu: / feed / Disallow: * / trackback / Ruhusu: * / feed /
Tafadhali kumbuka kuwa katika robots.txt folda za kiutawala wp-admin na wp-pamoja zimefungwa kabisa kwa kuorodhesha. Folda ya yaliyomo kwenye wp imefungwa kidogo, kwani ina saraka ya upakiaji, ambayo ina picha zote kutoka kwa blogi yako ambazo zinapaswa kuorodheshwa.
Unachohitaji kufanya ni kunakili maagizo kutoka kwa nambari iliyo hapo juu (kumbuka kuwa kila maagizo lazima yaandikwe kwenye laini mpya), wahifadhi kwenye faili ya maandishi inayoitwa robots.txt, na uipakie kwenye saraka ya mizizi ya tovuti yako.
Daima unaweza kuangalia ikiwa robots.txt inafanya kazi kwa usahihi kupitia Zana za Wasimamizi wa Tovuti wa Google na njia za Yandex Webmaster.
