Kizalishi cha robots.txt
Tengeneza robots.txt sahihi yenye sheria za allow/disallow, crawl-delay na maagizo ya sitemap ukitumia mipangilio rahisi. Bure na hufanya kazi kwenye kivinjari chako.
Tengeneza robots.txt nadhifu moja kwa moja kwenye kivinjari chako. Hakuna kinachopakiwa — kila kitu huzalishwa ndani.
Weka faili hili kwenye mzizi wa tovuti yako ili lipatikane kwenye https://your-site.com/robots.txt
Kuhusu Kizalishi cha robots.txt
Kikatishi hiki cha robots.txt kinaunda faili la robots.txt lenye sintaksia sahihi kutoka kwa vikundi vya user-agent, kila kimoja kikiwa na njia zake za Allow na Disallow na Crawl-delay ya hiari. Ongeza vikundi vingi kadri unavyohitaji — kikundi cha wildcard * kwa watambaji wote pamoja na kanuni maalum kwa boti binafsi — na orodhesha maelekezo moja au zaidi ya Sitemap mwishoni.
Mipangilio ya haraka inashughulikia sehemu za mwanzo za kawaida: ruhusu kila kitu, zuia kila kitu, mpangilio mzuri wa WordPress, na orodha ya kuzuia boti za kawaida. Anza na mpangilio, kisha rekebisha njia zilikane na muundo wa tovuti yako.
Faili linazalishwa ndani ya kivinjari chako na kamwe halipakiwi. Nakili matokeo au pakua robots.txt, kisha uliweke kwenye mzizi wa tovuti yako ili watambaji walipate kwenye https://your-site.com/robots.txt — hiyo ndiyo eneo pekee ambalo injini za utafutaji zinaangalia.
Jinsi ya kutumia Kizalishi cha robots.txt
- Kwa hiari, anza na mpangilio: Allow all, Block all, WordPress, au Block common bots.
- Hariri user-agent ya kila kikundi (kwa mfano * au Googlebot) na uongeze njia za Disallow na Allow.
- Weka Crawl-delay ya hiari kwa sekunde na uongeze vikundi zaidi kwa watambaji wengine ikihitajika.
- Ongeza URL za sitemap yako ili watambaji waweze kuzigundua.
- Nakili matokeo au pakua robots.txt, na ulipakie kwenye mzizi wa tovuti yako.