Artikkelihakemisto
Baidu Spider indeksoi ja diagnosoi epänormaaleja tietoja: Mitä minun pitäisi tehdä, jos socket on luettu tai kirjoitettu?
Olettaen, että verkkosivustoasi ei ole koskaan sisällytetty Baiduun, sinun on ensin suoritettava hämähäkkiindeksointidiagnoosi Baidu-hakuresurssialustalla.
Mitä minun pitäisi tehdä, jos Baidu-indeksointirobotti ei pysty indeksoimaan diagnostiikkalinkkiä?
Jos Baidu-indeksoija ei pysty indeksoimaan ja diagnosoimaan useita kertoja, palomuuri on saattanut estää indeksointirobotin.
Baidu Search Resource Platform > Indeksointidiagnoosi > Indeksoinnin epänormaalit tiedot: socket luku-/kirjoitusvirhe ▼
- Varsinkin käytettäessä Cloudflare CDN:ää, joka on oletuksena estetty.
- Internetissä puhutaan IP-osoitteen lisäämisestä
xxx.xxx.xxx.xxx/24 - Yritettiin kuitenkin turhaan.
En estä Baidu-hämähäkkejä palvelimella, joten ongelman pitäisi olla Cloudflaren WAF!
Kirjaudu sisään Cloudflareen → Suojaus → WAF → Palomuurisäännöt → Luo palomuurisääntö
- Etsin indeksointirobotteja koskevia WAF-sääntöjä Cloudflaresta ja löysin "Lakillisen robotti-indeksointikoneen" -vaihtoehdon ▼
- Kun olet luonut palomuurisäännöt, odota 10 minuuttia ja ota sitten diagnoosi, ja kaikkiin niihin tartutaan onnistuneesti!
Baidu-indeksointirobotti Sivustokartan indeksointi epäonnistui, yhteys aikakatkaistiin?
Jos sivustokarttatiedoston osoite lähetetään Baidu-hakuresurssialustalle, ongelmia esiintyy indeksointivirheen ja yhteyden aikakatkaisun ▼
Baidu-indeksoija ei onnistunut indeksoimaan sivustokarttakarttaratkaisua
Kirjaudu sisään Cloudflareen → Security → WAF → Firewall Rules → Create Firewall Rules ▼
- -kentässä valitse User-Agent
- operaattori, valitse "sisältää"
- Lisää uusi käyttäjäagentti, napsauta "Tai" lopussa
- arvo, kirjoita vastaava Baidu Spider UA -käyttäjäagentti:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Kun olet valmis, testaa ja hae uudelleen, ja tulos palauttaa HTTP-otsikon 200, joka osoittaa, että nouto on onnistunut▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Myös muiden hämähäkkien ja indeksointirobottien käyttäjäagentit voivat etsiä itseään samalla tavalla.
Hope Chen Weiliang -blogi ( https://www.chenweiliang.com/ ) jakoi "Baidu hämähäkkiindeksointi epäonnistui epänormaalin tietoliittimen luku- ja kirjoitusvirheiden diagnosoinnissa mitä tehdä yhteyden aikakatkaisulle", josta on sinulle hyötyä.
Tervetuloa jakamaan tämän artikkelin linkki:https://www.chenweiliang.com/cwl-29315.html