Artikelverzeichnis
Baidu Spider erfasst diagnostische Ausnahmeinformationen: Was soll ich tun, wenn der Socket falsch liest und schreibt?
Angenommen, Ihre Website wurde nicht von Baidu indexiert, müssen Sie zuerst eine Spider-Crawling-Diagnose auf der Suchressourcenplattform von Baidu durchführen.
Was soll ich tun, wenn der Baidu-Crawler Diagnoselinks nicht crawlen kann?
Wenn die Crawl-Diagnose des Baidu-Crawlers mehrmals fehlschlägt, hat die Firewall möglicherweise das Crawler-Programm blockiert.
Baidu Search Resource Platform > Crawl-Diagnose > Informationen zu Crawl-Ausnahmen: Socket-Lese- und Schreibfehler ▼
- Insbesondere bei der Verwendung von Cloudflare CDN wird es standardmäßig blockiert.
- Im Internet heißt es, die IP-Adresse hinzuzufügen
xxx.xxx.xxx.xxx/24 - Habe das allerdings vergeblich versucht.
Ich habe Baidu-Spider auf dem Server nicht blockiert, also sollte das Problem die WAF von Cloudflare sein!
Melden Sie sich bei Cloudflare an → Sicherheit → WAF → Firewall-Regeln → Firewall-Regel erstellen
- Finden Sie die WAF-Regeln in Bezug auf Crawler auf Cloudflare und die Option „legitimer Roboter-Crawler“ ▼
- Warten Sie nach dem Erstellen der Firewall-Regeln 10 Minuten und holen Sie sich dann die Diagnose, und alle wurden erfolgreich erfasst!
Was stimmt nicht mit dem Sitemap-Crawling-Fehler und dem Verbindungs-Timeout des Baidu-Crawlers?
Wenn Sie die Adresse der Sitemap-Datei auf der Baidu-Suchressourcenplattform übermitteln, treten Probleme wie Crawling-Fehler und Verbindungszeitüberschreitung auf ▼
Lösung für das Versagen des Baidu-Crawlers, die Sitemap-Karte abzurufen
Melden Sie sich bei Cloudflare an → Sicherheit → WAF → Firewall-Regeln → Firewall-Regeln erstellen ▼
- Feld, wählen Sie "User Agent"
- Operator, wählen Sie Enthält
- Fügen Sie einen neuen Benutzeragenten hinzu, klicken Sie auf das letzte „Oder“
- Wert bzw. geben Sie folgenden Baidu Spider UA User Agent ein:
-
Baiduspider/2.0 -
Baiduspider-image -
Baiduspider-render/2.0 -
http://www.baidu.com/search/spider.html -
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) -
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
Testen Sie nach Abschluss den Abruf erneut, und das Ergebnis gibt den HTTP-Header 200 zurück, der anzeigt, dass der Abruf erfolgreich war▼
-
抓取诊断 > 抓取详情以下是百度Spider抓取结果及页面信息： -
提交网址： https://www.etufo.org/sitemap_baidu.xml -
抓取网址： https://www.etufo.org/sitemap_baidu.xml -
抓取UA： Mozilla/5.0 (compatible; Baiduspider/2.0; -
+http://www.baidu.com/search/spider.html) -
抓取时间： 2022-11-11 19:03:44 -
网站IP： 172.***.***.149 -
下载时长： 0.868秒 -
返回HTTP头：HTTP/2 200
Auch die User Agents anderer Spider und Crawler können auf die gleiche Weise nach sich selbst suchen.
Hoffnung Chen Weiliang Blog ( https://www.chenweiliang.com/ ) teilte „Baidu Spider Crawl Failure Diagnosis Abnormal Information What to Do if Socket Read and Write Error Connection Timed Out“, was für Sie hilfreich ist.
Willkommen, um den Link dieses Artikels zu teilen:https://www.chenweiliang.com/cwl-29315.html
Willkommen im Telegrammkanal von Chen Weiliangs Blog, um die neuesten Updates zu erhalten!
📚 Dieser Leitfaden enthält einen enormen Mehrwert. 🌟Dies ist eine seltene Gelegenheit, verpassen Sie sie nicht! ⏰⌛💨
Teilen und liken, wenn es euch gefällt!
Ihr Teilen und Ihre Likes sind unsere ständige Motivation!