Baidu スパイダー クロール障害診断 異常な情報 ソケットの読み取りと書き込みエラー 接続タイムアウトの対処法

Baidu Spider は異常な情報をクロールして診断します: ソケットが読み書きされている場合はどうすればよいですか?

あなたの Web サイトが Baidu に含まれていないと仮定すると、まず、Baidu 検索リソース プラットフォームでスパイダー クロールの診断を実行する必要があります。

Baidu クローラーが診断リンクのクロールに失敗した場合はどうすればよいですか?

Baidu クローラーが何度もクロールと診断に失敗する場合は、ファイアウォールがクローラーをブロックしている可能性があります。

Baidu 検索リソース プラットフォーム > クロール診断 > クロール異常情報: ソケット読み書きエラー ▼

• 特に、デフォルトでブロックされている Cloudflare CDN を使用している場合。
• インターネット上では、IPアドレスを追加するという話があります xxx.xxx.xxx.xxx/24
• しかし、無駄にしようとしました。

サーバーで Baidu スパイダーをブロックしていないので、問題は Cloudflare の WAF にあるはずです。

Cloudflareにサインイン → セキュリティ → WAF → ファイアウォール ルール → ファイアウォール ルールの作成

• Cloudflareでクローラー関連のWAFルールを探していたら「Legal Robot Crawler」という選択肢が見つかりました▼

• • ファイアウォール ルールを作成した後、10 分待ってから診断を取得すると、すべて正常に取得されます。

Baidu クローラー サイトマップのクロールに失敗しました。接続がタイムアウトしましたか?

百度の検索リソースプラットフォームでサイトマップファイルのアドレスを送信すると、クローリングの失敗や接続タイムアウトの問題が発生 ▼

バイドゥ クローラーがサイトマップ マップ ソリューションをクロールできませんでした

Cloudflareにサインイン → セキュリティ → WAF → ファイアウォールルール → ファイアウォールルールの作成 ▼

1. フィールドで、ユーザーエージェントを選択します
2. 演算子、「含む」を選択
3. 新しいユーザー エージェントを追加し、最後に [または] をクリックします。
4. 次の Baidu Spider UA ユーザー エージェントをそれぞれ入力します。

完了後、再度テストしてフェッチすると、結果は HTTP ヘッダー 200 を返し、フェッチが成功したことを示します▼

他のスパイダーやクローラーのユーザーエージェントも同様に自分自身を検索できます。