Webマスターは、ユーザエージェントを使ってクローラーのトラフィックを特定することで、クローラーのアクティビティの正確なアクセスログレポートを 取得 し、robots.txtでサイトへのアクセスを制御できます。
https://support.apple.com/ja-jp/119829
Appleサポートコミュニティにアクセスすれば、質問したり、既存の回答を見つけたり、ほかのユーザーと専門知識を共有することができます。
