Log File Analyzerは、お客様のアクセスログを分析してGoogleBotがお客様のウェブサイトをどのようにクロールしたのかを報告するテクニカルSEOツールです。アクセスログはウェブサーバーに保存され、ウェブサイト上のすべての行動（ボットによるものであれ、人が作業したものであれ）を詳細に記録します。この情報は、SEO施策の技術的な問題を追跡してクロールバジェットを最適化するのに役立ちます。
- ステータスコードとファイルタイプ分析
- デスクトップおよびモバイルボットの行動
- ウェブサイト上で最もクロールされているページの特定
- ボットの行動を管理してクロールバジェットを最適化する機会の発見
- 特定のページへのアクセスに影響を及ぼすサイト構造やナビゲーション上の問題の解消
なぜこのツールを使用すべきか？
ログを手作業で分析するのは退屈で厄介な作業です。ウェブサイトの高度なテクニカル分析トレーニングを受けた人以外にとっては極めてつらい作業なので、作業後は目がくらみ頭が混乱してしまいます。アクセスログから読み取ったデータをもとに、Googlebotがウェブサイト上でどんな挙動をしているのか手っ取り早く把握したいときは、このツールが最適な方法です。クライアントと一緒に作業するのであれば、このツールを用いて新規顧客のウェブサイトへアクセスすることにより、そのウェブサイトを再設計してクローラビリティを向上させるための、技術的なロードマップを確立することができます。
どのように機能するか？
まず最初に、対象とするログファイルがアーカイブされておらず、正しいアクセスログのファイル形式であることを確認します。次に、ファイルをLog File Analyzerページのフォームへドラッグ＆ドロップして読み込みます。アップロード可能なファイルの最大サイズは1GBですのでご注意ください。正しいファイル形式は「Combined Log Format」で、以下の構造を持っています：
%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"
- h — サーバーへのリクエスト発信元のホスト/IPアドレス
- l — クライアントid（通常は空白のまま：ファイルではハイフン (-) が空白を意味する）
- u — ユーザー名（通常は空白のまま：ファイルではハイフン (-) が空白を意味する）
- t — サーバーへのリクエストが発生した時刻と時間ゾーン
- r — リクエストのタイプ、リクエストの内容とバージョン
- s — HTTPステータスコード
- b — リクエスト対象のサイズ（バイト単位）
- リファラー — リクエストのURLソース（前のページ）（空白のままであることが多い：ファイルではハイフン (-) が空白を意味する）
- ユーザーエージェント— リクエストに関する情報を含むHTTPヘッダー（クライアントアプリケーション、使用言語など）
文字列の例：
66.249.64.222 - - [29/Jun/2018:13:43:07 +0100] "GET /samplepage.html HTTP/1.1" 200 2887 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
その他サポート対象のログファイル形式
Log File Analyzerは以下のログファイル形式もサポートしています:
- W3C
- Kinsta
- Combined log format variations
Log File Analyzerをスタート
すべての対象ファイルを読み込んでから「Log File Analyzerをスタート」をクリックします。 Googlebotの挙動が時間と共にどのように変化したのかがチャートに表示されます。グラフの上の「すべてのGoogleボット」フィルタを使用すれば表示対象（デスクトップ、モバイル）を絞ることができ、その隣で表示期間を調整することも可能です。右側に表示されるチャートはボットがアクセスしているステータスコードとファイルタイプの数が表示されます。
下側の表では、表示されている期間内で最も多くのボットによるヒットが発生したパスを分析することができます。さらに詳細な分析を行うために、以下のフィルタを適用して対象を絞り込むことができます：ステータスコード、パス内に含まれるキーワード、ファイルタイプ。
この情報を基に応答ステータスの状態をチェックすることで、サイトの利便性に何か問題がないかを調べられます。コンテンツのタイプごとにボットのヒットを調査することも可能です。これは、クロールバジェットが時間経過とともに変化したかどうかを理解するのに役立ちます。
ファイルタイプによるフィルタリング：
- HTML
- PHP
- amp
- CSS
- Javascript
- JSON
- その他
以前にダウンロードされたログの削除
複数のウェブサイトを運営している場合は、異なるソースから複数のログファイルを分析することが必要となるかもしれません。その場合は、それ以前に読み込んだすべてのデータを消去する必要があります。消去を実行するには画面右上に配置された「データを削除」ボタンを使用します。
データ削除を承認すると、システムは画面を初期状態に戻してログファイルを新たに読み込めるようになります。