GASでWebスクレイピングをして競合情報を自動収集する

「競合サイトの価格・ニュース・求人情報を毎日チェックするのが手間すぎる」「情報収集に時間を取られて本業に集中できない」——そんな悩みを、Google Apps Script（GAS）のWebスクレイピング機能で一気に解決します。本記事では、GASだけで競合サイトの情報を自動収集し、スプレッドシートに蓄積する仕組みを、コードをコピペするだけで作れるよう丁寧に解説します。

GASには外部URLにHTTPリクエストを送るUrlFetchAppと、HTMLを解析するParserライブラリが備わっています。これらを組み合わせれば、プログラミング経験が浅い方でも本格的なスクレイピング自動化が実現できます。

この記事でできること

• GASのUrlFetchAppで任意のWebページのHTMLを取得する
• 正規表現を使って必要な情報（価格・タイトル・日付など）を抽出する
• 収集したデータをGoogleスプレッドシートに自動で記録する
• 毎日・毎時などのタイマートリガーで完全自動化する

事前準備（5分）

必要なものは以下だけです。費用はすべて無料です。

• Googleアカウント
• Googleスプレッドシート（新規作成でOK）
• 収集対象のURL（競合サイト・ニュースサイトなど）

重要な注意点：スクレイピングを行う前に、対象サイトの利用規約とrobots.txtを必ず確認してください。スクレイピングを禁止しているサイトへの実施は規約違反になる場合があります。また、短時間に大量のリクエストを送るのは避け、クロール間隔は最低でも1時間以上空けるよう設計します。

STEP 1：スプレッドシートとGASエディタを準備する

まず情報を記録するスプレッドシートを用意します。

• Googleドライブで新しいスプレッドシートを作成する
• シート名を「競合情報」に変更する
• 1行目に見出しを入力する：A1=「取得日時」、B1=「タイトル」、C1=「価格/内容」、D1=「URL」
• メニューの「拡張機能」→「Apps Script」をクリックしてGASエディタを開く

STEP 2：HTMLを取得して情報を抽出するコードを書く

GASエディタのコードをすべて削除して、以下のコードを貼り付けます。このサンプルでは、架空の競合ECサイトの商品名と価格を取得する想定で構成しています。実際の対象サイトのHTML構造に合わせてセレクタ（正規表現）を変更してください。

// ===== 設定エリア（ここだけ編集する）=====
const TARGET_URLS = [
  "https://example-competitor.com/products/",  // 競合サイトURL1
  "https://example-news.com/category/tech/",   // ニュースサイトURL
];

// スプレッドシートID（URLの /d/ と /edit の間の文字列）
const SPREADSHEET_ID = "ここにスプレッドシートIDを入力";
const SHEET_NAME = "競合情報";
// =========================================

function scrapeCompetitorInfo() {
  const sheet = SpreadsheetApp
    .openById(SPREADSHEET_ID)
    .getSheetByName(SHEET_NAME);

  TARGET_URLS.forEach(url => {
    try {
      // HTMLを取得（最大待機5秒に設定）
      const response = UrlFetchApp.fetch(url, {
        muteHttpExceptions: true,
        followRedirects: true,
        headers: {
          "User-Agent": "Mozilla/5.0 (compatible; GAS-Bot/1.0)"
        }
      });

      // HTTPステータスチェック
      if (response.getResponseCode() !== 200) {
        Logger.log(`取得失敗: ${url} (ステータス: ${response.getResponseCode()})`);
        return;
      }

      const html = response.getContentText("UTF-8");

      // --- 抽出ロジック（対象サイトのHTML構造に合わせて変更）---
      // 例1：