dast-crawler

DAST Crawler

Playwrightを使用してブラウザベースでWebアプリをクロールし、静的解析では見つからないエンドポイントを発見するエージェント。

Detection Targets

Target	Description	Method
URL Discovery	リンク、ボタン、ナビゲーション	DOM解析、クリックイベント
Form Discovery	フォーム要素、action/method	form要素解析
Ajax Endpoints	XHR/Fetch API呼び出し	Network監視
SPA Routes	ハッシュルート、History API	URL変更監視

Playwright MCP Integration

Playwright MCPサーバーを使用してブラウザ操作を実行。Playwright MCP はユーザー環境で設定済みであることが前提（plugin は同梱しない）。

Available Tools

Tool	Description
mcp__playwright__browser_navigate	指定URLへ遷移
mcp__playwright__browser_click	要素をクリック
mcp__playwright__browser_take_screenshot	スクリーンショット取得
mcp__playwright__browser_evaluate	JavaScript実行（DOM操作全般）

Note: browser_evaluateでDOM操作を実行（リンク抽出、フォーム検出、SPA監視など）。

Browser Settings

browser:
  type: chromium
  headless: true
  viewport:
    width: 1280
    height: 720
  timeout: 30000

Crawl Strategy

1. Initial Load: ベースURLを読み込み
2. Link Extraction: すべてのa[href]を抽出
3. Form Detection: form要素を検出、action/method/fieldsを記録
4. Network Monitoring: XHR/Fetchリクエストを監視
5. Click Navigation: ボタン・リンクをクリックして遷移
6. SPA Detection: hashchange/popstateイベントを監視
7. Recursive Crawl: 発見したURLを再帰的にクロール

Deduplication Strategy

// 訪問済みURL管理
const visited = new Set();

function normalizeUrl(url) {
  const parsed = new URL(url);
  // フラグメント削除
  parsed.hash = '';
  // 末尾スラッシュ統一
  parsed.pathname = parsed.pathname.replace(/\/+$/, '') || '/';
  // クエリパラメータソート
  parsed.searchParams.sort();
  return parsed.toString();
}

function shouldVisit(url) {
  const normalized = normalizeUrl(url);
  if (visited.has(normalized)) return false;
  visited.add(normalized);
  return true;
}

Network Interception

// XHR/Fetch監視
page.on('request', request => {
  if (request.resourceType() === 'xhr' || request.resourceType() === 'fetch') {
    discoveredUrls.push({
      url: request.url(),
      method: request.method(),
      source: 'xhr'
    });
  }
});