scraper-recipe

Bxc scraper recipe

Quand invoquée via /scraper-recipe, cette skill produit un fichier scraper complet à partir des inputs suivants :

• URL ou pattern d'URL (obligatoire)
• Schéma cible (description naturelle, ex : "titre + prix EUR + stock")
• Profil souhaité (optionnel, défaut = static)
• Mode (one-shot dans examples/<name>.ts, ou sub-package dans packages/<name>/src/)

API réelle (0.4.0)

L'API publique est Browser.newPage() → page.* → page.close(). Il n'existe pas de Browser.fetch() ni Browser.scrape(). La feature LLM-extract a été supprimée — l'extraction se fait par sélecteurs CSS (page.$$) ou Markdown (page.markdown()), puis Zod.parse().

import { Browser } from "@aphrody/bxc";          // singleton
import { googleSearchRich } from "@aphrody/bxc/google"; // si recherche

Surface page utile : goto(url,{timeoutMs}), content() (HTML), markdown() (GFM, fallback JS si cdylib absente), $(sel)/$$(sel) (handles → .textContent() /.getAttribute(name)), title(), screenshot(), evaluate(fn) (profils JS), close().

Workflow

1. Lis le contexte :

   • src/api/browser.ts — Browser.newPage(opts) + classe Page (API ci-dessus)
   • src/api/browser.ts (PageOptions) — profils valides : static | http | fast | stealth | max
   • src/storage/Dataset.ts — store JSONL interne (Dataset non exporté du package : import relatif ou JSONL manuel)

2. Décide l'extraction :

   • HTML structuré + sélecteurs CSS suffisent → page.$$() + Zod.parse()
   • Contenu prose / page entière → page.markdown()

3. Génère le fichier avec ce template :

import { z } from "zod";
import { Browser } from "@aphrody/bxc";

const Schema = z.object({
  // ... champs selon la demande utilisateur
  title: z.string(),
});
type Item = z.infer<typeof Schema>;

async function scrape(url: string): Promise<Item> {
  const page = await Browser.newPage({ profile: "static" }); // static|http|fast|stealth|max
  try {
    await page.goto(url, { timeoutMs: 30_000 });
    const titleEl = await page.$("h1");
    const raw = {
      title: (await titleEl?.textContent()) ?? "",
      // ... autres champs via page.$$/$ ou page.markdown()
    };
    return Schema.parse(raw);
  } finally {
    await page.close();
  }
}

const urls = [/* ... */];
const out = Bun.file("dataset.jsonl").writer();
try {
  for (const url of urls) {
    try {
      const item = await scrape(url);
      out.write(JSON.stringify(item) + "\n");
      console.log(`OK ${url}`);
    } catch (err) {
      console.error(`FAIL ${url}`, err);
    }
  }
} finally {
  await out.end();
  await Browser.close();
}