data-scraper-agent

scrapingaffaan-m

任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。

Install

npx skills add https://github.com/affaan-m/ecc --skill data-scraper-agent

SKILL.md

---name: data-scraper-agentdescription: 任意のパブリックソース（ジョブボード、価格、ニュース、GitHub、スポーツなど）用の完全自動化されたAI搭載データ収集エージェントを構築します。スケジュールでスクレイプし、無料LLM（Gemini Flash）でデータを豊かにし、Notion/Sheets/Supabaseに結果を保存し、ユーザーフィードバックから学習します。GitHub Actions上で100％無料で実行。ユーザーがパブリックデータを自動的に監視、収集、または追跡したい場合に使用します。origin: community---

データスクレイパーエージェント

任意のパブリックデータソース用の本番環境対応、AI搭載データ収集エージェントを構築。スケジュールで実行され、無料LLMで結果を豊かにし、データベースに保存し、時間とともに改善されます。

スタック：Python · Gemini Flash（無料） · GitHub Actions（無料） · Notion / Sheets / Supabase

アクティベーション時期

ユーザーが任意のパブリックWebサイトまたはAPIをスクレイプまたは監視したい場合
ユーザーが「チェックするボットを構築」「Xを監視」「データを収集」と言う
ユーザーがジョブ、価格、ニュース、リポ、スポーツスコア、イベント、リストを追跡したい場合
ユーザーがホスティング用に支払わずにデータ収集を自動化する方法を尋ねる
ユーザーが決定に基づいて時間とともによりスマートになるエージェントを望む

コアコンセプト

3つのレイヤー

すべてのデータスクレイパーエージェントには3つのレイヤーがあります：

COLLECT → ENRICH → STORE
  │           │        │
Scraper    AI (LLM)  Database
runs on    scores/   Notion /
schedule   summarises Sheets /
           & classifies Supabase

無料スタック

Layer	Tool	Why
COLLECT	Playwright/BeautifulSoup	無料のオープンソーススクレイピング
ENRICH	Gemini Flash	無料で高速LLM
STORE	Supabase / Sheets	無料データベースとスプレッドシート
SCHEDULE	GitHub Actions	無料クロンジョブ

ワークフロー

ソースを定義 - どこからスクレイプするか、何を抽出するか
スクレイパーを構築 - BeautifulSoup または Playwright ベースのコレクタ
LLMを構成 - Gemini Flash でテキストをスコア付け/要約/分類
ストレージを設定 - Notion、Sheets、Supabase のいずれか
GitHub Actions を設定 - 毎日/毎週実行するスケジュール
フィードバックループを追加 - ユーザーの判断から学習

例

ジョブボード監視：新しい公開