AIスクレインピングエージェントの構築(LangGraph, Firecrawl)

# エージェントの状態管理クラス
class OverallState(TypedDict):
    urls: List[str]  # スクレイピング対象のURLリスト
    current_url_index: int  # 現在のスクレイピング対象のインデックス
    total_urls: int  # 全URLの数
    urls_to_scrape: List[str]  # これからスクレイピングするURLリスト
    ceo_name: Optional[str]  # 社長名を保持

# 優先URLを選定する関数
def prioritize_urls(urls):
    client = OpenAI(api_key=OPENAI_API_KEY)
    prompt = f"""
    以下のURLリストから、社長の名前が記載されている可能性が高い順に並び替えてください。以下の判断基準を使用してください。
    ### 判断基準:
    1. URLに含まれるキーワード:
      - "about"（会社概要などのページは優先度が高い）
      - "contact" または "offer"（問い合わせページは中程度の優先度）
      - "recruit" または "career"（採用関連ページは中程度の優先度）
      - "showcase" または "product"（ショーケースやプロダクトページは低優先度）
      - その他の一般ページ（最も低い優先度）
    2. 各URLの内容に基づく可能性:
      - 会社概要ページには、社長の名前が記載されている可能性が最も高い。
      - 問い合わせページや採用ページにも、代表者情報が含まれている可能性がある。
      - ショーケースや製品ページには、製品の詳細が記載されることが多く、社長の名前が記載される可能性は低い。
    3. ルートURL（例: "http://example.com"）は必ず結果に含めてください。
    4. 並び替え結果は上位5つのURLを出力してください。ただし、入力URLリストの要素を削除したり短縮したりせず、順番を変えるだけで出力してください。
    5. 出力形式はJSON形式にしてください。必ず次の形式で出力してください。
    ### 入力URLリスト:
    {map_result}
    ### 出力形式:
    ```json
    {{
"sorted_urls": ["http://example.com", "http://example.com/about", "http://example.com/contact", "http://example.com/recruit", "http://example.com/showcase"]
    }}
    """
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}]
    )
    sorted_urls = json.loads(response["choices"][0]["message"]["content"]).get("sorted_urls", [])
    return sorted_urls[:5]

import re

# 不要なURLを削除する関数
def clean_markdown(markdown):
    cleaned_markdown = re.sub(r'https?://\S+', '', markdown)  # URLを削除
    return cleaned_markdown

# 社長名を抽出する関数
def extract_ceo_name(markdown):
    client = OpenAI(api_key=OPENAI_API_KEY)
    prompt = f"""
    あなたは高度なテキスト解析を行うAIアシスタントです。以下のタスクを正確に実行してください：

    1. 指定された役職（CEO、代表取締役社長、代表取締役会長）に該当する名前を抽出します。
    2. 該当する役職が複数ある場合、最初に出現する役職の名前のみを抽出します。
    3. 名前以外の情報（役職名や企業名、住所など）は含めません。
    4. 出力形式は、JSON形式で「executive_name」というキーに値を設定します。該当する名前がない場合は `null` を設定してください。
    5. 入力はマークダウン形式の文章であり、リンクや画像、HTMLタグなどの不要な情報を無視してください。

    出力例：
    {"executive_name": "山田太郎"}
    または
    {"executive_name": null}
    """

    user_prompt = f"""
    以下の文章から、指定された役職の名前を抽出してください：

    ### 入力文
    {markdown}
    """
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}]
    )
    return response["choices"][0]["message"]["content"]

コードをコピーする
import csv

# CSVファイルにデータを書き込む関数
def save_to_csv(data, output_file):
    with open(output_file, mode="w", encoding="utf-8") as file:
        writer = csv.writer(file)
        writer.writerow(["会社名", "URL", "社長名"])  # ヘッダーを記載
        writer.writerows(data)  # データを書き込み