RedditのHTML収集をAPIリクエストに置き換える

Reddit Scrapingは、Redditの過去のレコードを取得する独立したJSON APIです。検索・投稿・コメント・個別レコード・subreddit検索に対応する読み取り専用ルートを提供します。Redditが運営するサービスではなく、提携関係もありません。Redditのアーカイブデータを、HTML収集から文書化されたリクエストへの移行に活用できます。 この例では、最大3件のレコードを含む1ページを取得します。

このサイトでメールアドレスとパスワードを使って登録します。支払いが必要になる前にキーが表示されますが、表示は1回だけなので安全に保存してください。サーバーからX-API-KeyまたはAuthorization: Bearerで送信します。キーを再発行すると以前のキーは無効になり、利用中のクライアント設定も更新する必要があります。

料金は成功した1,000リクエストにつき$1です。最低チャージは$50で50,000クレジットになります。一致するレコードがなくても、成功したリクエストは1クレジットを消費します。無効なリクエストは課金対象外です。上流側の障害では返金処理が始まりますが照合が必要な場合があり、タイムアウトだけでは最終的な課金結果は判断できません。

解析済みテキスト検索のqを、subreddit・author・kind・from・to・min_scoreと組み合わせられます。複数の単語はAND条件で処理され、意味検索や任意のDSLには対応していません。日付はUTCのYYYY-MM-DD形式で、toは指定日の終わりまで含みます。最初はリファレンスに記載されたパラメータを使用してください。

いいえ。対象は過去のアーカイブで、Redditのライブフィードではありません。投稿・投票・プライベートメッセージ送信・Reddit OAuth操作は行えません。公開ルート/v1/statusはサービスの対象範囲を説明するもので、アーカイブの稼働状態、完全な収録範囲、元のRedditページが現在閲覧できることを証明するものではありません。

必ずしもできません。1リクエストで最大100件、pageは1〜100です。totalはpagination.relationと一緒に読み、正確な値・下限・不明を区別してください。並び順はアーカイブ順で、日時順や関連度順の保証はありません。取得可能な最後のページまで読んでも、保存した標本がすべての一致を含むとは限りません。

いいえ。アカウント・APIキー・クレジット残高はサイトごとに分離されています。このドメインで発行されたキーを、対応するHTTPS APIホストに送ってください。キーはサーバー設定に保管し、ブラウザのJavaScript・公開リポジトリ・共有ログには置かないでください。別サイトのキーを、このサイトのアカウントの代わりには使用できません。

/v1/postsにq=scraping・subreddit=webscraping・limit=3・page=1を指定して始めてください。小さい応答で項目を確認してから、取込処理や画面の実装を進められます。成功時は空の結果も1クレジットです。トピックとコミュニティは目的に合わせて変更してください。この例は固定件数の応答を約束するものではありません。