コードを変える前に入力元への要件を書く
この演習で交換するのは、既存の収集処理の一部品です。出力を使う側が必要とする情報、過去の内容を使える条件、有用な投稿が届かない場合の動作を書き出してください。これらは自分のコードの受け入れ基準であり、APIキーで追加される機能ではありません。HTTPが成功したか以外の観点で移行を評価するための基準になります。
Reddit Scrapingは独立した過去のRedditアーカイブです。ライブクロールやアクセス制限の回避を提供せず、Redditとの提携もありません。最新投稿を直ちに追跡する要件がある場合は、過去の記録を取得できることと区別してください。必要なコミュニティや期間の記録が存在するかを小さな例で調べ、欠損が目的に与える影響を先に評価します。
一ページを受け取り、結果の種類を分ける
ホームの例、https://api.redditscraping.com/v1/posts?subreddit=webscraping&limit=3を起点にします。subredditはコミュニティを選び、limitは一応答の最大件数を指定します。サーバーからAuthorization: Bearer YOUR_API_KEYまたはX-API-Key: YOUR_API_KEYを送り、応答状態とフィールドを確認します。三件の例が使えても、コミュニティ全体の履歴や同じ内容の再取得は保証されません。
リクエストの失敗、記録のない成功応答、これから検証する記録を別の結果として扱います。次の処理を動かすために架空の空投稿を作らないでください。必須の値がなければ、元の応答と受け入れなかった理由を残します。アプリケーションによる記録の却下とAPIエラーは別の出来事です。診断時にもその違いが分かるようにします。
記録の受け入れを決めてから正規化する
古いパーサーの出力フィールドを一覧にして、必須か任意か、空ならどう扱うかを決めます。新しい応答に同じ情報があると仮定せず、実際のフィールドを確認してください。JSON形式になっても、入力の検証と欠損への対応は必要です。フィールド対応の判断を記録すれば、後から分析結果を読む人も処理の範囲を理解しやすくなります。
テキストを使う部品なら、受信した内容とローカルで正規化した版を並べて保存します。空白の扱いなど、その部品に必要な変換だけを適用し、規則の版を記録してください。欠損したテキストを空の観測値に置き換えないようにします。比較用に利用できる識別子を残し、重複を除く場合はローカルでの判断を説明できるようにします。アーカイブ自体に重複がないとは主張できません。
収集の実行範囲に上限を置く
一回の取得は最大100件、一つのクエリは最大100ページで、ページごとに別のリクエストが必要です。eqは正確な合計、gteは下限、unknownやnullは信頼できる合計がないことを示します。期間の分割は作業管理に使えますが、網羅性や重複のなさは保証しません。取得条件と保存済みページを自分の処理記録で追えるようにします。
保存した応答から変換だけを再実行する
変換処理を修正したら、保存済みの応答を入力にして確認します。これにより、自分のコードの変更と新しい遠隔クエリの結果の違いを切り分けられます。受け入れ、却下、空の結果を要件と照らし合わせてください。ファイル名、保存期間、アクセス権限は自分で決めます。ローカル保存はサーバーに固定スナップショットを作らず、同じ記録を将来取得できる保証にもなりません。
古い収集処理のどこを削除できるか判断する
何を削除できますか。新しい入力部品が受け入れる過去の内容を得るためだけのHTML取得とセレクターです。何が残りますか。実行計画、項目の検証、正規化、保存、欠損の説明です。古い処理が現在のページの観測も担っていたなら、その要件は未解決です。アーカイブを全面的な代替とせず、次の定期ジョブを有効にする前に変更範囲を記録してください。
成功した取得は空でも一クレジットです。不正なリクエストは引き落とされず、上流障害では予約分が戻ります。クライアントで応答が失われてもサーバーが成功していれば費用は発生し、成功した再試行は追加の一クレジットです。HTTP 400では条件、401ではキー、402では残高、429では送信頻度を確認し、一律に即時再送しないでください。
