Définir les exigences de la source avant de modifier le code
Cet exercice remplace un composant d’un collecteur existant. Notez les exigences du consommateur de sa sortie : informations indispensables, acceptation d’un contenu historique et comportement en l’absence de publication utilisable. Ce sont des règles d’acceptation dans votre code, pas des fonctions apportées par la clé. Elles permettent d’évaluer la migration au-delà de la réussite d’une requête HTTP.
Le changement proposé remplace la lecture du HTML par une réponse JSON. Il ne garantit aucune économie de temps, de maintenance ou d’infrastructure. Gardez la validation et la transformation nécessaires à votre application. Ne supposez ni schéma immuable, ni présence universelle des champs, ni correspondance avec une page actuelle de Reddit. Un besoin de données en temps réel ne peut pas être satisfait par cette archive.
Recevoir une page et distinguer les issues
Inspectez GET https://api.redditscraping.com/v1/posts?subreddit=webscraping&limit=3 avec X-API-Key: <clé> ou Authorization: Bearer <clé>. La communauté et la limite bornent une première sélection, sans promettre trois résultats ou une pertinence automatique. Consultez la documentation pour les paramètres et Obtenir une clé API pour créer le compte avant tout paiement. Les 100 crédits d’essai dépendent des contrôles contre les abus du réseau.
Distinguez l’échec de requête, la réponse réussie sans enregistrements et les enregistrements à valider. N’inventez pas une publication vide pour faire avancer les étapes suivantes. Lorsqu’une valeur obligatoire manque, conservez la réponse originale et le motif du rejet. Un refus décidé par votre application n’est pas une erreur de l’API ; cette distinction doit rester lisible dans les diagnostics.
Normaliser après avoir accepté l’enregistrement
Enregistrez la réponse originale avant la transformation. Validez data et ne parcourez que les enregistrements présents. Définissez une correspondance explicite entre les champs reçus et les colonnes de votre application. Distinguez champ absent, texte vide et zéro : les remplacer par une même valeur peut produire une observation fausse. Les données qui ne respectent pas votre contrat local doivent rester visibles pour examen, sans suppression silencieuse.
Pour un traitement de texte, conservez le contenu reçu à côté de sa version normalisée localement. Appliquez uniquement les transformations nécessaires, par exemple les règles d’espacement du consommateur, et indiquez leur version. Ne transformez pas un texte absent en observation vide. Gardez l’identifiant disponible pour comparer ; si vous supprimez des doublons, documentez cette décision locale sans attribuer à l’archive une garantie d’unicité.
Borner l’exécution du collecteur
limit et page vont de 1 à 100. L’ordre interne _doc n’est ni chronologique ni classé par pertinence ou score ; un tri local ne réorganise que les données reçues. Enregistrez les paramètres, l’heure de récupération et la page avec la réponse. Si vous dédupliquez par identifiant observé, conservez les contradictions pour examen. Davantage de pages ou de plus petites périodes ne prouvent pas une collecte complète ou unique.
Lisez total avec relation : eq indique un total exact de la requête, gte une borne inférieure et unknown un total non fiable, éventuellement null. Ne remplacez pas inconnu par zéro et ne prenez pas un total exact pour une preuve de téléchargement complet. Rapportez les enregistrements traités, les champs absents et les exclusions pour préciser ce que le nouveau traitement peut fournir.
Rejouer la transformation depuis la réponse sauvegardée
Pour vérifier une nouvelle version du transformateur, utilisez une réponse déjà sauvegardée. Vous distinguez ainsi un changement de code d’un résultat différent lors d’une nouvelle requête distante. Comparez les enregistrements acceptés, les rejets et les réponses vides aux exigences déclarées. Vous choisissez les noms, durées de conservation et droits des fichiers. Une sauvegarde locale ne crée pas un instantané côté serveur et ne garantit pas la disponibilité future des mêmes enregistrements.
Décider quelle partie du collecteur peut disparaître
Que retirer ? Le téléchargement HTML et les sélecteurs servant uniquement au contenu historique accepté par la nouvelle entrée. Que conserver ? Planification, validation, normalisation, stockage et explication des absences. Si le collecteur devait aussi observer une page actuelle, ce besoin reste à résoudre. Documentez la portée du changement avant de lancer le prochain travail planifié, sans présenter l’archive comme un remplacement intégral.
Chaque récupération réussie coûte un crédit, même vide ou répétée. Consultez les tarifs pour inclure essais et pages dans votre budget. Une requête invalide ne débite pas le solde et un échec du service source restitue la réservation ; la perte d’une réponse peut suivre une réussite facturée. /v1/status est gratuit et confirme seulement la réponse HTTP. L’archive ne garantit ni couverture complète, ni permanence, ni disponibilité continue, ni immutabilité des résultats.
