Tulis persyaratan sumber sebelum mengubah kode
Latihan ini mengganti satu komponen pengumpul data yang sudah ada. Catat kebutuhan pemakai keluarannya: informasi wajib, penerimaan isi historis, dan tindakan ketika tidak ada posting yang dapat dipakai. Ini aturan penerimaan dalam kode Anda, bukan kemampuan yang muncul bersama kunci API. Aturan tersebut membuat hasil migrasi dapat dinilai lebih jauh daripada keberhasilan satu permintaan HTTP.
Reddit Scraping menyediakan arsip historis independen, bukan perayapan langsung atau layanan untuk melewati pemblokiran. Layanan ini tidak berafiliasi dengan Reddit. Jika proyek memerlukan posting baru segera setelah terbit, jangan menganggap sumber historis memenuhi kebutuhan tersebut. Tentukan komunitas dan rentang waktu yang dibutuhkan, lalu periksa apakah hasil yang tersedia cukup relevan untuk pekerjaan yang direncanakan sebelum memperbesar pengambilan.
Terima satu halaman dan bedakan hasilnya
Gunakan contoh https://api.redditscraping.com/v1/posts?subreddit=webscraping&limit=3 pada beranda. subreddit memilih komunitas dalam arsip dan limit menentukan jumlah maksimum dalam satu respons. Kirim kunci dari server melalui Authorization: Bearer YOUR_API_KEY atau X-API-Key: YOUR_API_KEY. Periksa status dan bidang yang tersedia sebelum menyimpan hasil. Contoh kecil menilai kelayakan awal, bukan membuktikan seluruh riwayat komunitas tersedia atau tidak berubah.
Pisahkan kegagalan permintaan, respons berhasil tanpa catatan, dan catatan yang menunggu validasi. Jangan membuat posting kosong agar tahap berikutnya terus berjalan. Jika nilai wajib tidak tersedia, pertahankan respons asli beserta alasan penolakan. Penolakan lokal oleh aplikasi dan kesalahan API adalah peristiwa berbeda; perbedaan itu perlu tetap terlihat dalam diagnosis pekerjaan.
Normalisasi setelah menerima catatan yang sesuai
Buat daftar bidang keluaran yang digunakan skrip lama. Tandai bidang wajib, cara menangani nilai kosong, dan tindakan ketika bidang tidak tersedia dalam respons baru. Jangan menganggap semua catatan memiliki bentuk atau cakupan yang sama. Pemeriksaan ini membantu menemukan pemetaan yang keliru setelah pengurai HTML dilepas. Data berbentuk JSON tetap memerlukan validasi; perubahan format tidak memberi jaminan mutu atau kelengkapan otomatis.
Untuk komponen pemakai teks, simpan teks yang diterima di samping versi yang dinormalisasi secara lokal. Terapkan hanya perubahan yang diperlukan, misalnya aturan spasi komponen tersebut, dan catat versinya. Jangan mengubah teks yang hilang menjadi pengamatan kosong. Pertahankan pengenal yang tersedia untuk perbandingan; jika menghapus duplikat, dokumentasikan keputusan lokal tanpa menyatakan bahwa arsip bebas duplikasi.
Batasi pelaksanaan pengumpulan
Satu permintaan mengambil paling banyak 100 catatan, dengan paling banyak 100 halaman per kueri. Setiap halaman diminta terpisah. Relasi total eq berarti tepat, gte berarti batas bawah, dan unknown atau null berarti total tidak dapat diandalkan. Membagi rentang tanggal membantu organisasi pekerjaan, tetapi tidak menjamin hasil lengkap atau unik. Catat filter dan halaman yang sudah tersimpan untuk menilai hasil yang benar-benar diperoleh.
Ulangi transformasi dari respons yang disimpan
Gunakan respons yang sudah disimpan sebagai masukan saat memeriksa versi baru transformasi. Cara ini memisahkan perubahan kode dari hasil berbeda pada permintaan jarak jauh yang baru. Bandingkan penerimaan, penolakan, dan hasil kosong dengan persyaratan aplikasi. Nama berkas, masa penyimpanan, dan hak akses adalah pilihan Anda. Salinan lokal tidak membuat cuplikan tetap di server atau menjamin catatan yang sama tetap tersedia nanti.
Tentukan bagian pengumpul lama yang dapat dihentikan
Apa yang dapat dihapus? Unduhan HTML dan pemilih yang hanya digunakan untuk memperoleh materi historis yang diterima masukan baru. Apa yang tetap ada? Penjadwalan, pemeriksaan bidang, normalisasi, penyimpanan, dan penjelasan kekurangan. Jika pengumpul lama juga harus mengamati halaman saat ini, kebutuhan itu belum terselesaikan. Catat lingkup penggantian sebelum mengaktifkan pekerjaan terjadwal berikutnya; jangan menyebut arsip sebagai pengganti menyeluruh.
Setiap pengambilan berhasil, termasuk hasil kosong, menggunakan satu kredit. Permintaan tidak valid tidak mendebit saldo; kegagalan sumber hulu mengembalikan cadangan kredit. Namun, respons yang hilang pada jaringan klien dapat menyembunyikan keberhasilan berbayar di server. Pengulangan berhasil memakai kredit lagi. Bedakan HTTP 400 untuk parameter, 401 untuk kunci, 402 untuk saldo, dan 429 untuk batas laju sebelum memutuskan mengulang.
