Kodu değiştirmeden kaynak koşullarını yazın
Bu çalışma mevcut toplayıcının tek bir bileşenini değiştirir. Çıktıyı kullanan uygulamanın koşullarını yazın: gerekli bilgiler, geçmiş içeriğin kabul edilip edilmediği ve kullanılabilir gönderi gelmezse izlenecek yol. Bunlar anahtarla kazanılan hizmet özellikleri değil, kodunuzun kabul kurallarıdır. Geçişi yalnızca başarılı bir HTTP isteğinden daha anlamlı bir sonuçla değerlendirmenizi sağlar.
Bu yaklaşım yeni gönderileri anında izlemek için uygun bir vaat değildir. Hizmet bağımsız bir geçmiş Reddit arşividir; canlı tarayıcı çalıştırmaz, engel aşma hizmeti vermez ve Reddit’in resmî API’si değildir. Önce ihtiyacınız olan zaman aralığının ve topluluğun kullanılabilir kayıtlarda karşılığı olup olmadığını araştırın. Eksik sonuçlar işin temel sorusunu yanıtsız bırakıyorsa kaynak değişimini yeterli kabul etmeyin.
Bir sayfa alın ve sonuç türünü ayırın
Ana sayfadaki https://api.redditscraping.com/v1/posts?subreddit=webscraping&limit=3 örneğiyle başlayın. subreddit topluluğu seçer, limit tek yanıttaki üst sınırı belirler. Anahtarı sunucunuzda Authorization: Bearer YOUR_API_KEY veya X-API-Key: YOUR_API_KEY başlığıyla gönderin. İlk sayfayı kaydetmeden önce yanıt durumunu ve mevcut alanları inceleyin. Birkaç kayıtla kurulan eşleme, bütün arşivde aynı kapsamın bulunduğu anlamına gelmez.
İstek hatasını, kayıt içermeyen başarılı yanıtı ve doğrulama bekleyen kayıtları ayrı sonuçlar olarak ele alın. Sonraki aşamalar çalışsın diye boş bir gönderi uydurmayın. Zorunlu değer yoksa özgün yanıtı ve reddetme nedenini koruyun. Uygulamanın bir kaydı reddetmesi API hatasıyla aynı olay değildir; bu fark tanılama kayıtlarında da görünür kalmalıdır.
Kaydı kabul ettikten sonra normalleştirin
Eski ayrıştırıcınızdan aldığınız alanların bir listesini çıkarın. Her alan için gerçekten gerekli olup olmadığını, boş değerle nasıl davranacağınızı ve yeni yanıtta karşılık bulunmazsa hangi işlemi durduracağınızı belirleyin. Arşiv yanıtında aynı alanların her kayıtta bulunacağını varsaymayın. Bu kontrol, HTML seçicilerini kaldırdıktan sonra ortaya çıkabilecek sessiz eşleme hatalarını fark etmenize yardımcı olur; sonuç doğruluğunu kendiliğinden garanti etmez.
Metin kullanan bir bileşen için gelen metni yerel olarak normalleştirilmiş sürümünün yanında saklayın. Yalnızca gereken dönüşümleri, örneğin uygulamanın boşluk kurallarını uygulayın ve kural sürümünü kaydedin. Eksik metni boş bir gözleme dönüştürmeyin. Karşılaştırma için mevcut kimliği koruyun; tekrarları kaldırıyorsanız yerel kararın nedenini açıklayın, arşivin tekrarsız olduğu iddiasında bulunmayın.
Toplama çalışmasına bir sınır koyun
Bir istek en fazla 100 kayıt, bir sorgu en fazla 100 sayfa verir. Her sayfa ayrı istenir. eq toplamın kesin, gte alt sınır, unknown veya null güvenilir toplamın bulunmadığı durumdur. Tarih dilimlerine bölmek iş takibini kolaylaştırabilir, ancak eksiksiz veya tekrarsız toplama kanıtı değildir. Kaydettiğiniz sayfaları kendi çalışma günlüğünüzle izleyin ve tamamlanma iddiasını bu sınırlar içinde tutun.
Dönüştürmeyi kaydedilmiş yanıtla tekrarlayın
Dönüştürücünün yeni sürümünü denemek için daha önce sakladığınız yanıtı girdi olarak kullanın. Böylece kod değişikliğiyle yeni uzak isteğin farklı sonucunu ayırabilirsiniz. Kabul, ret ve boş sonuçları uygulama koşullarıyla karşılaştırın. Dosya adları, saklama süresi ve erişim izinleri sizin seçimlerinizdir. Yerel kayıt sunucuda sabit bir görüntü oluşturmaz veya aynı kayıtların daha sonra alınacağını garanti etmez.
Eski toplayıcının hangi kısmı kaldırılabilir?
Ne kaldırılabilir? Yalnızca yeni girişin kabul ettiği geçmiş içeriği edinmek için kullanılan HTML indirme ve seçici kodu. Ne kalır? Zamanlama, alan kontrolleri, normalleştirme, saklama ve eksiklerin açıklaması. Eski toplayıcı güncel sayfayı da izliyorsa bu gereksinim açık kalır. Arşivi tam bir ikame saymadan, sonraki zamanlanmış işi açmadan önce değişikliğin kapsamını kaydedin.
Başarılı ve boş yanıt dahil her veri alma isteği bir kredi harcar. Geçersiz istekten kredi düşülmez; üst kaynak hatasında ayrılan kredi geri verilir. İstemcide bağlantı kaybı sunucudaki ücretli başarıyı gizleyebilir. Başarılı tekrar yeniden ücretlidir. HTTP 400 parametre, 401 anahtar, 402 bakiye, 429 hız sınırı kontrolü gerektirir. Her durumu otomatik olarak aynı sıklıkta tekrar etmeyin.
