不動産データ収集基盤

頻繁に変わるサイト構造に追従するNode.jsスクレイピング基盤を設計。中断から再開できる耐障害パイプラインとサーバーレスcronを構築。

守秘のため、企業名・固有情報は伏せています。

• 01

  頻繁に変わる外部サイト構造（クリックして別ページへ潜る動的遷移を含む）に追従し、不動産掲載データを安定収集するNode.jsスクレイピング基盤を設計。

• 02

  取得済みURLをリスト化し、中断後に途中から再開できる耐障害パイプラインを提案・実装。

• 03

  GitHub Actions で日次バッチを自動化し、Slackと連携して成功 / 失敗の結果を通知。