Scrapers for Japanese boatrace websites
Project description
概要
ボートレース関連の WEB サイトのスクレイピングライブラリ
以下の機能を備える
- ボートレース公式サイト に対応する下記
- URL の生成
- スクレイピング
パッケージの構成
名前空間パッケージになっており、共通の名前空間 (metaboatrace
) を保持する同種のパッケージがある。
ボートレース公式サイトに対応する規約
名前空間は以下のように切られている。
- metaboatrace.scrapers.official.website.v1707
この v1707
の部分はボートレース公式サイトのバージョンに対応している。
バージョニングは、Ubuntu でのそれに近い。
Ubuntu は 22.04 のように年と月という形でバージョニングされている(22.04.1 のようセキュリティパッチのリビジョンも付くことがある)。
ボートレースの公式サイトが現行のものになったのは 2017 年の 7 月なので、それに合わせてここでは v1707
としている。
機能
metaboatrace/scrapers/official/website/v1707/pages
直下に、公式サイトのページに対応した名前空間がある。
例えば、公式サイトの月間スケジュールに対応するものは monthly_schedule_page
である。
これらの配下に location
と scraping
というモジュールがある。
前者は引数(日付など)をもとに公式サイトの URL を生成するような責務を負った関数が包含されている。
例えば、年と月を与えたら "https://boatrace.jp/owpc/pc/race/monthlyschedule?ym=202209" といったそのデータに対応する公式サイトの月間スケジュールの URL を返すような関数が入っている。
後者は、公式サイトの HTML ファイルをスクレイピングのモジュールである。
例えば、ここに入ってる関数は "https://boatrace.jp/owpc/pc/race/monthlyschedule?ym=202209" のファイルをスクレイピングしてエンティティを返すような処理を行う。
※ ここでいうエンティティはクリーンアーキテクチャの定義上のエンティティのことであり、metaboatrace.modelsはそういったものを提供しているパッケージ
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for metaboatrace_scrapers-3.3.0.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | d7bad482e2640c5274d28309287883059570c1db0adae6c7e60a6b4a0a61b0e5 |
|
MD5 | 36239c84b069b0c44a0ce6181e2d6c0f |
|
BLAKE2b-256 | 5ef9720e8587f2cd10151bf5c3d487c4e6222b5a836e36b2436c9fb0332da029 |
Hashes for metaboatrace_scrapers-3.3.0-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 6d431cec8e5653ff241a06df7e6f86bd5a744a52eb2b36fb71e28182f1b45287 |
|
MD5 | e4aaac22e7c3f8fe55b1416558fc4258 |
|
BLAKE2b-256 | 86c493053b73b102859cdbbe0820fb5c7a48fb31a11b633ae8fb968a9339073a |