Scrapers for Japanese boatrace websites
Project description
概要
ボートレース関連の WEB サイトのスクレイピングライブラリ
以下の機能を備える
- ボートレース公式サイト に対応する下記
- URL の生成
- スクレイピング
パッケージの構成
名前空間パッケージになっており、共通の名前空間 (metaboatrace) を保持する同種のパッケージがある。
ボートレース公式サイトに対応する規約
名前空間は以下のように切られている。
- metaboatrace.scrapers.official.website.v1707
この v1707 の部分はボートレース公式サイトのバージョンに対応している。
バージョニングは、Ubuntu でのそれに近い。
Ubuntu は 22.04 のように年と月という形でバージョニングされている（22.04.1 のようセキュリティパッチのリビジョンも付くことがある）。
ボートレースの公式サイトが現行のものになったのは 2017 年の 7 月なので、それに合わせてここでは v1707 としている。
機能
metaboatrace/scrapers/official/website/v1707/pages 直下に、公式サイトのページに対応した名前空間がある。
例えば、公式サイトの月間スケジュールに対応するものは monthly_schedule_page である。
これらの配下に location と scraping というモジュールがある。
前者は引数（日付など）をもとに公式サイトの URL を生成するような責務を負った関数が包含されている。
例えば、年と月を与えたら "https://boatrace.jp/owpc/pc/race/monthlyschedule?ym=202209" といったそのデータに対応する公式サイトの月間スケジュールの URL を返すような関数が入っている。
後者は、公式サイトの HTML ファイルをスクレイピングのモジュールである。
例えば、ここに入ってる関数は "https://boatrace.jp/owpc/pc/race/monthlyschedule?ym=202209" のファイルをスクレイピングしてエンティティを返すような処理を行う。
※ ここでいうエンティティはクリーンアーキテクチャの定義上のエンティティのことであり、metaboatrace.modelsはそういったものを提供しているパッケージ
ブランチ戦略
GitHub Flow を採用している。
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file metaboatrace_scrapers-3.5.0.tar.gz.
File metadata
- Download URL: metaboatrace_scrapers-3.5.0.tar.gz
- Upload date:
- Size: 872.9 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: uv/0.11.14 {"installer":{"name":"uv","version":"0.11.14","subcommand":["publish"]},"python":null,"implementation":{"name":null,"version":null},"distro":{"name":"Ubuntu","version":"22.04","id":"jammy","libc":null},"system":{"name":null,"release":null},"cpu":null,"openssl_version":null,"setuptools_version":null,"rustc_version":null,"ci":true}
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
faa8c378c8c22ac7e959fe53ce40aa65433360a65026642ef109183cd09fbfd1
|
|
| MD5 |
664897f8ae4cb8899968ed78417621d8
|
|
| BLAKE2b-256 |
a4d7d58c19831bb043f2fecd8eb8a5b0c2f0ec8aac4c2bc8c06fc27e59e09008
|
File details
Details for the file metaboatrace_scrapers-3.5.0-py3-none-any.whl.
File metadata
- Download URL: metaboatrace_scrapers-3.5.0-py3-none-any.whl
- Upload date:
- Size: 941.2 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: uv/0.11.14 {"installer":{"name":"uv","version":"0.11.14","subcommand":["publish"]},"python":null,"implementation":{"name":null,"version":null},"distro":{"name":"Ubuntu","version":"22.04","id":"jammy","libc":null},"system":{"name":null,"release":null},"cpu":null,"openssl_version":null,"setuptools_version":null,"rustc_version":null,"ci":true}
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
0f5eee6348fc45a02c32e49a7cce3922955fe784a1ef4ed45434772311296edc
|
|
| MD5 |
c54448b1183e46ea7d88ba44a5161a50
|
|
| BLAKE2b-256 |
503cdc2c1dbe445707825f3acfbde150326d3d76a757948d5a170a9a52e2d96c
|
