framania - pandas/dask DataFrame API extension library

モチベーション

pandas/daskには、DataFrame操作のための充実したAPIが用意されています。しかし、このAPIを使って実際に処理を行なってみると、「こんなAPIが欲しい！」という気持ちになることも多いと思います。 framaniaでは、痒いところに手が届かないような、もどかしい部分のAPIを拡張することを目的に開発しています。

コンセプト

framaniaでは、下記のポイントを重要視して実装を行います。

高速に動作
省メモリ設計
なるべくオプションは少ないAPI

バージョン

0.11.0b4

API一覧

daskmania
- aggregate
  - aggregate_by_named_index_and_keys #
  - aggregate_as_series #
  - aggregate_as_series_by_named_index_and_keys #
- filter
  - drop_rows_by_index #
  - drop_duplicates_by_named_index_and_keys #
- stack
  - stack_list_column #
  - stack_list_columns #
  - stack_dict_column #
  - stack_columns #
- util
  - make_meta #
  - map_partitions_as_meta #
- api ##
pandasmania
- aggregate
  - aggregate_as_series
- stack
  - stack_list_column #
  - stack_list_columns #
  - stack_dict_column #
  - stack_columns #
  - unstack_column #
- na
  - fbfill_series #
- filter
  - drop_duplicates_by_named_index_and_keys #
- transform
  - timeseries_value_changed #
  - timeseries_id_changed #
  - grouper_for_timeseries #
  - group_row_number #
  - asstr #
- api ##
intakemania
- util
  - add_source_to_catalog #
  - dump_dask_to_intake #
  - dump_pandas_to_intake #
  - persist_local #
- extension
  - FramaniaExtendedIntakeCatalog #
  - FramaniaExtendedIntakeSource #
  - analysis #
- api ##
- jupyter

testing status

#: doctest

##: test file

###: doctest and test file

テスト

テストは、doctestによる方法と、テストプログラムを作成する方法を適宜選択します。テストデータの生成方法が複雑な場合や、様々なテストデータによるテストが必要な場合は、テストプログラムを作成します。

> pytest

リリース

pip install setuptools wheel twine
python setup.py sdist
python -m twine upload --repository  testpypi dist/*
python -m twine upload --repository  pypi dist/*
rm -rf dist *.egg-info MANIFEST

インストール

pip install framania

Metadata

Release files for framania 0.11.4

For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.

Source distribution (sdist)

Source distribution for framania 0.11.4
File	Size	Uploaded
framania-0.11.4.tar.gz	31.2 kB	Feb 26, 2022	Details

Release files / framania-0.11.4.tar.gz

Download URL	framania-0.11.4.tar.gz
Size	31.2 kB
Tags	Source
SHA-256 checksum How to use checksums	`3a44ad4d3cef1ec794e3051fa7eb01fb1de3801db76138c261e4d47c235d8c89`
BLAKE2b-256 checksum How to use checksums	`02a621b69612870e542a2025ee56b395878c2183047cdb2ce54cb47251ca915d`
Upload date	Feb 26, 2022
Uploaded using Trusted Publishing? What is trusted publishing?	No
Uploaded via	`twine/3.4.2 importlib_metadata/4.10.1 pkginfo/1.7.1 requests/2.27.1 requests-toolbelt/0.9.1 tqdm/4.62.3 CPython/3.8.3`