A PyTorch implementation of BitNet, a network utilizing bit quantization for linear layers.
Project description
BitNet-b158
noteで実装を進めているBitLinear, BitLinearb158のコードとなります。
BitNet&BitNet b158の実装
pip install mybitnet
でインストール可能です。example/01_bit_llama_pretraining.ipynb
ファイルには、bitlinearを用いた事前学習の例があります。
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
mybitnet-0.5.0.tar.gz
(9.7 kB
view hashes)
Built Distribution
mybitnet-0.5.0-py3-none-any.whl
(11.1 kB
view hashes)