RaGLU

Pure Rational GLU (RaGLU) ve RaLU aktivasyon fonksiyonları için platform bağımsız PyTorch kütüphanesi. NVIDIA CUDA'da isteğe bağlı Triton çekirdekleri, Apple Silicon'da ise yerel MLX desteği sunar.

Paket iki nn.Module sınıfı sunar:

Fonksiyonlar

Kapılı (gated) varyant:

$$ \operatorname{RaGLU}(g, v) = \frac{g^3 + g}{g^2 + 3} \cdot v $$

Kapısız varyant:

$$ \operatorname{RaLU}(x) = \frac{x^3 + x}{x^2 + 3} $$

Türev (her iki varyantın çekirdeği):

$$ \frac{d}{dx}\left(\frac{x^3 + x}{x^2 + 3}\right) = \frac{x^4 + 8x^2 + 3}{(x^2 + 3)^2} $$

Fonksiyon tek (odd) bir fonksiyondur: f(-x) = -f(x). Payda her zaman >= 3 olduğundan sayısal olarak kararlıdır.

Kurulum

pip install raglu

İsteğe bağlı hızlandırıcılar:

pip install "raglu[triton]"   # NVIDIA CUDA için Triton çekirdekleri
pip install "raglu[mlx]"      # Apple Silicon için MLX
pip install "raglu[dev]"      # test + derleme araçları

Kullanım

Fonksiyonel PyTorch API

import torch
from raglu import fused_pure_rational_glu, fused_pure_rational

gate = torch.randn(32, 128)
val = torch.randn(32, 128)

y = fused_pure_rational_glu(gate, val)  # (32, 128)
z = fused_pure_rational(gate)           # (32, 128)

fused_pure_rational_glu, CUDA + Triton mevcutsa füzyonlu çekirdeği kullanır. Aksi halde otomatik olarak CPU/MPS uyumlu PyTorch fallback'ine döner. Her iki yol da autograd desteklidir.

Katmanlar

import torch
from raglu import RaGLU, RaLU

# Girdiyi 2 * out_features boyutuna genişletip gate/val olarak böler.
layer = RaGLU(in_features=768, out_features=768)
x = torch.randn(8, 128, 768)
y = layer(x)  # (8, 128, 768)

# Kapısız aktivasyon
act = RaLU()
z = act(x)    # (8, 128, 768)

Hazır gate ve val modülleri de kullanılabilir:

from torch import nn
from raglu import RaGLU

layer = RaGLU(
    gate=nn.Linear(768, 1024),
    val=nn.Linear(768, 1024),
)

Apple MLX

import mlx.core as mx
from raglu import mlx_pure_rational_glu, mlx_pure_rational

gate = mx.random.normal((32, 128))
val = mx.random.normal((32, 128))

y = mlx_pure_rational_glu(gate, val)
z = mlx_pure_rational(gate)

MLX kurulu değilse bu semboller dışa aktarılmaz; raglu.HAS_MLX ile kontrol edebilirsiniz.

API

Not: CUDA clamp

Triton çekirdekleri sayısal kararlılık için kapı değerini [-50, 50] aralığına kırpar. Bu aralığın dışındaki değerlerde Triton ve fallback çıktıları farklılaşabilir; pratik aktivasyon girdilerinde fark yoktur.

Geliştirme

git clone <repo-url>
cd RaGLU
python -m venv .venv
source .venv/bin/activate
pip install -e ".[dev]"
pytest -v

Triton testleri yalnızca CUDA + Triton mevcut olduğunda, MLX testleri ise yalnızca MLX kurulu olduğunda çalışır; diğer ortamlarda otomatik atlanır.

Paket derleme

python -m build
python -m twine check dist/*

Lisans

MIT — bkz. LICENSE.

Copyright (c) 2026 Ömer Faruk Solmaz