Library pendeteksi kalimat atau kata untuk validasi semantik input menggunakan LLM
Project description
๐ค Library Semantic Validation Dengan Gemini API
validation_semantic adalah library validasi semantik yang cepat, aman, dan cerdas โ dibangun sepenuhnya dengan Rust dan didukung oleh model Gemini dari Google AI Studio.
Library ini tidak hanya memeriksa validitas data secara sintaksis (misalnya format email atau nomor telepon), tetapi juga melakukan analisis semantik untuk memahami makna dan konteks dari input pengguna. Dengan integrasi Gemini API, proses validasi menjadi lebih kontekstual dan adaptif terhadap berbagai jenis data maupun bahasa.
Berbeda dari validator konvensional, validation_semantic berfokus pada pemahaman arti dan tujuan data, bukan sekadar pola teks.
Sebagai contoh, library ini dapat membedakan apakah sebuah input lebih sesuai dikategorikan sebagai nama institusi, alamat email, deskripsi, atau teks naratif โ menghasilkan validasi yang jauh lebih presisi dan bermakna.
๐ก Untuk versi Python, library ini dapat digunakan di lingkungan mana pun (baik server-side maupun client-side). Sedangkan untuk versi JavaScript / TypeScript, library ini dirancang khusus untuk berjalan di sisi front-end (client-side) โ ideal untuk aplikasi web dengan React atau Next yang memerlukan validasi cerdas langsung di browser.
โ ๏ธ Catatan: Library ini masih dalam tahap eksperimental. Fitur, API, dan hasil validasi dapat berubah pada versi berikutnya seiring dengan pengujian dan peningkatan performa. ๐งฉ Masukan dari pengembang sangat dibutuhkan โ saran, laporan bug, dan kontribusi Anda sangat membantu dalam mengembangkan dan menstabilkan library ini.
๐ง Catatan Penelitian:
Pustaka ini dikembangkan sebagai bagian dari proyek penelitian akademis. Pengembang didorong untuk mencobanya dan memberikan umpan balik mengenai kinerja dan kemudahan penggunaannya. Untuk informasi selengkapnya, lihat bagian ๐ Permintaan Partisipasi Dan Umpan Balik Riset di bawah ini.
๐ Dukungan Multiplatform
Kelebihan utama validation_semantic terletak pada desain modular dan interoperabilitas lintas platform melalui bindings:
- ๐งฉ WebAssembly (WASM) โ memungkinkan integrasi di frontend seperti React atau Vue dengan performa tinggi langsung di browser.
- ๐ Python (via PyO3 / Maturin) โ ideal untuk backend services, data validation pipelines, atau machine learning preprocessing.
- ๐ง Dukungan untuk binding lain seperti Kotlin sedang dalam tahap pengembangan.
Dengan kombinasi kecepatan Rust dan kecerdasan Gemini, validation_semantic menghadirkan sistem validasi modern yang kontekstual, efisien, dan mudah diintegrasikan ke berbagai proyek.
๐ Daftar Isi
๐ Fitur Utama
- Core Logic dalam Rust: Mesin validasi semantik yang cepat, aman, dan efisien, dibangun di atas fondasi Rust.
- Validasi Berbasis Aturan: Terapkan seperangkat aturan yang dapat dikonfigurasi untuk memeriksa integritas dan konsistensi semantik data Anda.
- Deteksi Anomali: Mudah mengidentifikasi pola atau nilai data yang tidak sesuai dengan ekspektasi semantik Anda.
- API yang Fleksibel: Dirancang untuk mudah diekspos melalui bindings ke berbagai bahasa dan lingkungan pemrograman.
- Laporan Detail: Dapatkan laporan validasi yang jelas dan informatif.
- Siap untuk Cross-Platform: Digunakan di server, desktop, maupun browser.
๐ Memulai
validation_semantic dirancang agar dapat digunakan lintas platform โ Anda dapat memanfaatkan core logic-nya yang ditulis dalam Rust melalui binding ke berbagai bahasa dan lingkungan pemrograman.
Saat ini, library ini dapat digunakan di dua platform utama:
- Frontend: React (Vite) menggunakan WebAssembly (WASM)
- Backend / Desktop: Python (via PyO3 / Maturin)
โ๏ธ Menggunakan Library di React (Vite) / Next JS
Library ini dapat digunakan di React (Vite) dengan memanfaatkan WebAssembly (WASM) yang dibangun menggunakan Rust. Langkah-langkah berikut menjelaskan cara instalasi dan penggunaannya.
Untuk Next JS, sudah otomatis mendukung WASM โ tidak memerlukan konfigurasi tambahan seperti di Vite.
Cukup gunakan komponen WasmProvider untuk membungkus tag lain.
โ ๏ธ Library ini hanya bisa digunakan pada file yang di bagian atasnya memiliki
"use client".
Kunjungi repository React-Library-Semantic-Validation di: ๐ https://github.com/herros27/React-Library-Semantic-Validation/pkgs/npm/validation_semantic
๐งฉ 1๏ธโฃ Instalasi Library dan Plugin Pendukung
# Instal library utama
npm install validation_semantic
# Instal plugin WASM untuk Vite
npm install vite-plugin-wasm vite-plugin-top-level-await
Plugin ini diperlukan agar Vite bisa memuat file
.wasmdengan benar dan mendukung penggunaanawaitdi level atas module.
โ๏ธ 2๏ธโฃ Konfigurasi Vite
import { defineConfig } from "vite";
import react from "@vitejs/plugin-react";
import tailwindcss from "@tailwindcss/vite";
import wasm from "vite-plugin-wasm";
import topLevelAwait from "vite-plugin-top-level-await";
export default defineConfig({
plugins: [
react(),
wasm(), // Aktifkan dukungan untuk WebAssembly
topLevelAwait(), // Izinkan penggunaan "await" di top-level
tailwindcss(),
],
});
Pastikan seluruh aplikasi dibungkus oleh WasmProvider di main.tsx
// main.tsx
import { WasmProvider } from "validation_semantic";
createRoot(document.getElementById("root")!).render(
<WasmProvider>
<StrictMode>
<App />
</StrictMode>
</WasmProvider>
);
Wajib: Konfigurasi Wasm Module Dengan API Key dari Google AI Studio di app.tsx (atau di dalam komponen yang berada di dalam WasmProvider)
// app.tsx
export default function App() {
const { wasmReady, wasmModule } = useWasm();
useEffect(() => {
if (!wasmReady || !wasmModule) return;
const apiKey = import.meta.env.VITE_GEMINI_API_KEY;
wasmModule.configure(apiKey);
}, [wasmReady, wasmModule]);
return (
<Router>
<Routes>
<Route path='/' element={<FormTestPage />} />
<Route path='/developer' element={<FormDeveloperPage />} />
</Routes>
</Router>
);
}
๐ Catatan Penting
wasmModule.configure(apiKey)harus dipanggil di dalam komponen yang dirender di bawah<WasmProvider>. Jika tidak, modul WebAssembly tidak akan terinisialisasi dengan benar dan fitur validasi akan gagal berfungsi.
๐ Konfigurasi
Library ini memerlukan API Key dari Google AI Studio.
# Buat file .env dan buat envirovment variabel seperti di bawah:
VITE_GEMINI_API_KEY="API_KEY_ANDA"
๐ 3๏ธโฃ Gunakan Modul WASM di React
import { useWasm } from "validation_semantic";
export default function Example() {
const { wasmReady, wasmModule, error } = useWasm();
async function runValidation() {
if (!wasmReady || !wasmModule) {
console.warn("WASM belum siap");
return;
}
const model = wasmModule.getSupportedModels().GeminiFlashLite;
const result = await wasmModule.validateInput(
"PT Sinar Mentari",
model,
"Nama Perusahaan"
);
console.log(result);
}
if (error) console.error(error);
else runValidation();
}
๐ Hasil Contoh Output (di Console)
{
"valid": true,
"message": "Input 'PT Sinar Mentari' adalah nama perusahaan yang valid dan umum di Indonesia."
}
๐ง 5๏ธโฃ Contoh Validasi Banyak Input Sekaligus (Batch Validation)
Kamu dapat melakukan validasi beberapa input sekaligus menggunakan validateInput dari modul WASM.
Setiap input diproses secara asynchronous dan paralel untuk efisiensi.
import React, { useState } from "react";
import { useWasm } from "validation_semantic";
type InputType =
| "email"
| "institution name"
| "company name"
| "product name"
| "location name"
| "full name"
| "title"
| "occupation"
| "tag"
| "address"
| "text area";
export default function BatchValidationExample() {
const { wasmReady, wasmModule, error: wasmError } = useWasm();
const [formData, setFormData] = useState<Record<InputType, string>>({
email: "",
"full name": "",
address: "",
"product name": "",
"institution name": "",
"company name": "",
"location name": "",
title: "",
occupation: "",
tag: "",
"text area": "",
});
const [results, setResults] = useState<Record<string, any> | null>(null);
const [loading, setLoading] = useState(false);
// Handler perubahan input
const handleChange = (key: InputType, value: string) => {
setFormData((prev) => ({
...prev,
[key]: value,
}));
};
async function validateBatchInputs() {
if (!wasmReady || !wasmModule) {
alert("WASM module is not ready.");
return;
}
// You can use other model like GeminiFlash, GeminiFlashLatest, Gemma
const model = wasmModule.getSupportedModels().GeminiFlashLite;
setLoading(true);
try {
const validationPromises = Object.entries(formData)
.filter(([_, value]) => value.trim() !== "") // hanya input yang diisi
.map(async ([inputType, inputValue]) => {
try {
const result = await wasmModule.validateInput(
inputValue,
model,
inputType as InputType
);
return { inputType, inputValue, result, error: null };
} catch (err: any) {
return {
inputType,
inputValue,
result: null,
error: err?.message ?? "Validation error occurred.",
};
}
});
const results = await Promise.all(validationPromises);
const batchResults = Object.fromEntries(
results.map((r) => [
r.inputType,
{ input: r.inputValue, result: r.result, error: r.error },
])
);
setResults(batchResults);
console.log("Batch Validation Results:", batchResults);
} finally {
setLoading(false);
}
}
return (
<div className='max-w-xl mx-auto p-4 space-y-6'>
<h1 className='text-xl font-bold text-center'>Batch Validation Form</h1>
{/* Form Input */}
<div className='space-y-4'>
{Object.keys(formData).map((key) => (
<div key={key} className='flex flex-col'>
<label className='font-semibold capitalize'>{key}</label>
<input
type='text'
className='border border-gray-300 rounded-md p-2'
value={formData[key as InputType]}
onChange={(e) => handleChange(key as InputType, e.target.value)}
placeholder={`Masukkan ${key}`}
/>
</div>
))}
</div>
{/* Tombol Validasi */}
<button
onClick={validateBatchInputs}
disabled={loading || !wasmReady}
className='bg-blue-600 text-white px-4 py-2 rounded-md w-full disabled:opacity-50'>
{loading ? "Validating..." : "Validate All Inputs"}
</button>
{/* Hasil */}
{results && (
<div className='mt-6 bg-gray-100 p-4 rounded-md'>
<h2 className='font-semibold mb-2'>Validation Results:</h2>
<pre className='text-sm bg-white p-2 rounded-md overflow-x-auto'>
{JSON.stringify(results, null, 2)}
</pre>
</div>
)}
{wasmError && (
<p className='text-red-500 text-sm text-center mt-4'>
Error loading WASM: {wasmError}
</p>
)}
</div>
);
}
๐ Hasil Contoh Output (di Console)
{
"email": {
"input": "khairunsyah8935@gmail.com",
"result": {
"valid": true,
"message": "Alamat email valid. Format dan domain sudah benar, bukan domain contoh atau domain sekali pakai, dan panjangnya tidak melebihi batas."
},
"error": null
},
"full name": {
"input": "XYZ",
"result": {
"valid": false,
"message": "Input 'XYZ' tidak terlihat seperti nama manusia, institusi, atau entitas yang realistis. Ini lebih menyerupai placeholder atau singkatan generik."
},
"error": null
},
"address": {
"input": "My House",
"result": {
"valid": false,
"message": "Input 'My House' terlalu umum dan tidak mengandung elemen geografis yang spesifik dan realistis seperti nama jalan, nomor, kota, atau kode pos. Ini tidak dapat digunakan sebagai alamat yang valid."
},
"error": null
},
"company name": {
"input": "Companyy",
"result": {
"valid": false,
"message": "Input 'Companyy' terlalu generik dan tidak terdengar seperti nama perusahaan yang spesifik atau realistis. Penulisan dengan dua 'y' di akhir juga terlihat tidak lazim untuk nama entitas asli, menyerupai placeholder atau nama uji coba. Mohon gunakan nama perusahaan yang lebih spesifik dan realistis."
},
"error": null
}
}
๐ก Catatan
- Fungsi
validateInput()tetap digunakan seperti pada validasi tunggal. - Perbedaan utamanya adalah semua input dikirim sekaligus menggunakan
Promise.all()agar berjalan paralel. - Kamu bisa menyesuaikan daftar input sesuai kebutuhan form atau dataset kamu.
๐ 5๏ธโฃ Ringkasan Fungsi Utama
| Fungsi | Deskripsi |
|---|---|
useWasm() |
React Hook untuk memuat dan menginisialisasi modul WASM. |
wasmModule.getSupportedModels() |
Mengambil daftar model Gemini yang didukung. |
validateInput(text, model, type) |
Menjalankan validasi semantik pada teks yang diberikan. |
wasmModule.configure(apiKey) |
Wajib dipanggil sekali untuk menetapkan API Key Gemini sebelum fitur validasi dapat digunakan. |
๐ Python
Untuk Python, Anda dapat menginstal library ini langsung dari PyPI menggunakan pip.
pip install -i validation-semantic
Setelah terinstal, Anda bisa langsung mengimpor dan menggunakan fungsi validate_input_py di kode Python Anda:
from validation_semantic import validate_input_py, SupportedModel
๐ Konfigurasi
Library ini memerlukan API Key dari Google AI Studio.
# Membuat .env dengan variabel berisi API key dari google studio anda :
GEMINI_API_KEY="API_KEY_ANDA"
๐ Cara Penggunaan Untuk Python
import json
from validation_semantic import validate_input_py, SupportedModel
text_input = "PT Mencari Cinta Sejati"
input_type = "Nama Perusahaan"
model_choice = SupportedModel.GeminiFlash
result = validate_input_py(
text=text_input,
model=model_choice,
label=input_type
)
print(json.dumps(result, indent=4, ensure_ascii=False))
Output:
{
"valid": false,
"message": "Input 'PT Mencari Cinta Sejati' adalah nama perusahaan yang tidak valid dan umum di Indonesia."
}
๐ฆ Validasi Banyak Input Sekaligus (Batch Validation) dengan python
Kode Lengkap:
class BatchValidationWorker:
def __init__(self, inputs, model):
self.inputs = inputs
self.model = model
def run(self):
results = {}
for label, text in self.inputs.items():
if not text.strip():
continue # lewati input kosong
try:
result = validate_input_py(text.strip(), self.model, label) #validate_input_py merupakan fungsi dari library
results[label] = {
"input": text.strip(),
"result": result,
"error": None
}
except Exception as e:
results[label] = {
"input": text.strip(),
"result": None,
"error": str(e)
}
return results
Contoh Penggunaan:
if __name__ == "__main__":
user_inputs = {
"nama": "John Doe",
"email": "john@example.com",
"alamat": "error di sini"
}
model = SupportedModel.GeminiFlashLite
worker = BatchValidationWorker(user_inputs, model)
results = worker.run()
print(results)
json_output = json.dumps(results, indent=4, ensure_ascii=False)
print("\n=== Hasil Validasi Batch ===")
print(json_output)
for label, info in results.items():
print(f"[{label}]")
print(" Input:", info["input"])
if info["error"]:
print(" โ Error:", info["error"])
else:
if info["result"]["valid"] == True:
print(" โ
Valid:", info["result"]["message"])
else:
print(" โ ๏ธ Invalid:", info["result"]["message"])
print()
JSON Output:
{
"email": {
"input": "khairunsyah8935@gmail.com",
"result": {
"valid": true,
"message": "Alamat email valid. Format dan domain sudah benar, bukan domain contoh atau domain sekali pakai, dan panjangnya tidak melebihi batas."
},
"error": null
},
"full name": {
"input": "XYZ",
"result": {
"valid": false,
"message": "Input 'XYZ' tidak terlihat seperti nama manusia, institusi, atau entitas yang realistis. Ini lebih menyerupai placeholder atau singkatan generik."
},
"error": null
},
"address": {
"input": "My House",
"result": {
"valid": false,
"message": "Input 'My House' terlalu umum dan tidak mengandung elemen geografis yang spesifik dan realistis seperti nama jalan, nomor, kota, atau kode pos. Ini tidak dapat digunakan sebagai alamat yang valid."
},
"error": null
},
"company name": {
"input": "Companyy",
"result": {
"valid": false,
"message": "Input 'Companyy' terlalu generik dan tidak terdengar seperti nama perusahaan yang spesifik atau realistis. Penulisan dengan dua 'y' di akhir juga terlihat tidak lazim untuk nama entitas asli, menyerupai placeholder atau nama uji coba. Mohon gunakan nama perusahaan yang lebih spesifik dan realistis."
},
"error": null
}
}
๐งฉ Jenis Input yang Dapat Divalidasi
Library validation_semantic mendukung berbagai jenis input teks yang umum digunakan dalam aplikasi bisnis, akademik, maupun personal.
Berikut daftar lengkap jenis input yang dapat divalidasi beserta fungsi atau konteks penggunaannya:
| ๐ท๏ธ Jenis Input | ๐ง Deskripsi Validasi | ๐ก Contoh Input |
|---|---|---|
alamat email, email |
Memvalidasi format dan kesahihan alamat email. | user@example.com |
nama institusi, nama lembaga, institusi, lembaga |
Mengecek kesesuaian nama lembaga atau institusi resmi. | Universitas Indonesia, LIPI |
nama perusahaan |
Memastikan nama perusahaan valid dan umum digunakan. | PT Sinar Mentari |
nama produk |
Memeriksa nama produk atau merek agar sesuai konteks industri. | Indomie, Aqua, iPhone 15 |
nama lokasi, lokasi, tempat |
Mengevaluasi apakah teks merupakan nama lokasi atau wilayah yang sah. | Jakarta Selatan, Bandung, Paris |
nama lengkap, nama |
Validasi nama lengkap pengguna sesuai pola umum nama orang. | Budi Santoso, Kemas Khairunsyah |
judul |
Mengecek apakah teks sesuai untuk digunakan sebagai judul dokumen, artikel, atau karya ilmiah. | Analisis Dampak Teknologi AI di Indonesia |
pekerjaan |
Memastikan teks merupakan jabatan atau profesi yang dikenal umum. | Software Engineer, Dokter, Guru |
tag |
Validasi tag pendek yang biasanya digunakan untuk pengelompokan atau kategorisasi. | AI, Teknologi, Pendidikan |
alamat |
Memeriksa struktur alamat agar sesuai dengan format umum. | Jl. Merdeka No.10, Bandung |
text area, teks area, konten, deskripsi, blog, cerita, komentar |
Validasi teks panjang (paragraf) untuk memastikan isi bermakna, tidak kosong, dan sesuai konteks semantik. | Saya sangat puas dengan produk ini! |
๐ง Catatan:
- Semua jenis input di atas bersifat fleksibel โ sistem akan mengenali label yang mirip (misalnya
nama institusidanlembagaakan diproses sama). - Validasi tidak hanya berdasarkan format (regex), tetapi juga semantik dan konteks makna dengan bantuan model bahasa.
๐ Permintaan Partisipasi Dan Umpan Balik Riset
Pustaka Validasi Semantik dikembangkan sebagai bagian dari proyek riset akademis yang berfokus pada evaluasi performa dan kegunaan sistem validasi semantik berbasis AI.
Jika Anda seorang pengembang yang menggunakan pustaka ini, umpan balik Anda sangat berharga untuk riset ini. Silakan coba gunakan pustaka ini dengan berbagai jenis masukan seperti nama, alamat, judul, deskripsi, atau kolom teks, dan bagikan pengalaman Anda.
Anda dapat menyertakan:
- Pendapat Anda tentang kemudahan penggunaan dan pengalaman pengembang
- kinerja atau akurasi hasil validasi
- Masalah atau saran perbaikan yang ingin Anda laporkan
- (Opsional) Contoh atau bukti tentang bagaimana Anda mengintegrasikan pustaka ini ke dalam proyek Anda
Kontribusi Anda akan secara langsung mendukung evaluasi dan pengembangan lebih lanjut dari proyek riset ini.
๐ฉ Anda dapat memberikan masukan dengan membuka Masalah di repositori GitHub resmi: ๐ GitHub Issues for PyPi users ๐ GitHub Issues for NPM users
Terima kasih banyak telah meluangkan waktu untuk berpartisipasi dan berkontribusi dalam penelitian ini. ๐
๐ค Kontribusi
Kontribusi sangat diterima! Silakan buat issue atau pull request di GitHub Repository.
๐ Lisensi
Proyek ini dilisensikan di bawah MIT License.
Changelog
1.1.3 - 2025-11-22
- Pemindahan konfigurasi API Key keluar dari
validateInput()โ sekarang wajib memanggilwasmModule.configure(apiKey)sekali setelah Wasm module siap pada React. - Refactor: Meningkatkan kenyamanan penggunaan API Python serta konsistensi penamaan.
- Memperbarui daftar model yang didukung untuk memasukkan model Gemini terbaru.
- Meningkatkan dokumentasi dan contoh penggunaan pada README.
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distributions
Built Distributions
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file validation_semantic-1.1.3-cp38-abi3-win_amd64.whl.
File metadata
- Download URL: validation_semantic-1.1.3-cp38-abi3-win_amd64.whl
- Upload date:
- Size: 1.8 MB
- Tags: CPython 3.8+, Windows x86-64
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.2.0 CPython/3.12.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
fb642e2aa0f13c1cd5f0c63bf2d8ae71340b4994588e052d1525324a8ba23e1d
|
|
| MD5 |
47891dcbcc74aaca2efbd5ebf7e78035
|
|
| BLAKE2b-256 |
0a9ee4cdd659752b4e5b2b583c0bcfbe73b9a5b20ba7a46140e05bc488a52260
|
File details
Details for the file validation_semantic-1.1.3-cp38-abi3-manylinux_2_34_x86_64.whl.
File metadata
- Download URL: validation_semantic-1.1.3-cp38-abi3-manylinux_2_34_x86_64.whl
- Upload date:
- Size: 2.1 MB
- Tags: CPython 3.8+, manylinux: glibc 2.34+ x86-64
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.2.0 CPython/3.12.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
a1d1ee1624d5203eaeede03368bca72048beed6d2bb414683756d8cfdc908b83
|
|
| MD5 |
569648c600278c0ad803f83a255f7eca
|
|
| BLAKE2b-256 |
df64929b3ae80fdd2ae3db9971d6b7025b7749b06ff9ffe8162c3b0c05e23ed1
|
File details
Details for the file validation_semantic-1.1.3-cp38-abi3-macosx_11_0_arm64.whl.
File metadata
- Download URL: validation_semantic-1.1.3-cp38-abi3-macosx_11_0_arm64.whl
- Upload date:
- Size: 2.0 MB
- Tags: CPython 3.8+, macOS 11.0+ ARM64
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.2.0 CPython/3.12.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
04a956d0612074d68ebf297840521ba1c07aa65fc4eea5a3c6b5598edbcbff7c
|
|
| MD5 |
dbde5f17bf7520c50ee6e2545005a158
|
|
| BLAKE2b-256 |
f3f8b0587e22d5206c251c79597d61b26828568252fe6e78c8622530c9ca3d0e
|