ztok — a fast multithreaded tokenizer in Zig that loads tiktoken / HF / SentencePiece and is 2–5× faster

En 3 lignesztok est une bibliothèque de tokenization multithreadée écrite en Zig, 2–5× plus rapide que tiktoken/HF/SentencePiece. Charge formats tiktoken, HF tokenizer.json, SentencePiece, TokenMonster, Mistral Tekken. Bit-identique aux implémentations de référence, 8 bindings de langages, optimisée pour RAG et tokenization dataset.

Résumé généré par Claude — vérifié par l'humain