Koodi · Python-kirjasto

Tokenizers-kirjasto tarjoaa nopean tavan tekstin käsittelyyn Rust-pohjaisella toteutuksella

Tokenizers-kirjaston versio 0.23.1 on julkaistu 27.4.2026. Kirjasto tarjoaa nopean tavan kouluttaa uusia sanastoja ja suorittaa tokenisointia [1].

Tokenizers-kirjasto tarjoaa toteutuksen nykyisin käytetyimmille tokenisoijille. Se on suunniteltu tutkimuskäyttöön ja tuotantoon [1].

Kirjasto on erittäin nopea, sillä se hyödyntää Rust-pohjaista toteutusta. Palvelimen CPU:lla voidaan tokenisoida yksi gigatavu tekstiä alle 20 sekunnissa [1].

Paikallisessa ajossa kirjasto on keskeinen osa tekstin esikäsittelyä. Se hoitaa muun muassa tekstin katkaisun, täytön ja erikoismerkkien lisäämisen [1].

Kirjasto tukee neljää valmiiksi tehtyä tokenisoijaa. Näitä ovat Bert WordPiece sekä kolme yleisintä BPE-versiota [1].

HuggingFace on kehittänyt kirjaston Rust-toteutuksen päälle. Normalisointi sisältää myös kohdistusten seurannan [1].

Käyttäjän kannattaa hyödyntää kirjastoa, jos tarvitaan nopeaa ja monipuolista tekstin esikäsittelyä. Versio 0.23.1 on saatavilla pip-asennuksella [1].