Koodi · Python-kirjasto

Tokenizers-kirjasto tarjoaa nopean tavan tekstin käsittelyyn Rust-pohjaisella toteutuksella

Tokenizers-kirjaston versio 0.23.1 on julkaistu 27.4.2026 [1]. Kirjasto tarjoaa nopean tavan kouluttaa uusia sanastoja ja tokenisoida tekstiä.

Tokenizers-kirjasto tarjoaa toteutuksen nykyään käytetyimmille tokenizer-toiminnoille [1]. Se on suunniteltu tutkimuskäyttöön ja tuotantoon [1].

Kirjasto on erittäin nopea, sillä se hyödyntää Rust-pohjaista toteutusta [1]. Palvelimen CPU:lla voi tokenisoida yhden gigatavun tekstiä alle 20 sekunnissa [1].

Paikallisen ajon kannalta kirjasto on merkittävä, koska se hoitaa esikäsittelyn, kuten tekstin katkaisun, täytön ja erikoisten merkkien lisäämisen [1]. Se sisältää myös normalisoinnin, joka mahdollistaa alkuperäisen lauseen osien jäljittämisen tokeneista [1].

Kirjasto tukee neljää valmiiksi tehtyä tokenizeria, joista ovat Bert WordPiece ja kolme yleisintä BPE-versiota [1]. Käyttäjä voi kouluttaa niillä uusia sanastoja [1].

Kirjaston taustalla on HuggingFace, joka on kehittänyt Rust-pohjaisen toteutuksen [1]. Kirjasto on saatavilla pip-asennuksella [1].

Käyttäjän kannattaa hyödyntää tätä kirjastoa, jos tarvitaan suorituskykyä tekstin esikäsittelyssä paikallisesti [1]. Kirjasto on monipuolinen ja helposti käytettävä työkalu kehittäjille [1].