Koodi · Python-kirjasto

Tokenizers-kirjasto tarjoaa nopean tavan tekstin käsittelyyn Rust-pohjaisella toteutuksella

Tokenizers 0.23.1 on julkaistu 27. huhtikuuta 2026. Kirjasto tarjoaa neljä valmista tokenizeria ja mahdollistaa uusien sanastojen kouluttamisen [1].

Tokenizers-kirjasto tarjoaa toteutuksen nykyään käytetyimmille tokenizereille. Se on suunniteltu tutkimuskäyttöön ja tuotantoon [1].

Kirjasto on erittäin nopea suorituskyvyn ja monipuolisuuden vuoksi. Palvelimen CPU:lla voi tokenisoida yhden gigatavun tekstiä alle 20 sekunnissa [1].

Taustalla on Rust-kielellä tehty toteutus, jota käytetään sidoksina [1]. Kirjasto sisältää neljä valmista tokenizeria, kuten Bert WordPiece ja kolme yleisintä BPE-versiota [1].

Paikallisessa ajossa kirjasto hoitaa esikäsittelyn, kuten tekstin katkaisun, täytön ja erikoismerkkien lisäämisen [1]. Normalisointi sisältää myös kohdistusten seurannan [1].

Kirjasto on erittäin monipuolinen ja helppokäyttöinen [1]. Se mahdollistaa alkuperäisen lauseen osien paikallistamisen annetusta tokenista [1].

Käyttäjän kannattaa hyödyntää kirjastoa, jos tarvitaan nopeaa tekstin käsittelyä paikallisella laitteistolla. Asennus onnistuu pip-komennolla [1].