Koodi · Python-kirjasto

Tokenizers-kirjasto tarjoaa nopean tavan tekstin käsittelyyn Rust-pohjaisella toteutuksella

Tokenizers-kirjaston versio 0.23.1 on julkaistu 27. huhtikuuta 2026 [1]. Kirjasto mahdollistaa tekstin tokenisoinnin erittäin suurella nopeudella.

Tokenizers-kirjasto tarjoaa toteutuksen nykyään käytetyimmille tokenizer-malleille [1]. Se on suunniteltu sekä tutkimuskäyttöön että tuotantoon [1].

Kirjasto mahdollistaa uuden sanaston kouluttamisen ja neljän valmiin tokenizerin käytön [1]. Näitä ovat Bert WordPiece sekä kolme yleisintä BPE-versiota [1].

Paikallisessa ajossa kirjasto on erittäin nopea Rust-toteutuksen ansiosta [1]. Palvelimen CPU:lla voi tokenisoida yhden gigatavun tekstiä alle 20 sekunnissa [1].

Kirjasto hoitaa tekstin esikäsittelyn, kuten katkaisun, täytön ja erikoismerkkien lisäämisen [1]. Normalisointi sisältää myös kohdistusten seurannan [1].

Tuki laajalle kirjolle eri malleja ja tehokasta suorituskykyä [1]. Kirjasto on suunniteltu monipuoliseksi ja helposti käytettäväksi [1].

Käyttäjän kannattaa hyödyntää tätä kirjastoa, jos tarvitaan nopeaa tekstin käsittelyä paikallisella raudalla [1]. Asennus onnistuu suoraan pipillä [1].