Koodi · Python-kirjasto

Tokenizers-kirjasto tarjoaa nopean tavan tekstin käsittelyyn Rust-pohjaisella toteutuksella

Tokenizers-kirjaston versio 0.23.1 on julkaistu 27.4.2026 [1]. Kirjasto mahdollistaa tekstin tokenisoinnin ja sanastojen koulutuksen erittäin suurella nopeudella [1].

Tokenizers-kirjasto ratkaisee tekstin pilkkomiseen ja sanastojen kouluttamiseen liittyviä haasteita. Se tarjoaa toteutukset useille yleisimmille tokenisointimenetelmille, kuten Bert WordPiece ja kolme yleisintä BPE-versiota [1].

Kirjasto on suunniteltu sekä tutkimuskäyttöön että tuotantoon. Se sisältää valmiit toiminnot tekstin esikäsittelyyn, kuten täydentämiseen, katkaisemiseen ja erikoisten merkkien lisäämiseen [1].

Paikallisen ajon kannalta kirjasto on merkittävä sen suorituskyvyn vuoksi. Rust-pohjaisen toteutuksen ansiosta se pystyy tokenisoimaan yhden gigatavun tekstiä alle 20 sekunnissa palvelimen prosessorilla [1].

Taustalla kirjasto hyödyntää Rust-kielellä tehtyä toteutusta, josta on saatavilla Python-sidokset [1]. Tämä mahdollistaa korkean suorituskyvyn ilman monimutkaista koodia [1].

Kirjasto tukee normalisointia, joka sisältää kohdistusten seurannan. Käyttäjä voi hakea alkuperäisestä lauseesta juuri sen osan, joka vastaa tiettyä annettua tokenia [1].

Lukijan kannattaa hyödyntää tätä kirjastoa, jos tarvitaan nopeaa ja monipuolista tekstin esikäsittelyä paikallisessa ympäristössä. Kirjasto on helppokäyttöinen mutta tarjoaa silti tarvittavaa joustavuutta [1].