Koodi · Python-kirjasto

Bitsandbytes-kirjasto mahdollistaa suurten kielimallien käytön k-bittisellä kvantisoinnilla

Bitsandbytes-kirjaston versio 0.50.1 julkaistiin 13.8.2026 [1]. Kirjasto tarjoaa työkaluja muistinkulutuksen vähentämiseen.

Bitsandbytes-kirjasto mahdollistaa suurten kielimallien käytön k-bittisen kvantisoinnin avulla PyTorch-ympäristössä [1]. Tämä ratkaisu on suunniteltu helpottamaan mallien käyttöä resurssien ollessa rajalliset [1].

Kirjasto tarjoaa kolme pääominaisuutta, joiden tarkoituksena on vähentää muistinkulutusta merkittävästi sekä päättelyssä että hienosäädössä [1]. Yksi keskeisistä ominaisuuksista on 8-bittiset optimoijat [1].

8-bittiset optimoijat hyödyntävät lohkokohtaista kvantisointia (block-wise quantization) [1]. Tämän avulla voidaan säilyttää 32-bittinen suorituskyky, mutta muistinkulutus on vain murto-osa alkuperäisestä [1].

Taustalla toimii bitsandbytes-säätiö, joka on julkaissut kirjaston avoimella lisenssillä [1]. Kirjasto on saatavilla PyPI-palvelun kautta [1].

Paikalliseen ajoon kirjasto liittyy tarjoamalla tapoja hallita muistinkulutusta tehokkaasti [1]. Tämä on kriittistä, kun suuria malleja ajetaan rajoitetulla laitteistolla [1].

Lukijan kannattaa hyödyntää bitsandbytes-kirjastoa, jos tavoitteena on vähentää GPU-muistin käyttöä ilman suuria suorituskykyhäviöitä [1]. Kvantisointi on tehokas tapa optimoida paikallinen päättely [1].