Koodi

AutoAWQ-kirjasto poistuu käytöstä ja vLLM-projekti ottaa sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on viimeinen tuettu versio [1]. vLLM-projekti on ottanut kirjaston täysin käyttöönsä [1].

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. Kirjasto on toteuttanut AWQ-algoritmin 4-bittiseen kvantisointiin [1].

Tämä kvantisointitapa mahdollistaa kaksi kertaa nopeamman päättelyn nopeuden [1]. Kirjasto on kerännyt yli kaksi miljoonaa latausta [1].

Yksittäinen kehittäjä on vastannut projektin ylläpidosta vapaaehtoistyönä [1]. Huggingface-alustalla on ollut 7000 mallia, jotka hyödyntävät tätä teknologiaa [1].

vLLM-projekti on ottanut kirjaston kokonaisvaltaisesti vastuulleen [1]. Vaihtoehtoisena ratkaisuna toimii myös llm-compressor [1].

Viimeisin testattu konfiguraatio on tehty käyttäen Torch 2.6.0 ja Transformers 4.51.3 -versioita [1]. Mac-laitteille MLX-LM tukee jo AWQ-kvantisointia [1].

Käyttäjien kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM-kirjastoa [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden tulevissa päivityksissä [1].