Koodi

AutoAWQ-kirjasto poistuu käytöstä ja vLLM-projekti ottaa sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025. Kirjasto on siirtymässä pois yksittäisen kehittäjän ylläpidosta vLLM-projektin käyttöön [1].

AutoAWQ-kirjasto on virallisesti poistumassa käytöstä, eikä sitä enää ylläpidetä [1]. Kirjasto on toteuttanut AWQ-algoritmin 4-bittiselle kvantisoinnille [1].

Kvantisointi mahdollistaa päättelyn nopeuden kaksinkertaistumisen [1]. Kirjastolla on ollut yli 2 miljoonaa latausta ja 7000 mallia Huggingfacessa [1].

Yksittäisen kehittäjän on ollut vaikeaa ylläpitää näin laajaa projektia vapaaehtoistyönä [1]. Tämän vuoksi vLLM-projekti on ottanut kirjaston vastuulleen [1].

Vaihtoehtoisena ratkaisuna vLLM-projekti käyttää llm-compressor-nimistä työkalua [1]. Mac-laitteille on tarjolla MLX-LM, joka tukee AWQ-kvantisointia [1].

Viimeisin testattu konfiguraatio on toiminut Torch 2.6.0 ja Transformers 4.51.3 -versioiden kanssa [1]. Tulevaisuudessa Transformers-kirjaston päivitykset voivat rikkoa yhteensopivuuden [1].

Käyttäjien kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM-kirjastoa [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden tulevissa päivityksissä [1].