Koodi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM on ottanut sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11. toukokuuta 2025 [1]. Kirjasto on virallisesti poistettu käytöstä ja sen ylläpito päättyy.

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. Kirjasto on toteuttanut AWQ-algoritmin 4-bittiselle kvantisoinnille [1].

Tämä kvantisointimenetelmä mahdollistaa kaksinkertaisen nopeuden saavuttamisen päättelyvaiheessa [1]. Kirjasto on kerännyt yli 2 miljoonaa latausta ja se on ollut käytössä yli 7000 mallin kanssa Huggingfacessa [1].

VLLM-projekti on ottanut AutoAWQ:n kokonaisvaltaisesti vastuulleen [1]. Vaihtoehtoisena ratkaisuna toimii myös llm-compressor-projekti [1].

Paikallisessa ajossa vLLM-projektin kautta jatkuva tuki on keskeistä [1]. Lisäksi MLX-LM tukee nyt AWQ-menetelmää myös Mac-laitteilla [1].

Viimeisin testattu konfiguraatio on käyttänyt Torch 2.6.0- ja Transformers 4.51.3-versioita [1]. Tulevaisuudessa Transformers-kirjaston päivitykset voivat aiheuttaa yhteensopivuusongelmia [1].

Käyttäjän kannattaa siirtyä käyttämään vLLM-projektin tai MLX-LM:n tarjoamia ratkaisuja [1]. Tämä varmistaa jatkuvan tuen ja yhteensopivuuden uusien kirjastojen kanssa [1].