Koodi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM-projekti on ottanut sen vastuulle

AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025. Kirjasto toteuttaa AWQ-algoritmin 4-bittiselle kvantisoinnille, joka tarjoaa kaksi kertaa nopeamman päättelyn [1].

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. Kirjasto on toteuttanut AWQ-algoritmin, joka mahdollistaa 4-bittisen kvantisoinnin ja kaksinkertaisen nopeuden päättelyssä [1].

VLLM-projekti on ottanut AutoAWQ:n kokonaisvaltaisesti käyttöön [1]. Vaihtoehtoisena ratkaisuna toimii myös llm-compressor, joka sijaitsee vLLM-projektin alla [1].

Taustalla on yksittäisen kehittäjän suorittama työ, jolla on ollut yli kaksi miljoonaa latausta [1]. Huggingfacessa on ollut 7000 mallia, jotka hyödyntävät tätä teknologiaa [1].

Viimeisin testattu konfiguraatio on tehty käyttäen Torch 2.6.0 ja Transformers 4.51.3 -versioita [1]. Mac-laitteille MLX-LM on tuonut AWQ-tuen [1].

Rajoituksena on se, että tulevat Transformers-kirjaston päivitykset voivat rikkoa AutoAWQ:n yhteensopivuuden [1]. Kehittäjä kehottaa raportoimaan mahdolliset ongelmat suoraan Transformers-projektille [1].

Käyttäjän kannattaa siirtyä käyttämään vLLM-projektin llm-compressoria tai MLX-LM:ää, jos hän käyttää Mac-laitetta [1]. AutoAWQ:n käyttö on jatkossa riskialtista ylläpidon puutteen vuoksi [1].