Koodi

AutoAWQ-kirjasto on poistettu käytöstä ja vLLM on ottanut sen vastuulleen

AutoAWQ-kirjaston versio 0.2.9 on viimeinen tuettu versio [1]. vLLM-projekti on ottanut AWQ-algoritmin osaksi omaa llm-compressor-projektiaan [1].

AutoAWQ-kirjasto on virallisesti poistettu käytöstä, eikä sitä enää ylläpidetä [1]. Kirjasto toteuttaa AWQ-algoritmin 4-bittiseen kvantisointiin [1].

Kvantisointi mahdollistaa päättelyn nopeuden kaksinkertaistumisen [1]. Tämä on keskeistä paikallisen ajon tehokkuuden kannalta [1].

Taustalla on yksittäinen kehittäjä, joka on ylläpitänyt projektia vapaaehtoisesti [1]. Projektilla on ollut yli kaksi miljoonaa latausta ja yli 7000 mallia Huggingfacessa [1].

Viimeisin testattu konfiguraatio on toiminut Torch 2.6.0 ja Transformers 4.51.3 -versioiden kanssa [1]. Tulevaisuudessa Transformers-kirjaston päivitykset voivat rikkoa yhteensopivuuden [1].

Vaihtoehtoisia ratkaisuja on tarjolla vLLM-projektin llm-compressor-työkalun muodossa [1]. Myös MLX-LM tukee AWQ-menetelmää Mac-laitteilla [1].

Käyttäjän kannattaa siirtyä käyttämään vLLM-projektin työkaluja tai MLX-LM-kirjastoa [1]. AutoAWQ:n käyttöön ei tule enää uusia päivityksiä [1].