Paikallisen tekoälyn päivälehti — avoimen painon mallit, työkalut ja rauta
Nvidian Muse Glimmer -optimoinnit RTX 5090 -sarjalle ovat päivän merkittävin uutinen. Meta's 30 miljardin parametrin malli saavuttaa yli 200 tokenin sekuntinopeuden, mikä muuttaa paikallisen videotuotannon tehokkuuden. Tämä osoittaa, että kuluttajatason laitteisto pystyy käsittelemään massiivisia malleja suoraan ilman pilvipalveluita.
Yön aikana painopiste siirtyi ohjelmistopäivityksiin ja laitteistojen elinkaariarvioihin. Ollama ja Llama.cpp toivat parannuksia mallien esitäyttöön ja syntaksin tarkistukseen, kun taas vLLM-ajomoottori sai uuden Spec Decode -ominaisuuden. Samaan aikaan CoreWeave varmisti A100-sirujen käytön vuoteen 2029 asti, mikä haastaa oletuksen laitteiston nopeasta vanhenemisesta.
Haku tuotti runsaasti teknisiä päivityksiä kirjastoihin, kuten AutoGPTQ:n uusi versio ja Safetensors-päivitys. AutoAWQ:n siirtyminen vLLM:n ylläpitoon oli merkittävä hallinnollinen muutos. Mini-PC-testit jäivät pois, koska kaksi vaadittua konetta eivät julkaisseet lepomelu-tietoja, ja suljetut uutiset jäivät pois kynnyksen alaisen aineiston puutteen vuoksi.
Media · Laitteistopäivitys
Meta's 30 miljardin parametrin Muse Glimmer -malli saavutti yli 200 tokenin sekuntinopeuden RTX 5090 -näytönohjaimella [5]. Optimoinnit tuovat videotuotantoon jopa 40 prosentin muistisäästöt [5].
Työkalut · Ollama-päivitys
Uusi v0.32.10-rc0-versio tuo parannuksia ModelOpt-tarkistuspisteiden käsittelyyn. Prefill-nopeus kasvoi jopa 7,9 prosenttia [1].
Laitteisto
CoreWeave on tehnyt sopimuksen, jonka mukaan A100-sirujen vuokraus jatkuu vuoteen 2029 asti [1]. Tämä on merkittävä poikkeus markkinoiden pelkoille laitteiston nopeasta arvonalenemisesta [1].
Työkalut
vLLM-projektin uusi v0.27.2rc0-versio sisältää Spec Decode -ominaisuuden. Samaan aikaan CD Projekt Red on tehnyt vähennyksiä Project Sirius -tiimissään [1, 2].
Työkalut · Llama.cpp
Uusi b10375-versio julkaistiin 12.8.2026 [1]. Päivitys sisältää tiukemman syntaksin tarkistuksen Qwen-malleille [1].
Koodi · Python-kirjasto
AutoAWQ-kirjaston versio 0.2.9 on julkaistu 11.5.2025 [1]. Kirjasto on virallisesti poistettu käytöstä, ja sen ylläpito siirtyy vLLM-projektille [1].
Koodi · Python-kirjasto
AutoGPTQ 0.7.1 on julkaistu ja se mahdollistaa paino-vain-kvantisoinnin käyttämällä käyttäjäystävällisiä rajapintoja [1]. Paketti tukee myös Marlin-ydintä mallien lataamisessa [1].
Koodi · Python-kirjasto
Hugging Face julkaisi version 2.3.0. Tämä laajennus on suunniteltu Transformers-kirjaston jatkeeksi [1].
Koodi · Python-kirjasto
Versio 0.19.0 on julkaistu 6. toukokuuta 2026 [1]. Kirjasto on tarkoitettu GGML Universal File -muodon käsittelyyn [1].
Koodi · Python-kirjasto
Safetensors-kirjaston versio 0.8.0 on julkaistu. Se tarjoaa tavan tallentaa ja ladata tensoreita Numpy- ja Torch-muodoissa [1].