Työkalut · Llama.cpp päivitys

Llama.cpp-ajomoottoriin tuotiin tuki SSM-skannauksen rollback-toiminnoille

Llama.cpp-projektiin julkaistiin 14.8.2026 versio b10431 [1]. Päivitys sisältää muutoksia, jotka liittyvät recurrent state rollback -toimintoon.

Llama.cpp-ajomoottoriin on lisätty tuki recurrent state rollback -toiminnoille ggml_ssm_scan-operaatiossa [1]. Muutos on julkaistu 14.8.2026 [1].

Päivitys tuo tuen nemotron-malleille sekä CPU- että CUDA-alustoilla [1]. Muutokset sisältävät myös testitapausten lisäämistä [1].

Kehitystyössä on poistettu staattinen CUDA-tunnistus ja korvattu se runtime-pohjaisella fused_op-rajapinnalla [1]. Tämä auttaa hallitsemaan tilanteita, joissa operaatiota ei tueta [1].

Taustalla on tarve hallita muistia ja tukea K > 1 -arvoja ssm_scan-operaatiossa kaikilla alustoilla [1]. Kehittäjät ovat korjanneet myös CI-ongelmia [1].

Päivitys on saatavilla useille alustoille, kuten Ubuntu x64 (CPU) ja Ubuntu arm64 (CPU) [1]. Myös Vulkan-tuki on mukana [1].

Käyttäjien kannattaa tarkistaa nykyinen versio ja päivittää, mikäli hyödyntävät SSM-pohjaisia malleja CPU- tai CUDA-ympäristössä [1].