Koodi · Python-kirjasto

vLLM tarjoaa tehokkaan ja muistitehokkaan päättelymoottorin suuria kielimalleja varten

vLLM-kirjaston versio 0.27.1 on julkaistu 11.8.2026. Se on suunniteltu nopeaan ja edulliseen kielimallien päättelyyn ja palveluun [1].

vLLM on kirjasto, joka on optimoitu suurten kielimallien päättelyyn ja palveluun. Se tarjoaa korkean läpimenon ja muistitehokkaan tavan ajaa malleja [1].

Kirjasto on suunniteltu tekemään päättelystä helppoa, nopeaa ja edullista [1]. Se on keskeinen työkalu LLM-päättelyn hallintaan.

Projektin on kehittänyt alun perin Sky Computing Lab UC Berkelelyssä [1]. Nykyään sitä ylläpitää laaja yhteisö, johon kuuluu kymmeniä akateemisia laitoksia ja yrityksiä [1].

Yhteisöön kuuluu yli 2000 kehittäjää, mikä tekee projektista yhden aktiivisimmista avoimen lähdekoodin tekoälyprojekteista [1].

Kirjaston taustalla toimii monipuolinen yhteisö, joka on rakentanut ja ylläpitää koodia [1]. Se on laajentunut alkuperäisestä tutkimusprojektista globaaliksi ekosysteemiksi [1].

Käyttäjän kannattaa tutustua vLLM-dokumentaatioon, jos haluaa ottaa kirjaston käyttöön osaksi päättelyketjua [1]. Dokumentaatio on saatavilla vllm.ai-sivustolta [1].