tinyvllm

Стан проєкту: Невідомо

Minimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding

Досліджуване ПЗ або обладнання: vLLM
Тип роботи: Повторна реалізація та сумісність
Основний публічний репозиторій: github.com/zarktt/tinyvllm

Проєкти впорядковано за останньою зафіксованою кількістю зірок репозиторію. Зірки показують зацікавленість, а не поступ роботи. Відсутні значення залишаються невідомими.

Про проєкт і його завдання

Minimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding

Можливість долучитися

Правила участі невідомі

Правила використання ШІ: Не зазначено

Системи учасників за документацією

Середовище учасника не описано

Заявлений прогрес

Прогрес не опубліковано

Вихідний код, збирання та релізи

Відкрити репозиторій · github.comgithub.com/zarktt/tinyvllm