tinyvllm
Status do projeto: DesconhecidoMinimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding
- Software ou hardware estudado
- Tipo de trabalho
- Repositório público principal
- github.com/zarktt/tinyvllm
Os projetos são ordenados pela última contagem de estrelas registrada. Estrelas indicam interesse, não progresso. Contagens indisponíveis permanecem desconhecidas.
Descrição e escopo
Minimal reimplementation of the vLLM inference engine: PagedAttention, continuous batching, speculative decoding
Aceitação de contribuições
Política de contribuição desconhecida
- Política de contribuições com auxílio de IA
- Não informada
Sistemas documentados para contribuir
Ambiente de contribuição não documentado
Progresso informado
Progresso não informado
Código-fonte, compilações e versões
- Abrir repositório · github.comgithub.com/zarktt/tinyvllm