阿里云人工智能平台PAI论文入选OSDI '24

近日， 阿里云人工智能平台PAI的论文《Llumnix: Dynamic Scheduling for Large Language Model Serving》被OSDI 24录用 。论文通过对大语言模型（LLM）推理请求的动态调度，大幅提升了推理服务质量和性价比。 Llumnix是业界首个能灵活在不同模型实例间重新分[查看全文]