mlc-llm

mlc-llm

模型部署

mlc-ai/mlc-llm

23.3K2.2KPythonApache-2.0

把大模型优化压缩后，让它在手机、电脑等设备上也能快速运行。

把大模型优化压缩后，让它在手机、电脑等设备上也能快速运行。

🧠 模型部署

mlc-llm 预览图 — 预览卡片由 GitHub 根据仓库信息自动生成，卡上的星数可能滞后于上方数据。

工具信息

类型🐙 开源项目

Stars23.3K

Forks2.2K

语言Python

许可证Apache-2.0

解锁完整分析 —— 免费

你看到的是 mlc-llm 的公开预览。AI 生成的优缺点、使用场景、部署指南与适配人群，注册即可免费查看（无需绑卡）。Pro 会员另享 AI 对比（每 30 天 50 次）与会员日报周报。

对比同类工具

看看 mlc-llm 和其他模型部署工具的差异

更多工具

一个开源的机器学习框架，让开发者能构建和训练自己的AI模型。

一个让你在本地电脑上轻松运行各种大语言模型的工具，支持DeepSeek、Qwen、Gemma等热门模型。

用Python加载和运行各种预训练AI模型，覆盖文本、图像、音频等多种任务。

在你的电脑上离线运行大语言模型，不用联网也不用买显卡

把大语言模型部署成高速 API 服务的开源推理引擎，跑得快、显存省