使用流程
1
试用免费演示
在浏览器里与一个小模型对话 —— 无需 GPU、无需注册，有速率限制。
2
租用一台云 GPU
启动一台 A100 40GB（低至 $1.49/小时）部署中等规模模型，或用 H100 部署最大的模型。
3
用 vLLM 部署
运行 vLLM 得到一个兼容 OpenAI 的接口，再把你的应用指向它即可。
推荐 GPU
NVIDIA A100 40GB
40GB 显存 · $1.49/小时 · 40GB HBM2 datacenter accelerator with NVLink — the training workhorse for mid-size models.
常见问题
没有 GPU 能运行大模型吗？
小模型可以在 CPU 上运行，但非常慢。要获得可用的速度并运行更大的模型，建议使用 A100 这类云 GPU —— 可按小时租用。
运行 Llama-3 需要哪款 GPU？
Llama-3 8B 在 A100 40GB 上运行良好；70B 级别的模型则需要 A100 80GB 或 H100。
相关指南
几秒即可开始
充值满 $1000 送 $50。立即启动 A100 40GB，或先免费体验 AI 工具。