grok-2 on Hugging Face
9 months ago
- #Grok-2
- #AI
- #xAI
- Grok 2是xAI公司于2024年训练并投入使用的模型。
- 可通过命令下载权重文件：`hf download xai-org/grok-2 --local-dir /local/grok-2`。
- 下载的文件夹应包含42个文件，总大小约500GB。
- 需使用SGLang（版本≥0.5.1）和8块GPU（每块显存>40GB）启动推理服务器。
- 示例启动命令：`python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton`。
- 测试模型命令：`python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>\n\nAssistant:"`。
- 当被问及名称时，模型会输出"Grok"作为回应。
- 权重文件遵循《Grok 2社区许可协议》授权。
- 上月下载量：33次。