Qwen2
Qwen2是阿里云Qwen团队研发的大型语言模型系列
- 快速入门：基本使用及演示；
- 推理：使用 Transformer 进行推理的指导，包括批量推理、流式推理等；
- 本地运行：在 CPU 和 GPU 上本地运行 LLM 的说明，使用
llama.cpp和等框架Ollama； vLLM部署：演示如何使用、等框架部署 Qwen 进行大规模推理TGI；- 量化：使用GPTQ、AWQ量化LLM的实践，以及如何制作高质量量化GGUF文件的指导；
- 训练：训练后说明，包括使用 Axolotl、LLaMA-Factory 等框架的 SFT 和 RLHF（TODO）。
- 框架：Qwen 与应用程序框架的使用，例如 RAG、Agent 等。
- 基准：推理速度和内存占用的统计数据。
介绍
经过数月的努力，我们很高兴地宣布从 Qwen1.5 进化到 Qwen2。这次，我们为您带来：
- 5 种尺寸的预训练和指令调整模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和Qwen2-72B；
- 除英语和中文外，还接受过另外27 种语言的数据训练；
- 在大量基准评估中表现出最先进的性能；
- 编码和数学表现显著提高；
- 使用 Qwen2-7B-Instruct 和 Qwen2-72B-Instruct，扩展上下文长度支持高达128K 个令牌。
