OpenR：大模型高级推理的开源框架

介绍了一个名为 OpenR 的开源框架，旨在通过整合推理时间计算、强化学习和过程监督来增强大型语言模型 (LLM) 的推理能力。该框架受到 OpenAI 的 o1 模型的启发，该模型通过逐步推理和强化学习展示了改进的推理能力。OpenR 旨在为 LLM 推理领域提供一个开放的平台，并通过模型、数据和代码的公开可用性促进合作和创新。报告还深入探讨了与 OpenR 相关的核心技术，包括数据增强、过程奖励模型 (PRM) 和解码策略，以及这些技术在提高 LLM 推理能力方面的应用和潜力。