Meeseeks – 美团开源的模型指令遵循能力评测集

Meeseeks是什么

Meeseeks 是美团 M17 团队开源的大模型评测集，用在评估模型的指令遵循能力。Meeseeks通过三级评测框架，从宏观到微观全面衡量模型是否能严格按照用户指令生成回答，不评估回答内容的知识正确性。Meeseeks 引入多轮纠错模式，让模型在接收到反馈后进行修正，评估其自我纠错能力。Meeseeks用客观评测标准，摒弃模糊指令，确保结果一致性和准确性。Meeseeks 的数据设计更具挑战性，能有效拉开不同模型间的差距，为模型开发者提供优化方向。

Meeseeks的主要功能

• 指令遵循能力评估：
  • 一级能力：评估模型是否正确理解用户的核心任务意图、回答的整体结构是否满足指令、及回答中的每一个独立单元是否符合指令细节。
  • 二级能力：关注模型对各类具体约束的执行情况，如内容约束（主题、文体、语言、字数等）和格式约束（模板合规、单元数量等）。
  • 三级能力：评估模型对细粒度规则的遵循，如押韵、关键词规避、禁止重复、符号使用等。
• 多轮纠错模式：如果模型的第一轮回答未能完全满足所有指令，评测框架自动生成明确的反馈，指出具体哪个指令项未被满足，并要求模型根据反馈修正答案。
• 客观评测标准：摒弃模糊指令，所有评测项均为客观可判定标准，确保评测结果的一致性和准确性。
• 高难度数据设计：测试用例设计更具挑战性，能有效拉开不同模型间的差距，为模型开发者提供明确的优化方向。

Meeseeks的技术原理

• 三级评测框架：
  • 一级能力：通过自然语言处理技术（NLP）解析用户指令，提取核心任务意图和结构要求。例如，通过意图识别算法确定模型是否理解“生成花名”的任务。
  • 二级能力：对模型生成的回答进行内容和格式的约束检查。例如，通过文本分析算法检查生成的评论是否符合字数限制，或是否采用指定的文体。
  • 三级能力：对模型生成的回答进行细粒度规则检查。例如，通过正则表达式检查生成的评论是否包含禁止词汇，或是否符合特定的写作手法。

Meeseeks的项目地址

• GitHub仓库：https://github.com/ADoublLEN/Meeseeks
• HuggingFace模型库：https://huggingface.co/datasets/meituan/Meeseeks

Meeseeks的应用场景

• 模型评估与优化：为大模型提供指令遵循能力的标准化评估，助力开发者发现并优化模型在理解与执行指令时的不足。
• 模型训练与微调：Meeseeks 的评测数据集和多轮纠错反馈作为训练补充，指导模型微调，提升在实际应用中的表现。
• 模型部署与应用：评估模型在内容生成、智能客服、教育等场景中是否能严格遵循用户指令，生成高质量、符合要求的内容。
• 模型研究与分析：作为标准化评测基准，支持学术研究和行业分析，助力深入分析模型性能差异，探索提升方法。
• 模型安全与合规：评估模型生成内容的合规性，帮助确保模型输出符合法律法规和道德标准，保护数据隐私。