FSE实验设计

📌 Skill基础信息

技能名称：fse-experiments

技能简称：FSE实验评估

来源：社区第三方（brycewang-stanford）

运行宿主：Claude-Code CLI

核心定位：为ESEC/FSE会议论文提供实证评估设计与审计支持，确保软件工程实验方法符合学术标准，证据与科学主张相匹配。

🧩 内部核心组成

该技能基于规则约束和评估框架，不包含传统意义上的子Agent、斜杠命令或MCP工具，主要提供结构化评估指南和检查清单。

核心能力组件：

• 评估审计框架：7大核心评估维度
• 主张-证据匹配表：5种常见软件工程主张的证据要求
• LLM污染评估指南：5项关键检查点
• 挖掘研究溯源标准：数据提取与处理规范
• 统计报告标准：效应量、置信区间、运行次数要求

输出模板：提供标准化的评估报告格式，包含6个关键评估维度

🛠 安装与启用方式

安装命令：

skills install --user brycewang-stanford/Awesome-Journal-Skills

前置依赖：需要具备Claude-Code CLI运行环境

启用方式：安装后通过自然语言指令触发评估功能，如"请评估这个FSE实验设计"

📋 标准工作流

1. 用户输入：提供实验设计描述或论文草稿
2. 主张识别：技能识别论文中的核心科学主张
3. 证据匹配：检查实验设计与主张的匹配程度
4. 方法审计：评估实验方法学的严谨性（样本选择、基线对比、统计方法等）
5. 污染检查：针对LLM相关研究进行数据污染风险评估
6. 溯源验证：检查数据来源和重现性保障措施
7. 输出报告：生成结构化评估报告，指出强弱项和改进建议

⚠️ 关键限制、缺陷、注意事项

平台限制：仅支持Claude-Code CLI环境

适用项目：

• ESEC/FSE等顶级会议论文实验设计
• 软件工程实证研究方法验证
• 学术论文投稿前的自我评估

不适合项目：

• 非学术性工程项目评估
• 非软件工程领域的实验设计
• 无需严格方法学验证的快速原型

已知限制：

• 需要用户提供详细的实验设计描述
• 无法自动执行实际代码或数据分析
• 评估结果依赖输入信息的完整性和准确性

生产环境适用性：仅适用于学术研究场景，不适用于生产系统评估

✅ 适用场景 & ❌ 不适合场景

✅ 适用场景：

• FSE/ESEC论文作者在投稿前进行自我方法学审查
• 学术导师指导学生设计软件工程实验
• 论文审稿人快速评估实验方法的严谨性
• 研究生课程中软件工程实验方法教学

❌ 不适合场景：

• 工业界项目的技术方案评估
• 非实证研究类论文的评估
• 需要实际代码执行的性能测试
• 非软件工程领域的实验设计评估

skills install --user brycewang-stanford/Awesome-Journal-Skills