从问题到证据
请 AI 查资料之前,先判断这项研究值得弄清什么,现有材料能回答到哪一步。
怎样把问题问清楚
Uri Alon 建议从可能增加的知识与研究团队的可行性来选择问题。登记时写明可获得的证据,以及什么发现会改变结论。
例如,所选大学现行的考核政策中,哪些 AI 用法需要披露?如果出题教师另有要求,结论是否改变?
鉴定的四个环节
登记设计
写明问题、对照、指标和停止规则。已经分析过的研究采用回溯登记。
记录执行
固定论文、来源和方法版本,记录人和模型各自做了什么,哪些产出被采纳,以及哪里偏离了方案。
独立复核
由复核人各自编码或复算,保留原始证据的位置、每份意见和产生分歧的理由。
判断结论适用范围
说明哪些结果可以复现、适用条件和实施成本。V1.4 方案将正式评级交给独立小组。
评审工具的设计依据
意见绑定论文版本及页码、段落或表格。作者答复和原意见并列保存。
GitHub Pull Request reviews · W3C Web Annotation按角色控制交卷以及何时能看到其他意见。
OpenReview涉及因果的主张,记录假设和反驳检验。角色推演可提供待核查的情景和假设。
DoWhy · MiroFish