企业 AI 项目怎么验收？用一次物料查重试点做验收表

采购员记得“这个零件上个月买过”，却在 ERP 里搜不到，于是又建了一条物料。Datawhale《FDE案例100》的工业采购案例里，找不到已有物料会引出重复录入，并影响后续采购。若给采购员加一个 AI 搜索框，验收时，该让他演示搜得多快，还是回头查他这周又建了多少条重复记录？

可以把这两个问题分开测。试点当天，测采购员能否找对物料、遇到疑似匹配时能否停下来；运行一段时间后，再由物料管理员核对重复建档。前者决定能否进入小范围试用，后者决定值不值得扩大。下面的样本和数字是为了演示填表设计的，原案例没有报告这些试验结果。

下载可填写的 AI 试点验收表（CSV） · 阅读原案例第 08 章，工业物料与采购

第一步，把“做对一次”写给复核的人看

先把试点限制在一个仓库的一类物料。采购员输入名称或型号，系统返回最多三个候选，显示编码、规格和命中依据。采购员确认后，才进入原有采购流程。试点期间，系统只提建议，不自动合并物料或创建订单。

第一张验收表可以这样填。例子里的编号、型号都是虚构的。

先让熟悉物料的人给每条样本定答案，再跑候选系统。有歧义的样本，答案本来就可以是“信息不足”。如果硬给它一个唯一编码，系统越敢猜，分数反而越好看。

第二步，用同一批业务量算三笔账

找得对吗？ 只在“已确认库里有正确编码”的样本上算前三命中率。假设 12 条里有 10 条命中，记作 10/12，约 83%。另外 4 条缺规格、4 条库里没有，单列检查。把这 8 条混进命中率，分数就解释不清了。

会误导采购吗？ 单列所有把不同规格当作同件的情况，记下是哪条建议、谁发现的、是否进入了采购单。对涉及误采购的错误，可以在试点前约定：只要出现一例未被拦住的危险匹配，就暂停扩大范围，由负责人复盘。具体门槛由承担采购风险的人签字。

连复核一起，省了多少时间？ 两种流程都从拿到查询任务计时，直到确认编码或转交人工。举例：原流程共 90 分钟，新流程的操作和等待共 35 分钟、复核与返工共 25 分钟，整批净节省 30 分钟。若任务原本就在排队，另记排队时间，别把人员排班变化算到模型头上。

第三步，约一次真正能做决定的验收

从最近的实际工单抽一批脱敏样本，保留别名、错别字、缺规格和查无此物的情况。拿一部分调试，另一部分封存到验收当天。同一批难度下比较新旧流程；若同一人要跑两遍，交错安排顺序并记录先后，减少“第二遍已经记得答案”带来的偏差。

验收前，让采购负责人补齐四个空：这次试哪一类物料、最低命中要求、允许的最长复核耗时、出现哪类错误必须停。当天让采购员照常操作，由物料管理员对答案。留存失败样本和当时的编码库版本，下一版先重跑同一批。

一周后再看重复建档：请管理员核实新增条目中真正重复的有几条，并同时记下这周总共新增多少条。采购量变了，重复条数也会变。只有当危险匹配得到控制、整体耗时下降，且后续数据也支持继续时，再讨论扩到第二个仓库。

下载验收表，按自己的工单替换三个示例。如果项目还在找场景，可以先用 FDE 专题的现场分析单 把交付对象、现有流程和要验证的业务损失写下来。