2
【常规工作】
周一工作
- 上午查收褚文韬发出的上周五寿险NLP发版的灰度和生产测试结果
- 上午同步给AI项目组@吴强 上周入库数据(上传至平安文件云指定的共享链接,同时记得上传所有文件压缩成压缩包的版本)
- 查看下周发版的内容,及时在神兵中拆分特性和用户故事
【注意】根据部门管理要求,神兵上建故事时,如果需要改代码的需求,要在标题里加上【代码】字样。基本上除了意图库更新外,其他改动都会涉及到代码变更。 - 下午13:30开始在寿险智能坐席项目空间下载本周所有要更新的意图库
(修改意图库名称) - 在质检工具网站 http://30.18.176.251/DifferentIntent 检查每个意图库的意图错误是否均为0条,不是的话反馈给AI项目组重新修改
- 生成本周灰度上线场景的测试集
a) Original 测试集 (原话测原话测试集)每周更新一次 (为了把“入库数据”或“intent”名称改成“original”)【每个意图随机抽取30个】
使用getTest.py文件批量生成
b) Refuse测试集和非敏感拒绝测试集 一般不变(除非业务提需求或者是准确率太低就返回给业务质检)
【主要工作:按照上线日期改名】【replace】(改成最新版的日期)
c) Regular 测试集 (原则上不变 但是如果测试环境结果低于80% 就自己人工改)
【主要工作:按照上线日期改名及人工改测试集】 - 检查是否有模型上线(一般都是上周都沟通好的结果 只需要跟进即可)
周二工作
新建好测试用例后,打包上传测试集(不要有文件夹 解压后直接是全部文件)(神兵)
在神兵系统对应卡片上@天博老师更新测试环境
更新好测试环境后天博老师会@测试人员进行测试,可以在同步在快乐平安群@测试人员
检查测试结果
a) 若regular测试集准确率略低于80%(10%以内)。手动改测试集
b) 若regular测试集准确率过低,找对应业务老师重新质检测试集检查测试结果后如有低于80%的重新修改后再次上传测试集,在测试群@测试人员重新测试一遍.
用户故事的附件是intent意图库压缩包,测试用例是test压缩包
周三工作
- 确认灰度上线的卡片(意图更新的场景或者模型更新)
- 参加寿险上线前讨论周会(17:00)
周四(发版前一天)
- 发布灰度发版申请邮件(需三张神兵截图)
最新一次邮件如下(以供参考):
- 发布NLP上海site 工作周报
最新一次邮件如下(以供参考):
周五
- 上午10点参加NLP周会
- 检查灰度发版和生产发版的卡片
- 最后一次测试数据检查(确保所有regular测试结果大于80%)
【特殊工作】
1.新场景上线
需提前两周发给北京训练,收到库,保存(每一版都要),
上传到神兵(吴天博入库,只需要最终版),
新场景要跟杰哥同步名称,英文简称,所有意图名称(杰哥会在质检工具后天添加相关信息),让业务老师质检
自己入库前再质检一遍。
2.发给业务吴强上周入库的意图库数据(每周)更新在平安云共享给吴强的链接里