2

【常规工作】
周一工作

  1. 上午查收褚文韬发出的上周五寿险NLP发版的灰度和生产测试结果
  2. 上午同步给AI项目组@吴强 上周入库数据(上传至平安文件云指定的共享链接,同时记得上传所有文件压缩成压缩包的版本)
  3. 查看下周发版的内容,及时在神兵中拆分特性和用户故事
    【注意】根据部门管理要求,神兵上建故事时,如果需要改代码的需求,要在标题里加上【代码】字样。基本上除了意图库更新外,其他改动都会涉及到代码变更。
  4. 下午13:30开始在寿险智能坐席项目空间下载本周所有要更新的意图库
    (修改意图库名称)
  5. 在质检工具网站 http://30.18.176.251/DifferentIntent 检查每个意图库的意图错误是否均为0条,不是的话反馈给AI项目组重新修改
  6. 生成本周灰度上线场景的测试集
    a) Original 测试集 (原话测原话测试集)每周更新一次 (为了把“入库数据”或“intent”名称改成“original”)【每个意图随机抽取30个】
    使用getTest.py文件批量生成
    b) Refuse测试集和非敏感拒绝测试集 一般不变(除非业务提需求或者是准确率太低就返回给业务质检)
    【主要工作:按照上线日期改名】【replace】(改成最新版的日期)
    c) Regular 测试集 (原则上不变 但是如果测试环境结果低于80% 就自己人工改)
    【主要工作:按照上线日期改名及人工改测试集】
  7. 检查是否有模型上线(一般都是上周都沟通好的结果 只需要跟进即可)

周二工作

  1. 新建好测试用例后,打包上传测试集(不要有文件夹 解压后直接是全部文件)(神兵)

  2. 在神兵系统对应卡片上@天博老师更新测试环境

  3. 更新好测试环境后天博老师会@测试人员进行测试,可以在同步在快乐平安群@测试人员

  4. 检查测试结果
    a) 若regular测试集准确率略低于80%(10%以内)。手动改测试集
    b) 若regular测试集准确率过低,找对应业务老师重新质检测试集

  5. 检查测试结果后如有低于80%的重新修改后再次上传测试集,在测试群@测试人员重新测试一遍.

  6. 用户故事的附件是intent意图库压缩包,测试用例是test压缩包

周三工作

  1. 确认灰度上线的卡片(意图更新的场景或者模型更新)
  2. 参加寿险上线前讨论周会(17:00)

周四(发版前一天)

  1. 发布灰度发版申请邮件(需三张神兵截图)
    最新一次邮件如下(以供参考):
  1. 发布NLP上海site 工作周报
    最新一次邮件如下(以供参考):

周五

  1. 上午10点参加NLP周会
  2. 检查灰度发版和生产发版的卡片
  3. 最后一次测试数据检查(确保所有regular测试结果大于80%)

【特殊工作】
1.新场景上线
 需提前两周发给北京训练,收到库,保存(每一版都要),
 上传到神兵(吴天博入库,只需要最终版),
 新场景要跟杰哥同步名称,英文简称,所有意图名称(杰哥会在质检工具后天添加相关信息),让业务老师质检
 自己入库前再质检一遍。
2.发给业务吴强上周入库的意图库数据(每周)更新在平安云共享给吴强的链接里

全部评论

相关推荐

点赞 收藏 评论
分享
牛客网
牛客企业服务