工作快一年了

前言如果厌倦了市面上的商城、外卖类明星项目，想要找个重复率不那么高的项目，不妨来看一下异构数据源流转项目datalinkx。什么是异构数据源流转系统，不同于平台类的项目，datalinkx属于基础架构类的项目。在规模稍大的公司，特别是最近一段时间大模型技术发展，对大数据量的数据操作有很大的需求量，比如模型需要大量的标记数据做训练，爬虫的同事在互联网上库库一顿抓，抓完往库里一放就完事了，后端的同事拿来这些数据没法直接用，因为爬下来的数据很杂很乱，没有经过数据治理，比如a网站的性别叫男、女，b网站叫男生、女生，c网站叫男人、女人，d网站叫1、0。所以通常爬下来的数据都会通过数据流转服务进到数据中台...