2020-06-03 记sqoop的一个小坑
今天工作中通过sqoop导出hive内数据到Mysql内，sqoop版本是1.4.6,当时导出设置参数--update-key指定了3个主键，但是Mysql内建表未设置主键，想当然的以为sqoop导出数据只在sqoop脚本内指定主键就可以，与mysql关系不大，导出数据后惊奇的发现，数据量不对！！！在导一次还是不对。。。经过网上查询相关资料，有说mysql内的主键和--update-key参数指定主键有关系。。好吧，重新在mysql内建表，并指定相对应的主键，最终问题解决。耗时1个小时总算成功导出数据。。再次记录一下。但是其中的具体原理尚未搞懂，需要有时间在去查一些资料。。留个小问题。。希望有路过的大佬能帮忙解答一下疑惑。不胜感激。
投递上海迪士尼等公司8个岗位 >