使用Talend从MySQL表中删除重复项
来自SAS的背景，我发现这个基本的任务，去一个数据集相当烦琐与Talend。我确信这与我对这个工具缺乏经验有关。
在插入数据后，我需要从目标数据集中删除重复项。我似乎无法使用tSortRow (MySQL)运行多个sql语句，而且我得到了一个错误--“您的SQL语法中有错误”。这组查询在MySQL工作台上工作得很好。
使用，我可以添加一个SAS代码节点，并可以使用noduplicates修饰符运行此排序过程。我试图通过tMySQLRow组件运行一组SQL查询来做类似的事情。
你们怎么做到的？我所需要的只是talend方法来去复制数据源中的数据。
回答 2
Stack Overflow用户
发布于 2018-08-16 03:47:59
通过在子作业中执行以下操作，我已经能够消除表数据的重复：
tDBInput -> tAggregate (按值计数)-> tFilterRow (重复字段的计数大于1)
或者，由于您使用的是MySQL，所以您应该能够通过SQL删除重复项。您有表的样例模式吗？
Stack Overflow用户
发布于 2018-08-30 06:16:57
有一个内置的talend组件，用于删除重复的值tuniquerow，它将在删除重复记录后加载到目标
tDBInput_1 - tUniqueRow_1
注意:您需要指定在tUniqueRow中检查重复值的键列
https://stackoverflow.com/questions/51861419
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号