Apache Pig DISTINCT 运算符

Apache Pig DISTINCT 运算符用于删除关系中的重复元组。最初，Pig 对给定的数据进行排序，然后消除重复项。

 

DISTINCT 运算符示例

在本例中，我们消除了重复的元组。

 

执行 DISTINCT 运算符的步骤

 

  • 在本地计算机上创建一个文本文件并为其提供一些值。

 

$ nano pdistinct.txt

Apache Pig DISTINCT Operator

  • 检查写入文本文件中的值。
$ cat pdistinct.txt

Apache Pig DISTINCT Operator

  • 上传特定目录下 HDFS 上的文本文件。
$ hdfs dfs-put pdistinct.txt /pigexample
  • 开启猪 MapReduce 运行模式。
$ pig
  • 加载包含数据的文件。
grunt> A = LOAD '/pigexample/pdistinct.txt' USING PigStorage(',') as (a1:int,a2:int,a3:int);
  • 现在，执行并验证数据。
grunt> DUMP A;

Apache Pig DISTINCT Operator

  • 让我们执行 DISTINCT 运算符来消除重复的元组。
grunt> Result = DISTINCT A;
  • 现在，执行并验证数据。
grunt> DUMP Result;

Apache Pig DISTINCT Operator

在这里，我们得到了想要的输出。

Apache Pig FILTER 运算符用于删除关系中的重复元组。最初，Pig 对给定的数据进行排序，然后消除重复项。 FILTER 运算符示例在此示例中，我们消除了重复的元组。&nb ...