Hive 中的四种排序详解，再也不会错误使用了

Hive 中的四种排序

排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。

 

数据准备

下面我们有一份温度数据,tab 分割

2008    32.0 

2008    21.0 

2008    31.5 

2008    17.0 

2013    34.0 

2015    32.0 

2015    33.0 

2015    15.9 

2015    31.0 

2015    19.9 

2015    27.0 

2016    23.0 

2016    39.9 

2016    32.0 

建表加载数据

create table ods_temperature( 

    `year` int, 

    temper float 

) 

row format delimited fields terminated by 't'; 

load data local inpath '/Users/liuwenqiang/workspace/hive/temperature.data' overwrite into table ods_temperature; 

1. order by(全局排序)

order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个reducer，会导致当输入规模较大时，消耗较长的计算时间。

降序：desc

升序：asc 不需要指定，默认是升序

需要注意的是它受hive.mapred.mode的影响，在严格模式下，必须使用limit 对排序的数据量进行限制，因为数据量很大只有一个reducer的话，会出现OOM 或者运行时间超长的情况，所以严格模式下，不适用limit 则会报错，更多请参考Hive的严格模式和本地模式。

Error: Error while compiling statement: FAILED: SemanticException 1:39 Order by-s without limit are disabled for safety reasons. If you know what you are doing, please set hive.strict.checks.orderby.no.limit to false and make sure that hive.mapred.mode is not set to 'strict' to proceed. Note that you may get errors or incorrect results if you make a mistake while using some of the unsafe features.. Error encountered near token 'year' (state=42000,code=40000) 

接下来我们看一下order by的排序结果select * from ods_temperature order by year;

 

2. sort by(分区内排序)

不是全局排序，其在数据进入reducer前完成排序，也就是说它会在数据进入reduce之前为每个reducer都产生一个排序后的文件。因此，如果用sort by进行排序，并且设置mapreduce.job.reduces>1，则sort by只保证每个reducer的输出有序，不保证全局有序。

它不受Hive.mapred.mode属性的影响，sort by的数据只能保证在同一个reduce中的数据可以按指定字段排序。使用sort by你可以指定执行的reduce个数(通过set mapred.reduce.tasks=n来指定)，对输出的数据再执行归并排序，即可得到全部结果。