Hive 中的四種排序詳解，再也不會(huì)混淆用法了
Hive 中的四種排序操作詳解，助您高效處理數(shù)據(jù)排序
在數(shù)據(jù)分析過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行排序是常見(jiàn)操作。Hive 提供了四種與排序相關(guān)的關(guān)鍵字：order by、sort by、distribute by 和 cluster by。本文將逐一介紹它們的用法和特性。
首先，我們通過(guò)一份溫度數(shù)據(jù)進(jìn)行說(shuō)明。通過(guò)建表和加載數(shù)據(jù)，為接下來(lái)的排序操作做好準(zhǔn)備。
1. order by：此操作對(duì)輸入數(shù)據(jù)做全局排序，僅使用一個(gè)Reducer。然而，當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，這可能導(dǎo)致計(jì)算時(shí)間過(guò)長(zhǎng)。在嚴(yán)格模式下，使用 order by 時(shí)必須配合 limit 以限制排序數(shù)據(jù)量，否則將引發(fā)內(nèi)存溢出（OOM）或運(yùn)行時(shí)間超長(zhǎng)的問(wèn)題。
2. sort by：與 order by 不同，sort by 在數(shù)據(jù)進(jìn)入Reducer前完成排序，確保每個(gè)Reducer的輸出有序。設(shè)置 mapreduce.job.reduces 可以指定執(zhí)行的reduce個(gè)數(shù)，通過(guò)歸并排序得到全局排序結(jié)果。使用 sort by 輸出數(shù)據(jù)到文件，可直觀地看到分區(qū)內(nèi)數(shù)據(jù)按年份排序。
3. sort by 和 order by 的執(zhí)行效率：通常情況下，sort by 的執(zhí)行效率高于 order by，尤其是數(shù)據(jù)量較小時(shí)。然而，數(shù)據(jù)處理的耗時(shí)可能因Reducer啟動(dòng)而變得更長(zhǎng)。在實(shí)際操作中，應(yīng)根據(jù)數(shù)據(jù)規(guī)模選擇合適的排序方法。
4. sort by 中的 limit：在 sort by 后使用 limit 子句可以減少數(shù)據(jù)量，減少參與排序的記錄數(shù)。與 order by 中的 limit 不同，sort by 中的 limit 實(shí)際上限制了每個(gè)Reducer中的記錄數(shù)，最后返回指定數(shù)量的數(shù)據(jù)。
5. distribute by：此關(guān)鍵字控制在map端如何拆分?jǐn)?shù)據(jù)給Reducer。它采用哈希算法+取余數(shù)的方式將數(shù)據(jù)分發(fā)到對(duì)應(yīng)Reducer。distribute by 通常與 sort by 配合使用，以控制特定行分配給特定Reducer，進(jìn)行后續(xù)的聚集操作。
6. cluster by：除了具有distribute by的功能，cluster by 還兼具 sort by 的功能。排序只能為升序，不能指定為 ASC 或 DESC。當(dāng)分區(qū)字段和排序字段相同時(shí)，使用 cluster by 可以簡(jiǎn)化 distribute by + sort by 的SQL寫(xiě)法。驗(yàn)證兩種寫(xiě)法，結(jié)果一致，證明了當(dāng)字段相同時(shí)，可使用 cluster by 代替 distribute by 和 sort by。
總結(jié)：選擇合適的排序方法，依據(jù)數(shù)據(jù)規(guī)模和特定需求，可以高效地進(jìn)行數(shù)據(jù)排序操作。理解并靈活運(yùn)用 Hive 中的排序關(guān)鍵字，將使您的數(shù)據(jù)分析過(guò)程更加順暢。
希齊15525515370： hive的max能比較字符串么 -
涪陵區(qū)圓柱： ______ max在sqlserver中可以對(duì)任何字段進(jìn)行比較最大值,如果是字符型的話就是字符,數(shù)字,字母,文字,字符的具體順序的話沒(méi)有了解過(guò),數(shù)字過(guò)0-9,字母a-z,文字要看有多少個(gè)字,然后按第一個(gè)字的開(kāi)頭文字排序,如果第一個(gè)有重的然后再按第二個(gè),以此類(lèi)推,例字段中有 * a z 林 夏那他的最大值為夏
希齊15525515370： oracle 中的 nulls last 在 hadoop 的 hive 上 怎么寫(xiě).. -
涪陵區(qū)圓柱： ______ order by nulls last 不是標(biāo)準(zhǔn)sql,oracle設(shè)計(jì)的 可以這么寫(xiě),再指定一個(gè)虛擬列來(lái)輔助排序 order by case when col is null then 0 else 1 end , col desc
希齊15525515370： hive分桶是減少行數(shù)還是列數(shù) -
涪陵區(qū)圓柱： ______ 首先,Hive 沒(méi)有專(zhuān)門(mén)的數(shù)據(jù)存儲(chǔ)格式,也沒(méi)有為數(shù)據(jù)建立索引,用戶可以非常自由的組織 Hive 中的表,只需要在創(chuàng)建表的時(shí)候告訴 Hive 數(shù)據(jù)中的列分隔符和行分隔符,Hive 就可以解析數(shù)據(jù).
希齊15525515370： hive中怎么查看一個(gè)函數(shù)的詳細(xì)信息 -
涪陵區(qū)圓柱： ______ 如果是規(guī)整的json字符串,可以先使用Hive函數(shù)get_json_object取出dySub 后面的數(shù)字,再做sum. 另外也可以使用Hive函數(shù)regexp_extract,使用正則表達(dá)式抽取出dySub 后面的數(shù)字.具體可以搜索一下＂lxw的大數(shù)據(jù)田地 hive函數(shù)大全＂,里面有每種函數(shù)的詳細(xì)用法. hivesql sql — 獲取指定hive表或指定文件中所有hive表的DDL,如果有按天的分區(qū)則默認(rèn)執(zhí)行最近7天的分區(qū)DDL.同時(shí),table支持符合sql語(yǔ)法的正則表達(dá)式,如果有多個(gè)表匹配,則提示用戶選擇(使用file則自動(dòng)關(guān)閉該交互功能).
希齊15525515370： Pig和Hive有什么不同啊?hadoop -
涪陵區(qū)圓柱： ______ Pig是一種編程語(yǔ)言,它簡(jiǎn)化了Hadoop常見(jiàn)的工作任務(wù).Pig可加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換數(shù)據(jù)以及存儲(chǔ)最終結(jié)果.Pig內(nèi)置的操作使得半結(jié)構(gòu)化數(shù)據(jù)變得有意義(如日志文件).同時(shí)Pig可擴(kuò)展使用Java中添加的自定義數(shù)據(jù)類(lèi)型并支持?jǐn)?shù)據(jù)轉(zhuǎn)換. Hive...
希齊15525515370： hive能夠設(shè)置默認(rèn)值嗎 -
涪陵區(qū)圓柱： ______ 默認(rèn)值:false 描述:是否允許動(dòng)態(tài)分區(qū) hive.exec.dynamic.partition.mode=nonstrict 默認(rèn)值:strict 描述
希齊15525515370： hive中如何查看A庫(kù)中有哪些表?這表里有哪些列? -
涪陵區(qū)圓柱： ______ 查看表使用 show tables 查看表有哪些列 desc tblname 至于你說(shuō)的show tables沒(méi)反應(yīng),是不是你的元數(shù)據(jù)連接有問(wèn)題,檢查一下是否連接到相應(yīng)的元數(shù)據(jù)
在數(shù)據(jù)分析過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行排序是常見(jiàn)操作。Hive 提供了四種與排序相關(guān)的關(guān)鍵字：order by、sort by、distribute by 和 cluster by。本文將逐一介紹它們的用法和特性。
首先，我們通過(guò)一份溫度數(shù)據(jù)進(jìn)行說(shuō)明。通過(guò)建表和加載數(shù)據(jù)，為接下來(lái)的排序操作做好準(zhǔn)備。
1. order by：此操作對(duì)輸入數(shù)據(jù)做全局排序，僅使用一個(gè)Reducer。然而，當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，這可能導(dǎo)致計(jì)算時(shí)間過(guò)長(zhǎng)。在嚴(yán)格模式下，使用 order by 時(shí)必須配合 limit 以限制排序數(shù)據(jù)量，否則將引發(fā)內(nèi)存溢出（OOM）或運(yùn)行時(shí)間超長(zhǎng)的問(wèn)題。
2. sort by：與 order by 不同，sort by 在數(shù)據(jù)進(jìn)入Reducer前完成排序，確保每個(gè)Reducer的輸出有序。設(shè)置 mapreduce.job.reduces 可以指定執(zhí)行的reduce個(gè)數(shù)，通過(guò)歸并排序得到全局排序結(jié)果。使用 sort by 輸出數(shù)據(jù)到文件，可直觀地看到分區(qū)內(nèi)數(shù)據(jù)按年份排序。
3. sort by 和 order by 的執(zhí)行效率：通常情況下，sort by 的執(zhí)行效率高于 order by，尤其是數(shù)據(jù)量較小時(shí)。然而，數(shù)據(jù)處理的耗時(shí)可能因Reducer啟動(dòng)而變得更長(zhǎng)。在實(shí)際操作中，應(yīng)根據(jù)數(shù)據(jù)規(guī)模選擇合適的排序方法。
4. sort by 中的 limit：在 sort by 后使用 limit 子句可以減少數(shù)據(jù)量，減少參與排序的記錄數(shù)。與 order by 中的 limit 不同，sort by 中的 limit 實(shí)際上限制了每個(gè)Reducer中的記錄數(shù)，最后返回指定數(shù)量的數(shù)據(jù)。
5. distribute by：此關(guān)鍵字控制在map端如何拆分?jǐn)?shù)據(jù)給Reducer。它采用哈希算法+取余數(shù)的方式將數(shù)據(jù)分發(fā)到對(duì)應(yīng)Reducer。distribute by 通常與 sort by 配合使用，以控制特定行分配給特定Reducer，進(jìn)行后續(xù)的聚集操作。
6. cluster by：除了具有distribute by的功能，cluster by 還兼具 sort by 的功能。排序只能為升序，不能指定為 ASC 或 DESC。當(dāng)分區(qū)字段和排序字段相同時(shí)，使用 cluster by 可以簡(jiǎn)化 distribute by + sort by 的SQL寫(xiě)法。驗(yàn)證兩種寫(xiě)法，結(jié)果一致，證明了當(dāng)字段相同時(shí)，可使用 cluster by 代替 distribute by 和 sort by。
總結(jié)：選擇合適的排序方法，依據(jù)數(shù)據(jù)規(guī)模和特定需求，可以高效地進(jìn)行數(shù)據(jù)排序操作。理解并靈活運(yùn)用 Hive 中的排序關(guān)鍵字，將使您的數(shù)據(jù)分析過(guò)程更加順暢。
相關(guān)評(píng)說(shuō)：
涪陵區(qū)圓柱： ______ max在sqlserver中可以對(duì)任何字段進(jìn)行比較最大值,如果是字符型的話就是字符,數(shù)字,字母,文字,字符的具體順序的話沒(méi)有了解過(guò),數(shù)字過(guò)0-9,字母a-z,文字要看有多少個(gè)字,然后按第一個(gè)字的開(kāi)頭文字排序,如果第一個(gè)有重的然后再按第二個(gè),以此類(lèi)推,例字段中有 * a z 林 夏那他的最大值為夏
涪陵區(qū)圓柱： ______ order by nulls last 不是標(biāo)準(zhǔn)sql,oracle設(shè)計(jì)的 可以這么寫(xiě),再指定一個(gè)虛擬列來(lái)輔助排序 order by case when col is null then 0 else 1 end , col desc
涪陵區(qū)圓柱： ______ 首先,Hive 沒(méi)有專(zhuān)門(mén)的數(shù)據(jù)存儲(chǔ)格式,也沒(méi)有為數(shù)據(jù)建立索引,用戶可以非常自由的組織 Hive 中的表,只需要在創(chuàng)建表的時(shí)候告訴 Hive 數(shù)據(jù)中的列分隔符和行分隔符,Hive 就可以解析數(shù)據(jù).
涪陵區(qū)圓柱： ______ 如果是規(guī)整的json字符串,可以先使用Hive函數(shù)get_json_object取出dySub 后面的數(shù)字,再做sum. 另外也可以使用Hive函數(shù)regexp_extract,使用正則表達(dá)式抽取出dySub 后面的數(shù)字.具體可以搜索一下＂lxw的大數(shù)據(jù)田地 hive函數(shù)大全＂,里面有每種函數(shù)的詳細(xì)用法. hivesql sql — 獲取指定hive表或指定文件中所有hive表的DDL,如果有按天的分區(qū)則默認(rèn)執(zhí)行最近7天的分區(qū)DDL.同時(shí),table支持符合sql語(yǔ)法的正則表達(dá)式,如果有多個(gè)表匹配,則提示用戶選擇(使用file則自動(dòng)關(guān)閉該交互功能).
涪陵區(qū)圓柱： ______ Pig是一種編程語(yǔ)言,它簡(jiǎn)化了Hadoop常見(jiàn)的工作任務(wù).Pig可加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換數(shù)據(jù)以及存儲(chǔ)最終結(jié)果.Pig內(nèi)置的操作使得半結(jié)構(gòu)化數(shù)據(jù)變得有意義(如日志文件).同時(shí)Pig可擴(kuò)展使用Java中添加的自定義數(shù)據(jù)類(lèi)型并支持?jǐn)?shù)據(jù)轉(zhuǎn)換. Hive...
涪陵區(qū)圓柱： ______ 默認(rèn)值:false 描述:是否允許動(dòng)態(tài)分區(qū) hive.exec.dynamic.partition.mode=nonstrict 默認(rèn)值:strict 描述
涪陵區(qū)圓柱： ______ 查看表使用 show tables 查看表有哪些列 desc tblname 至于你說(shuō)的show tables沒(méi)反應(yīng),是不是你的元數(shù)據(jù)連接有問(wèn)題,檢查一下是否連接到相應(yīng)的元數(shù)據(jù)
