OopsOutOfMemory 盛利's Blog
专注大数据领域,分布式计算,Spark Contributor
<原创文章>

Hive数据翻倍总结

盛利的博客
, in 19 November 2014

问题:

  1. 数据源数据重复。。很难发现。。依赖关系。。
  2. 本来8千万的数据和8千万的数据一下left outer join后,变成了30亿。。按道理还是8kw。
  3. 8千万大表和几十行的小表join,数据严重倾斜,到99.99%就是reduce不完。。最终OOM了。

总结如下:

  1. 数据源问题: 统计前,首先检查各个数据源表,看是否有重复记录,可能是数据源的问题。

  2. 业务原因,手机可能会解绑和重新绑定,所以一个帐号可能对于多个手机,而不是简单的一个帐号和一个手机是一一对应的。

  3. join时on的条件不充分,join的时候一定要考虑哪几个条件能唯一的匹配到一条记录,少一个条件,就可能导致笛卡尔乘积。 考虑 on a.id = b.id and a.sid = b.sid and ??

其它总结: 帐号类型,普通帐号,个性化帐号,手机帐号,邮箱帐号。

(The End)
<原创文章> From OopsOutOfMemory 盛利's Blog
转载请注明出自: http://oopsoutofmemory.github.io/hive/2014/11/19/hive-shu-ju-fan-bei-zong-jie