OopsOutOfMemory 盛利's Blog
专注大数据领域,分布式计算,Spark Contributor
Recent Posts:

上海 Spark MeetUp 第二次

2015年1月10日 携程网络技术大楼 举行了上海Spark Meetup 第二次聚会 主办方:携程...



Spark机器学习库mllib之协同过滤

很久就想写一篇ML的实践文章,虽然看过肯多资料,总觉得纸上谈兵印象不深刻,过不了多久就忘了,现在就借Spark的Mllib来简单的实际一下推荐算法吧。 说起推荐算法,大家耳熟能详的就是CF(协同过滤),这次就拿CF中ALS(alternating least squares),交替最小二乘,来做个例子吧。 CF里面的算法比较多,有基于物品的,基于用户的,ALS是基于矩阵分解的,关于对推荐算法的小结,请参考我的推荐算法总结Recommendation Mllib...



Spark Executor Driver资源调度小结

一、引子 在Worker Actor中,每次LaunchExecutor会创建一个CoarseGrainedExecutorBackend进程,Executor和CoarseGrainedExecutorBackend是1对1的关系。也就是说集群里启动多少Executor实例就有多少CoarseGrainedExecutorBackend进程。 那么到底是如何分配Executor的呢?怎么控制调节Executor的个数呢? 二、Driver和Executor资源调度 下面主要介绍一下Spark...



Scala中List的步长by

Scala的List不仅可以指定循环区间,而且还能根据步长筛选元素。 List中的步长,by关键字: scala> 1 to 100...



Scala协变逆变上界下界---理解篇

Scala的协变和逆变上界与下界 1. 引子: 为了弄懂scala中协变和逆变这两个概念,查阅了不少资料,但是还是要自己总结一下,会记得比较深刻。 那就从java和scala的对比说起吧。 java中:...