图十 按工作经验分
图十一 历年平均薪资
数据分析工程师在北京的薪资待遇如图十二,图十三,图十四所示:
图十二 工资收入 图十三 按工作经验分
图十四 历年平均薪资
数据运维师在北京的薪资待遇如图十五,图十六,图十七所示:
图十五 工资收入 图十六 按工作经验分
图十七 历年平均薪资
大数据工资竟然这么高,看得我蠢蠢欲动呢,那么大数据里都包含哪些理论呢?大数据的知识体系暂时分为5个部分:
第一部分:java语言基础与Linux系统基础,包括java语言的面向对象编程,网络编程,Linux系统的基本命令操作和系统下shell脚本的使用。Linux系统对于编程而言,拥有开源,免费,稳定,安全,高效的优点。Java Web 大数据同系连枝,这造成了java语言成为和大数据平台交互的主流语言。
第二部分:数据平台(Hadoop),数据存储,资源调度与监控集群资源。在Hadoop平台下,分布式文件系统HDFS来存储海量数据,分布式资源管理框架YARN管理集群资源和MapReduce、Spark应用的资源实现资源的调度监控。
第三部分:数据处理,Spark框架。kafka(分布式高吞吐的轻量级消息系统),Storm(实时的、分布式以及具备高容错的计算系统)实时数据处理,Redis(高性能key-value)数据库,Spark(数据平台)的应用,内存计算框架Spark以及Impala查询。
第四部分:数据挖掘、数据分析与机器学习。应用Python语言来实现常出库,网络爬虫,Solr集群,机器学习,Mahout技术学习
第五部分:大数据运维,云计算平台管理。运维基础zookeeper框架,Docker引擎以及OpenStack云计算平台。
这么多公司都在大量招收大数据专业人才,那么都有哪些成功的案例值得参考呢?
电子商务:淘宝网平台用户/商户行为分析。利用大数据技术,建立人群分布,尤其是以性别,年龄,工作,地域为主的成交量数据分布模型;建立类品分布,尤其是以食品,服饰,书籍,药品,数码,母婴,家居为主的成交量数据分布模型;通过海量数据进行分析计算资源整合,从而,及时有效调整公司战略方针,有效调整商业结构,做到对在不同城市,年龄段,工作的客户有针对性的区别对待,来进一步扩大平台的利润。如图十八,图十九所示:
图十八 图十九
零售业:沃尔玛连锁百货数据分析。在美国,沃尔玛通过数据关联规则发现一种类似草莓的水果在台风发生前后销售量相差7倍,通过数据挖掘确定了该水果在台风的影响下的销量关系,从而在之后的台风发生前期将所有该水果全 |