随着大数据行业日新月异的发展,数据出现爆发式增长,企业对具有数据处理技能的大数据人才的需求空前高涨。同时,大数据方向的职业分工也日益精细。数据科学家、数据工程师、数据分析师,成为大数据行业炙手可热的三个职位。这三个职位究竟在企业中负责哪些工作,又需要哪些技能才能胜任?

数据分析师

大部分重视数据价值的企业,特别是互联网企业基本都设有数据分析师这个职位。根据国内外招聘网站对数据分析师的职位描述,一般认为数据分析师的主要职责是用数据来回答企业所遇到的运营问题,并通过数据化的交流方式,帮助企业决策。

数据工程师的工作内容一般包括:清洗、组织未加工的原始数据;使用统计方法获得数据的全局视图,并发现数据中蕴藏的商业信息;开发数据可视化产品辅助企业的商业决策;撰写数据分析报告,并与其他部门就分析结果进行沟通。

企业一般要求数据分析师能够熟练使用一些商业智能工具,例如:Excel,Tableau,SAS,SAP等。另外,数据分析师在对数据进行统计建模时也会用到一些建模工具,例如:SPSS,RapidMiner 等。需要说明的是,数据分析师不仅需要掌握这些商业智能和数据处理的技术工具,更重要的是数据分析师应该是高效的沟通者,特别是对于数据技术部门与商业运营部门分离的企业,数据分析师的重要任务是承担沟通这两个团队的职能。

数据工程师

无论是数据分析师还是数据科学家,都需要基于准确可靠、可获取的海量数据才能从事相关的分析工作。数据工程师则负责数据系统的建设、管理与优化,从而保证数据的可接收、可存储、可转换、可访问。一般认为数据工程师是传统软件工程师下的一个细分类别。与数据分析师不同,数据工程师不太关注统计、分析、建模与可视化方面的任务,他们更关注数据的架构、存储与计算。

数据工程师的主要工作包括:日常管理与维护数据系统;在现有数据系统下建立数据架构,整合管理数据集:开发数据接口供相关人员使用。

总之,数据工程师的主要职责在于,通过技术手段保证数据科学家和数据分析师专注于解决数据分析方面的问题。数据工程师经常使用的工具集包括:数据库管理系统 (SqlSever、MySql、Oracle 等 )、分布式计算框架 (Hadoop、Spark)以及数据服务开发工具 (Java、Python、R )。

数据科学家

数据科学家与数据分析师这两个职位有一定的相似之处,但在解决的任务层面存在较大差别。数据分析师解决的任务一般着眼于利用现有数据发现、解释当前出现的问题,例如解释当期市场销售额为什么下滑、网站用户为什么流失等问题。数据科学家解决的任务更具开放性,他们更专注于利用统计和算法工具预测未来可能出现的问题,例如预测未来企业的销售趋势,什么样的用户可能会流失等问题。另外,与数据分析师不同的是,一般只有在大型的数据驱动型企业才会设立数据科学家这个职位。由于数据科学家更着眼于前沿与开放的任务,对于这样的任务可能并没有现成的数据供其使用。

数据科学家的工作主要包括:

利用一切可能的方法收集数据(数据收集);

对收集的数据进行清洗、集成、变换、规约(数据分析);

对收集、处理的数据进行存储(数据存储);

利用统计、机器学习、深度学习等方法建立模型分析数据(数据分析)。

与数据分析师利用现成的工具软件与某个细分领域的知识就能完成任务不同,数据科学家需要借助更为开放的编程工具,以及数学、概率统计、机器学习等方面的综合知识,才能更深刻地理解数据,从而选择正确的路径解决问题。数据科学家经常使用的工具集包括:编程工具 (Python、R 、Java )、数据库及数据框架工具 (MySql、SqlSever、SQLite、MongoDB、Hadoop、Spark)以及常用的第三方程序包 (ScikitGlearn、TensorFlow、Pandas、Numpy、Matplotlib、ggplot2、Jupyter、R Markdown)。

“大数据”已几乎渗透到所有行业,2013年——2015年大数据行业的融资总额分别为8亿、15.4亿及20亿美金。

绿色能源

中国是最大的新能源市场,发展新能源产业是改变能源结构、减少环境污染的必然选择。大力度的财政补贴推动新能源产业快速走向成熟。

无人技术

美国蒂尔集团预测全球无人机市场规模会从2015年的64亿美元增至2024年的115亿美元。无人驾驶汽车至今仍未揭面纱,但麦肯锡预测到2015年将会有02-19万亿美元的产值。