大数据分析的应用领域和发展前景
随着互联网的不断发展,大数据分析与应用在各个领域的表现都是有目共睹的。今天,我们就通过案例分析来简单来了解和学习一下,大数据分析的应用领域和前景。
对于很多需要提供24小时不间断服务的网站来说,对数据库系统进行升级和扩展是非常痛苦的事情,往往需要停机维护和数据迁移,除了这些,大数据平台对传统的关系型数据库提出了更多的挑战,包括:高性能的事务管理性要求、读写实时性要求、高可用性要求。因此,在大数据平台的建设中,关系型数据库的很多特性失去了用武之地,非关系型数据库(NoSQL)成为大数据平台的标配。
在本次调研中,我们列出了目前相对常见的几类非关系型数据库产品,希望对几款产品的市场接受度加以了解:
32%的受访者应用了MangoDB数据库,使用为广泛:Mongo大的特点是支持的查询语言非常强大,语法类似于面向对象的查询语言,可以实现类似关系数据库单表查询的大部分功能,而且还支持对数据建立索引。MongoDB主要解决的是海量数据的访问效率问题,当数据量达到50GB以上的时候,Mongo的数据库访问速度是MySQL的10倍以上,这也是MongoDB广受青睐的主要原因。
其次为Hbase、Hive、Redis等几类,均在22%左右:Hive与HBase都是基于Hadoop平台的数据仓库工具,其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Spark紧随其后,占比17%:Spark 是一种与 Hadoop 相似的开源集群计算环境,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
此外,在其他选项的答案中也出现了DB2、阿里大数据云等产品。