bobo1995的专栏

大数据的发展前景和相关问题

0.引言

大数据的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,从中发现价值或获得价值。在人类漫长的发展过程中,人类主要还是依赖抽样数据、局部数据和片面数据,甚至在无法获得实证数据的时候纯粹依赖经验、理论和假设去发现未知领域的规律。因此人们对数据的认识往往是表面的、肤浅的或者是简单的、扭曲的。大数据的来临使得人们终于有机会和更好的条件,在许多领域和获得全面的、完整的、系统的数据,可以深入探索和了解现实世界的相关规律,获得过去不可能获取的知识,和过去无法获得的商机。只有清楚的认识大数据的延迟、安全、成本等问题能更好地利用大数据促进人文、经济、科技的全面发展。

1.摘要

谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好,凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,这就是大数据的价值。大数据也日益显现出对各个行业的推进力。虽然大数据在国内还处于初级阶段,但是商业价值已经显现出来。首先,手中握有数据的公司站在金矿上,基于数据交易即可产生很好的效益;其次,基于数据挖掘会有很多商业模式诞生,定位角度不同,或侧重数据分析。比如帮企业做内部数据挖掘,或侧重优化,帮企业更精准找到用户,降低营销成本,提高企业销售率,增加利润。但是大数据的存储问题也是不容忽视的,只有解决大数据存储的容量、延迟、安全、成本等问题,大数据才能更好的放大我们的能力,了解看起来难以理解和随机的事物。对其前途的了解提供了获取崭新知识和能力的机会,将改变相关企业运作的方式。

Key words:挖掘 数据分析 优化

2.大数据定义和特性

通常,「大数据」是指以多元形式,,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。

对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,数据的来源,直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实,最终的分析结果以及决定将更加准确。第四,处理速度快,1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”

3.大数据和传统数据的差别

大数据分析相比于传统的数据仓库应用,具有数据量大、查询分析复杂等特点。《计算机学报》刊登的“架构大数据:挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性,对当前的主流实现平台——并行数据库、MapReduce及基于两者的混合架构进行了分析归纳,指出了各自的优势及不足,同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍,对未来研究做了展望。

首先大数据必须是永远是在线的,大数据必须实时反应。大数据还有一个最大的特征,它不再是样本思维,它是一个全体思维。这是大数据的三个本质,在线、实时、全貌。

3.1在线

首先大数据必须是永远是在线的,而且在线的还得是热备份的,不是冷备份的,不是放在磁带里的,是随时能调用的。不在线的数据不是大数据,因为你根本没时间把它导出来使用。只有在线的数据才能马上被计算、被使用。

3.2实时

大数据必须实时反应。我们上淘宝输入一个商品,后台必须在10亿件商品当中,瞬间进行呈现。如果要等一个小时才呈现话,我相信没有人再上淘宝。十亿件商品、几百万个卖家、一亿的消费者,瞬间完成匹配呈现,这才叫大数据。

3.3全貌

大数据还有一个最大的特征,它不再是样本思维,它是一个全体思维。以前一提到数据,人们第一个反应是样本、抽样,但是大数据不再抽样,不再调用部分,我们要的是所有可能的数据,它是一个全貌。其实叫全数据比大数据更准确。

4.大数据的发展前景

大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据。

2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团CEO的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。

借着大数据时代的热潮,微软公司生产了一款数据驱动的软件,主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看,从微软团队致力于研究开始,可以看他们的目标不仅是为了节约了能源,更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据,捕捉如何杜绝能源浪费。“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。

从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。

相关个股:

第一类是与海量数据的存储和处理相关的公司,包括天泽信息、拓尔思、美亚柏科、恒泰艾普、潜能恒信。

第二类是与数据中心建设与运营维护相关的公司,包括荣之联、天玑科技、银信科技。

第三类是与视频化应用相关的公司,包括视频监控业务为主的海康威视、大华股份、威创股份、华平股份。

第四类是与智能化和人机交互概念相关的公司,关注科大讯飞、用友软件、东方国信等。

4.1价值

都可以…孔子的,老子的. 孙子的…都可以

bobo1995的专栏

相关文章:

你感兴趣的文章:

标签云: