大数据，改变生活的力量

原文出处：EMCxRPS远程实施

"前言

大数据 是当今IT行业最流行的词汇，但是大数据和我们自身又有什么关系呢？估计很少有人能够说出个所以然来。本文邀请到了此次“大数据”培训的两位讲师 Steven 和 Dennis 共同纂写。希望通过本文，能够让大家知道大数据是什么，有什么用，帮助大家对大数据有一个基本的认识。

什么是大数据

麦肯锡 在其报告中给出的大数据定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。

-摘自《Big data: The nextfrontier forinnovation, competition,and productivity》

Gartner 认为：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

亚马逊 则给出了最简单的定义：大数据是任何超过了一台计算机处理能力的数据量。

从上述定义中我们可以总结出大数据的4个基本特征（4V）：

我们说任何行为，皆有前兆。但在现实世界中，缺少实时记录的工具，许多行为看起来是“人似秋鸿有来信，事如春梦了无痕”。但在互联网世界则完全不同，它是“处处行迹处处痕”。比如说: 要买商品，必先浏览、对比、询价；要搞活动，必先征集、讨论、策划。互联网的“请求”加“响应”机制恰恰在服务器上保留了人们大量的前兆性的行为数据，把这些数据搜集起来，进一步分析挖掘，就可以发现隐藏在大量细节背后的规律，依据规律，预测未来。收集分析海量的各种类型的数据，并快速获取影响未来的信息的能力，就是大数据技术的精华所在。

大数据时代的根本在于海量的数据，那么我们不禁产生一个疑问。

这海量的数据究竟从哪里来哪？

大数据的产生

大数据时代的来临有两个重要的推动力。

大数据的兴起伴随着Web的发展

Web 1.0

在Web兴起的初期，其中最主要的用途就是向用户提供信息。由专门的人来编辑发布信息，用户对内容只能阅读，没有交流，没有分享。

Web 2.0

是基于1.0，增加了用户与系统的交互，用户既可以是读者，也可以是作者，人们可以在论坛、博客、微博等社交类平台进行互动。

Web 3.0

Web 3.0不仅仅是Web 1.0的简单内容获取与查询，也不单纯是Web 2.0的大众参与和内容制造。它是互联网与人们日常生活的大融合！在Web3.0时代，网络服务提供商根据用户的爱好和以往的习惯，推送最符合用户当前需求的内容，为用户的各种社会活动进行量身定制。与此同时这也为大数据带来了丰富、鲜活的数据，使得数据量一夜间出现了井喷式的增长。

传感器以及物联网的出现

物联网的出现与发展其本质是传感器技术的进步。遍布大街小巷的摄像头，是大家可以直观感受到的一种物联网形态。事实上，传感器几乎无处不在，使用它可以监测大气的温度、压强、风力，监测桥梁、矿井的安全，监测飞机、汽车的行驶状态。

一架军用战斗机上的传感器多达数千个。现在大家常用的智能手机中，就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。这些各式各样的传感器，无时无刻不在产生大量的数据。其中的某些数据被持续地收集起来，成为大数据的重要来源之一。

那大数据和我们自身到底又有什么关系哪？下面就通过几个真实的案例来了解一下。

大数据的应用

1疫情控制

2009年，一种新的甲型H1N1流感病毒, 在短短几周之内迅速传播开来。然而对抗这种新型流感病毒的疫苗还没有研发出来，公共卫生专家能做的只是减慢它传播的速度。美国和所有其他国家一样，都要求医生在发现新型流感病例时告知疾控中心。但由于患者并不一定及时就医，同时信息上报和验证也需要时间，而且疾控中心每周只进行一次数据汇总，因此，通告新流感病例时往往会有一两周的延迟。对于一种飞速传播的疾病，信息滞后两周的后果将是致命的。

谷歌 把5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时的数据进行了比较。通过分析人们的搜索记录来判断这些人是否患上了流感，谷歌为了测试这些检索词条，总共处理了4.5亿个不同的数学模型。在将得出的预测与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，谷歌发现，他们的软件发现了45条检索词条的组合，用于特定的数学模型后，他们的预测与官方数据的相关性高达97%。和疾控中心一样，他们也能判断出流感是从哪里传播出来的，而且与滞后的官方数据相比，谷歌成为了更有效、更及时的风向标。公共卫生机构的官员由此获得了非常有价值的信息。

2实时竞价

实时竞价--RTB（Real Time Bidding），是一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。与大量购买投放频次不同，实时竞价规避了无效的受众到达，针对有意义的用户进行购买。

当一个用户在全网浏览过某种商品，或点击过特殊类目的广告后，其浏览痕迹都会通过cookie记录在案，而通过广告交易平台，你在下一次浏览网页的时候，将被推送符合偏好的广告。RTB相关技术的不断发展使得精准营销变为可能，让投放的广告更有价值。互联网广告产业正在面临的变革，这一变革过程由大数据技术引领，借 RTB 体系构建，改变着企业主，改变着广告服务商，也同样改变着广告受众。

3精准医疗

精准医疗（Precision Medicine）是新近提出的一个概念。是以个体化医疗为基础，随着基因组测序技术快速进步以及生物信息与大数据科学的交叉应用而发展起来的新型医学概念与医疗模式。

目前大部分药物都是为“一般病人”设计的，治疗方案都是“一刀切”，所有的病人都用同一种药物，其结果就是治疗方案对一些人有效而对另一些人无效，同一药物在不同个体内的效果差异最高可达300倍。通过基因检测确诊疾病；利用基因技术研制针对基因修复的药物,进行治疗，从而增加疾病诊断的准确性，治疗的最大有效性和副作用的最小化。

说到精准医疗，就不得不拿出两个著名的栗子了。