大数据概述
本章介绍大数据的产生背景、基本概念、关键技术与典型应用，阐述大数据对科学研究、思维方式和社会发展的影响，并梳理大数据产业以及大数据与云计算、物联网之间的关系。
1.1 大数据时代
1.1.1 第三次信息化浪潮
根据 IBM 前首席执行官郭士纳的观点，IT 领域每隔十五年就会迎来一次重大变革。人类社会先后经历了三次信息化浪潮，每次浪潮都有其发生的时间标志、所要解决的核心问题和代表性企业，如表1-1所示。
表1-1 三次信息化浪潮
| 信息化浪潮 | 发生时间 | 标志 | 解决问题 | 代表企业 |
|---|---|---|---|---|
| 第一次浪潮 | 1980年前后 | 个人计算机 | 信息处理 | Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普 |
| 第二次浪潮 | 1995年前后 | 互联网 | 信息传输 | 雅虎、谷歌、阿里巴巴、百度、腾讯 |
| 第三次浪潮 | 2010年前后 | 物联网、云计算和大数据 | 信息爆炸 | 将涌现出一批新的市场标杆企业 |
1.1.2 信息科技为大数据时代提供技术支撑
大数据时代的到来离不开信息科技在存储、计算和传输三个方面的持续进步。
1. 存储设备容量不断增加
存储设备的容量不断增大、价格持续下降，为海量数据的长期保存提供了物质基础。（原图：图1-1 存储价格随时间变化情况）
来自斯威本科技大学（Swinburne University of Technology）的研究团队，在2013年6月29日刊出的《自然通讯（Nature Communications）》杂志的文章中，描述了一种全新的数据存储方式，可将 1PB（1024TB）的数据存储到一张仅 DVD 大小的聚合物碟片上。
2. CPU 处理能力大幅提升
CPU 晶体管数目遵循摩尔定律持续增长，处理器的并行计算能力大幅提升，使海量数据的快速处理成为可能。（原图：图1-3 CPU晶体管数目随时间变化情况）
3. 网络带宽不断增加
网络带宽不断提升，数据传输速度显著加快，为数据的集中采集、分布式存储与传输提供了网络保障。（原图：图1-4 网络带宽随时间变化情况）
1.1.3 数据产生方式的变革促成大数据时代的来临
数据产生方式经历了深刻的变革，从早期的被动式、运营式系统阶段，逐步发展到用户原创内容阶段，再到感知式系统阶段。物联网中大量传感器的广泛部署，使数据可以被自动、持续地产生，直接促成了大数据时代的来临。（原图：图1-5 数据产生方式的变革）
1.1.4 大数据的发展历程
大数据的发展大致可以划分为三个阶段，如表1-2所示。
表1-2 大数据发展的三个阶段
| 阶段 | 时间 | 内容 |
|---|---|---|
| 第一阶段：萌芽期 | 上世纪90年代至本世纪初 | 随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等 |
| 第二阶段：成熟期 | 本世纪前十年 | Web 2.0 应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破；大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的 GFS 和 MapReduce 等大数据技术受到追捧，Hadoop 平台开始大行其道 |
| 第三阶段：大规模应用期 | 2010年以后 | 大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高 |
1.2 大数据概念
大数据具有四个基本特征，即业界通常所说的"4V"：数据量大（Volume）、数据类型繁多（Variety）、处理速度快（Velocity）和价值密度低（Value）。
1.2.1 数据量大
根据 IDC 作出的估测，数据一直都在以每年 50% 的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）。人类在最近两年产生的数据量相当于之前产生的全部数据量。预计到2020年，全球将总共拥有 35ZB 的数据量，相较于2010年，数据量将增长近30倍。
1.2.2 数据类型繁多
大数据由结构化数据和非结构化数据共同组成：
- 约 10% 为结构化数据，存储在数据库中；
- 约 90% 为非结构化数据，它们与人类信息密切相关。
非结构化数据来源广泛，例如：
- 科学研究：基因组、LHC 加速器、地球与空间探测；
- 企业应用：Email、文档、文件、应用日志、交易记录；
- Web 1.0 数据：文本、图像、视频；
- Web 2.0 数据：查询日志/点击流、Twitter/Blog/SNS、Wiki。
1.2.3 处理速度快
从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少。大数据处理遵循"1秒定律"，这一点也是它和传统数据挖掘技术有着本质不同的地方。
1.2.4 价值密度低
大数据的价值密度低，但商业价值高。以视频为例，在连续不间断监控过程中，可能有用的数据仅仅有一两秒，但这一两秒的数据往往具有很高的商业价值。
1.3 大数据的影响
1.3.1 对科学研究的影响
图灵奖获得者、著名数据库专家 Jim Gray 博士观察并总结：人类自古以来在科学研究上先后历经了四种范式，依次是实验范式、理论范式、计算范式和数据范式。第四范式（数据密集型科学发现）的出现，标志着科学研究进入了以数据为驱动的新阶段。
1.3.2 对思维方式的影响
在思维方式方面，大数据完全颠覆了传统的思维方式：
- 全样而非抽样：不再依赖随机抽样，而是直接处理与全体数据相关的全部数据；
- 效率而非精确：在海量数据背景下，更加重视处理的时效性，而非对每条数据的绝对精确；
- 相关而非因果：更加关注数据之间的相关关系，而不只是探求因果关系。
1.3.3 对社会发展、就业与人才培养的影响
- 在社会发展方面，大数据决策逐渐成为一种新的决策方式，大数据应用有力促进了信息技术与各行业的深度融合，大数据开发大大推动了新技术和新应用的不断涌现。
- 在就业市场方面，大数据的兴起使得数据科学家成为热门职业。
- 在人才培养方面，大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
1.4 大数据的应用
大数据无处不在，金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。
典型应用实例一：美剧《纸牌屋》
风靡全球的美剧《纸牌屋》改编自英国同名小说，由 David Fincher 执导、Kevin Spacey 主演。该剧的制作方通过对海量用户观看、评分、搜索等行为数据进行大数据分析，精准预测受众喜好，从而决定剧情、导演和演员人选，成为大数据驱动影视创作的经典案例。
典型应用实例二：谷歌流感趋势
"谷歌流感趋势"通过跟踪搜索词相关数据来判断全美地区的流感情况，展示了大数据在公共卫生监测领域的应用价值。
1.5 大数据关键技术
大数据并非单一的数据或技术，而是数据和大数据技术的综合体。从技术层面看，大数据技术涵盖数据采集、数据存储和管理、数据处理与分析、数据隐私和安全等多个层面，各层面及其功能如表1-3所示。
表1-3 大数据技术的不同层面及其功能
| 技术层面 | 功能 |
|---|---|
| 数据采集 | 利用 ETL 工具将分布的、异构数据源中的数据（如关系数据、平面数据文件等）抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析 |
| 数据存储和管理 | 利用分布式文件系统、数据仓库、关系数据库、NoSQL 数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理 |
| 数据处理与分析 | 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据 |
| 数据隐私和安全 | 在从大数据中挖掘潜在商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全 |
在大数据技术体系中，分布式存储和分布式处理是两大核心技术：
- 分布式存储：GFS/HDFS、BigTable/HBase、NoSQL（键值、列族、图形、文档数据库）、NewSQL（如 SQL Azure）；
- 分布式处理：MapReduce 等分布式并行计算框架。
1.6 大数据计算模式
针对不同的数据类型和应用场景，大数据形成了多种计算模式，代表性产品如表1-4所示。
表1-4 大数据计算模式及其代表产品
| 大数据计算模式 | 解决问题 | 代表产品 |
|---|---|---|
| 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark |
| 流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台 |
| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb |
| 查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impala |
1.7 大数据产业
大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。完整的大数据产业链包括多个环节，各环节及其包含内容如表1-5所示。
表1-5 大数据产业链环节及其包含内容
| 产业链环节 | 包含内容 |
|---|---|
| IT 基础设施 | 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，例如提供数据中心解决方案的 IBM、惠普和戴尔，提供存储解决方案的 EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat 等 |
| 数据源 | 大数据生态圈里的数据提供者，包括生物大数据（生物信息学领域各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据来源 |
| 数据管理 | 包括数据抽取、转换、存储和管理等服务的各类企业或产品，例如分布式文件系统（Hadoop 的 HDFS 和谷歌的 GFS）、ETL 工具（Informatica、Datastage、Kettle 等）、数据库和数据仓库（Oracle、MySQL、SQL Server、HBase、GreenPlum 等） |
| 数据分析 | 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品，例如分布式计算框架 MapReduce、统计分析软件 SPSS 和 SAS、数据挖掘工具 Weka、数据可视化工具 Tableau、BI 工具（MicroStrategy、Cognos、BO）等 |
| 数据平台 | 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品，例如阿里巴巴、谷歌、中国电信、百度等 |
| 数据应用 | 提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门，例如交通主管部门、各大医疗机构、菜鸟网络、国家电网等 |
1.8 大数据与云计算、物联网的关系
云计算、大数据和物联网代表了 IT 领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。
1.8.1 云计算
1. 云计算概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种 IT 资源。云计算的服务模式分为 IaaS、PaaS 和 SaaS 三类，如表1-6所示。（原图：图1-7 云计算的服务模式和类型）
表1-6 云计算三种服务模式
| 服务模式 | 全称 | 含义 | 典型产品 |
|---|---|---|---|
| IaaS | Infrastructure as a Service（基础设施即服务） | 将基础设施（计算资源和存储）作为服务出租 | Amazon EC2、IBM Blue Cloud、Sun Grid |
| PaaS | Platform as a Service（平台即服务） | 类似于 IaaS，但包括操作系统和围绕特定应用的必需服务 | IBM IT factory、Google App Engine、Force.com |
| SaaS | Software as a Service（软件即服务） | 从一个集中的系统部署软件，使之在一台本地计算机上（或从云中远程地）运行的模型；由于是计量服务，SaaS 允许出租一个应用程序并计时收费 | Google Apps、Microsoft "Software+Services" |
2. 云计算关键技术
云计算关键技术包括：虚拟化、分布式存储、分布式计算、多租户等。
3. 云计算数据中心
云计算数据中心是一整套复杂的设施，包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。数据中心是云计算的重要载体，为云计算提供计算、存储、带宽等各种硬件资源，为各种平台和应用提供运行支撑环境，全国各地都在积极推进数据中心建设。
4. 云计算应用
- 政务云：可以部署公共安全管理、容灾备份、城市管理、应急管理、智能交通、社会保障等应用，通过集约化建设、管理和运行，实现信息资源整合和政务资源共享，推动政务管理创新，加快向服务型政府转型。
- 教育云：有效整合幼儿教育、中小学教育、高等教育以及继续教育等优质教育资源，逐步实现教育信息共享、教育资源共享及教育资源深度挖掘等目标。
- 中小企业云：让企业以低廉成本建立财务、供应链、客户关系等管理应用系统，大大降低企业信息化门槛，迅速提升企业信息化水平，增强企业市场竞争力。
- 医疗云：推动医院与医院、医院与社区、医院与急救中心、医院与家庭之间的服务共享，形成全新的医疗健康服务系统，有效提高医疗保健质量。
5. 云计算产业
云计算产业作为战略性新兴产业，近些年得到了迅速发展，形成了成熟的产业链结构，产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）、终端设备、云安全、云计算交付/咨询/认证等环节。（原图：图1-8 云计算产业链）
1.8.2 物联网
1. 物联网概念
物联网是物物相连的互联网，是互联网的延伸。它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。（原图：图1-9 物联网体系架构）
2. 物联网关键技术
物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。（原图：图1-10 矩阵式二维码；图1-11 采用 RFID 芯片的公交卡；图1-12 不同类型的传感器）
3. 物联网应用
物联网已经广泛应用于智能交通、智慧医疗、智能家居、环保监测、智能安防、智能物流、智能电网、智慧农业、智能工业等领域，对国民经济与社会发展起到了重要的推动作用。
4. 物联网产业
完整的物联网产业链主要包括核心感应器件提供商、感知层末端设备提供商、网络提供商、软件与行业解决方案提供商、系统集成商、运营及服务提供商等六大环节。
1.8.3 大数据与云计算、物联网的关系
云计算、大数据和物联网代表了 IT 领域最新的技术发展趋势，三者既有区别又有联系：物联网负责产生和采集数据，是大数据的重要数据来源；云计算提供海量数据的存储、处理能力和弹性资源，是大数据的基础设施支撑；大数据则从海量数据中挖掘价值，是物联网和云计算价值的集中体现。（原图：图1-9 大数据、云计算和物联网之间的关系）
本章小结
本章介绍了大数据技术的发展历程，并指出信息科技的不断进步为大数据时代提供了技术支撑，数据产生方式的变革促成了大数据时代的来临。
大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点，统称"4V"。大数据对科学研究、思维方式、社会发展、就业市场和人才培养等方面都产生了重要的影响，深刻理解这些影响，有助于我们更好地把握学习和应用大数据的方向。
大数据在金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都得到了日益广泛的应用，深刻地改变着我们的社会生产和日常生活。
大数据并非单一的数据或技术，而是数据和大数据技术的综合体。大数据技术主要包括数据采集、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。大数据产业包括 IT 基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层，在不同层面都已经形成了一批引领市场的技术和企业。
本章最后介绍了云计算和物联网的概念和关键技术，并阐述了大数据、云计算和物联网三者之间的区别与联系。
出处：厦门大学计算机科学系 · 林子雨《大数据技术原理与应用》
Department of Computer Science, Xiamen University
此处评论已关闭