什么是大数据？大数据能做什么？

本篇文章主要为我们介绍了大数据的概念、发展以及相关应用。

“Big Data is like teenage sex:Everyone talks about it，nobody really knows how to do it，everyone thinks everyone else is doing it，so everyone claims they are doing it too.”

2013年被称为大数据元年，各行各业都逐渐开启大数据应用时代。直至现在，大数据依然为人所津津乐道。

何为大数据？

1PB够大吗？

如果你没有直观印象，可以联想一下你的电脑硬盘容量，标配是500G-1TB，大部分人用了一两年，可能这部分容量都没用完。而1PB=1024TB=1048576GB。

在实际中，一个小有名气的游戏一天的数据量就在数十TB左右，甚至更多。

如果你以为PB单位已经是最大了？那就大错特错了！！！！

在PB之上，还有EB（Exabyte 百亿亿字节 艾字节），ZB（Zettabyte 十万亿亿字节 泽字节），YB（Yottabyte 一亿亿亿字节 尧字节），而这些单位也只是为了方便统计海量数据所给出的当前单位，在未来还可能出现更大的单位。

因特尔公司首席执行官Brian Krzanich表示，2020年互联网用户每天将产生1.5GB的数据。

HIS数据预测，到2025年，全球互联网（IoT）连接设备的总安装量预计将达到754.4亿，这部分设备每天产生的数据量可想而知。

按照前面的数据关系，得出1ZB大概是1.1万亿GB，等同于全世界沙子数量总和。

从上图中不难看出，互联网数据每年都在爆炸式增长。当然，大数据并不只是数据量大而已，它还有其他更深的含义。

对于大数据，麦肯锡全球研究所给出的定义是：

”一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。“

大数据具有五大特点，称为5V。

1. 多样（Variety）

大数据的多样性是指数据的种类和来源是多样化的，数据可以是结构化的、半结构化的以及非结构化的，数据的呈现形式包括但不仅限于文本，图像，视频，HTML页面等等。

2. 大量（Volume）

大数据的大量性是指数据量的大小，这个就是上面笔者介绍的内容，不再赘述。

3. 高速（Velocity）

大数据的高速性是指数据增长快速，处理快速，每一天，各行各业的数据都在呈现指数性爆炸增长。在许多场景下，数据都具有时效性，如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时，必须要高速处理，快速响应。

4. 低价值密度（Value）

大数据的低价值密度性是指在海量的数据源中，真正有价值的数据少之又少，许多数据可能是错误的，是不完整的，是无法利用的。总体而言，有价值的数据占据数据总量的密度极低，提炼数据好比浪里淘沙。

5. 真实性（Veracity）

大数据的真实性是指数据的准确度和可信赖度，代表数据的质量。

数据一直都在，变革的是方式

大数据的意义不仅仅在于生产和掌握庞大的数据信息，更重要的是对有价值的数据进行专业化处理。

人类从来不缺数据，缺的是对数据进行深度价值挖掘与利用。可以说，从人类社会有了文字以来，数据就开始存在了，现在亦是如此。这其中唯一改变的是数据从产生，到记录，再到使用这整个流程的形式。

1. 数据生产

在人类社会的早期，民以食为天，数据的产生大多与商品，食物，土地等挂钩。旧石器时代的部落人民在树枝或骨头上刻下凹痕来记录日常的交易活动或物品供应。

为了衡量商品长度，中国人发明了尺、里、寸、丈、步、仞等长度单位；为了衡量重量，发明了升、斗，斛等重量单位。

在互联网时代，数据的生产变得更为容易。美国互联网数据中心曾指出，互联网上的数据每年都将增长50%，每两年便将翻一倍，而目前世界上90%以上的数据是最近几年才产生的。

每人每天都会产生海量数据，如视频数据，电商数据，社交数据等等。

全球每60秒产生的数据

2. 数据记录

千年之前，人们用龟甲石鼓、简牍绢帛到造纸术成熟后的刻本等一切触手可及的器物来作为数据的载体。

千年之后，人们用图书，报纸，硬盘，光盘，存储器等各种更为灵活，简便的方式记录数据。

3. 数据利用

古人利用利用甲骨文占卜判断凶吉，利用占星术预测朝代兴衰；利用蚂蚁搬家，燕子低飞，蚯蚓出洞来预测天气。

互联网时代，企业或产品利用电商数据为用户推荐商品，利用社交数据做广告营销等等。

在大数据概念兴起之前，大部分企业并没有注意到数据的宝贵价值，只是在纯粹的生产和记录数据。更有甚者视海量数据为累赘，因为数据的存储与管理需要耗费企业大量的成本，极少有企业能把数据作为一种资源，嗅到大数据背后的价值，从而加以利用。就算到现在，数据资源的整合利用能力依然是考验每个企业的一大难点。

大数据应用

大数据作为一个能够改变产业应用的技术，只有切实落地才能带来真正的价值。

其实大数据的应用范围非常广，不单单限于互联网行业，在其他诸如金融，制造业，交通物流方面也都有非常大的应用价值。

1. 大数据让借贷款更加放心

在金融行业中，以借贷款为例。在贷款前，贷款借出方会先利用大数据对借款人进行贷前审核，以此来保障贷后的还款率。

借出方从各个渠道合法收集借款人的标签信息，如学历，职业，薪资状况，历史借还款情况等（据说一个用户的标签维度可以达到7000个）。海量数据被放入反欺诈模型，还款能力模型，身份验证模型等数个中做训练，最终得出是否通过本次贷款申请，贷款的额度，贷款人的还款意愿等评估信息。

借款人数据收集的越多，标签维度越细，数据越真实，则审核效果越全面。

2. 大数据让广告营销更高效

广告作为互联网行业最常见的变现手段之一，大数据赋能广告营销，让广告从惹人恼转变为广告即内容，广告即服务。

曾几何时，你会发现日常生活中看到的广告居然那么懂你。点开淘宝，你最爱的商品被推荐在Banner首页；打开微信朋友圈，映入眼帘的是你正想要做的汽车保养；打开百度搜索，你前两天看的别墅信息赫然出现。

这一切的实现都得益于大数据赋能广告。

在广告投放前期，通过大数据手段大量的整合、分析数据，包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等，并从中挖掘出有效的信息；构建全面的用户画像，结合广告业务，精准定位目标用户，保证广告定向投放。

大数据构建用户画像

在广告投放的中后期，通过实时数据反馈，结合用户所处地域，时间的变化，动态优化广告素材，调整广告的呈现方式与广告的展览位置，让同一个用户在不同的场景下享受不一样的广告服务，实现一人千面，增加广告营销效果，提升广告主KPI。

3. 大数据赋能零售

新零售时代，客户的需求无时无刻不在变化，大数据赋能零售，让零售在人，货，场上进行变革。

零售商可以借助大数据对未来市场需求进行预测，抢先一步对库存进行管理。在流量高发的前期，及时补足库存，提升商品供应率；在流量散去的前期，及时去库存，避免库存积压。

借助大数据分析用户地域分布情况，商店流量，消费者习惯等那个，在合适的地区开设商店，建造仓库。在物流发货时，从数据出发，合理规划运输路劲，降低运输成本。

利用数据还可以统一上下游供应链交互，解决数据不对成问题，减小牛鞭效应，提升供应链中每个环节的利用效率。

总结

数据一直都在，大数据变革的只是方式。大数据并不神秘，神秘的是对未知数据的探索与利用。

本文由 @pm_SWolf 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议

全球最佳短文：《大数据》

来源：听书369

下面通过一段对话，给你讲讲什么是大数据，大数据对我们又有哪些启发和帮助。

某披萨店的电话铃响了。 客服拿起电话：

客服：您好！请问有什么需要我为您服务？

顾客：你好！我想要一份……

客服：先生，请先把您的会员卡号告诉我，好吗？

顾客：16846146***。

客服：陈先生，您好！您是住在泉州路一号12楼1205室。您家电话是2646****，您公司电话是4666****，您的手机是1391234****。请问您想用哪一个电话付费？

顾客：你为什么知道我所有的电话号码？

客服：陈先生，因为我们联机CRM系统。

顾客：我想要一个海鲜比萨……

客服：陈先生，海鲜比萨不适合您。

顾客：为什么？

客服：根据您的医疗记录，你的血压和胆固醇都偏高。

顾客：那你有什么可以推荐的？

客服：您可以试试我们的低脂健康比萨。

顾客：你怎么知道我会喜欢这种的？

客服：您上星期一在国家图书馆借了一本《低脂健康食谱》。

顾客：好，那我要一个家庭大号比萨。

客服：陈先生，大号的不够吃。

顾客：为什么？

客服：因为您家一共有六口人。来个特大号的，怎样？

顾客：要付多少钱？

客服：99元。这个足够您一家六口吃了。但您母亲应该少吃，她上个月刚刚做了心脏搭桥手术，还处在恢复期。

顾客：那可以刷卡吗？

客服：陈先生，对不起。请您付现款。

顾客：你们不是可以刷卡的吗？

客服：一般是可以的。但是您的信用卡已经刷爆了，您现在还欠银行4807元，而且还不包括您的房贷利息。

顾客：那我先去附近的提款机提款。

客服：陈先生，根据您的记录，您已经超过今日提款限额了。

顾客：算了，你们直接把比萨送我家吧，家里有现金。你们多久会送到？

客服：大约30分钟。如果您不想等，可以自己骑摩托车来取。

顾客：为什么？

客服：根据我们CRM全球定位系统车辆行驶自动跟踪记录显示，您登记的一辆车号为AC-001的摩托车，目前正在解放路东段华联商场右侧行驶，离我们店只有 50米。

顾客：好吧（头开始晕）

客服：陈先生，建议您再带一小份海鲜比萨。

顾客：为什么？你不是说我不能吃吗？

客服：根据我们CRM通讯系统分析，今天您与一位女性通话频率高、时间长，今天又 是2.14，我们分析应该是您的情人，而这位手机用户近来一直买的是海鲜比萨，她应该喜欢这种口味。

顾客：……

客服：您最好现在就送回家，否则您就不方便出来了。

顾客：为什么？

客服：根据我们定位系统，您的爱人大约30分钟后到家。

顾客：我为什么要出来？

客服：您已在汇峰酒店定了今晚的房间，估计您是与情人约会吧？

顾客：当即晕倒……

这就是大数据！！！

不久的将来，所有进入大数据管理的人都应该遵守规则，社会秩序才会越来越好。

因为在大数据面前，遵守规则才是正路，否则，你没路可走！

特别推荐

谈谈大数据认知

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据分析通俗的讲就是将海量混杂的数据，通过利用各类手段统一协调成一个有机整体，然后以不同的可视化分析工具直观呈现给用户，让其通俗易懂的发现数据中的一些关键因素点。以保障相关人员提升工作效率及分析数据核心指标，并且为企业带来收益价值点。

5V特点

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

来源网络

大量化Volume： 非结构数据的超大规模和增长，总数据的80~90% ，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍。IDC预计到2020年，全球将总共拥有35ZB的数据量。

很多人日常用到或者了解到的仅限于bit、Byte、KB、MB，其实在其之上还有更多维度的统计，例如：最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。它们按照进率1024（2的十次方）来计算：

举一个例子：

一般情况下，大数据是以PB EB ZB为单位进行计量的：1PB相当于50%的全美学术研究图书馆藏书的信息内容；5EB相当于至今全世界人类所讲过的话语；1ZB如同全世界海滩沙子数量总和；1YB相当于7000位人类体内的微细胞总和。

价值化Value ： 大量的不相关信息，对未来趋势与模式的可预测分析，深度复杂分析，快速提炼出海量数据资源中的那部分有价值的信息，为客户带来真正的受益点。（例如：机器学习、人工智能、数据汇聚等）多样化Variety ： 大数据的异构和多样化，很多不同的形式（结构化数据、非结构化数据、半结构化数据）呈现方式也不仅仅限于文本、图像、接口、文件、数据库类、标准格式等。快速化Velocity： 实时分析而非批量式分析，数据的快速提取、清洗、汇聚、标签化、具体到人事物中，立竿见影而非事后见效。时刻都会处理万亿级以上的数据，因此具有时效性，高速处理、响应迅速。真实性Veracity： 大数据中的内容是与真实世界中的发生息息相关的，研究大数据就是从庞大的网络数据中提取出能够解释和预测现实事件的过程。提高数据的准确、可依赖程度，保证数据质量。也可以作为未来某种趋势的预判及以数据来提取到真正的需求点。

价值体现

大数据可以实现的应用可以概括为两个方向：一个是精准化定制；第二个是预测。

精准化定制定制可根据不同业务需求进行设计开发，通过数据去解决一些行业应用难点，例如：智慧城市、可视化大屏、警务大数据、金融大数据等，更多居于toB领域。

而预测类：比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。会利用大数据推荐算法等模型来进行推送。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。头条新闻信息推荐等等，更多趋向于toC领域。

图片源于神策

人物画像分析，通过对人物的准确、全方位的刻画，深入挖掘其数据间的内在关系，将零散杂乱的信息组织成有机整体。快速分析出人物的各类属性指标：身份信息、行动轨迹、经济情况、活动偏好、等级划分等，有效地利用分析结果，发现关键数据指标。

数据汇聚、分析、保护

数据聚合 针对内外部数据进行多维数据快速汇聚。可通过实时接口、文件自动导入、主动查询等方式接入。并可对各类格式的数据进行智能清洗入库。

汇聚时，需要对各类来源数据进行精准提取：例如利用一些智能终端采集设备，提取入库后，对海量数据进行快速的清洗处理，将其以结构化数据、非结构化数据、半结构化数据为主体划分，而后进行标签化划分，利用图数据库赋予其不同标签，再下发到具体分析的人事物中，以多样可视化分析图表的形态直观展示数据结果。

可视化分析 可通过利用不同的分析工具，以关系图、时序图、位置轨迹、词云、时光轴、画像分析、可视化大屏等可视化方式进行分析。（针对不同的需求，可利用将多个工具结合进行全维度数据分析）

数据分级保护 针对数据在应用时进行分级和脱敏过滤，保障数据安全。从数据提取、清洗、入库、分类、标签化并具体到人事物环境进行层层加密处理，保障全流程安全。

具体可分为：数据安全、应用安全、环境安全等方面。

工具的选用

1. 基础工具

传统分析/商业统计：

Excel、SPSS、SAS 这三者对于研究人员而言并不陌生。

Excel作为电子表格软件，适合简单统计汇总需求，由于其方便好用，功能也能满足很多场景需要，所以一直受用于广大用户基本统计分析。SPSS（SPSS Statistics）和SAS作为商业统计软件，提供研究常用的经典统计分析（如回归、方差、因子、多变量分析等）处理。SPSS 轻量、易于使用，但功能相对较少，适合常规基本统计分析。SAS 功能丰富而强大（包括绘图能力），且支持编程扩展其分析能力，适合复杂与高要求的统计性分析。

以上几种软件属于传统性的数据统计软件，此处不做过多的解说。要进行具体的数据汇聚并且可视化展示还需要利用一些可视化工具软件，如下：

2. 可视化工具

Echats：

千万级数据可视化渲染能力；SVG + Canvas 双引擎动力更佳；数据样式分离及扁平配置让开发更便捷；首创无障碍访问支持；微信小程序、PPT，哪里都能用；数据自由刷选：自由选择数据，发掘数据背后的更多秘密；多图表联动查看：对多个图表数据联动查看，进行多维有效分析。

来源网络

当前接入是免费形式，通过选取不同的可视化工具类图展示符合业务需求的类后，进行数据的呈现，由于非矢量关系图标化，若数据过多时会存在前台渲染加载卡顿情况。

Highcharts： 兼容 IE6+、完美支持移动端、图表类型丰富、方便快捷的 HTML5 交互性图表库。

来源网络

会有部分收费对接资源，基本展示与Echat相近，界面体验更友情化。

AntV：

GraphinStudio 是基于 Graphin 开发的通用关系分析平台，具有关系扩散，关系发现，布局切换等功能。

来源网络

完善的图形语法：数据到图形的映射，能够绘制出所有的图表。全新的交互语法：通过触发和反馈机制可以组合出各种交互行为，对数据进行探索。强大的 View 模块：可支持开发个性化的数据多维分析图形。双引擎渲染：Canvas 或 SVG 任意切换。可视化组件体系：面向交互、体验优雅。全面拥抱 TypeScript：提供完整的类型定义文件。

相对来功能展示更强大，可以支持不同图形标签选择，关系属性关联，更加灵活的展示分析结果信息。

3. 不同图表的选用

通过图表形式展现数据，帮助用户快速、准确理解信息。准确、快速是可视化的关键。借助于图形化手段，清晰有效地传达与沟通信息同时对数据进行交互分析。

（1）柱形图

通过柱状图，可以清晰展示各个数据类型的统计数据信息，并且可以直观进行对比，发现趋势

来源网络

适合的数据：一个分类数据字段、一个连续数据字段。

功能：对比分类数据的数值大小。

数据与图形的映射：

横轴可展示具体的时间维度区间纵轴可展示数据量的多少不同类别可以不同色块进行区分

适合的数据条数：根据页面大小灵活设计，建议不超过1个月数据区间。

（2）散点图

散点图也叫 X-Y 图，它将所有的数据以点的形式展现在直角坐标系上，以显示变量之间的相互影响程度，点的位置由变量的数值决定。

来源网络

适合的数据：两个连续数据字段

横轴可展示具体的时间维度区间或者不同的属性描述，纵轴可展示数据量的多少。不同类别可以不同色块进行区分。

备注：可更具实际情况对点的形状进行分类字段的映射。点的颜色进行分类或连续字段的映射。

可视化分析

1. 用户画像产品

用户画像： User Profile用户画像是通过搜集和分析用户行为喜好、静态属性信息和消费习惯信息等数据，将用户的特征信息抽象化的进行展示。

用户画像的标签表征用户的兴趣、爱好、习惯特点，为标签计算权重来表示用户对标签特征的需求程度，使用户的特征得到量化。更多区域用户消费行为的分析统计，可预判用户的消费特性，通过数据分析结果来帮助运营人员抓住用户消费痛点。

来源网络

2. 推荐系统

推荐系统有很多中，其中有一种是用户画像的用处，即利用用户画像做个性化推荐、广告推荐、活动推荐、内容推荐等。利用相关的算法，可以帮助其广告精准推广营销，精确推送给用户其所喜好的阅读信息等

像今日头条有自己强大的算法模式：

我们初期可以根据相关的线性函数来做数值推理或者用户群中划分；根据喜好相同的不同用户去推送各自不同的相似栏目信息内容；通过后台大数据的汇总，进行抽样随机选择的方式，推理出高概率相符信息内容进行推送。

来源网络

3. 可视化大屏

来源网络

上图为可视化大屏展示，其中可针对不同业务需求进行定制化开发：（可用于企业高端效果展示，关键数据指标可视化展示，工作汇报总结，领导检验等）

3D实时数据模型可视化数据展示，采用逼真的视觉效果呈现帮助用户理解、展现科技创新形象；提供多种数据交互场景，可进行三维视角观测、切换、拖拽、缩放等交互方式，缩短用户对态势认知成本，提升决策效率；地图以区域定制化展现整体数据分布动态；各类标签属性进行相关数据的展示。多维关键数据指标为整体数据大屏做支撑；可视化大屏属于定制化功能模块，可支持3D炫酷建模效果，城市全景地图下探，街道立体效果展现及关键数据可视化特殊标识。

总结

此次是对大数据认知的一个较为宽泛的阐述，后续会进行各个模块的细化说明。其实数据总是与我们息息相关，通过大数据是为我们提供一个有效的手段来使得各类价值信息呈现更为明确。大数据离我们并不遥远，仍需不断地去探索与发现其潜在价值与意义。

本文由 @ Leon 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议