3G时代的文字和图片、4G时代的图片与视频、5G时代的短视频和直播，多样化信息给人们日常生活带来的，除了精神上的愉悦和感官上的刺激之外，也带来了数据的疯狂增长。

从2009年“大数据”成为互联网技术行业的流行词开始，至今已过去10余年，它已不再是“潮流”，它已然成为组成现代生活的基础。

世界正在经历一场以大数据、云计算等为代表的信息技术变革。大数据对社会生产生活产生的影响绝不限于技术层面，更本质上，它为我们看待世界提供了一种全新的方法——决策行为将日益基于数据分析做出，数据成为重要的战略资源和新生产要素。

今天小亿就来说说与大数据有关的知识，以及大数据如今主要应用在哪些领域？发展到现在又产生了哪些问题？

—  01  —什么是大数据？

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 中，大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理的分析方法；

而研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；

根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

我们这里主要采用第三种定义，即所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到获取、管理、处理、并整理成为帮助企业经营决策的目的资讯。

—  02  —大数据、数据分析和数据挖掘的区别

大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断。

大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。

1.大数据

指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.数据分析

是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。

3.数据挖掘

又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。

大数据是范围比较广的数据分析和数据挖掘。按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。数据分析处于数据处理的最末端，是最后阶段。数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。

—  03  —如今大数据主要应用领域？

1.企业经营管理

企业内部的经营交易信息、互联网中的商品物流信息、人与人交互信息、位置信息等数据是现代企业的重要资源，是企业运用科学管理、决策分析的基础。对于一般的企业而言，大数据的作用主要表现在两个方面：

（1）帮助企业了解用户

大数据可以通过相关性分析，将客户和产品、服务进行关系串联，对用户的偏好进行定位，从而提供更精准、更有导向性的产品和服务，提升销售业绩。比如，大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。  

在电商领域，大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度，例如帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；

（2）帮助企业了解自己

企业生产经营需要大量的资源，大数据可以分析和锁定资源的具体情况，例如储量分布和需求趋势。这些资源的可视化，可以帮助企业管理者更直观地了解企业的运作状态，更快地发现问题，及时调整运营策略，降低经营风险。

2.智慧城市

众所周知，在疫情期间“健康码”的快速问世，为处于疫情之下的人们提供了出行的方便。AI测温设备的应用，避免了公共场所人员的聚集，同时也为工厂复工提供可靠的保障……以上都是大数据在智慧城市中的应用。除此以外，大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；电力企业会通过大数据实时做数据的监测和预测，让我们更好、更方便做这种电力的调度。

甚至如今的政务服务基于大数据运用开发的城市政务服务系统，真正实现了让市民足不出户办理各项政府管理事务。比如政务服务“指尖办理、秒批服务”就是利用大数据、人工智能等先进技术，实现网上申请、无人干预自动审批服务、审批结果主动及时送达的政务服务新模式。让政府在需要的时间、需要的地方出现，做实服务内容，进一步优化服务资源，给市民带来较强的获得感与幸福感。

3.智慧交通

随着城市的不断发展，以及车流量、人流量的不断增大，各大城市都在不同程度上出现了交通压力日益增大的现象，由此带来了交通拥堵、环境污染、交通违章等问题，这些问题影响着交通体系的正常运转，同时也考验着城市交通部门的应对以及调度能力。  

而大数据可以整合运政、执法、出租、公交、应急等数据资源，建成交通大数据中心，为交通运输信息化建设的各项应用提供高性能、高扩展性的数据支持。在应用层面，一方面可以从智能数据应用入手，实时监控分析道路车流量，依据动态的交通数据，自动切换和调配交通系统，从而调节交通流量。另一方面，交通部门可以通过实时、全面的数据可视化系统，呈现交通运行关键数据，为关键的决策进行支撑。  

通过交通多维度指标数据宏观综合监测城市、行政区和重点区域的交通整体运行情况，同时可以分钟级监测突发交通拥堵，帮助城市交通决策者量化掌控城市交通运行情况，提高决策效率与能力，进而实现城市智慧交通管理和运行。

4.智慧医疗

大数据在医疗中更是有着比较广泛的应用。在我国，国家政策已深入医疗信息化改革，各地正大力推进以电子病历为核心的医院信息化建设，积极探索并建立以电子健康档案为核心的区域医疗信息平台。医疗信息化的广泛应用在科学研究 、医疗服务、健康保健和卫生管理过程中形成了健康医疗大数据。  

比如现在的基因工程以及疾病的预测分析和每个病人的手术方案等等，可能都会用到大数据。 大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物。  

4.智慧农业

人口增长与消费推动对农业生产增长的需求，而气候变化和地球可持续发展也已成为粗放型农业发展头上的紧箍咒。而随着传感器、算力和算法的发展农业是最能从大数据中受益的行业之一，能实现生产效率的飞跃。

例如将农场坐标和相关信息上传至大数据平台，与实时气象信息，比如温度、湿度、风力、雨水等进行整合分析，帮助农场判断每个地块的播种、收获、耕作时间。与此同时，还可以利用大数据进行土壤成分分析，形成报告，时刻监测种植活动导致成分动态变化的数据指标，并依据数据及时补充作物时所需要的肥料、水分，对未来产量进行预估，精确安排农场的生产计划。

—  04  —大数据的应用发展过快也存在问题

1.大数据杀熟

2018年开始，“大数据杀熟”即受到广泛关注和报道。杀熟机制受益于大数据技术的发展，当大数据技术越发达，智能化程度越高，当平台经营者拥有市场支配地位、数据的收集与运用能力，将会积累起隐性侵害熟客消费者的能力。

大数据杀熟对消费者、社会将产生长期危害。对于消费者个人来说，一次交易中或许仅仅是价格的小数额差异，但当消费者对平台产生依赖，长期而言交易成本不降反升，侵害了消费者的公平交易权；对于全社会而言，杀熟行为破坏了诚实信用的基本原则，降低消费者的消费欲望，导致全社会交易成本的上升。

2.数据隐私安全

随着中国网民规模的急剧增长，大数据的汇集不可避免地加大了公民个人信息和隐私数据信息泄露的风险，2021年“3·15”晚会曝光的“人脸信息滥用”、“简历信息泄露”事件再次敲响了数据安全的警钟。

在大数据发展日益蓬勃的时代，每个人的信息变得愈发透明化。伴随着云计算、大数据、物联网、移动互联网、人工智能等新技术的发展，网络边界被不断打破，敏捷创新、安全合规驱动快速转型，数据泄露事件在各个行业频频发生，个人、企业和社会都在面临数字化的转型带来的数据安全风险。那么安全体系的建设尤为重要和关键，而其中数据安全和隐私保护则是安全体系的重中之重。

—  05  —小结

未来随着物联网技术的发展借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，大数据的身影将无处不在。

站在竞争的维度上来说，未来各行业是数据之争，真正能建构牢固“护城河”的核心要素一定落在数据上。因此我们需要注意以下三点：

第一，数据的准确性、完整性、可追溯性、持续性、真实性和共享性，这些品质决定着应用模型的质量，也决定最终的落地成果；

第二，那些占据着特定的应用场景，并且更早、更多地获取数据的领域，竞争的优势会更明显；

第三，数据的安全和隐私保护，决定了大数据在各行业的应用最终可以走多远。

关于亿信华辰

亿信华辰是中国专业的智能数据产品与服务提供商，一直致力于为政企用户提供从数据采集、存储、治理、分析到智能应用的智能数据全生命周期管理方案，帮助企业实现数据驱动、数据智能，已积累了8000多家用户的服务和客户成功经验，为客户提供数据分析平台、数据治理系统搭建等专业的产品咨询、实施和技术支持服务。