人类每天都在吃饭、睡觉、工作和玩耍，这个过程就产生了数据——非常非常多的数据。据IBM公布的消息显示，人类每天产生2.5垓(一京是一亿亿，一万京为一垓)字节的数据。该数量相当于从地球堆叠到月球又返回来的所有DVD碟片所能存储的数据总量，其中包括了我们发送的文本、我们上传的照片，以及工业传感器的数据，还有机器间通信的所有数据。 正因为数据如此庞大，所以我们的时代人人都在谈数据。这也是为什么“大数据”现如今如此流行的主要原因。简单地说，当人们谈论大数据时，他们指的是能够获得大量的数据、分析数据，并将其变成有用的东西。那么数据分析和大数据分析有什么区别呢？什么样的数据才能叫做大数据呢？亿信ABI今天想和大家聊聊这些。 一、概念 1、什么是大数据？ 要了解一个事物，我们首先要从概念入手。那么什么是大数据呢？大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 一般来说，大数据概念可以分解成三个层面： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。 2、什么是数据分析？ 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，未提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析包含“数据”和“分析”两个方面，一方面包括收集、加工和整理数据，另一方面也包括分析数据，从中提取有价值的信息并形成对业务有帮助的结论。数据分析的成果通常以分析报告的形式呈现。对于数据分析报告，分析就是论点，数据就是论据，两者缺一不可。 数据分析需要掌握数学知识和分析工具，数学知识包含统计学、概率论和数理统计、多元统计分析、时间序列、数据挖掘；工具一般应该掌握Excel、SQL、R、Python等。需要学习掌握基本数据处理及分析方法，掌握高级数据分析及数据挖掘方法（多元线性回归法，贝叶斯，神经网络，决策树，聚类分析法，关联规则，时间序列，支持向量机，集成学习等）和可视化技术。 3、什么是大数据分析？ 大数据分析是指分析无法使用现有的传统应用程序有效处理的庞大数据量的技术。大数据的处理始于未聚合的原始数据，通常是不可能将其存储在单台计算机的内存中的。大数据分析是是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、数据分析和大数据分析的区别 1、分析方法 就分析方法而言，两者并无本质区别。数据分析的核心工作是对数据指标的分析，思考和解释。人脑可以携带的数据量极为有限。因此，无论是“传统数据分析”还是“大数据分析”，都需要根据分析思路对原始数据进行统计处理，以获得汇总统计结果供人为分析。两者在此过程中相似，不同之处仅在于处理方法是由原始数据的大小引起的。 2、统计知识应用 第二，两者在使用统计知识方面有很大的不同。“传统数据分析”中使用的知识主要围绕“可以通过少量采样数据来猜测现实世界”这一主题。“大数据分析”主要是使用各种类型的全量数据(非采样数据)设计统计程序并获得详细而有把握的统计结论。 3、机器学习模型 两者之间在机器学习模型方面存在根本差异。“传统数据分析”大多数时候，知识使用机器学习模型作为黑匣子工具来协助分析数据。“大数据分析”通常是两者的紧密结合。大数据分析不仅会产生分析效果评估，而且还会基于此进行产品升级。在大数据分析的背景下，数据分析通常是数据上墨的序幕，而数据建模是数据分析的结果。 4、结果展现 数据分析报告体现数据挖掘的整体流程，层层阐述信息的收集、模型的构建、结果的验证和解读，对行业进行评估，优化和决策。大数据报告要求报告能体现大数据分析的优势，能清楚地阐述数据采集、大数据处理过程及最终结果的解读，同时提出模型的优化和改进之处，以利于提升大数据分析的商业价值。 三、数据分析和大数据分析不同的应用场景 （1）大数据分析应用场景 1、购物营销 当我们打开淘宝，京东等购物APP时，总是会发现，这些APP比我们自己还懂自己，能够未卜先知的知道我们最近需要什么。商家通过手机浏览的数据分析，知道我们近期的需求，之后精准的向我们进行推销。如今人们网络购物的行为越来越频繁，网络购物的体验也越来越好。而影响网络购物体验的一个最重要的方面就是物流的速度。双十一时，很多物品能保证晚上下单，第二天就送达，即使购买的是新疆的葡萄干，也能在24小时到货。速度提升的背后，离不开大数据的赋能。物流仓储与购物平台合作，通过分析用户的浏览数据，购物车，下定金情况，预知某一地区的购买量，进行提前备货。通过大数据中心的调控，物流分拣系统能最科学合理的进行装车。在智慧系统的指引下，快递员也能按照最优的线路进行高效的配送。 2、交通出行 如今百度地图、高德地图已经成了我们出行必不可少的工具。没了地图，很多时候我们将寸步难行。手机地图能够做到精准的导航和实时的路况预测得益于大数据的分析。一是地图公司有自己数据采集车，前期采集了海量的数据存储在数据库中。二是每一个使用地图的用户，都共享了自己的位置，贡献了自己的数据。通过对同一时间段同一路段用户的使用情况进行分享，地图很容易就能得知哪里堵车，哪里畅通，提前告知使用者。 3、政务处理 大数据在助力政府的政务处理方面同样发挥着重要的作用。近年来精准扶贫是各级政府的首要工程，扶贫如何做到精准，考验着政府的执政能力。这里我们以亿信华辰的数据治理平台睿治为例，给大家讲解。 睿治智能数据治理平台由亿信华辰自主研发，是一款融合数据治理十大产品模块，覆盖数据全生命周期管理的应用平台，也是目前国内功能齐全的数据治理工具，助力数据标准落地，提升数据质量，实现数据资产融合。基于此，亿信华辰帮助广州市荔湾政数局建设了政务大数据平台。 睿治平台依托四标四实基础数据，整合荔湾区政务数据资源，搭建全区统一的四标四实数据平台，提供多源数据采集、数据管控、数据共享交换、数据分析、数据挖掘、数据服务等核心能力，推进全区政务数据资源的共享利用，探索政府数据与社会数据的整合利用。 （2）数据分析应用场景 1、趋势预测和热点营销 社区中热点和热门是数据分析的结果。在社区中热门话题、在搜索引擎中热点分析，通常具有先兆性的特征，能够成为一种流行趋势的预测。比如，苹果的土豪金让土豪色成为一种流行。同时由于社区传播的广泛、快捷性，也能够帮助企业通过病毒式营销获得更多关注，比如小米的病毒式营销的策划。 2、产品定价 产品定价的合理性需要进行数据试验和分析，主要研究客户对产品定价的敏感度，将客户按照敏感度进行分类，测量不同价格敏感度的客户群对产品价格变化的直接反应和容忍度。通过这些数据试验，为产品定价提供决策参考。 3、户流失预测 客户数据分析中发现客户的投诉增多，客户评价出现负面情绪，客户购买量明显减少等现象，根据客户行为模型，预测客户流失的可能性，并采取针对性措施。 4、基于环境数据的外部形势分析 从市场竞争者的产品、促销等数据，从外部环境的数据，例如天气（如雾霾）、重大节日（如双十一）、国家大事（十八大）、热门话题（如中国好声音）、社交媒体上人们的情绪（快乐）等中找到对外部形势演变的先导性的预测，帮助企业应对环境变化。 5、基于物联网数据分析的产品生命周期管理 条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术能将产品生命周期的信息进行实时采集和分析，这些数据能够帮助企业在供应链的各个环节跟踪产品，收集产品使用信息，从而实现产品生命周期的管理。 四、小结 随着大数据的快速发展，就像计算机和互联网一样，大数据逐渐可能成为新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，有可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。所以数据分析和大数据分析在未来区别并不重要，重要的是二者如何结合在大数据时代发挥更大的作用。