让每个镜头,都记录精彩文 | 饼干君
故事一：一位在互联网行业做数据库架构多年的朋友一起吃饭，问起我现在在做什么，我说自己在做医疗方面的数据分析，朋友笑，说：你有很多资源啊，只要你能拿到电子病例的数据，就能分析很多东西了……我脸上的微笑表情瞬间僵化！
故事二：当时为内蒙一个企业做上游原材料供应商的数据管理项目，当时我们拿到的只是该企业小部分供应商的数据，下一阶段计划拿到其全国供应商的相关数据给该企业进行管理支持。有一天，我们的项目负责人很兴奋，高兴地对我说：后面我们拿到所有供应商的数据后，我们做的就是“真正的大数据”了，你要考虑一下后面的大数据分析如何做啊……我脸上的微笑再一次僵化！
大家觉得以上两个故事如何？反正我当时内心是一万头羊驼奔过~~
类似的“外行人看热闹”的情况在我工作中碰到很多，很多企业老板、客户以及领导拿着数据”“画蓝图”，但对企业数据分析的理解浅薄令人难以置信，以为有了数据就是万能的，估计很多人都有同感。
所以也就萌生了写这篇文章的想法，向不了解数据分析体系建设的朋友们解释一下：数据分析到底都包括些什么？从完成数据采集到做出数据产品，到底有多远的路要走？
一、数据分析本身是一个过程
数据分析是企业的一种能力，数据分析本身是一个过程，数据分析的本质是一种思想。
企业利用这一过程将数据中的信息提取出来，进行处理、识别、加工、呈现，最后成为指导企业经营管理的知识和智慧。因而，企业利用这一过程的成熟程度，决定了企业使用数据的有效程度。
在我看来，从拿到数据到将数据中的知识提炼成人类的智慧，这是一个很长的过程，有可能一年甚至几年。
首先，想要分析数据你要获取数据。获取数据这个过程如果是线上还相对容易，如果是线下就非常复杂。
其次，得到数据之后，如何整理才能让数据变成信息，也是个“技术活”。这里涉及到数据的清洗、整理、关联等等问题。
再次，数据整理得到的信息是海量的，需要经过加工、提取、抽象等操作，提炼成为各项知识被人脑理解、吸收。这个过程就涉及到各种分析方法的使用，而且这也是个随着对业务认识的加深而逐渐复杂的过程，金融领域的风控模型、宏观经济领域的福利模型等等，都是发展多年并逐步演进的例子。
最后，人们在各个业务领域通过数据得到知识，在很多情况下可以重复应用在不同的领域，并与其他领域的知识相融合，形成新的生产生活方式。每个领域的知识内容如何相互融合，也是一个需要长期实践和探索的过程。
做个简单的比喻：
采集到的原始数据就像是一堆堆食材，没有任何整合。数据处理的过程就是挑拣菜，把每种菜都挑拣开，再通过洗切使其成为可加工和食用的食材。
每种菜在在搭配上都有讲究，比如怎么配菜，餐桌上怎么安排，冷菜，热菜、炒菜、汤品等等。我们会按照图纸（就是数据分析体系）将不同的菜品搭配。
一桌盛宴煮完后，怎么吃就要看食客们的安排了~~
那么，我们就来看看企业到底要做些什么，才能完成从数据采集到智慧积累这一过程。
二、企业数据能力层级
企业的数据分析能力层级大概可以分为这么7级：
可能有同行会对这个金字塔的层级不认同，而且大部分专家也认为这几个部分是平级关系，不存在高低关系……我这里这样列出来只是为了说明“要做到每个层级的水平，该层级以下的内容都是支撑这些层级的必要条件”而已。
1、基础IT系统
最底层的”基础IT系统”是一切数据分析的基础，因为它最重要的作用就是完成“数据采集”。
这里主要指的就是我们各个企业在实际生产中使用的软件系统及其配套的硬件设备，如企业各业务系统，财务管理软件，CRM系统；硬件设备诸如医院里的医学影像设备和其他传感器、探测器等，这些系统解决了我们口中的“数据采集”问题，正是因为有了这些基础的IT系统，才能将企业的所有一切数字化、可度量~~
解决了最基本的“数据采集”问题之后，是不是意味着我们就有数据了呢？
当然不是！从数据采集系统中拿到的信息有这样几个特点：割裂的、碎片化的、无序的，它们必须经过处理之后才能用于使用，因而我们需要进入到下一个阶段“数据集中管控与标准化”。
2、数据集中管控与标准化
在“数据集中管控与标准化”这一层级中，我们要实现的是打破数据壁垒，让数据能够正常地在企业内流动。这一阶段的工作并不只是“数据集中”和“数据标准化”两件事情，需要做的内容大概包括：
（1）数据清理
这个步骤解决的问题是将系统采集到的内容转化为人类能够理解的数据内容，主要有两个方面：一是清理原始数据，使之完整、干净无杂质；二是将采集到的一些非结构化数据、编码信息转化为人能看懂的文字、数字等数据。
（2）数据逻辑和数据结构的搭建
每个系统中的数据描述的都只是企业业务流程中的一部分，因此梳理业务流程，按照业务流程找到各个系统之间数据的衔接点，从而实现多领域数据的关联。
第一步，根据业务逻辑，需要将数据分别划分为多少类？每一类的字段、纬度、统计周期等都是什么样的？每一类数据需要多少层汇总？……这些问题首先将数据从采集的清单分离出来，成为一个个数据体系；
第二步，在考虑数据关联逻辑方面，需要考虑三个方面：
1） 关联使用的“主键”需要在各个系统中实现统一，即在各个相关的系统中，对于同一内容的同一主键是相同的，例如：在电信系统中，用户ID是个在所有相关系统中可以唯一标识用户的主键，而非手机号码；
2） 各个系统中数据的时间颗粒度统一才能保证主键关联的有效使用，例如表格A是每日最新数据，表格B是每日数据，则使用时就要在时间上进行限制：表格A中的日期=表格B中最大日期，而且这种情况下，要想查询A表中的历史数据就无法查到；
3） 各类数据在业务上存在相互制约、相互影响的关系，这种关系也要在多系统的数据关联中体现出来，例如营销活动中的活动商品数量受到库存商品数量的限制，在营销活动执行过程中，每增加一单活动商品销售量，库存商品数就要进行相应的减少，若不做相应的触发变更，多系统数据融合也会意义大减。
3、数据报表与可视化
解决了数据关联和标准化的问题之后，我们下一步要解决的问题是：如何能让大家看到数据？
最简单直接的方法是“数据报表”。对，就是按照日常业务使用习惯，构建各种表格，在表格中填写大量的数据。有的企业是手工制作报表，有的企业使用报表制作报表，有的企业则进入到了数据分析可视化阶段，通过BI等分析工具下放数据分析的权利，帮助业务快速取数快速出报表，甚至自主的做一些分析。
由报表工具FineReport制作
从“基础IT系统”到“数据报表及可视化”，前三个层级从某些方面而言，都是完成数据分析和数据应用工作的基础。
对于一个企业来说，完成这三个层级的方式可以是手工形式的，也可以是本地系统化的，更可以是云端化的，但是无论如何只有在一定程度上具备了上述三个层级的能力，才能说企业具有了使用数据指导运营、决策、管理等进行数据应用的基础。
4、产品及运营分析
在我的理解中，所有的分析都是从日常的业务分析中开始的，因为笔者主要从事互联网行业，且互联网企业也是数据分析走在最前沿的，所以从此层级开始，产品与运营分析、精细化运营以及数据产品都是互联网企业数据分析典型的，至于传统行业，可以参考着看。
互联网企业的数据分析最先是从产品和运营分析开始的，这一层级的主要作用有3个：
解决日常运营和监控需求；
深入分析用户、市场、产品；
以分析结果指导产品和运营工作。
产品和运营分析，首先要满足的就是日常数据的监控：高了？低了？为什么高？为什么低？数据的变动能否说明我们的产品和运营在往好的方向变化？如果变化是好的，我们如何继续保持？如果是不好的，那是什么原因造成的？如何改正？
其次，当日常分析已经成为例行工作的一部分之后，企业的产品和业务人员就会发现简单的日常分析无法解释很多复杂的现象和问题，这就需要对用户、产品、渠道、市场、需求等等方面进行深入的分析和研究。
在这个过程中，很多针对具体业务情况的分析专题和数据模型应运而生，这些专题和模型帮助企业更好地认识我们的市场，扑捉客户和潜在的商机。这其中最具代表性的例子就是“用户画像”。
5、精细化运营
在“产品和运营分析”层级中积累的分析思路和分析方法，大多是分散的、点状的。在“精细化运营”这一层级，所有的分析不再相互孤立，而是更多地以一个实际业务场景为基础，在该业务场景下从“如何感知识别”，到“如何筛选用户”，再到“如何营销配合”，从而实现该场景下全部过程的统筹管理。
基于不同产品阶段、不同用户处于的不同生命旅程节点，建立用户画像和会员体系。每个用户画像、会员体系，都需要有针对性地设计个性化、差异化的运营策略。每个运营策略，需要大量运营活动来支撑。
第一阶段：数据连接、采集、整理
数据是数字化的基础，数字化转型的第一步往往都是先进行数据连接。要分析什么业务，分析的指标有哪些，需要的数据有哪些，当下已有哪些数据，哪些数据不足需要定向收集。
比如：
生产可以通过传感器等设备收集生产环节的数据。
库存可用过扫码等手段来收集，以及后续物流运输数据。
销售可以通过改进业务流程，设置数据采集环节来收集数据。
营销可以通过网站的埋点来收集用户的行为数据。
……
数据采集的成本比较高，而且往往大动干戈。建议先做好数字化路线和场景的规划，尽量自顶而下推导到底需要哪些数据及其采集技术，往往数据采集的难点不在于技术层面，而在于业务层面的推动。
采集到数据还只是第一步，后续需要有大量的工作保证数据质量，数据有问题分析再严谨都是空谈。建议在数字化规划阶段，需要对全数据链路进行详细设计，争取做到几个要点：
①多个系统相联通，至少保证同一种数据在不同系统中是一致的；
②通过数据链路设计使得相邻环节的数据可相互校验；
③数据质量需融入日常运营管理流程。
然后是数据整合。采集到的数据往往都分布在各业务系统内，但后续分析的时候往往会涉及多种业务的数据，比如财务+销售，所以系统之间的数据壁垒要打通，避免数据孤岛。
系统来看，就是从数据分析出发，向上要保证数据口径的统一，避免数据对不上。向下要以分析为目的来搭建数仓和数据中心，让数据整合—数据清洗—数据分析—可视化都在一个平台上进行。
在这个过程通常需要借助BI平台、数仓来搭建。
第二阶段：数据分析与可视化
数据连接完成后，下一步是基于业务需求分析和可视化展示。分析分为历史和当下数据按指标、业务归类展示，生成报表、可视化报告。涉及到具体问题比方说找到带来80%营收的20%家优质代理商，则需要数据挖掘技术来追踪定位。
数字化成熟到一定程度，各个业务都应该有相应的可视化模块，运用商务智能BI系统或制造智能MI系统，这是企业实现数字可视化的重要工具。
最后，就扯到这吧因本人水平有限，文中所说的很多观点可能更多针对的是实体行业内部结构化数据的理解范畴，若与各位读者有观点不一致的地方，欢迎大家评论指出~~文中部分观点借鉴了很多行业内大神的思想。