1数据分析的道与术
1.1道
指的是发挥数据价值的整体逻辑思维,若没有道,就是无头苍蝇,淹没在数据海洋之中。建议大家看看Bernard Marr的"智能大数据SMART准则"。
1.2术
指的是为了实现数据价值必须掌握的技术,包括:
数据收集
数据传输/存储
数据计算
离线
实时
数据模型建设
小数据的关系模型建设
大数据的数据仓库模型建设
数据集市建设
数据统计与分析
数据挖掘
数据产品
数据可视化
数据服务化
若没有术,则无法实现数据价值。我们工程师每天都在实践各种术,确实有必要抬起头来看看数据的道,不要被别人扣上"成本中心"的帽子, 勇于思考如何为企业创造数据价值。
2"智能大数据SMART准则"的总章-制定智能战略
就像九阴真经的总纲、独孤九剑的总诀一样,该书第一章给出了数据应用的困境,提出了很好的方法学,值得数据人好好学习。 我结合自己的理解和实践,简略摘要了本章精华和大家分享,全文还请大家买书吧。
2.1制定智能战略
2.1.1困境从来就存在
数据和分析科学容易让人迷失和崩溃,大数据出现之前就是如此,现在更是这样。世界各地的企业负责人都为此感到迷惑。 大多数企业家对于收集并存储所有的数据感到惶恐,产生一系列问题:
数据由什么组成?采用什么格式?
存储在哪里?如何存储?
谁会使用?谁会拥有?谁会花钱买
如何处理?到底从哪里开始?
2.1.2大公司与小公司
对处于优势地位的巨头而言
每一条信息都有价值
拥有分析技术、资金和技术能力,足以投资,挖掘海量数据
处于行业领先地位,总能吸引最好的人才
99.9%的其他公司
没有时间、资本、技术和意愿向巨头一样整合信息
但仍然不能忽视大数据
2.1.3无论企业大小,建立智能业务要从战略开始
从制定战略起步,要明白需要什么,进而决定收集什么数据来解答问题
应把10%的分析工作用于数据发现,可能会产生意想不到的收获
Facebook预测用户从"单身"到"恋爱"的状态变换,可能会带来新的业务乐视黄牛项目,获取下单时调用订单REST APIs接口的日志,为找到专用软件下单的黄牛提供重要线索
2.1.4从战略目的出发,只生产所需数据
明确需要什么信息,能得到且会用到的信息是什么,然后建造最小、最直接的数据库
数据有生命周期
大多数情况下,超过5年的消费者数据都是无用的
巨头可以保留很长时间的数据,多数企业不需要
选择数据
问问自己什么是最重要的,用得到的结论指引行动和选择数据
正确的问题(参考下面SMART战略模板中列出的一些问题例子)会让寻找解决问题的数据容易很多,数据需求、成本和压力水平将大幅度下降。
不再收集所有数据,而只是收集信息X和Y来回到Z问题。大数据从不可能变为可能。
通常可能需要将传统的小数据和大数据结合起来
例子:
黄牛项目,订单数据是存储在RDBMS的小数据,用户行为数据和下单REST APIs的日志数据是大数据,结合起来将提高识别黄牛的数量和准确度
2.1.5SMART战略模板
目标 -> 问题 -> 选择数据 -> 分析 -> 正确结论
这是一个零售公司提高销售额的例子,下面这些正确的问题帮助零售公司正确的选择数据解决问题
Q: 多少人经过我的店铺?
A: 店内安装一台廉价的微型设备,追踪和收集过客的信号。过客的手机会激活传感器,得到统计。
Q: 多少人驻足看向窗内?
A: 传感器能够测量多少人看向窗内,看了多久
Q: 多少人进店?
A: 传感器能够测量多少人进店
Q: 多少人最终消费?
A: 收银台提供销售数据
由此可以统计转化率来测试橱窗展示效果和销售商品种类,看哪些因素增加了转化率。结果是提高了销售额, 关闭了一家无用的门店,因为过往人流量不足以支持门店的运转。
依靠直觉,遵从自然法则的梨树隐喻
下图是战略模板的构成
目的面板
该面板的主要目的是设定总体背景和方向
任务说明
清晰、简洁的表明你的组织为何而存在,设定路线图指引行动和决策
可以形成一份内部文件,用以
激励股东
界定衡量组织成功的标准
界定目标, 要从雄心报复或企业未来目标角度阐述
该文件要包括:目标受众、产品和服务,以及独一无二处
愿景说明
为内外利益相关这提供指引
内部员工收到鼓舞,努力工作
客户依据说明中的竞争力描述选择你的公司
股东受到鼓舞进行投资
对公司核心价值观、行为准则和对股东期望给出方向性描述
客户面板
促使思考对当前目标客户了解多少,需要了解什么才能实现战略目标。
目标市场
目标市场是什么
是否要迎合某个特定细分市场
如果是,为什么
你对该市场了解多少?
是否瞄准某一特殊地理区域或目标人群
需要了解潜在客户的哪些信息
价值主张
客户为什么从你这里买东西
客户看中你的哪些方面:质量、价格、创新、服务还是其他方面
消费者满意和忠诚的贡献因素是什么
SMART客户问题
将消费者和战略结合,会引发一系列客户问题
最易变心的顾客时哪些,何时变心
如何加强识别目标客户
哪些因素影响客户忠诚
客户对我们的产品、服务、品牌的认知如何
预计客户全生命周期价值为多少
客户最看中服务的哪个方面
财务面板
当前战略对财务影响有多大以及你需要了解什么
如何利用战略赚钱
商业模式是什么?你确定这是合适的商业模式么?
落实战略时你对营业额、利润和增长率的预测是多少?
生产产品和提供服务成本为多少?
你知道确定答案还仅仅是猜测?
SMART财务问题
收益增长和利润率最大化时的最佳产品/服务定价是多少
某产品的预期利润率是多少
最佳投资策略是什么
不影响客户满意度情况下,如何削减服务环节以节省成本
如何将财务吃紧状况降到最低
运营面板
合作伙伴
哪些供应商、分销商、合作伙伴或其他中介机构是重要的
是否已经建立合作关系,还是准备建立
已经建立的是否合作健康
核心竞争力
需要在哪些内部环节做到最好?(产品/服务研发,创造需求,满足需求,监管和社会关系等)
资源面板
IT系统和数据
基础设施
房产、机器或工厂?
人、人才和文化
是否已经拥有合适的人才,如果没有,能找到么?
价值和领导力
SMART资源问题
哪里能招聘到企业需要的人才
员工忠诚度如何
绩效最佳员工理智可能性
公司雇主形象如何
如何改进工厂的能源使用效率
在哪里建立分销中心效果最好
公众对公司管理模式有什么看法
竞争和风险面板
战略地图中经常收到忽略,却对战略成功执行造成严重的潜在威胁
谁是你的主要竞争对手,为什么
谁在威胁你的成功
是否存在特定市场、客户、竞争或监管风险导致无法顺利执行战略
面临何种运营、财务或用人风险
那些消费潮流对公司商业模板造成威胁
最大IT安全风险是什么
哪些关键供应商可能会有交货困难问题
公司主要财务风险
雇主品牌最大的威胁是什么
SMART问题的用处
因为信息太多了,不能被庞大的数据淹没,问对了问题是成功的一半, 不断的问问题。 从战略开始,明确目标,对每个面板提出4-5个问题,用这些问题来知道相关评价标准和数据的选择。
发现问题本质
理解获得数据的相关性
开放沟通和指导交流
根据事实证据做更好的决定
做事不怕难,自无难人事。