大数据平台的互联网时代
1396 0 2
很多从传统行业转到互联网时是各种不适应,适应短则几个月,长则一年以上。进入到互联网有种感觉,它是一个擅长制造流行新概念的行业,“数据平台“,”数据产品“也不幸免。数据平台这词Data PlatForm 也无从考究是从什么时间点被提出的,仅知道自己刚进互联网时”数据平台“ 这个词狭义代指数据仓库了。


08年左右的Data Platform还泛指数据仓库,那时互联网企业的数据仓库刚兴起没几年,在建设思路上还是以传统数据平台的第二、三代架构为参照物实施建设的。自己猜测那时很多互联网企业也是使用Oracle、IBM、EMC 的软硬件区做的各类系统的实施,自然数据平台建设者都是来给电信、移动、制造业等各大数据仓库实施的甲方、乙方各类牛人。


行业的差异性导致业务不同,影响到数据平台源(数据源)的差异性、随着信息化共享与服务的这个“神奇”互联网行业快速发展,互联网业务逐渐的重视数据,所以互联网的从业者在看数据、使用数据的方式每一年也不同、大数据的各种技术也在快速更新中,各方面因素导致了互联网数据平台的建设、服务用户特点、数据模型与非互联网数据平台有较为显著差异。


数据源
做数据的人,从非互联网进入到互联网最显著的特点是面对的数据源类型忽然多了起来,在传统企业数据人员面对的是结构化存储数据,基本来自excel、表格、DB系统等,在数据的处理技术上与架构上是非常容易总结的,但是在互联网因为业务独特性导致了所接触到的数据源特性多样化,网站点击日志、视频、音频、图片数据等很多非结构化快速产生与保存,在这样的数据源的多样化与容量下采用传统数据平台技术来处理当然是有些力不从心了(备注:IBM的科学家分析员道格.莱尼的一份数据增长报告基础上提出了大数据的4V特性 大数据4v特性网上概念很多大家可以问度娘)。


目前最火热的移动互联网,大家都在通过自己的手机、平板去访问网站、购物等所以每个人都是数据的生产者,移动用户在使用习惯上呈现移动化、碎片化,以至于业务特性、商业模式比传统互联网又有显著差别, 用户在不同位置需求是不同的、使用APP 也是不同的、手机终端类型也是多样化。这些差异性比较导致移动互联网的数据与传统的互联网时代又产生显著差异性。


例如买家通过Pc购物从浏览物品到支付可能在很短时间内完成,但是通过手购物碎片化就显得多一些,可能在某个空余时间浏览物品,保存或放入购物车,等有时间在去做支付。大约在2009年到2012年之间做用户行为分析感觉很多原有网页端拍下物品去支付,逐渐转为PC端下单通过移动端支付。


我在这里整理一个表格不同时代数据源的差异性(备注可能整理的有点不全):
行业域


非互联网


互联网


移动互联网


数据来源(相对于数据平台来讲)


结构化各类数据库(DB系统)、结构化文本、Excel表格等,少量word


Web、自定义、系统的日志,各类结构化DB数据、长文本、视频 主要是来自网页


除了互联网那些外还含有大量定位数据、自动化传感器、嵌入式设备、自动化设备等


数据包含信息


CRM客户信息、事务性 ERP/MRPII 数据、资金账务数据 等。


除了传统企业数据信息外,还含有用户各类点击日志、社交数据、多媒体、搜索、电邮数据等等


除了传统互联网的数据外,还含有Gps、穿戴设备、传感器各类采集数据、自动化传感器采集数据等等


数据结构特性


几乎都是结构化数据


非结构化数据居多


非结构化数据居多


数据存储/数据量


主要以DB结构化存储为主,从几百兆到 百G级别


文件形式、DB形式,流方式、 从TB 到PB


文件形式、流方式、DB范式,非结构化 从TB 到PB


产生周期


慢,几天甚至周为单位


秒或更小为单位


秒或更小为单位


对消费者行为采集与还原


粒度粗


粒度较细


粒度非常细


数据价值


长期有效


随着时间衰减


随着时间快速衰减


单位时间内数据聚合度


高度聚合


聚合度低


聚合度很低



该图引用2013年“中国数据库大会大数据的实践与应用”


数据平台的用户


总结下来互联网的数据平台“服务”方式迭代演进大约可以分为三个阶段。


阶段一 :


约在2008年-2011年初的互联网数据平台,那时建设与使用上与非互联网数据平台有这蛮大的相似性,主要相似点在数据平台的建设角色、与使用到的技术上。




老板们、运营的需求主要是依赖于报表、分析报告、临时需求、商业智能团队的数据分析师去各种分析、临时需求、挖掘,这些角色是数据平台的适用方。
ETL开发工程师、数据模型建模、数据架构师、报表设计人员 ,同时这些角色又是数据平台数据建设与使用方。


数据平台的技术框架与工具实现主要有技术架构师、JAVA 开发等。


用户面对是结构化的生产数据、PC端非结构化log等 数据。


ELT的数据处理方式(备注在数据处理的方式上,由传统企业的ETL 基本进化为ELT)。


现在的淘宝是从2004年开始构建自己的数据仓库,2004年是采用DELL 的6650单节点、到2005年更换为 IBM 的P550 再到2008年的12节点 Rac 环境。在这段时间的在IBM、EMC、Oracle 身上的投入巨大。



我当时用Oracle 搭建的数据仓库做临时需求时,一个经过反复优化的SQL语句在晚上9点放入能够Running 凌晨4点多而被电话中狂吼的DBA给kill掉,痛不欲生。


因为快速膨胀的数据量,在2010年开始考虑引进Greenplum 最为主平台提供强大的计算能力,但没想到快速爆炸的数据量让我们在POC测试阶段就把Greenplum的适合业务场景定位清楚了。


随着2010年引入了hadoop&hive平台进行新一代的数据平台的构建,此时的Greenplum 因为优秀的IO吞吐量以及有限的任务并发安排到了网站日志的处理以及给分析师提供的数据分析服务。


该阶段的数据模型是根据业务的特性采用退化、扁平化的模型设计方式去构建的




阶段二:
互联网的数据平台除了受到技术、数据量的驱动外,同时还来自数据产品经理梳理用户的需求按照产品的思维去构建并部署在了数据的平台上。互联网是一个擅长制造流程新概念的行业。约在2011年到2014 年左右,随着数据平台的建设逐渐的进入快速迭代期,数据产品、数据产品经理这两个词逐渐的升温以及被广泛得到认可(备注:数据产品相关内容个人会在数据产品系列中做深入分享),同时数据产品也随着需求、平台特性分为面向用户级数据产品、面向平台工具型产品两个维度分别去建设数据平台。



企业各个主要角色都是数据平台用户。


各类数据产品经理(偏业务数据产品、偏工具平台数据产品)推进数据平台的建设。


分析师参与数据平台直接建设比重增加。


数据开发、数据模型角色都是数据平台的建设者与使用者(备注:相对与传统数据平台的数据开发来说,逐渐忽略了数据质量的关注度,数据模型设计角色逐渐被弱化)。


用户面对是数据源多样化,比如日志、生产数据库的数据、视频、音频等非结构化数据。


原有ETL中部分数据转换功能逐渐前置化,放到业务系统端进行(备注:部分原有在ETL阶段需要数据标准化一些过程前置在业务系统数据产生阶段进行,比如Log 日志。 移动互联网的日志标准化。


互联网企业随着数据更加逐渐被重视,分析师、数据开发在面对大量的数据需求、海量的临时需求疲惫不堪,变成了资源的瓶颈,在当时的状态传统的各类的Report、Olap 工具都无法满足互联网行业个性化的数据需求。开始考虑把需求固定化变为一个面向最终用户自助式、半自助的产品来满足快速获取数据&分析的结果,当总结出的指标、分析方法(模型)、使用流程与工具有机的结合在一起时数据产品就诞生了(备注:当时为了设计一个数据产品曾经阅读了某个部门的2000多个临时需求与相关SQL)。




数据产品按照面向的功能与业务可以划分为面向平台级别的工具型产品、面向用户端的业务级数据产品。按照用户分类可以分为面向内部用户数据产品,面向外部用户个人数据产品、商户(企业)数据产品。


面向平台级别有数据质量、元数据、调度、资管配置、数据同步分发等等。(备注:关于数据产品的发展与数据产品体系更多内容,请关注个人写作“数据产品系列”)。



约2010-2012年的平台结构



约2012-2013年的平台结构


End.

作者:葡萄喃喃呓语
來源:简书
收藏 | {{markNum}}点赞 | {{apprationNum}}
加入圈子
关注微信公众号

QQ交流群
536068468

给我们发邮件
info@itongji.cn

APP iOS版下载 | Android版下载