大数据客户标签管理系统

大数据客户标签管理系统大数据客户标签管理概述1目录CONTENTS大数据客户标签管理与新零售2大数据客户标签管理应用实践3大数据客户标签管理实践4大数据客户标签管理概述01大数据客户标签管理客户标签管理应用场景为零售商铺客户提供客流分析、VIP客户识别、员工管理、消费分析，店铺在线管理等场景化应用服务。使零售业管理者精准知晓用户到店情况，会员到店情况，并对员工排班，分析顾客消费行为等起到辅助作用。通过人脸识别，打通下客流和线上管理，满足客户多店铺管理的需求和远程管理的需求。AI+大数据客户标签管理智慧商铺应用场景大数据客户标签管理时代的背景1:N人脸识别，客户首先建立人脸库，并在人脸库中导入人脸照片。通过上传一张人脸照片和人脸库中的所有照片进行比对，可自动返回最相似的人脸照片。可用于商场门店等场所的VIP识别。1010101010010101010110101视频采集人脸检测得分：86人脸质量评价特征提取建模照片人脸特征提取建模人脸特征库姓名：XXX相似度：98%人脸注册入库人脸采集人脸比对展现1：N特征比对比对结果1010101010010101010110101大数据客户标签管理时代的背景VIP/会员识别店铺在线管理通过人脸识别形成对VIP客户身份识别。分析会员占比，进行会员分类，当VIP到店时，系统发出提醒。店员管理零售业管理者通过对客流的分析，精准知晓用户到店情况，会员到店情况，并根据客流量对员工排班，令人力调配的达到最优。客流分析（性别、年龄分析）对到店客流量进行分析，了解并触达客户直接需求，洞察客户的潜在需求，了解不同客户群体的消费特征，使其获得更精准的服务和更好的购物体验。消费分析可按日、周、月统计消费趋势、提袋率情况。在线看店支持通过PC、APP实时观察客流信息，VIP到店信息，选择历史抓拍人脸进行会员的注册。大数据客户标签管理时代的背景智慧零售动线、热点跟踪记录顾客在店内的行走轨迹，分析热点区域和商品关注度客流统计基于人脸识别技术和头肩跟踪技术，精准统计客流量，并可按性别、年龄分别统计视频巡店支持通过PC、APP实时观察店铺实时视频。实现远程视频管理。会员识别通过人脸识别技术，精准识别会员、熟客和新客。提供会员满意度消费分析通过对接POS，获取销售数据通过和客流信息的结合。产生商业分析报表。辅助店铺经营大数据客户标签管理时代的背景智慧零售用户画像分析会员识别利用人脸识别技术、自动比对会员库，获取会员姓名、手机号会员服务营业员通过手机、电脑等终端实时得知会员的进店情况，并根据会员画像提供精准的营销服务会员画像基于会员姓名、手机号关联大数据客户标签管理平台中的会员画像为会员的精准服务提供依据大数据客户标签管理时代的背景大数据客户标签管理精准营销平台获客挖潜客全网精准营销神器　　　　　　聚集全网触点客户数据获客－－提高潜在客户购买转化率　提高会员客户忠诚度和粘性－－提高客户的复购率转销售实现全网精准营销采集全网触点数据+客户统一视图+画像+推荐引擎+APP及分析获客+客户关怀+挖掘潜在客户+贵客推荐+精准营销全网触点潜在客户和会员客户价值转化潜在客户购买客户　高价值客户原CRM售后销售核心业务平台数据企业网站电商APP自媒体第三方社会网站电商APP社会化人口行为数据其他渠道关注接触过方案门店客服活动互动提高客户再销售转化率提高高价值客户购买金额实时推荐营销活动营销促销营销广告其他服务会员关怀　客户分析　方案分析　订单分析行为分析提高复购和转销售社会化全网触点客户库把潜在客户转化为购买客户把触点客户转化为潜在客户平台方案功能模块第二大模块数据抽取聚合清洗整合建模第三大模块　用　户　主数据　画　像第四大模块数据服务电商WEBAPP接触数据第三方电商WEBAPP、电信数据门店客服互动数据业务平台数据APP营销宝会员关怀标签查询营销活动线上线下精准推荐聚合全网用户接触数据清洗整合形成唯一标示提供给其他平台和部门调用对每一标签用户画像分类群组并挖掘发现其数据价值不同场景为客户提高服务提高购买转化率提高接触客户转化率标签标示画像服务360°全景画像9个属性180个维度6300个触点分类分群分组9个门类27个群1800个组　　　数据价值挖掘解析第一大模块全网数据采集行为数据驱动的个性化推荐服务基于客群的推荐客户画像（客群）客户标签方案（订单、行为）标签历史购买推荐当某人发生行为时在线实时评分匹配方案（订单、行为）画像客户身份属性数据交易售后业务平台全网接触行为数据方案特征属性数据交易数据被行为数据基于方案群的推荐群广告推荐购买到期推荐相关搭配推荐客群相关推荐客户行为推荐客户属性推荐方案交易推荐方案特征推荐方案优惠推荐方案相关推荐方案搭配推荐客群相关推荐方案群相关推荐数据源画像WEB、APP、电商、门店秒级实时推荐精准营销任何行为发生时RDBMSEDWwrite&readfine-grainDataOff-lineNear-line(reads)RDBMSDataMart/ModelRealTimeProcessGross-grainData社交媒体WEB数据移动位置APP数据视频机具数据客户CRM身份数据历史交易数据账单明细订单数据NOSQLKafkaOLTP在线评分模型Zementis实时预测模型PMML数据集市DataMart挖掘模型MiningModel行为模式模型最佳方案模型营销指标模型秒级实时个性化推送交互执行实时分析评分规则预测模型历史数据挖掘分析探索分析知识库Batchprocess匹配身份+行为+方案全网触点客户和全渠道营销CRM订单已有客户门店咨询客户参加活动客户ADSL点击客户区域人口基础客户其他渠道来源客户网站APP注册客户网站APP点击客户软文评价微博客户自有电商网站APP注册客户网站APP点击客户软文评价客户第三方电商直销员电话推荐D包包和D鞋兴趣偏好女性25岁每月8000元工资喜欢红色活泼开朗买A品牌鞋包包一年购买时机前周2次到专卖店咨询D鞋包上周3次在麦包包网站注册点击D包在APP关注评价过D服装客户唯一编码统一视图全渠道营销推荐引擎视图标签画像大数据客户标签管理时代的背景人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断加快，利用数据的方式也推陈出新。“大数据客户标签管理”实质上是人类利用数字认识和改造世界所达到的一个新的阶段。各行各业每时每刻都在生成海量数据基于大数据客户标签管理的应用正改变着我们的工作和生活什么是大数据客户标签管理？•统计表明，人类文明至今获得的全部数据，90%在过去2年内产生，标志着数字化时代全面来临。而电子商务、社交网络、传感器等还在源源不断的产生数据，预计到2020年，全球数据规模将会达到今天的44倍。多样性（Variety）•来源多：企业内部、互联网、物联网等高速度（Velocity）•生成速度快：实时性，必须快速识别和快速响应才能适应业务需求大容量（Volume）•数据体量大：对计算和存储的要求，从TB级别，跃升到PB级别高价值（Value）•浪里淘沙却又弥足珍贵，虽然价值密度较低，但是价值点比较高“大数据客户标签管理”实质上是人类利用数字认识和改造世界所达到的一个新的阶段，它具备大容量、高速度、多样性和高价值四个特点。•格式多：包括音频、图片等非结构化数据大数据客户标签管理时代带来的三个理念转变1、样本=总体在大数据客户标签管理时代，可以分析更多的数据，甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。传统数据时代大数据客户标签管理时代高性能数字技术的发展突破了这种限制。与局限在小数据范围相比，使用一切数据为我们带来了更高的精确性，也让我们看到了一些以前无法发现的细节——大数据客户标签管理让我们更清楚地看到了样本无法揭示的细节信息。2、容忍混杂性研究数据如此之多，以至于我们不再执着于追求精确度。3、因果到相关不再热衷于寻找因果关系，而是转而寻找事物之间的相关关系。19世纪以来，当面临大量数据时，都依赖于采样分析。但是采样分析是信息缺乏和信息流通受限制的模拟数据时代的产物。传统数据处理追求“精确度”，这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。寻找因果关系是人类长久以来的习惯。即使确定因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。大数据客户标签管理纷繁多样，优劣掺杂，分布广泛。拥有了大数据客户标签管理，我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可,适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。在大数据客户标签管理时代，我们无须再紧盯事物之间的因果关系，不再把分析建立在早已设立的假设的基础之上。而应该寻找事物之间的相关关系，让大数据客户标签管理告诉我们“是什么”而不是“为什么”。传统零售数据现状大数据客户标签管理对行业的影响中信银行利用互联网地理数据，提升广告精准度，实现与第三方的双赢阿里小微金融基于电商平台数据，打造信用体系，实现互联网金融创新阿里巴巴通过自有生态圈内的数以亿计个人用户和中小企业用户的交易数据，通过与第三方金融机构的各类型金融数据的数据交换和数据融合，打造了完善的互联网个人用户及中小企业用户的信用体系，并在此基础上推出了大量颠覆传统金融行业的互联网金融产品、服务。中信银行与高德地图的合作，基于高德地图的互联网开放API，获取商家公开数据和地理位置，与中信银行自有客户地址数据进行匹配，在中信银行的邮寄账单和群发短信中，提供个性化的特约商户广告服务和刷卡折扣信息，实现第三方商家和自身金融业务的双赢。大数据客户标签管理对公众的影响一些领先的互联网公司利用自身的大数据客户标签管理优势，结合社会发展热点和关注话题，面向社会公众发布了各种大数据客户标签管理应用和指数，不但展现了自身的大数据客户标签管理能力，也宣扬了企业责任，形成良好的社会影响和产业影响。Google公司利用用户的搜索关键字，进行流感和登革热的传播预测。淘宝利用电子商务平台上的搜索和购买行为，进行产品分析和市场细分。大数据客户标签管理带来了思维的创新和技术的革新信息技术革新思维模式创新企业数据文化变革与数据竞争力重塑数据获取网页埋点、网络爬虫、传感器技术分析算法社会网络、自然语言处理、时序分析、逻辑回归信息展现GIS地图、轨迹图、热力图、标签云图、辐射图处理Hadoop分布式计算平台、MPP数据库、STREAM实时计算管理思维决策思维商业思维•更加重视各类事物的关联关系，不仅仅局限于因果关系•更加重视快速预测，立即采取行动而不是等一个精确的结论•数据使流程更加透明，有助于推动管理的扁平化，提升管理效率•数据使视野更为全局，有助于合理调配企业资源，提升管理效益•数据可以是一种产品，满足客户的信息消费需求，换取商业利润•数据可以是一种服务，以数据能力汇聚商业资源，形成竞争优势大数据客户标签管理的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产方式，进而释放了生产力。大数据客户标签管理解决思路大数据客户标签管理与新零售02较之其他企业，新零售具备更加丰富的大数据客户标签管理资源网络承载企业管理通信话单数据（语音话单、短彩话单、上网话单…）渠道接触数据（网厅、掌厅、短厅等电子渠道的访问路径…）行业应用数据（MAS/ADC、物联网、校讯通、12580黄页…）自有业务数据（阅读、音乐、游戏等用户行为…）新型数据网页浏览数据（网页地址、网页内容、搜索关键词、内容分类、网址分类…）应用内容数据（应用名称、功能名称、应用内容、交互对象、应用分类…）客户位置数据（运动轨迹、家庭地址、办公地、交通工具、区域通行速度…）网络资源数据（基站信息、热点信息、网元配置、设备性能日志、综合资源…）服务营销数据（投诉语音、主动维系、营销互动、市场调查…）企业收入数据（主营业务收入、投资收益、税费…）合作伙伴数据（银行支付、代理商、供货商、物流商、CP/SP…）运营成本数据（办公支出、薪酬、市场营销费用、网络运维费用…）运营管理数据（公文、邮件、审批流程、企业论坛…）新零售在BSS、OSS和MSS三域中都会产生丰富的数据资源，涵盖生产运营、企业管理和网络承载三方面。基于这些数据可以更深刻的认识客户。生产运营客户视图数据（姓名、年龄、性别、消费、积分、终端…）业务运营数据（订购记录、产品信息、订购渠道、…）传统数据企业资产数据（仓储信息、物资资源、物业资产…）新零售下大数据客户标签管理架构国外新零售基于大数据客户标签管理已经获得良好的效益MegaFon（俄罗斯新零售）：通过融合不同业务系统的数据，基于用户行为灵活的流量资费套餐改善客户体验，迅速拓展市场份额拉升收入T-Mobile:社交媒体数据、CRM和计费系统中的交易数据进行融合，深度洞察客户，有效降低离网率流量运营客户保有客户服务与营销Vodafone：基于交际圈的浸入式客服和营销，迅速在欧洲市场建立了品牌第三方数据服务KDDI（日本新零售）：基于开放接口方式创新商业模式，拓展收入来源，成为日本在互联网服务领域增长最快的新零售新零售消费画像大数据客户标签管理是新零售适应市场环境变化的钥匙移动互联网时代，能够把握客户需求开发APP的应用商、设计优良客户体验的终端商和掌握客户接入管道的新零售，形成了三足鼎立的局面。谁掌握客户需求，谁就能占据主导地位。客户需求的多样化，使得通信资产被管道化，而信息资产的价值凸显。客户需求通讯资产信息资产其他资产财务/客户…•以满足人与人之间的通话为目的，客户主要的期望是话务质量，需求简单而明确，新零售处于支配地位。•是客户建立沟通联系的手段，直接满足客户的通讯消费需求，业务单一但技术、资金门槛较高，所以附加值高，通讯资产的边际效益明显。•以支撑和服务通讯主业的生产运营为目的，主要实现从订购、计费到收费等环节的信息处理，数据类型较为单一，对客户需求的理解较为狭窄，局限在通信领域内。•财务资产：行业大发展，依靠移动通信业务，积累了大量的财务资产。•客户需求丰富多样，个性鲜明，以IT技术实现的各种应用满足了客户的需求，使新零售趋于管道地位。•是客户接入互联网的手段，不直接满足客户的信息消费需求，附加值低，边际效益明显低于语音时代，出现量收不匹配，通讯资产快速贬值。•由于丰富的应用，管道内积累了更多的客户信息，类型更为多样，内涵更为丰富，使深度洞察客户、掌握客户需求成为可能，数据价值产生了质的变化，信息资产快速升值。•财务资产：由于机制限制，无法利用财务资产进行有效投资来获取高额回报。语音时代移动互联网时代•客户资产：依靠卓越的网络质量和客户服务，“拨号盘”上形成了绝对优势的客户规模，客户资产带来丰厚的回报。•客户资产：优秀应用商和终端商依靠体验和免费服务，获取了同等或更大规模的客户资源，新零售客户资产出现快速贬值。　　　　采集全网触点数据聚合购买一台A空调留下姓名手机淘宝买了一台吹风机留下地址维修留下了地址电话邮箱进入到集团官网注册留下手机邮箱进入到某集团APP留下点击方案行为数据在京东把某方案放入购物篮没有付款在国美网站点评过某品牌冰箱范冰冰接触过某集团全网轨迹方案推荐导购需求预测全套方案组合最豪气的电冰箱世界上最静音的空调豆浆机送给自己最好的生日礼物范冰冰在集团标签画像集团给范冰冰的关怀与推荐服务关怀空调冰箱吹风豆浆机优美生活组合数采宝营销宝画像宝营销活动空调冰箱吹风豆浆机优美生活组合把匿名用户转化为实名用户把实名用户转化成购买客户提高客户场景购买转化率挖掘忠诚潜在流失客户价值提高方案再销售转销售金额数聚宝核心业务平台2021/1/22第一类业务平台数据的抽取销售数据CRM数据方案数据SqoopODS@HIVE贴源层HQL/MR特征识别器精准特征识别(EMAIL..)模糊特征识别DW@HIVE模型层DM@HBASE客户身份集市层DM@HBASE客户行为集市层DM@HBASE方案集市层DM@HBASE其他集市层ML交易数据….数据清洗引擎排错去重合并数据属性不同，特征不同，清洗规则不同逐步建立地址基准库DM@HBASE地址库其他平台….　第二类：自动抽取WEB数据，建立方案库样本分析人为干预形成规则及代码配置好:交给机器就OK啦!类似传统ETL过程社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取　　企业方案和行业方案内容数据采集数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线上　　　　　第三类自有电商WEB行为数据抓取自营电商平台　　自有电商、WEB数据采集　　　　　自营电商WEB端数据采集整合消费者在自营电商平台浏览结构化的业务数据业务数据库数据处理消费者统一视图库非结构化的业务数据页面埋点程序日志服务器在线流式处理行为特性库分布式消息队列第三类自有APP行为数据采集分析层APP请求(action/request)APP上报(event)渠道(渠道API)服务器（运营日志）消息（Message）数据总线（DataBus）数据采集总线网站(Session)总线层业务平台（用户/消费）存储层分布式存储（HDFS）离线计算（Hadoop）（日常报表，规律趋势分析）即席查询（Mongodb）实时计算（Spark/MPP内存数据库）（用户、实时行为、访问量、及时广告）推荐引擎（广告精准营销）仓库层离线数据仓库实时数据仓库内存数据仓库应用层APP数据平台摇奖引擎广告平台同城会用户画像数据开放平台搜索引擎Redis采集层　自营APP端数据采集整合消费者在自营电商平台视图结构化的业务数据业务数据库数据处理消费者统一视图库APP端操作行为数据处理服务器端行为特性库HTTP请求数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线上　　　　　第四类第三方电商WEB行为数据抓取自营电商平台第三方电商平台所产生的数据业务、行为数据大数据客户标签管理客户标签管理流程大数据客户标签管理可以在新零售业务运营的各个方面发挥价值产品服务个性化资费套餐差异化贴心服务定制化产品市场营销基于社交网络、社交媒体、位置等信息的智能营销流量经营、存量经营、集客经营、终端营销科学决策数据驱动决策可视化决策战略情报分析网络优化全程全网实时监控智能网络规划客户洞察360度视图情感交往圈数据外部化运用服务社会公共事务服务其他企业和行业大数据客户标签管理汇聚大数据客户标签管理转化大数据客户标签管理变现通过大数据客户标签管理汇聚、大数据客户标签管理转化和大数据客户标签管理变现三个环节的处理，挖掘大数据客户标签管理资产的价值，对内可以提升精确营销、精益管理和精准建设能力，对外可以提供丰富的信息数据产品服务，创造价值蓝海。新零售未来大数据客户标签管理应用实践03大数据客户标签管理上的探索和实践大数据客户标签管理汇聚大数据客户标签管理转化大数据客户标签管理变现•引入五类网络数据，构建基础分析模型，奠定大数据客户标签管理分析基础。•通过大数据客户标签管理解析整合，还原真实客户行为；•探索大数据客户标签管理客户细分，打造客户标签体系。•围绕精确营销和精准建站，利用各种运营位渠道进行了一系列大数据客户标签管理场景应用实践。，围绕流量经营课题，在大数据客户标签管理价值挖掘的三个环节，开展了一系列的探索和实践。大数据客户标签管理汇聚：突破传统计费数据，引入5类网络数据，贯通OSS域与BSS域宽连-手机上网行为分析系统URL/WLAN/BPPP华为-DPI数据亚联-云化数据交换平台中创-信令数据AsterGPRS上网日志宽带上网日志位置信令WLAN上网日志DPI数据大数据客户标签管理汇聚：基于大数据客户标签管理汇聚构建基础分析模型—社交网络模型构建可视化社交网络模型通过各种交往记录（语音、短信）进行自关联，利用三角算法，以用户为中心刻画用户两两之间认识的关系，构成的三角型越多，交往圈越紧密构建可视化用户影响力指数利用群聚系数构建用户影响力指数，向量中心度表示该用户在社交网络中的重要程度。交往圈越大，交往对象越重要，该中心度越高社交网络应用有效社交圈无效社交圈客户维系挽留：特定群体识别及营销：产品和业务营销：社交网络变更识别及营销：高影响力客户流失预警、一人多卡客户识别和维系、离网客户识别和赢回等等基于高影响力客户的产品和业务营销，例如终端营销、4G潜在用户识别营销等等利用社交网络改变识别生命周期阶段事件，例如用户上学、工作、成家等事件进行针对性营销家庭成员识别营销、集团客户识别营销、校园客户识别营销等特定群体用户识别营销在传统聚类频度分析基础上，通过详单自关联分析，构建社交网络模型，深入分析交往圈特征，得出群中成员的影响力，为用户维系挽留、离网预警、精确营销提供依据，提升客户价值。大数据客户标签管理汇聚：基于大数据客户标签管理汇聚构建基础分析模型——户轨迹模型用户轨迹模型是对用户的轨迹数据（基站驻留）进行分析从而得到用户轨迹知识的模型，轨迹数据包括时间和空间的位置序列和位置点语义标注，为用户精确服务提供依据。变量选择模型输出用户轨迹应用•用户移动轨迹特征刻画分析用户的驻留基站序列，刻画用户的移动轨迹特征，识别用户移动轨迹的频繁模式•用户复杂路径模式匹配查找特定路径场景模式下的用户群，获取更多的关于该场景或该用户群的特征信息•用户移动轨迹的可视化可视化的展示用户群的移动轨迹的变化，展示用户群的轨迹变化模式个体用户的频繁模式挖掘识别客户的生活习惯和兴趣爱好，支撑基于位置分析的客户洞察和营销基于位置的客户细分根据用户位置轨迹相似性对客户进行细分基站网络选址分析为网络可管理的科学选址奠定位置基础精确业务推荐用户位置轨迹与业务订购和使用关联性分析大数据客户标签管理转化：通过大数据客户标签整合分析，实现用户行为还原和客户细分在大数据客户标签管理引入的基础上，推进行为还原及客户细分等基础工作，奠定大数据客户标签管理运营的基础。行为还原•通过大数据客户标签管理与传统数据的整合，逼真还原用户的完整行为习惯，实现客户、终端、位置、网络及内容可视；•突破传统小型机+高端存储+关系型数据库技术架构，初步构建Hadoop分布式平台实现内容数据的处理客户的生活习惯：通过位置轨迹分析技术，可以发现客户群体的迁移规律，甚至个人的出行习惯，并预测比如周末是否出行大数据客户标签管理转化：完善跨域大数据客户标签管理整合分析，还原用户行为管道数据•微博数据：客户的微博账号、关注对象、粉丝、发布内容等。行业应用网关产生的数据，如：•银行业网关数据：采集客户刷卡消费后，各银行回馈数据。•投诉语音：采集客户通过10086进行投诉时的语音内容。渠道数据行业数据客户的社交圈子：通过社交网络技术，可以发现客户的互联网社交圈，得到更为丰富的客户圈子信息客户的性格特征：通过语音识别、文本挖掘和情绪分析技术，可以通过投诉行为，得到客户的性格客户的消费能力：通过内容分析技术，可以发现客户刷卡消费的金额，频度等，得到客户的消费能力•位置信令：从网络A口，采集客户全量的位置更新和变动数据大数据基础处理平台数据引入数据解析客户无线接入时产生的数据，如：客户接触时产生的数据，如：引入覆盖管道、渠道和行业应用三类领域的数据，夯实大数据客户标签管理基础，并通过大数据客户标签管理与传统数据的跨域整合，还原用户的行为习惯，例如客户的社交圈子、生活习惯、性格特征、消费能力等，为客户细分和标签体系构建打下坚实基础，支撑大数据客户标签管理运营。大数据客户标签管理转化：持续丰富大数据客户标签管理客户标签体系通过引入新的大数据客户标签管理和大数据客户标签管理分析技术，横向拓展刻画客户的维度，提升客户标签的广度；纵向丰富原有维度的细致程度，提升客户标签的深度。客户标签消费能力ARPU•通话收入•上网收入•网上购物消费•银行刷卡消费•商铺、娱乐场所通信行为社会属性•家庭用户•校园用户•集团用户•意见领袖•医疗从业者•银行从业者•……社交行为•通信一度交往圈•上网流量•短信条数•六度空间行为•社交应用交往圈位置特征•通话位置•上网位置•住宅地•办公地•常驻地•购物商圈上网行为•购物行为•社交行为•资讯行为•社交行为•各类产品网上购物行为•产品网上价格•社交对象•社交内容终端特征PC/PAD使用行为PC/PAD品牌、型号•手机终端机型、品牌•换机周期性格情绪•乐观、抑郁•高兴、痛苦•开朗、内向•平静、激动新数据新技术交通出行•开车一族•公交出行•自行车•上下班线路管道数据行业数据渠道数据社交位置轨迹数据可视化大数据客户标签管理变现：探索大数据客户标签管理运营实践，支撑流量经营发展（1）围绕大数据客户标签管理开展场景创新，推动流量精确营销、精准建设等业务应用。精确营销•利用大数据客户标签管理实时的特点，围绕位置、内容、异动进行基于用户行为时机捕获的营销场景设计，建立20多个流量精确营销模型，月流量包精确营销成功量超过100万，占公司新增流量包总量的20%以上•利用大数据客户标签管理全面、多样的特点，打造基于用户上网行为的终端换机潜在用户模型，换机营销成功率超过8%，为传统方式的8倍嘉兴高倒流大数据客户标签管理变现：探索大数据客户标签管理运营实践，支撑流量经营发展（2）23基于大数据客户标签管理实时、全面、多样的特点，构建基于位置、内容、异动等类型的13大流量精确营销模型，其中8大模型已经投入实际应用，如基于内容搜索分析的终端潜在用户挖潜模型，营销成功率达到8%，较传统方式提升8倍。大数据客户标签管理变现：探索大数据客户标签管理运营实践，支撑流量经营发展（3）基于网络、计费等跨域大数据客户标签管理的融合分析，推进TD分流和WLAN分流的提升。•基于大数据客户标签管理分析：基于信令、基站数据，结合传统客户数据，综合运用GIS可视化分析和雷达图分析方法，围绕TD终端、流量水平和TD网络三个关键因素，进行全省对标分析，确定嘉兴短板。•提出改进意见：利用针对网络覆盖短板，提出了3个批次共893个建站区域和1295个优化基站建议；针对终端销售短板优化外呼客户群和政策匹配，外呼成功率提高4pp嘉兴高倒流TD分流比提升（嘉兴）杭州江干区钱江新城•潜在用户挖掘：通过分析用户特定场所驻留时长、高带宽要求应用使用、流量使用水平和通信消费能力等四个方面，识别出全省300万WLAN潜在用户。•热点选址建议：基于潜在或活跃用户的位置分布，结合WLAN热点的建设情况，提供1.9万个热点新建、2千个热点扩容和100个热点拆除等选址工作建议。WLAN热点建设（全省）大数据客户标签管理分析实践04动传统经营分析系统架构移动传统经分系统主要包括数据仓库层和数据集市层，其中数据仓库层主要负责基础数据模型的处理和历史数据存储，数据集市层从数据仓库获取基础数据模型，并在此基础上支撑端到端应用。•数据仓库层主要包括主仓库、应急库、历史库和互联网日志集群。•主仓库负责原始数据的采集和处理，并将处理后的基础数据模型分发给各数据集市，同时承载一经、KPI、MIS等及时性较高的关键应用；应急库作为主仓库的业务级容灾系统，用于保障核心业务连续稳定运行；历史库存储主仓库历史数据，并用于长周期历史数据趋势分析；互联网日志集群主要负责互联网日志数据的预处理。•主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建；•报表库、地市数据中心、创新平台、VGOP等数据集市采用小型机+高端SAN存储+传统Oracle数据库构建。经营分析系统架构优化的业务背景及驱动力传统小型机+高端存储+传统关系型数据库的系统架构存在性能、成本、扩展性上的瓶颈，无法满足大数据客户标签管理时代在低成本前提下在海量、多样的数据中高效地提取价值的要求。因此，大数据客户标签管理时代的经分系统架构亟需变革。与传统数据相比，网络数据在数据量上有质的变化并且还在快速增长（年均增长率约60%）传统计费话单新增网络数据与传统数据相比，网络数据有分析模式多样化（如路径分析、社交网络分析）、存储模式非结构化（如文本）的特征为了支撑流量经营，移动在经分系统中引入了DPI、互联网日志和位置信令等多种网络数据源，这些网络数据具备大数据客户标签管理的典型特征，对现有经分系统架构带来了新的挑战。传统经营分析系统架构的问题分析•系统处理能力不足：网络数据具有数据量大、增长快的特征（目前日均125亿条记录，3TB左右数据量，年均增长率约60%）。现有经分系统采用传统的集中式架构（小型机+高端存储+DB2数据库），对海量数据的处理能力不足。目前DPI数据（每日70亿条记录）的处理时间共需21个小时，无法满足流量经营业务需求（业务要求次日8点前看到前一天分析结果）；•系统处理模式单一：现有经分系统采用传统关系型数据库DB2，主要通过SQL方式进行数据处理，不具备MapReduce等分布式处理机制，对于诸如路径分析、社交网络分析存在性能瓶颈，无法满足大数据客户标签管理时代分析挖掘的业务需求；•非结构化数据处理能力不足：传统关系型数据库采用二维表的方式存储预定义结构的数据，但是对文本（如互联网网页）等无法用二维结构描述的数据不能进行有效存储及处理，缺乏非结构化数据的处理能力；•实时解析能力不足：当前网络数据采集延时较高，如DPI数据采集延时在1小时以上，互联网日志采集延时在30分钟，位置信令延时5分钟，无法满足实时营销的要求；网络数据仍以传统批量处理方式进行数据整合，数据生成通常需要隔天，无法支持对实时营销事件的触发和协同要求。数据处理能力不足•存储周期不足：目前经分历史库的容量已趋近极限，数据存储周期不足，无法满足长周期深度趋势分析的业务需求，比如计费详单数据要求存储12+1月，目前只保存3+1月；同时海量的网络历史数据无法纳入历史库。若采用传统方式扩容历史库，成本过于昂贵（相较于X86+本地盘的云架构，相同TPMC的小型机价格是X86平台价格的10倍，相同容量的高端存储+SAN网络价格是普通硬盘价格的20倍）。数据存储能力不足•接口机存在网络和性能瓶颈：外围数据源与数据仓库，数据仓库与各数据集市之间的交换都依靠接口机，面对百亿级网络数据，1Gb带宽的接口机成为数据传输瓶颈，影响数据传输的及时性；•系统之间数据交互混乱、效率低：目前仓库、集市部署了多套ETL工具和多种接口方式，同时存在集市直接从源系统抽取数据的情况，造成数据不一致的隐患，影响了数据的准确性。数据交换能力不足大数据客户标签管理发展业务需求分析客户洞察及市场营销360度视图交往圈分析基于社交网络、社交媒体、位置等信息的实时、智能营销流量经营、存量经营、集客经营、智慧家庭经营、智慧生活经营客户服务数据外部化运用服务社会公共事务服务其他企业和行业企业管理投诉及满意度分析客户服务保障支撑客户业务体验分析智能运维产品优化创新个性化资费套餐差异化贴心服务定制化产品业务创新全程全网监控IT系统运营管理财务分析成本分析供应链运营分析网络规划建设分析内审专题分析大数据客户标签管理发展技术需求分析主流大数据客户标签管理技术内存数据库应用分析：将数据存储在内存RAM中并进行计算和查询，充分发挥多核CPU的能力的数据库管理系统。内存计算未来尝试和流计算配合，用于状态和规则的存储，尝试用于缓存，优化客户体验。流计算技术NoSQL技术Hadoop技术应用分析：Hadoop在处理非结构数据和半结构数据上具备优势，尤其适合海量数据批处理等应用需求。随着Hadoop技术的成熟，基于Hadoop的即席查询技术也逐渐崭露头角。比如仿照Dremel的开源项目ApacheDrill以及ClouderaImpala。MPP技术应用分析：MPP数据库适合结构化数据的深度分析、复杂查询以及多变的自助分析类应用。无需像Hadoop一样需要定制开发，同时可以降低拥有成本。应用分析：Storm是一种开源的分布式实时计算系统，可以简单、高效、可靠地处理大量的数据流。SparkStreaming是基于Spark衍生的开源流处理工具，以类似批处理方式来处理这部分小数据。应用分析：NoSQL抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供简单的键值对(Key,Value)数据的存储与查询，换取高扩展性和高性能。例如HBase和Cassendra等。对信息技术部大数据客户标签管理平台提出的技术要求海量数据存储1.非结构化及海量数据处理3.海量数据的一致性，分布式事务管理能力2.低成本的PB级数据存储外服务的需求，多种技术并存实时大数据客户标签管理分析1.实时数据展现，实时分析2.流计算能力1.多租户能力，在存储、计算、分析层实现资源隔离，提供云服务2.资源虚拟化，统一存储，统一管理云化能力数据开放1.分析结果对外部系统开放数据能力，发掘数据价值2.地理位置数据分析报告开放能力BOM模型融合1.数据质量管理和数据资产管理2.BSS，OSS，MSS三域融合数据模型平台技术要求任何一种单一技术都能以满足大数据客户标签管理采集、存储、处理和对才是发展趋势，即采用“混搭”架构移动大数据客户标签管理技术架构数据处理技术：主要利用MPP数据库（NewSQL）进行数据处理，并向Hadoop逐步演进流处理技术：采用分布式实时流计算框架，实现流数据的实时处理数据汇聚技术：利用分布式技术（如Hadoop）采集、汇聚基础数据，并实现对非结构化数据进行预处理数据展现技术：通过多维数据库进行实时多维度数据展现，如饼图、直方图、雷达图、气泡图，折线图、GIS地图、轨迹图、热力图、标签云图、辐射图、传统的报表、统计图和趋势图等数据分析技术：通过数据挖掘技术进行数据分析，支持关联规则、聚类分析、分类算法等传统数据挖掘功能，同时具备关系分析、时序分析、自然语言解析（分词）等多样化大数据客户标签管理分析功能互联网DPI半/非结构化数据ERPBOSSCRM客服网元设备终端配置信息业务平台结构化数据经分系统访问门户指标应用报表应用主题分析专题分析临时需求云化数据交换平台（Hadoop）DBAAS（数据库多租户服务）云化数据交换平台主数据仓库传统结构化数据处理及承载基础应用海量多结构化数据的处理及专题类应用大数据客户标签管理分析平台云化历史库历史数据存储及长周期趋势分析类应用信令流处理引擎统一营销管理平台SAAS服务开放DAAS数据开放服务信息总线营销据渠道展现数据开放数数据汇聚数据处理数据分析数据开放技术：SAAS：以服务形式向客户提供分析结果，例如自助分析报表DAAS：开发统一的数据访问组件，屏蔽各种数据库的差异，对外提供统一的数据开放服务移动大数据客户标签管理应用架构支撑外部系统接入层云化数据交换平台云化数据交换平台应用层基础分析应用挖掘分析应用自助分析应用(准)实时分析应用BSS域数据源OSS域数据源MSS域数据源外部数据业务平台数据10111111服务层数据封装基础功能应用组装配置展现层门户APP系统预警应用运营库稽核平台帐详单平台云化历史库经营数据中心主仓库VGOP库大数据客户标签管理分析平台运营数据中心历史数据中心营销数据中心开放数据中心标签库管理中心统一运维数据安全数据质量数据资产数据层内部开放平台外部开放平台近线库运营管理多租户模式业务支撑经营分析管理支撑实时处理平台数据开放应用DMZDM对外服务支撑Z营销库广告•基于云化数据交换平台统一采集接入各域大数据客户标签管理，并进行标准化数据管理和数据处理、交互；•基于MPP、Hadoop、oracleexdata等大数据客户标签管理技术，构建运营数据中心、历史数据中心、经营数据中心+营销数据中心+开放数据中心等三个层次五个中心混搭技术架构的大数据客户标签管理云平台；实现面向支撑4大系统域的多租户模式平台接入能力；•构建能力服务层，面向各种对外数据服务需求，对数据进行封装，提供相关服务能力；•基于应用中心的分析类、预警类、数据开发类等应用，为支撑系统门户、支撑系统APP和支持外部系统提供服务支撑能力。标签库采用OracleExadata构建•与传统的关系型数据库相比，Exadata在OracleRAC架构上通过引入分布式存储技术，在原有高可用性和可维护性的基础上，大幅提升了性能和可扩展性，可以支持OLAP和OLTP混合场景；•标签库需要支撑OLTP和OLAP混合负载场景，既包括标签生成过程中的复杂关联汇总，也包括标签的高并发自助查询、以及包含增删改操作的自定义标签场景，因此适合采用Exadata平台构建标签库。OracleExadata的两大重要特性：FlashCache和SmartScan•SmartScan技术是Exadata面向DW负载最重要的特色技术，是Exadata最重要的一个功能，它的作用就是把SQL放在每个storageserver上去运行，每个storageserver只返回符合条件的数据给数据库，这样就极大的降低了数据库服务器的负载和网络流量，并充分利用了storageserver的计算资源和IO资源；在使用SmartScan时，每个storageserver返回给DBServer的是结果集，而不再是传统的Block，DBServer完成结果集的处理，并返回给客户端；SmartScan包含三个主要设计目标：•减少从storageserver传送给DBserver的数据量减少在DBserver的CPU使用减少在storageserver的磁盘访问时间•FlashCache是独立于磁盘的高速存储器结构，可以缓存频繁访问的数据块对象，如表和索引块、查询结果等，最适合“一次写入，多次读取”操作；FlashCache具备以下重要特点：可以存储压缩和未压缩的数据；•允许用户手动将表或者索引Cache到Flash卡中；FlashCache是完全自动管理的，Exadata会根据数据的访问情况，决定哪些数据放在FlashCache中；不能直接将数据加载至Flashcache中，所有的数据都是先被写到磁盘，再根据数据访问的频繁情况读入到FlashCache中利用Oracle12C的多租户架构，构建内部开放平台•Oracle12C的多租户架构，将Oracle数据库作为一个可以向多个租户提供数据库服务的容器数据库（containerdatabase简称CDB），在这个CDB中可以有零、一或者多个由用户自己创建的可插拔数据库（pluggabledatabases简称PDB）；•内部开放平台利用Oracle数据库多租户架构，开发统一的数据访问组件，屏蔽大数据客户标签管理中心各种数据库的差异，向地市公司提供统一的数据开放服务，实现数据共享。CDB主要用来作为数据库实例，它包含数据库操作、元数据和函数；在CDB中的对象都被称为容器（container），每一个CDB创建完成之后，都会包括根容器和PDB：•根容器（rootcontainer）：每一个CDB中有且只有一个根容器，用于存储Oracle数据库自带的元数据和整个CDB中的公共用户，例如数据库创建之后的DBMS包、数据字典定义和SYS、SYSTEM用户存储于根容器中；•PDB：PDB是用户数据库，存储了应用的数据、实现业务逻辑的过程和函数，支撑用户的各类型应用；PDB能够插入到CDB当中，一个CDB中最多可以插入252个PDB。传统数据……台台云化数据交换平台（Hadoop）AC云化数据交换平台（Hadoop）MISBOSSCRM业务平台DPI互联网网络类数据信令……数据集地市数据中心创新平台市报表库前台库数据挖掘平台标签库ESOPVGOPOracle平台与Hadoop平台的数据交互A.来自CRM、BOSS等OLTP系统Oracle数据库的数据，以及网络类数据文件，以文件接口的方式，加载至分布式的Hadoop云化数据交换平台上，进行数据的清洗、转换工作，形成DWD基础层数据模型；B.云化数据交换平台的基础层数据模型同步至主数据仓库、MPP大数据客户标签管理分析平台上，进行数据汇总和挖掘建模，生成DW汇总层和ST共享层数据模型；C.主数据仓库、大数据客户标签管理分析平台的结果数据导出至Hadoop平台上，按地市进行拆分或者进行其它数据转换，以文件接口多加载的方式分发给Oracle标签库等数据集市，支撑前端应用。主数据仓库企业运营智能结构化数据分析云化历史库历史数据存储趋势分析预测大数据客户标签管理分析平台海量多结构化数据的分布式处理分析B云化数据交换平云化数据交换平谢谢聆听请多指教