大数据安全方案

大数据安全*目录*大数据基本概念大数据基本概念*7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉的。这个设备连接着你手机里的一款大数据的APP，你打开它就可以看到你昨晚睡觉时翻身次数、心跳和血压状况。根据测量结果，它建议你今天出门之前多喝点橙汁类的饮品来补充维生素。9：00，今天你要带朋友到上海的南京路步行街逛逛，你打开某互联网公司的大数据产品“XX预测”，看看步行街今天预计会有多少人，再看看上海今天的交通预测。“XX预测”根据以往用户定位请求信息建议你乘地铁前往步行街。12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近的餐馆。通过该软件，你可以提前看到餐馆的视频环境，看看是否人多。大数据还可以把你脸的部分打成马赛克，你不用担心个人信息泄露。人每天从起床到晚上睡觉都会产生数据*大数据基本概念*22：00，晚上睡觉的时候，你家的孩子哭闹起来。你把孩子的哭声录入一个大数据软件中。软件能告诉你孩子为什么哭。是饿了，还是哪里不舒服，还是说只是想撒撒娇……18：00，你回到了家，你的可穿戴设备告诉你，今天你在室内和室外的时间分别都是多少，你一天内吸入了多少雾霾。大数据基本概念*数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。大数据基本概念*“大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。” ——维基百科大数据基本概念*仅仅是“大”？我想，我们最直观的感觉上对于前面两种定义的最深刻的印象就是“大，海量”字面上顾名思义，“大数据”也自然需要很大。但是大数据仅仅是大么？——不是的，比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值下面我们先来分析一下一些大数据的场景特性，然后再试图引出具体的大数据特征和内涵。*大数据基本概念*海量异构劣质高维我们可以看到上面图中很多大数据应用的场景特征——海量，某社交网络（左上角）——异构，各种采集设备收集的杂乱数据（右上）——劣质，很多场景中数据都含有很多杂质——高维，很多场景下数据的维数非常高，有维数灾难，典型的有科学计算，如宇航，生物信息学等。（右下）中间的两幅图，——上面的那幅描述了海量和高维的结合——下面那幅则是北京交通道路的刻画。面对那么这么多的场景，我们从中总结一下，大数据的特征。主要有“四个V”。*大数据基本概念*虽然没有非常严格的定义，但是国际上大家已经对大数据的特征形成了一个普遍的认识——4V特征。我自己把这4V特征分别凝练为四个字，“大”，“杂”，“低”，“快”*大数据基本概念*下面我们通过一个例子，“大漠淘金”来形象化说明。——大，海量沙漠，无边无际——杂，很多杂质，什么都有——低，金子太少，密度很低——快，必须要快，满了沙丘就移动了，之前的勘测时效。时效性*大数据基本概念大数据的数据够“大”，数据不再是稀缺资源，不能像小数据时代那样，用最小的数据获得最多的信息；而应该要拿到与领域相关的全数据大数据的数据够“杂”，来源广泛，格式五花八门，用户需从海量数据中提炼有价值信息，个体数据（或严格因果模型）的精确性不再重要，重要的是大多数数据群共同指出的结论（相关性关系）；大数据的数据够“快”，数据产生得快，数据增加得快，数据随时间的折旧也快，数据的时效性成为关键。大数据新思维**大数据基本概念* 对比 传统方法 大数据方法 数据采集手段 采样数据 全局数据 数据源 单数据源 多数据源整合 判断方法 基于主观因果假设 机械穷举相关关系 演绎方法 孤立的推算方法 大数据+小算法+上下文+知识积累 分析方法 描述性分析 预测性和处方性分析 对产出的预期 绝对的精确性更重要 更注重实时性（具体根据需求而定）*大数据基本概念*大数据不仅仅是技术，关键是产生价值可以从各个层面进行优化，更要考虑整体*大数据价值*13 行业 数据处理方式 价值 银行/金融 •贷款、保险、发卡等多业务线数据集成分析、市场评估•新产品风险评估•股票等投资组合趋势分析 •增加市场份额•提升客户忠诚度•提高整体收入•降低金融风险 医疗 •共享电子病历及医疗记录，帮助快速诊断•穿戴式设备远程医疗 •改善诊疗质量•加快诊疗速度 制造/高科技 •产品故障、失效综合分析•专利记录检索•智能设备全球定位，位置服务 •优化产品、制造•降低保修成本•加快问题解决 能源 •勘探、钻井等传感器阵列数据集中分析 •降低工程事故风险•优化勘探过程 互联网/Web2.0 •在线广告投放•商品评分、排名•社交网络自动匹配•搜索结果优化 •提升网络用户忠诚度•改善社交网络体验•向目标用户提供有针对性的商品与服务 政府/公用事业 •智能城市信息网络集成•天气、地理、水电煤等公共数据收集、研究•公共安全信息集中处理、智能分析 •更好地对外提供公共服务•舆情分析•准确预判安全威胁 媒体/娱乐 •收视率统计、热点信息统计、分析 •创造更多联合、交叉销售商机•准确评估广告效用 零售 •基于用户位置信息的精确促销•社交网络购买行为分析 •促进客户购买热情•顺应客户购买行为习惯*大数据应用要解决的问题*大数据应用要解决的问题*大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。*软件是大数据的引擎* 和数据中心（DataCenter）一样，软件是大数据的驱动力. 软件改变世界!大数据涉及的关键技术* 需求海量数据存储技术实时数据处理技术 数据高速传输技术 搜索技术数据分析技术 技术Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch 描述分布式文件系统流计算引擎 服务器/存储间高速通信 文本检索、智能搜索、实时搜 索TextAnalyticsEngine自然语言处理、文本情感分析、VisualDataModeling机器学习、聚类关联、数据模 型 大数据涉及的关键技术*11 大数据（Hadoop） NoSQL 数据库 数据仓库 部署架构 水平扩展 水平扩展 大部分垂直扩展，少数水平扩展 大部分水平扩展 数据类型 文件存储，没有数据类型 简单数据类型 丰富的数据类型 丰富的数据类型 数据模型 非常简陋的数据模型 简单灵活数据模型 丰富的数据模型 完善丰富的数据模型 数据关系 没有数据关系描述 非常简单的数据关系描述 数据关系完善 数据关系完善 数据一致 无一致性 弱一致性 强一致性 强一致性 数据安全 安全性很弱 安全性很弱 安全性很高 安全性很高 计算类型 离线批量处理，只读，低并发 实时CRUD操作，海量并发 实时CRUD操作，高并发 离线批量处理，只读，低并发 适用场景 低密度数据海量存储，数据预处理，预计算 高并发实时 在线交易，查询，报表 高价值数据统一存储和计算平台 常见用例 日志处理，用户行为分析，搜索引擎 用户资料，微博，金融反欺诈 金融账户，电信计费，税务等 企业数据仓库大数据使用的关键技术—数据采集*大数据使用的关键技术—数据采集*大数据使用的关键技术—数据存储与管理*大数据使用的关键技术—分布式文件系统*大数据使用的关键技术—分布式文件系统**大数据使用的关键技术—非关系型数据库NoSQL**大数据使用的关键技术—云计算与云存储*如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀。*大数据使用的关键技术—数据分析与挖掘*大数据使用的关键技术—标签云*标签云（TagCloud）是一套相关的标签以及与此相应的权重。权值影响标签的字体大小、颜色或其他视觉效果。典型的标签云有30至150个标签，用以表示一个网站中的内容及其热门程度。标签通常是超链接，指向分类页面。大数据使用的关键技术—聚类分析*聚类图（Clustergram）是指用图形方式展示聚类分析结果的技术，可以有助于判断簇数量不同时的聚类效果。大数据使用的关键技术—深度学习*深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。充分利用大量的非标记数据，有效挖掘数据中的层级特征，具有更强的表征能力，尤其适合于在图像、语音等有大量的非标记数据而又非常抽象的领域。简单浅层神经网络（1980）深层神经网络（2006）为何沉寂了20多年？——最主要原因：计算能力支持（深层）主要应用有图片、视频、音频、人脸识别的涉黄、涉赌、涉暴、涉恐等检测*大数据使用的关键技术—计算结果展示*大数据使用的关键技术—多形态展现*支持灵活的配置模式及所选模型自由选择相宜图表、图形进行可视化设计及配置加载大数据应用介绍公共领域与大数据*互联网与大数据**城镇化与智慧城市1、区分识别城市的功能区域（如文教、商业和住宅区——轨迹数据包含乘客上车和下车地点的信息。人的移动性数据可以很好地区分相同类别的兴趣点的热度，也可以揭示一个区域的功能2、搜寻城市道路网中不合理的规划（拥堵）——利用高速和环路等主干道将城市分割成区域，然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有城市道路网的不足之处城镇化与智慧城市*3、细粒度空气质量预测——利用地面监测站有限的空气质量数据结合交通流道路结构、兴趣点分布、气象条件和人流规律等大数据，基于机器学习算法建立数据和空气质量的映射关系，从而推断空气质量4、加油站排队时间及实时油耗估计——利用装有GPS的出租车在加油站的等待时间来估计加油站的排队长度，估算出此时加油站内的车辆数目及加油量。通过将全城的加油站数据汇总计算任意时刻消耗的燃油数金融行业与大数据*目前，中国的大型商业银行和保险公司的数据量已经达到100TB以上级别，并且非结构化数据量在迅速增长。中国金融行业已步入大数据时代的初级阶段，并且呈现快速发展势头。优秀的大数据分析能力是当今金融市场创新的关键。医疗行业与大数据* 目前全球共拍摄了超过4.7万亿张照片 每2分钟拍摄的照片数比19世纪拍摄的照片总数还多 微博上累计有超过1400亿张照片发布医疗图像的存储量占全球全部照片30％！大数据医疗行业与大数据*卫生经济学与药品定价疫情监测公共健康监控医疗统筹分析系统临床实验数据分析基于大数据技术的应用*基于大数据技术的应用—基于大数据的威胁发现技术* 基于大数据，企业可以更主动的发现潜在的安全威胁 相较于传统技术方案，大数据威胁发现技术有以下优点：1、分析内容的范围更大2、分析内容的时间跨度更长3、攻击威胁的预测性4、对未知威胁的检测基于大数据技术的应用—基于大数据的认证技术* 身份认证：信息系统或网络中确认操作者身份的过程，传统认证技术只要通过用户所知的口令或者持有凭证来鉴别用户 传统技术面临的问题:基于大数据技术的应用—基于大数据的认证技术* 基于大数据的认证技术：收集用户行为和设备行为数据，对这些数据分析，获得用户行为和设备行为的特征，进而确定其身份。1、攻击者很难模拟用户行为通过认证2、减小用户负担3、更好的支持各系统认证机制的统一1、初始阶段的认证，由于缺乏大量数据，认证分析不准确2、用户隐私问题优点缺点基于大数据技术的应用—基于大数据的数据真实性分析* 基于大数据的数据真实性分析被广泛认为是最为有效的方法优势：1、引入大数据分析可以获得更高的识别准确率2、在进行大数据分析时，通过机器学习技术，可以发现更多具有新特征的垃圾信息面临的困难：虚假信息的定义、分析模型的构建等目前在电商、金融等领域被广泛使用，例如识别马甲账户等。*大数据安全现状大数据面临的挑战—成为网络攻击的显著目标**大数据面临的挑战—加大隐私泄露风险*大数据面临的挑战—大数据技术被应用到攻击手段中*大数据面临的威胁*拒绝服务攻击*安全漏洞频发**认证授权能力弱**数据无加密**内部窃密**其他威胁*汇报完毕感谢聆听**人每天从起床到晚上睡觉都会产生数据*我想，我们最直观的感觉上对于前面两种定义的最深刻的印象就是“大，海量”字面上顾名思义，“大数据”也自然需要很大。但是大数据仅仅是大么？——不是的，比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值下面我们先来分析一下一些大数据的场景特性，然后再试图引出具体的大数据特征和内涵。*我们可以看到上面图中很多大数据应用的场景特征——海量，某社交网络（左上角）——异构，各种采集设备收集的杂乱数据（右上）——劣质，很多场景中数据都含有很多杂质——高维，很多场景下数据的维数非常高，有维数灾难，典型的有科学计算，如宇航，生物信息学等。（右下）中间的两幅图，——上面的那幅描述了海量和高维的结合——下面那幅则是北京交通道路的刻画。面对那么这么多的场景，我们从中总结一下，大数据的特征。主要有“四个V”。*虽然没有非常严格的定义，但是国际上大家已经对大数据的特征形成了一个普遍的认识——4V特征。我自己把这4V特征分别凝练为四个字，“大”，“杂”，“低”，“快”*下面我们通过一个例子，“大漠淘金”来形象化说明。——大，海量沙漠，无边无际——杂，很多杂质，什么都有——低，金子太少，密度很低——快，必须要快，满了沙丘就移动了，之前的勘测时效。时效性*****大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。****主要应用有图片、视频、音频、人脸识别的涉黄、涉赌、涉暴、涉恐等检测*********