技术分享

Kafka介绍及简单应用示例##：www.1ppt.com/moban/PPT素材：www.1ppt.com/sucai/PPT背景：www.1ppt.com/beijing/PPT图表：www.1ppt.com/tubiao/PPT下载：www.1ppt.com/xiazai/PPT教程：www.1ppt.com/powerpoint/资料下载：www.1ppt.com/ziliao/范文下载：www.1ppt.com/fanwen/试卷下载：www.1ppt.com/shiti/下载：www.1ppt.com/jiaoan/PPT论坛：www.1ppt.cnPPT：www.1ppt.com/kejian/语文课件：www.1ppt.com/kejian/yuwen/：www.1ppt.com/kejian/shuxue/英语课件：www.1ppt.com/kejian/yingyu/美术课件：www.1ppt.com/kejian/meishu/科学课件：www.1ppt.com/kejian/kexue/物理课件：www.1ppt.com/kejian/wuli/化学课件：www.1ppt.com/kejian/huaxue/生物课件：www.1ppt.com/kejian/shengwu/地理课件：www.1ppt.com/kejian/dili/历史课件：www.1ppt.com/kejian/lishi/Contents目录一、背景介绍二、kafka执行过程以及组件介绍三、实例演示四、核心原理初探五、性能怪兽kafka（对比MQ）1背景介绍Kafka产生的背景：1.为什么要做消息系统。--------数据分析2.Kafka是个怎样的消息系统。--------Adistributedpublish-subscribemessagingsystem消息订阅和发布系统3.目前有哪些公司应用到了Kafka--------LinkedIn,Tumblr等等4.Kafka在我们项目中的意义--------公交数据分析，停车场数据分析，流量数据分析2kafka执行过程以及组件介绍简单用例官方图broker：Kafka集群包含一个或多个服务器，这种服务器被称为brokerproducer：负责发布消息到Kafkabrokerconsumer：消费消息。每个consumer属于一个特定的consuergroup（可为每个consumer指定groupname，若不指定groupname则属于默认的group）。前图再细分topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）分区的概念partition：parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件3实例演示linux运行环境环境搭建1.安装JDK2.安装Kafka启动Linux服务步骤01zookeeper步骤02kafka步骤03topic步骤04producer步骤05customer启动成功启动Java代码ScalaJavaMyProducerMySimpleConsumer4核心原理初探核心原理kafka消息删除和压缩负载均衡磁盘缓存的利用主从及副本分布消息格式Zero-copy文件系统负载均衡负载均衡的两种策略partition.assignment.strategy=range|round-robinRange:每个topic的分区独立分配分区按数字排序，线程按字典排序分区数量/线程数量整除partition多于thrad（？）partition等于threadpartition少于threadRound-robin所有topic所有分区循环分配到所有分区上，限制每个topic在每个consumer中线程数量必须相同每consumer消费的topic必须相同主从分布leader:处理消息分配要均匀follower：备份均匀分布Replicas：Isr：in-syncP0,P1,P2,P3四个分区,3副本持久化-消息格式持久化-文件系统进入kafka配置的数据目录-broker-topic消息删除和压缩直接删除（默认策略）按时间：按大小：压缩（只在特定的业务场景下有意义）：保留key最后一个版本的消息磁盘缓存的利用1.kafka是顺序存取的（页缓存）2.硬盘的顺序读写比随机读写要快非zero-copy传统数据发送：read(file,temp_buff,len);write(socket,tmp_buff,len)四次拷贝，四次内核态和用户态的切换zero-copyzero-copy：sendfile(out_fd,in_fd,offset,count);数据不用经过内存java.nio.channel.FileChanneltransferTo()4性能怪兽kafka快1.afka大量使用了磁盘作为传统意义的缓存2.zerocopy技术扩展强1.kafka就为可扩展性而生（集群，负载均衡）容错能力强1.副本机制，自动选举leader机制THANKYOU