自我头脑风暴,说得对与错都请指点,后续补充。
当下三大技术热点:高并发、分布式、大数据(也许,还有很多,这只是自我修炼的三个目标)。
大数据处理系统有几点要求:
- 低延迟
- 高性能
- 分布式
- 可扩展(更多的要求是可横向扩展)
- 容错
现在用的比较多的就是Hadoop、Storm。
Hadoop
- 依赖于HDFS磁盘
- 延时较高(可精确到小时)
- 统计结果存在HBase
Storm
- 依赖于内存计算
- 延时较短(可以精确到10秒)
- 统计结果存在MySQL
数据收集,交给Kafka
kafka是LinkedIn开源的一款分布式的发布-订阅消息系统,它具有:
- 通过O(1)的磁盘结构持久化存储消息,即使TB级的数据也能保持长期稳定;
- 高吞吐率:即使非常普通的硬件,kafka也能支持每秒数十万的消息;
- 支持通过kafka服务器和消费集群来分区消息;
- 支持Hadoop并行加载;
storm参考:http://www.searchtb.com/2012/09/introduction-to-storm.html
暂做记录
相关推荐
JUnit知识点滴集合笔记,这个包里面包括了好几篇文档,一定会让你对JUNIT有一个全新的认识。 JUnit 4 抢先看.doc JUnit in java 真正的测试用例实战.doc JUnit起步.doc junit实现过程.doc JUnit中如何测试异常.doc ...
SD卡协议学习点滴(一) 首先SD卡有所谓操作模式(operation mode)的概念,每种操作模式又具体对应一种或多种状态,主机通过发送命令可以使SD卡在不同的状态间转换,SD卡则接受命令,并根据自己现在所处状态做出...
数据恢复点滴经验谈by wened
企业数据仓库在大数据分析时代的角色变迁 商业智能研究分析报告 数据仓库_使用手册 数据仓库:业务维量周期 数据仓库 数据仓库(DW)初阶 数据仓库工具介绍文章汇总 数据仓库工具箱:维度建模的完全指南 数据仓库技术...
WELearn大学英语知识拓展:文化生活之旅——文化点滴.pdf
液体点滴速度监控装置 液体点滴速度监控装置
点滴\液体点滴速度监控装置设计报告 点滴\液体点滴速度监控装置设计报告
参加E-learning 所做的笔记,课堂点滴!
自动点滴管理系统(.NET 3.5框架的WCF技术实现)
系统通过RS232串行通信总线,根据自定协议,实现了可由一个主站控制多个从站的液体点滴速度检测装置。主站可定点、巡回检测或设定所有从站点滴速度,声光报警并显示报警从站号;从站根据红外对管测得的点滴速度使...
一些学习java的笔记及内容
自动点滴管理系统完整源代码。实现客户端的呼叫,开始注射,结束注射。服务端实现调整速率,信息监听等功能。采用Wcf通信技术。
C语言点滴
C语言点滴.详细介绍C语言。指针,数组等
医用的自动点滴控制器论文。非常的全,而且符有实物图!
自动点滴管理系统(.NET 3.5框架的WCF技术实现)
云点滴客户解决方案是针对中小企业量身制定...功能强大的报表统计使得用户大数据分析变的简单,更加容易的制定销售战略。集成的短信发送 使得用户随时随地的为公司客户发送短信。简单易用的操作界面使得用户快速上手。
功能强大的报表统计使得用户大数据分析变的简单,更加容易的制定销售战略。集成的短信发送 使得用户随时随地的为公司客户发送短信。简单易用的操作界面使得用户快速上手。 云点滴客户关系管理CRM功能介绍; 一、...
一、程序简介 云 点滴客户解决方案是针对中小企业量身制定的具有简单易用、功能强大、永久免费使用、终身升级维护的智能化客户解决方案。依托功能强大、安全稳定的阿里云平 台,性价比高、扩展性好、安全性高、稳定...