2016-10-29 druid.io实践2---集群数据迁移 数据迁移指的是两套Druid、kafka、HDFS集群之间的数据迁移。其中会用到流处理框架Samza,Hadoop distcp命令,Druid重建索引的insert-segment-to-db工具。 整体流程 druid.io druid.io实践经验 阅读全文 >>
2016-10-29 druid.io实践1---查询速度优化 当数据维度比较多,存储时间比较长时,数据量会增加到到T级别。如果historical节点只是单机版,查询会特别慢。在生产过程中,主要做了以下几点优化: druid.io druid.io实践性能优化 阅读全文 >>
2016-10-29 druid.io 3---druid数据 数据格式 Timestamp列: 所有的查询都以时间为中心。 Dimension列(维度): Dimensions对应事件的维度,通常用于筛选过滤数据。 Metric列(度量): Metrics是用于聚合和计算的列。通常是数字,并且支持count、sum、mean等聚合操作。线上广告的例子: druid.io druid.io大数据学习 阅读全文 >>
2016-10-29 druid.io 2---druid介绍 Druid概念Druid.io 是一个开源的,分布式的,列式存储的,适用于实时数据分析的OLAP系统,能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。 druid.io druid.io大数据学习 阅读全文 >>
2016-10-29 druid.io 1---列式存储概念 应用场景 OLTP类型的查询访问的行数比较少,但往往需要大部分的数据列。传统的行式数据库将一个个完整的数据行存储在数据页中。这种方式在磁盘IO上是比较高效的。 OLAP类型的查询可能需要访问几百万甚至几十亿个数据行,数据量大需要进行压缩,且往往只关心少数几个数据列。这种情况下就需要列式存储。列式存储每一列单独存储,并且同一列里面的数据类型基本是相同,天生适合压缩。 druid.io druid.io大数据学习 阅读全文 >>
2016-10-29 druid.io 0---OLAP概念 OLAP OLAP的主要特点是直接仿照用户的多角度思考模式,预先为用户组建多维的数据模型。 维指的是用户的分析角度,例如对销售数据的分析,时间周期是一个维度,产品类别、分销渠道、地理分布、客户群类也分别是不同的维度。 一旦多维数据模型建立完成,用户可以快速地从各个分析角度获取数据,也能动态地在各个角度之间切换数据或者进行多角度综合分析,具有极大的分析灵活性。 druid.io druid.io大数据学习 阅读全文 >>
2016-10-28 kafka---部署 Kafka是一种分布式的消息系统。本文基于0.9.0版本,利用自带的zookeeper,部署了3个broker节点的kafka集群。 下载、配置下载123wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgztar -xzf kafka_2.11-0.9.0.0.tgzcd kafka_2.11-0.9.0.0 kafka kafka学习流处理消息系统 阅读全文 >>
2016-10-28 kafka---介绍 Kafka是一种分布式的消息系统。本文基于0.9.0版本,新版kafka加入了流处理组件kafka stream,最新的官方文档又自称分布式流处理平台。 概念 BrokerKafka的节点。kafka集群包含一个或多个broker Producer消息的生产者。负责发布消息到Kafka broker kafka kafka学习流处理消息系统 阅读全文 >>
2016-10-27 程序员快捷键 工欲善其事必先利其器,程序员通常需要通过摆脱鼠标或者触摸板提高效率,各种插件或者快捷键必不可少。 通常出现问题会去google一发,浏览器插件Vimium值得拥有,常用的vim操作就可以玩转浏览器。 Intellij IDEA中常用的AceJump可以实现光标眼球定位,IdeaVim类似于Vim操作,可以解放你的鼠标。 公司配了两三个显示屏幕,需要切来切去,切屏快捷键也需要掌握。由于只有windows的笔记本,也只介绍windows相关的快捷键。 linux和vim相关快捷键肯定也是必不可少的。 other tools实践 阅读全文 >>