ITeye博客

Snowolf的意境空间!

snowolf · 共 163 篇文章

[置顶] Linux环境基本配置

一、JAVA_HOME 有日子没配过linux环境了,居然已经开始生疏了。 vim ~/.profile 配置Java环境、配置时区 写道 #Java环境 export JAVA_HOME=/usr/bin/java export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=.:$JAVA_HOME:$PATH 然后加载文件: . ~/.profile 二、TimeZone 还是修改 ~/.profile文件 vim ~/.profile 追加: #时区 export TZ='Asia/Shan…

2014-11-14T15:23:12Z · 操作系统 · 评论(0)

[置顶] 征服ZooKeeper之基本配置

人,总免不了有心结,限制着自己,难以前行。对于ZooKeeper的理解,以及实践也拖了很久,今天用零散时间学习一下,补点干货。 一、简述 Zookeeper是Google的Chubby一个开源的实现,是高有效和可靠的协同工作系统,Zookeeper能够用来选举Leader(基于Fast Paxos协议),配置信息维护等,在一个分布式的环境中,需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。 ZooKeeper是一个分布式,开放源码的分布式应用程序协调服务,包含一个简单的原语集,是Hadoop和Hbase的重要组件,提供Java和C的接口。 ZooKeeper代码版本中,提…

2014-11-14T14:28:06Z · 开源软件 · 评论(3)

[置顶] 征服 Mongodb 之 主从复制&集群复制

廉颇老矣,尚可饭否?然也! Mongodb的研究总是断断续续,需要持续经营,将其积累,为日后的工作提供参考。 年底了,把今年用到的东西做个收敛。把这个年初就写了点的东西再好好收拾收拾。 今天尝试一把复制集群ReplicateSet模式,做个小总结,后续在这个帖子上不断填充。 集群配置相关链接: 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&集群复制 基本操作相关链接: 征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识 征服 Mongodb 之 Modifier增强 征服 Mongodb 之 CRUD 一、主从…

2013-11-14T15:44:30Z · 数据库 · 评论(3)

[置顶] GPG操作——签名验证

最近回顾以前接触却没能理解的技术问题,逐步恢复博客高产出的习惯~ 问题描述: 可能大家都遇到过软件在下载过程中由于网络原因导致下载的软件体积与实际软件体积不符。最常见的办法是对待下载文件附加一个摘要文件。这种做法比较常见,也比较容易实现。但是,还是会有一个问题:如果我篡改了网站,改变了文件的内容,并对该文件做了一次摘要,替换了原有的摘要文件。那用户下载的文件就失去了摘要验证的意义。如何避免这种问题呢? 解决方案: 软件提供者对文件做签名,软件使用者对文件做验证。 签名/验证,是一种用于对网络数据传输有效性鉴别的常见方法,属于非对称加密算法领域。 使用私钥对数据进行签名,使用公钥对数据签名做校…

2013-05-30T10:15:41Z · 开源软件 · 评论(0)

[置顶] Linux 命令整理 —— 文件操作——Join

工作中如何让自己变得强大?向周围人学习! 同事求助Linux下俩文件相同部分做筛选,数据文件很大,如何操作。终于发现牛人,我就顺道偷师学艺。 相关链接: Linux 命令整理 —— 基本操作 Linux 命令整理 —— 用户管理 一、一般关联 比方说有两个文件: 写道 $ cat 1 a 100 b 200 c 300 d 500 $ cat 2 c 2012-03-01 d 2012-05-01 a 2012-01-01 我想要两个文件中相互匹配的部分,也就是a、c、d部分。 写道 $ join 1 2 c 300 2012-03-01 d 500 2012-05-01 但实际上只有c、d…

2013-05-23T14:58:20Z · 操作系统 · 评论(0)

[置顶] 大数据处理点滴笔记

自我头脑风暴,说得对与错都请指点,后续补充。 当下三大技术热点:高并发、分布式、大数据(也许,还有很多,这只是自我修炼的三个目标)。 大数据处理系统有几点要求: 低延迟 高性能 分布式 可扩展(更多的要求是可横向扩展) 容错 现在用的比较多的就是Hadoop、Storm。 Hadoop 依赖于HDFS磁盘 延时较高(可精确到小时) 统计结果存在HBase Storm 依赖于内存计算 延时较短(可以精确到10秒) 统计结果存在MySQL 数据收集,交给Kafka kafka是LinkedIn开源的一款分布式的发布-订阅消息系统,它具有: 通过O(1)的磁盘结构持久化存储消息,即使TB级的数据也…

2013-04-16T13:00:02Z · 开源软件 · 评论(0)

[置顶] GitLab 安装问题小记

GitLab是个好东西,但就是安装起来忒费劲。 参考 官方文档 ,使用Ubuntu+MySQL,难免还是会有些小问题。 参考文档执行: sudo -u gitlab -H bundle exec rake gitlab:setup RAILS_ENV=production 遇到: 写道 Gem files will remain installed in /home/gitlab/gitlab/vendor/bundle/ruby/1.9.1/gems/mysql2-0.3.11 for inspection. Results logged to /home/gitlab/gitlab/ve…

2013-03-21T11:35:22Z · 开源软件 · 评论(0)

[置顶] Thrift小记

Thrit用的不多,也不够深入,这里小记一笔。 关于Thrift环境如何安装,可以参考 官网 。 或者直接下载 windows版本的thrift-0.9.2.exe Thrit跟Java有数据类型的映射关系: /** * The first thing to know about are types. The available types in Thrift are: * * bool Boolean, one byte * byte Signed byte * i16 Signed 16-bit integer - short * i32 Signed 32-bit integer - …

2013-03-14T18:37:26Z · 开源软件 · 评论(0)

[置顶] 征服 Redis + Jedis + Spring (三)—— 列表操作

一开始以为Spring下操作哈希表,列表,真就是那么土。恍惚间发现**“stringRedisTemplate.opsForList()”**的强大,抓紧时间恶补下。 相关链接: 征服 Redis 征服 Redis + Jedis 征服 Redis + Jedis + Spring (一)—— 配置&常规操作(GET SET DEL) 征服 Redis + Jedis + Spring (二)—— 哈希表操作(HMGET HMSET) 征服 Redis + Jedis + Spring (三)—— 列表操作 通过 spring-data-redis 完成 LINDEX, LLEN, LPOP…

2013-03-06T16:16:19Z · 开源软件 · 评论(2)

[置顶] 征服 Mongodb 之 Modifier增强

通过find/findOne做了简单查询,恍惚间发觉好像少点什么,似乎过于简单。这里做个补充,简单说说各种$的关键字:$lt、$gt、$lte、$gte等等。 发现自己又给自己挖了个坑,又深又广,需要早点跳出来喘口气。 集群配置相关链接: 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&集群复制 基本操作相关链接: 征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识 征服 Mongodb 之 Modifier增强 征服 Mongodb 之 CRUD 我感觉似乎被这本书(《MongoDB权威指南》) 绕进去了,如果…

2013-02-07T15:57:13Z · 数据库 · 评论(0)

[置顶] 征服 Mongodb 之 Modifier初识

本以为Mongodb的CRUD就是些常规操作,其实不然,针对字段、数组的操作还有很多特定指令——修改器。实在是不知道该如何对这一对$符号开始的指令给个靠谱的名称。 集群配置相关链接: 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&集群复制 基本操作相关链接: 征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识 征服 Mongodb 之 Modifier增强 征服 Mongodb 之 CRUD 在Mongodb中,有很多被称为Modifier的特殊标识符。通过这些Modifier,可以增加查询条件限定,对数据进行…

2013-02-06T14:37:55Z · 数据库 · 评论(0)

[置顶] 征服 Mongodb 之 CRUD

这段时间总难把精力投在调研工作上,眼下要放假了,回家的七七八八,没啥正事了,接着整理。 集群配置相关链接: 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&集群复制 基本操作相关链接: 征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识 征服 Mongodb 之 Modifier增强 征服 Mongodb 之 CRUD Mongodb的安装、配置主从,以及有关基本数据类型,详见上一篇博客。 接下来我们做点最实用的部分——CRUD。 仔细翻阅了一下这本书,除了Insert、Find、Update和Remove Cr…

2013-02-06T10:34:49Z · 数据库 · 评论(3)

[置顶] 征服 Mongodb 之 常用命令、基本数据类型

手里有本《MongoDB权威指南》,打算做个读书笔记,把常规命令、数据类型过一遍,强迫记忆。 集群配置相关链接: 征服 Mongodb 之 安装与系统服务配置 征服 Mongodb 之 主从复制&集群复制 基本操作相关链接: 征服 Mongodb 之 常用命令、基本数据类型 征服 Mongodb 之 Modifier初识 征服 Mongodb 之 Modifier增强 征服 Mongodb 之 CRUD 关于如何安装、配置、启动MongoDB等,参考上篇文章。 一、常规命令 登录 类似于MySQL登录,可参考如下命令: # mongo --help MongoDB shell version…

2013-01-23T15:41:40Z · 数据库 · 评论(0)

[置顶] Nginx扩展(一):nginx_tcp_proxy_module

好东西必须持续钻研,且持续积累,尤其要做个笔记。 今天是偷师学艺,把小弟用到的东西快速记录下来。 研究这个东西,主要是为了解决 Thrift 的负载均衡问题。 参考 nginx_tcp_proxy_module ,下载、安装,做好简单的配置。 可以直接下载最新版本: wget https://github.com/yaoweibin/nginx_tcp_proxy_module/archive/master.zip 假定你已安装好Nginx,并切换到Nginx的安装目录,执行补丁操作,并进行安装: patch -p1 < /path/to/nginx_tcp_proxy_module/tcp…

2013-01-15T16:41:16Z · 开源软件 · 评论(1)

[置顶] MySQL 查询时强制区分大小写

平时很少会考虑数据存储需要明确字符串类型字段的大小写,MySQL默认的查询也不区分大小写。但作为用户信息,一旦用户名重复,又会浪费很多资源。再者,李逵、李鬼的多起来,侦辨起来很困难。要做到这一点,要么在建表时,明确大小写敏感(字段明确大小写敏感)。如果通盘数据库所有字段都需要大小写敏感,不如在字符集设置时做好调整。不过,通常不建议这么做。 如果跟我一样,数据库已经在线上跑了,一个表上百万条数据,做字段类型变更有可能导致数据库宕机。那么好吧,在查询时,多加个单词好了! 例如,一般查询: SELECT * FROM U WHERE name LIKE 'a%'; SELECT * FROM U …

2012-09-20T09:40:20Z · 数据库 · 评论(6)