Email: huangshiyang@outlook.com Home page: huangshiyang.com Photos collection: hsy.photos Wechat: wechat.huangshiyang.com Facebook: fb.huangshiyang.com Instergram: ins.huangshiyang.com Resume: resume.huangshiyang.com Wordpress: wp.huangshiyang.com ... Read More | Share it now!
Cross-Compiling Golang …
Compiling your go code into a binary is pretty simple: This will build the binary for your current OS and architecture. But compiling binaries for other operating systems and even architectures is also possible. You just need to modify a few... Read More | Share it now!
golang解析json格式 — 全
项目中客户端和服务端的交互数据部分为json，因此在服务端就得解析，复杂的json解析起来其实还是挺费劲的。 交互的数据类似如下格式： 需要将json格式中的w字段取出来，并且拼成结果串进行展示 从json数组中获取ws ws是数组，数组元素为object cw是数组，数组元素为object w是string 从cw遍历获取w字段 初步实现如下： 这样实现，一层一层去转换类型，再去获取元素有点麻烦。既然是已知的json数据结构，那么可以定义好结构体，再去进行解析。 注意定义的时候变量名第一个字母要大写，也可以使用工具来自动生成定义https://mholt.github.io/json-to-go/；用工具生成的挺漂亮： 上面的元素有json:"sn"强制说明，因此如果只需获取对应的元素，其他元素不定义也是可以的。另外还有一种数据就是数组当中的元素还是数组，并且最后数组包含的是number或者string类型，需要再重写一个函数才行，数据如下，获取当中的元素 搜索到一段代码如下，重新实现了UnmarshalJSON ... Read More | Share it now!
Nginx限制访问速率和最大并发连接数模块–limit (防止DDOS攻击)
Tengine版本采用http_limit_req_module进行限制 具体连接请参考 http://tengine.taobao.org/document_cn/http_limit_req_cn.html 和官方nginx类似，不过支持多个变量，并且支持多个limit_req_zone的设置。比如： limit_req_zone... Read More | Share it now!
Start/Stop Compute Engine Instance from Cloud function
https://medium.com/google-cloud/start-stop-compute-engine-instance-from-cloud-function-bf9ae5199609 I design a web service that will running on Google Compute Engine to do some long-time data processing task. The data will be stored at Cloud Storage... Read More | Share it now!
关于大内存页面 transparent_hugepage
Transparent Huge Pages (THP) are enabled by default in RHEL 6 for all applications. The kernel attempts to allocate hugepages whenever possible and any Linux process will receive 2MB pages if the mmap region is 2MB naturally aligned. The main kernel... Read More | Share it now!
python使用MySQLdb模块连接MySQL
python使用MySQLdb模块连接MySQL 1.安装驱动 目前有两个MySQL的驱动，我们可以选择其中一个进行安装： MySQL-python：是封装了MySQL... Read More | Share it now!
消息中间件—RabbitMQ（集群原理与搭建篇)
摘要：实际生产应用中都会采用消息队列的集群方案，如果选择RabbitMQ那么有必要了解下它的集群方案原理一般来说，如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试环境上使用其单实例部署就可以了，但是出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑，在生产环境上一般都会考虑使用RabbitMQ的集群方案。对于RabbitMQ这么成熟的消息队列产品来说，搭建它并不难并且也有不少童鞋写过如何搭建RabbitMQ消息队列集群的博文，但可能仍然有童鞋并不了解其背后的原理，这会导致其遇到性能问题时无法对集群进行进一步的调优。本篇主要介绍RabbitMQ集群方案的原理，如何搭建具备负载均衡能力的中小规模RabbitMQ集群，并最后给出生产环境构建一个能够具备高可用、高可靠和高吞吐量的中小规模RabbitMQ集群设计方案。 一、RabbitMQ集群方案的原理 RabbitMQ这款消息队列中间件产品本身是基于Erlang编写，Erlang语言天生具备分布式特性（通过同步Erlang集群各节点的magic... Read More | Share it now!
Kafka实战－Kafka Cluster
1.概述 在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka... Read More | Share it now!
zookeeper-Cluster
顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员， Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper；Zookeeper:是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。 一、zookeeper主要功能如下： 1、配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更。比如我们可以把配置放在数据库里，然后所有需要配置的服务都去这个数据库读取配置。但是，因为很多服务的正常运行都非常依赖这个配置，所以需要这个集中提供配置服务的服务具备很高的可靠性。一般我们可以用一个集群来提供这个配置服务，但是用集群提升可靠性，那如何保证配置在集群中的一致性呢？ 这个时候就需要使用一种实现了一致性协议的服务了。Zookeeper就是这种服务，它使用Zab这种一致性协议来提供一致性。现在有很多开源项目使用Zookeeper来维护配置，比如在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步操作。还有在开源的消息队列Kafka中，也使用Zookeeper来维护broker的信息。在Alibaba开源的SOA框架Dubbo中也广泛的使用Zookeeper管理一些配置来实现服务治理。 2、名字服务 名字服务这个就很好理解了。比如为了通过网络访问一个系统，我们得知道对方的IP地址，但是IP地址对人非常不友好，这个时候我们就需要使用域名来访问。但是计算机是不能是别域名的。怎么办呢？如果我们每台机器里都备有一份域名到IP地址的映射，这个倒是能解决一部分问题，但是如果域名对应的IP发生变化了又该怎么办呢？于是我们有了DNS这个东西。我们只需要访问一个大家熟知的(known)的点，它就会告诉你这个域名对应的IP是什么。在我们的应用中也会存在很多这类问题，特别是在我们的服务特别多的时候，如果我们在本地保存服务的地址的时候将非常不方便，但是如果我们只需要访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便得多了。 3、分布式锁 其实在第一篇文章中已经介绍了Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个分布式进程之间的活动。比如在一个分布式环境中，为了提高可靠性，我们的集群的每台服务器上都部署着同样的服务。但是，一件事情如果集群中的每个服务器都进行的话，那相互之间就要协调，编程起来将非常复杂。而如果我们只让一个服务进行操作，那又存在单点。通常还有一种做法就是使用分布式锁，在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。这在很多分布式系统中都是这么做，这种设计有一个更好听的名字叫Leader Election(leader选举)。比如HBase的Master就是采用这种机制。但要注意的是分布式锁跟同一个进程的锁还是有区别的，所以使用的时候要比同一个进程里的锁更谨慎的使用。 4、集群管理 在分布式的集群中，经常会由于各种原因，比如硬件故障，软件故障，网络问题，有些节点会进进出出。有新的节点加入进来，也有老的节点退出集群。这个时候，集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。比如我们是一个分布式存储系统，有一个中央控制节点负责存储的分配，当有新的存储进来的时候我们要根据现在集群目前的状态来分配存储节点。这个时候我们就需要动态感知到集群目前的状态。还有，比如一个分布式的SOA架构中，服务是一个集群提供的，当消费者访问某个服务时，就需要采用某种机制发现现在有哪些节点可以提供该服务(这也称之为服务发现，比如Alibaba开源的SOA框架Dubbo就采用了Zookeeper作为服务发现的底层机制)。还有开源的Kafka队列就采用了Zookeeper作为Cosnumer的上下线管理。 二、zookeeper集群安装 1.下载安装包 http://apache.fayea.com/zookeeper/zookeeper-3.4.6/ 2.解压压缩包 、 3.创建solrclude文件夹，将解压的zookeeper包拷贝到solrclude文件夹中 4.将zookeeper-3.4.6拷贝到/usr/local/solrcloud下，复制三份分别并将目录名改为zookeeper1、zookeeper2、zookeeper3 ... Read More | Share it now!