mysql-5.7安装及互为主从同步配置

发布在 mysql

最近公司服务核心数据由mongodb转到mysql中来，顺理成章的就要解决热备以及灾难恢复等问题，而且 上来直接用mysql5.7所以也遇到了不少的版本问题,这篇我们我们就简单介绍一下 安装和互为主从配置的问题。
阅读全文

发布订阅模型在微服务架构下的服务间通信中的思考

发布在 架构

前言

之前看过一篇文章是 一登微服务架构配置文件存放，找了好久 连接没有找到。
大体意思是， 微服务由于服务众多，节点众多，就有个问题，是如何管理如此众多的服务配置。作者的是通过redis来实现集中管理，有一个中心redis节点，存放着所有redis服务之间的配置，达到节点配置管理集中化，易于操作。
阅读全文

nginx设置proxy

发布在 nginx

nginx.png

引言

平常我们在web服务中或多或少会用到cache，这次我们说的便是nginx cache。在代理层上的cache，有别于redis或memcache那种业务cache，nginx cache多用于静态资源的cache。
什么是nginx 在哪里配置cache，我们就省略了，我们直接讲重点。
阅读全文

Jmeter实现简单web负载测试

发布在 test

logo.jpg

简介

Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领域。 它可以用于测试静态和动态资源例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数据库， FTP 服务器， 等等。
阅读全文

lodash简介

发布在 node.js

image

简介

Lodash是一个著名的javascript原生库，不需要引入其他第三方依赖。是一个意在提高开发者效率,提高JS原生方法性能的JS库。

如何提高开发者效率了？

将许多代码简化为一个简单的方法名,只需要调用就行了。

下面是一个很简单的例子copy一个JS对象，避免指针问题

1
//copy一个JS对象

//原生方法
var a = {a:1,b:2,c:3};
var b = {};
for(var key in a) {
  b[key] = a[key];
}


//lodash方法
var b = _.clone(a);

如何提高JS原生方法性能？

使用惰性计算的方式

还是以事实说话

1
var array = [];
//生成一个100w 长度的数组，并赋值随机数
for(var i=0;i<1000000;i++) {
  array.push(Math.floor(Math.random()*10000))
}

//lodash forEach 遍历
console.time('lodash for Each');
_.forEach(array,function (key) {

});
console.timeEnd('lodash for Each');

//原生forEach 遍历
console.time('native for Each');
array.forEach(function (key) {

});
console.timeEnd('native for Each');

让我们来看一下上面运行的结果

1
lodash for Each: 4ms
native for Each: 98ms

差别还是很惊人的,速度相差了近25倍。

当然并不是所有方法都会比原生的快，就拿一开始copy对象的方法来说，我们依旧跑一下测试

1
var a = {};
for(var i=0;i<1000000;i++) {
  a[i.toString()] = Math.floor(Math.random()*100000);
}

var b = {};
console.time('native copy');
for(var key in a) {
  b[key] = a[key];
}
console.timeEnd('native copy');


var c = {};
console.time('lodash clone');
c = _.clone(a);
console.timeEnd('lodash clone');

结果

1
native copy: 669ms
lodash clone: 731ms

运行结果没有很明显的差别，但我们也只是为了证明我们上面的结论，并不是所有方法都比原生的快。

十分顺眼的”_”

Lodash使用了一个简单的 符号，就像Jquery的$一样，十分简洁,但是很显然 要看上去更爽的多~（个人观点），这也是我十分钟爱Lodash的主要原因之一。

常用的方法介绍

上面说了_十分简洁，同样的，在使用方法的时候也是十分简洁与方便的，下面列一下大家常用的方法。

  • _.forEach()
  • _.map()
  • _.isEmpty(value) //判断一个value 是否是empty(null,[],{}….)
  • _.find()
  • _.merge()
  • ….

Lodash我用Dash看的是有231个方法，各种你需要的原生方法基本都可以通过Lodash 直接或间接地完成，至于好不好用，也只有你用了才知道。

PS

lazy.js给出的性能对比图片

image

支持的浏览器以及Node各种版本

image

Lodash文档地址

注释和共享

【codewars】修复秘钥

发布在 codewars

好久没写博客了，随着工作时间见长，也发现有的东西太不值得写，而且随便一搜都能找到，无论是google还是baidu。所以也还是想写一些精品一点的文章。

之前不经意间在cnode逛社区的时候看到一个网站 codewars 不经意间也迷上了刷题之路，比国内的OJ平台起码界面上友好的多得多。而今天要做的一个东西也是其中一个题目。
Recover a secret string from random triplets

_看博客之前请先看连接的题目内容，在这里就不贴题了

代码

个人惯例上代码(本人小菜鸡，这是排名第一的答案)

1
var recoverSecret = function(triplets) {
  var charInfo = {};

  var registeredOrderedPair = function(ch1, ch2) {
    var ch1Info = charInfo[ch1] || {earlier: [], later: []};
    var ch2Info = charInfo[ch2] || {earlier: [], later: []};
    ch1Info.later.push(ch2);
    ch2Info.earlier.push(ch1);
    charInfo[ch1] = ch1Info;
    charInfo[ch2] = ch2Info;
  };

  var findEarliest = function() {
    // Earliest is the one that has no earlier characters
    for(var ch in charInfo) {
      if (charInfo[ch].earlier.length == 0) return ch;
    }
  };

  var removeChar = function(chToDelete) {
    delete charInfo[chToDelete];
    var isNotCh = function(ch) {return ch !== chToDelete;};
    for(var ch in charInfo) {
      charInfo[ch].earlier = charInfo[ch].earlier.filter(isNotCh);
      charInfo[ch].later = charInfo[ch].later.filter(isNotCh);
    }
  };

  triplets.forEach(function(triplet) {
    registeredOrderedPair(triplet[0], triplet[1]);
    registeredOrderedPair(triplet[1], triplet[2]);
  });

  var result = '';
  while(Object.keys(charInfo).length > 0) {
    var ch = findEarliest();
    result += ch;
    removeChar(ch);
  }

  return result;
};

代码详解

建立树形结构

代码中的registeredOrderedPair便是根据给定的数组，对于每一个节点 一个earlier，和later数组。

找到第一个

如何找到第一个呢，只要这个字母earlier数组为空，那么就代表这个字母肯定是第一个。

找到第二个 第三个 。。。

如何找到第二个第三个呢，在所有字母的earlier中删掉第一个字母的痕迹，，那么第二个字母的earlier 肯定会为空，然后依次类推就可以一直推出整个字符串了。

注释和共享

nginx配置静态文件服务器

发布在 nginx

好久没写博客了，顺便记录一下。

搭建文件服务器

要点就是root目录,会自动指向索引文件 如： index, index.html等

1
server {
        client_max_body_size 4G;
        listen  80;  ## listen for ipv4; this line is default and implied
        server_name static.test.sdk.iwplay.com.tw;
		root /home/mini/Sync;
	    location / {
        }

}

建立索引

建立目录索引也同样如此，不要带索引名称之类的文件，否则会直接显示文件，而不是目录

1
server {
        client_max_body_size 4G;
        listen  80;  ## listen for ipv4; this line is default and implied
        server_name static.test.sdk.iwplay.com.tw;
	    root /home/mini/Sync;
	 location / {
	 	 autoindex on; //显示索引
         autoindex_exact_size on; //显示大小
		 autoindex_localtime on;   //显示时间
        }

}

设置密码

搭建文件服务器有时候不想让别人任意访问，想做成一个私有的该怎么办呢，这个时候我们可以用到nginx自带的认证模块。 同样关键的是auth_basic auth_basic_user_file字段

  • auth_basic表示的输入密码时的提示语
  • auth_basic_user_file则显示认证时的用户密码文件存放路径
1
server {
        client_max_body_size 4G;
        listen  80;  ## listen for ipv4; this line is default and implied
        server_name static.test.sdk.iwplay.com.tw;
	root /home/mini/Sync;
	 location / {
              auth_basic   "Restricted";  
  	          auth_basic_user_file /etc/nginx/pass_file;
	 	      autoindex on;
              autoindex_exact_size on;
		      autoindex_localtime on;  
        }

}

生成用户密码

上文实现了用户认证，那么如何添加用户呢。nginx自带了一个功能，如下

1
htpasswd -c -d /etc/nginx/pass_file yuansc

这样就在/etc/nginx/pass_file 中添加了了一个用户

这样我们一个简单的文件服务器就搭建完成了

注释和共享

Angular入门(一)---安全路由

发布在 AngularJS

AngularJS是一个开源的前端MVC框架，有Google进行维护，可以说是现在最火的前端框架，没有之一，而紧随其后的有EmberJs，Backbone,React等。而React也算是最近的一个大热门，有Facebook产出，之后有时间也会去了解一下。

为什么使用AngularJs

前端框架有前端框架的好处，从我自身使用的一个小项目出发，说一下AngularJs的优点吧，

  • html为其自带的模板，并不像其他可能会用ejs,jade等其他模板作为标配。Angualr本身就以html为模板。
  • Angular双向绑定功能，可以很简单的实现数据更新，获取
  • Angular可以大大节约开发时间，适合单兵作战

更多内容大家可以点击Angular.key 以及AngularJS理论与实战.ppt 前者是我之前做的一个用于技术分享的keynote，里面还有一个文件上传的例子。后者是InfoQ的大神写的。两者不可同日而语，之所以把我的keynote也放在上面仅仅是想证明存在感 ：）.

何为安全路由

写服务器端的同学可能会更多的了解，一些API是有权限设置的，普通用户不能访问管理员用户API，未登录用户不能访问登陆用户的API。这在后端是很常见的，但是对于Angular这种单页面APP来说这也是很重要的。因为先跳转到页面判断有没有权限，再跳回来说没有权限，用户体验是很差的，所以我们需要在前端就进行处理。

Angular实现准备知识点

在Angular实现的过程中我们会用到的知识点

Run方法


上面是官方文档的解释，当每次加载注入的module的时候都会先运行run里面的代码，这也是我们要实现的关键点之一

$cookieStore

$cookieStore我们用来保存cookie的一个全局变量，也是Angular自带方法之一,用来全局保存一些cookie token等信息

factory方法

这是Angular自带的方法之一，使用此方法可以构建全局的Service

controller方法

MVC中的C用于每个页面的数据控制

具体实现代码

1、首先我们要做的就是一个写一个单例的Service。用于保存用户资料，以及用户的一系列数据操作

1
angular.module('publicApp')
  .factory('Auth', function Auth($location, $rootScope, $http, User, $cookieStore, $q) {
    var currentUser = {};
    if($cookieStore.get('token')) {
      currentUser = User.get();
    }
    return {
      /**
       * Authenticate user and save token
       *
       * @param  {Object}   user     - login info
       * @param  {Function} callback - optional
       * @return {Promise}
       */
      login: function(user, callback) {
        var cb = callback || angular.noop;
        var deferred = $q.defer();
        $http.post('/users/login', {
          username: user.name,
          password: user.pswd
        }).
          success(function(data) {
            console.log(data);
            $cookieStore.put('token', data.token);
            currentUser = User.get();
            deferred.resolve(data);
            return cb(undefined, data);
          }).
          error(function(err) {
            this.logout();
            deferred.reject(err);
            return cb(err);
          }.bind(this));

        return deferred.promise;
      },

      /**
       * Delete access token and user info
       *
       * @param  {Function}
       */
      logout: function() {
        $cookieStore.remove('token');
        currentUser = {};
      },

      /**
       * Create a new user
       *
       * @param  {Object}   user     - user info
       * @param  {Function} callback - optional
       * @return {Promise}
       */
      createUser: function(user, callback) {
        var cb = callback || angular.noop;

        return User.save(user,
          function(data) {
            $cookieStore.put('token', data.token);
            currentUser = User.get();
            return cb(user);
          },
          function(err) {
            this.logout();
            return cb(err);
          }.bind(this)).$promise;
      },

      /**
       * Change password
       *
       * @param  {String}   oldPassword
       * @param  {String}   newPassword
       * @param  {Function} callback    - optional
       * @return {Promise}
       */
      changePassword: function(oldPassword, newPassword, callback) {
        var cb = callback || angular.noop;

        return User.changePassword({ id: currentUser._id }, {
          oldPassword: oldPassword,
          newPassword: newPassword
        }, function(user) {
          return cb(user);
        }, function(err) {
          return cb(err);
        }).$promise;
      },

      /**
       * Gets all available info on authenticated user
       *
       * @return {Object} user
       */
      getCurrentUser: function() {
        return currentUser;
      },

      /**
       * Check if a user is logged in
       *
       * @return {Boolean}
       */
      isLoggedIn: function() {
        return currentUser.hasOwnProperty('role');
      },

      /**
       * Waits for currentUser to resolve before checking if user is logged in
       */
      isLoggedInAsync: function(cb) {
        if(currentUser.hasOwnProperty('$promise')) {
          currentUser.$promise.then(function() {
            cb(true);
          }).catch(function() {
            cb(false);
          });
        } else if(currentUser.hasOwnProperty('role')) {
          cb(true);
        } else {
          cb(false);
        }
      },

      /**
       * Check if a user is an admin
       *
       * @return {Boolean}
       */
      isAdmin: function() {
        return currentUser.role === 'admin';
      },

      /**
       * Get auth token
       */
      getToken: function() {
        return $cookieStore.get('token');
      }
    };
  });

上面的代码中我们创建了一个全局的Service Auth 实现了获取信息，信息报错，获取token，判断是否
登录等一系列方法接下来我们主要用的是login和isLoggedInAsync方法

1
angular.module('publicApp')
  .factory('User', function ($resource) {
    return $resource('/:id/:controller', {
        id: '@_id'
      },
      {
        changePassword: {
          method: 'PUT',
          params: {
            controller:'password'
          }
        },
        get: {
          method: 'GET',
          params: {
            id:'me'
          }
        }
      });
  });

user Service

2、route中在需要校验的route中加校验字段

1
angular.module('publicApp').config(['$routeProvider', function ($routerProvider) {
  $routerProvider.when('/',{
    templateUrl: 'views/main.html',
    controller: 'MainCtrl'
  })
    .when('/setting',{templateUrl:'views/setting.html', controller: 'settingCtl',authenticate: true})
    .when('/register',{templateUrl:'views/register.html', controller: 'loginCtl'});
}]);

请注意setting的中authenticate字段，表示这个路由需要校验

3、配置Run方法

1
angular
.module('publicApp', [
  'ngAnimate',
  'ngSanitize',
  'ngTouch',
  'ngRoute',
  'ngResource',
  'ngCookies'
]).run(function ($rootScope, $location, Auth) {
  // Redirect to login if route requires auth and you're not logged in
  $rootScope.$on('$routeChangeStart', function (event, next) {
    Auth.isLoggedInAsync(function(loggedIn) {
      if (next.authenticate && !loggedIn) {
        $location.path('/');
      }
    });
  });
});

$rootScope.$on('$routeChangeStart', function (event, next) {})这个方法就是指当有路由切换的时候，会触发下面的方法，当next.authenticate并且 没有login的话就跳转到指定的页面。经过上面几步我们就实现了了简单的安全路由了.

PS

参考generator-angular-fullstack

注释和共享

MQTT-Node.js实现-Mosca简介

发布在 MQTT, Node.js

最近做了个即时通讯的小项目也在这期间接触到了MQTT这个东西，如果你能搜到这篇博客，说明你对MQTT起码有大致了解的，就不在这进行介绍了。今天我们要讲的是MQTT的一个node.js实现—–Mosca,由于本身对MQTT规范了解也不深，在这里就主要以代码为主。

什么是Mosca

Mosca是MQTT在Node.js中的一个Broker的开源实现，通俗讲也就是MQTT中的Server实现。
同时作者也维护着MQTT.js这一模块，这一模块大家可理解为MQTT的Client实现。而纵观整个Node.js的module中比较有分量的也就以上两个module.

如何实现即时聊天功能

没有调研过其他的聊天软件是怎么实现一对一推送的，下面简单介绍下MQTT是怎么实现的。MQTT是简单的发布订阅模式，也就是说当一条消息发出去的时候，谁订阅了谁就会受到，而应用于即时通讯的话，我们就需要进行1对1的进行聊天，这时候我们就需要，每个客户端订阅自己的一个专属channel，然后由Broker来进行推送（Broker做的话，可以实现消息过滤，离线消息等）。

在这过程中也遇到了一些问题，比如对于即时通讯来说，客户端应该以什么作为自己的专属channel，在我接手这个项目之前他们订阅的是设备号，这样其实有很多问题，无法实现多设备同时在线。每次用户换设备登陆，服务器端都需要将相应的离线消息进行转移，耗时耗力而且一些需求无法满足，所以我觉得客户端订阅应该以用户的唯一ID为channel，这样就实现了客户端多设备在线，以及离线消息等功能。

如何实现离线消息功能

这里所说的离线消息是指，当设备离线Mqtt断开了之后，这时候向用户推送的数据，会在用户下次上线的时候推给用户。

这个地方客户端有两个关键点：

  • 客户端cleanSession需要设置为false.则该链接便会认为是持久连接，当链接断开的时候，发送的消息便会进行报错，直到下次链接再次建立，会将这些消息发送给客户端
  • Qos标志，在Mqtt标准钟，对Qos有3种设置，在这里我们需要将Qos设置为1。更多Qos介绍，请点击

上面所说的两个关键是是客户端需要设置的。在在这里我们用到的Mosca也有需要注意的地方便是发布订阅的模型选择。详情点击ascoltatori。这一模块是构建Mosca的核心模块之一。

我之前一同事进行过测试，当采用redis,mongodb作为发布订阅模型的话会出现离线消息数据错乱的情况，经过多次测试之后，我发现ZeroMQ，和RabbitMQ这种消息队列的离线数据是完全按照发送的顺序，离线发送。

示例代码

在这里我们将演示一下离线消息发送，在这里我们采用的是zeroMQ最为订阅发布模型

Client pub

1
var mqtt = require('mqtt');

var client = mqtt.createClient(5112, '182.92.149.22');

//client.subscribe('presence');
var num = 0;
setInterval(function (){
  client.publish('order', 'Hello mqtt ' + (num++),{qos:1, retain: true});
}, 1000);

Client Sub

1
var mqtt = require('mqtt');

var client = mqtt.createClient(5112, 'localhost',{clientId:'1',clean:false});

client.subscribe('test',{qos:1});

client.on('message', function (topic, message) {
  console.log(message);
});

Mosca Server

1
var mosca = require('mosca')
var settings = {
  port: 5112,
  backend:{
  	 type: 'zmq',
      json: false,
      zmq: require("zmq"),  
      port: "tcp://127.0.0.1:33333",
      controlPort: "tcp://127.0.0.1:33334",
      delay: 5
  },
  persistence:{
  	factory: mosca.persistence.Mongo,
    url: "mongodb://localhost:27017/mosca"
  }
};
var server = new mosca.Server(settings);
server.on('ready', function(){
	console.log('Mosca server is up and running');	
});
server.on('published', function(packet, client) {
  console.log('Published', packet.payload);
});

在上面我们看到我们使用zeromq作为发布订阅模型， mongodb作为持久化Db，你可以先将Mosca server以及 Client pub启动，过一段时间你再启动Client sub。这时候你会发现，收到的消息会是从1开始的，，

注释和共享

yuansc

生命不息,奋斗不止


改变世界