最新消息: 生命不止,奋斗不息……

微信、陌陌的架构方案分析(LBS之二)

PHP php 1767浏览 1评论

文章来源:黑夜路人CSDN博客
W020110811571975316129
目标

解决大型应用(微信、陌陌级别)中,用户经纬度在不断更新,用户查找频繁的问题。(每分钟1000W级)

方案A

本方案前,请先阅读 http://www.alivenode.com/index.php/archives/300(LBS的球面距离计算以及Geohash方案探讨(LBS之一))

由上文,简单可得;
1、仅需每分钟将用户的经纬度,上报到数据库;
2、然后每次用户查找附近好友时,通过 LIKE ‘wm3yr3%’,即可获取

缺点:稍有一定数据量,对数据库的鸭梨可想而知

方案B

策略

假象把中国分成,若干个一平方公里的单元格,
1、用户位置的变更,理解为一个单元格移动到另外一个单元格(或者不移动)
2、用户查找附近,理解为查找,自己所在方块的的所有人

数据结构

1、用户基本信息 纬度、经度、GeoHash值(经纬度,仅用于后期距离计算)
2、单元格 集合(用户1,用户2,…)

存储工具

1、redis string(key->value) 结构,存储用户基本信息
2、redis set(集合) 结构,以GeoHash值,前6位作为key(约表示一平方千米),存储单元格的用户群

算法流程

1、更新用户信息,先删除用户原所在集合,再更新当前用户信息,最后更新当前用户所在集合
2、查找附近,直接查找,所在单元格集合所有用户ID

具体实现

<?php

 /**
  * LBS核心类
  *
  * @author name <simplephp@163.com>
  * @site http://www.wubiao.info
  */

include_once('geohash.class.php');

class lbs
{

    //索引长度 6位
    protected $index_len = 6;

    protected $redis;

    protected $geohash;

    public function __construct()
    {
        //redis
        $this->redis = new Redis();
        $this->redis->pconnect('127.0.0.1','6379');

        //geohash
        $this->geohash = new Geohash();
    }

    /**
    * 更新用户信息
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    public function upinfo($user_id,$latitude,$longitude)
    {

        //原数据处理

        //获取原Geohash
        $o_hashdata = $this->redis->hGet($user_id,'geo');

        if(!empty($o_hashdata))
        {
            //原索引
            $o_index_key = substr($o_hashdata, 0, $this->index_len);

            //删除
            $this->redis->sRem($o_index_key,$user_id);
        }

        //新数据处理

        //纬度
        $this->redis->hSet($user_id,'la',$latitude);

        //经度
        $this->redis->hSet($user_id,'lo',$longitude);

        //Geohash
        $hashdata = $this->geohash->encode($latitude,$longitude);
        $this->redis->hSet($user_id,'geo',$hashdata);

        //索引
        $index_key = substr($hashdata, 0, $this->index_len);

        //存入
        $this->redis->sAdd($index_key,$user_id);

        return true;
    }

    /**
    * 获取附近用户
    *
    * @param mixed $latitude 纬度
    * @param mixed $longitude 经度
    */
    public function serach($latitude,$longitude)
    {
        //Geohash
        $hashdata = $this->geohash->encode($latitude,$longitude);

        //索引
        $index_key = substr($hashdata, 0, $this->index_len);

        //取得
        $user_id_array = $this->redis->sMembers($index_key);

        return $user_id_array;
    }

}

?>

性能测试

<?php

 /**
  * 模拟数据上报
  *
  * @author name <simplephp@163.com>
  * @site http://www.wubiao.info
  */

include_once('lbs.class.php');

$b_time = microtime(true);

$n = 0;

while(1)
{
    //user_id 1~1000000
    $user_id = rand(1,1000000);

    //latitude 30.59773~30.726786
    $rand_latitude = rand(30597730,30726786);
    $latitude = $rand_latitude/1000000;

    //longitude 103.983192 ~104.16069
    $rand_longitude = rand(103983192,104160690);
    $longitude = $rand_longitude/1000000;

    $lbs = new lbs();

    $lbs->upinfo($user_id,$latitude,$longitude);

    $n++;
    mylog($n);

    $e_time = microtime(true);

    if(($e_time-$b_time)>=60)
    {
        exit;
    }
}

function mylog($content)
{
    file_put_contents('upinfo.log',$content."\r\n",FILE_APPEND);
}

?>

 

<?php

 /**
  * 模拟查找附近
  *
  * @author name <simplephp@163.com>
  * @site http://www.wubiao.info
  */

include_once('lbs.class.php');

$b_time = microtime(true);

$n = 0;

while(1)
{
    //latitude 30.59773~30.726786
    $rand_latitude = rand(30597730,30726786);
    $latitude = $rand_latitude/1000000;

    //longitude 103.983192 ~104.16069
    $rand_longitude = rand(103983192,104160690);
    $longitude = $rand_longitude/1000000;

    $lbs = new lbs();

    $re = $lbs->serach($latitude,$longitude);

    $n++;
    mylog($n);

    $e_time = microtime(true);

    if(($e_time-$b_time)>=60)
    {
        exit;
    }
}

function mylog($content)
{
    file_put_contents('search.log',$content."\r\n",FILE_APPEND);
}

?>

测试环境

虚拟机,内存256M,主频2.93GHz

性能结果

模拟了100W活跃用户行为,不断更新,不断查找附近好友

//60 seconds insert
88544

//60 seconds search
117660

//成都 100W人,数据占用内存
11.97M

总结

从测试结果来看,完全能满足,微信、陌陌之类的性能要求;

尚可改进之处:

1、Geohash,可写成PHP C扩展;或者其他Geohash实现方式
2、Redis,内存消耗较大,可考虑redis集群方案
3、本文仅查出本单元格用户,提高精度,可查出周围八个单元个,求交集
4、求出结果,如需按照由远到近排序;读出Redis经纬度,利用距离公式排序方可。(可参照上一篇文字)

附redis安装方法
=================================================================================================
//redis

wget http://redis.googlecode.com/files/redis-2.4.14.tar.gz
make
make install

//配置
cp redis.conf /etc/

vi /etc/redis.conf
#后台
daemonize yes
#日志
logfile /dev/null
#存储
dir ./

//小内存,内核参数
echo 1 > /proc/sys/vm/overcommit_memory

//防火墙
vi /etc/sysconfig/iptables
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 6379 -j ACCEPT
service iptables restart

//启动
redis-server /etc/redis.conf

//测试
redis-cli set foo bar
OK
redis-cli get foo
bar

//php redis 扩展

//源码

http://pecl.php.net/package/redis

//手册

http://redis.readthedocs.org/en/latest/

//安装
/opt/server/php/bin/phpize
./configure --with-php-config=/opt/server/php/bin/php-config
make
make install

//配置
vi php.ini
[redis]
extension = redis.so

转载请注明:IT世界 » 微信、陌陌的架构方案分析(LBS之二)

您必须 登录 才能发表评论!

网友最新评论 (1)

  1. 哈哈
    星空下的月亮2015-01-14 21:19