Tomcat集群Session共享的轻量级解决方案Memcached

引子

Session是什么

用户访问服务器资源主要分成两类,一类是无状态访问,例如请求一张图片。另一类是有状态访问,这种情况下,服务器需要记录追踪用户状态,并根据用户所处状态做出不同响应,典型的例子是购物车。Session的作用就是在Web服务器上保持用户的状态信息。

Tomcat集群为什么需要Session共享

当客户端访问Tomcat集群时,所有的请求将被Nginx拦截,由Nginx做负载均衡后转发给后台真实Tomcat。按照这个流程就可能出现一个问题,当用户进行页面刷新或跳转时,每次请求将被转发给不同的Tomcat处理,这样就会造成Session的不同步。举个简单的栗子,例如当用户往购物车添加商品时,兴高采烈地准备买单了,当他跳转到付款页面却发现购物车被清空了,这就是Session丢失的典型栗子。因此,我们需要为集群环境做Session同步。

Session共享方案讨论

在服务器集群的环境下,共享Session的方案主要分为4类:

  • 用户端本地保存Cookie

在这种方式下,Web应用会将用户状态写到Cookie并保存到用户本地。但是,如果用户使用的浏览器不支持Cookie或者禁用Cookie,该方案将会失效。并且Cookie能保存的数据是有大小限制的,而且数据暴露给用户本地浏览器,存在安全性问题。

  • 采用数据库方式保存Session

相对本地Cookie方式,将用户信息保存到服务端数据库解决了数据安全性问题。然而,这么做是有代价的,应用中所有对Session的访问都必须经过数据库,加大数据库负担,导致系统整体性能降低。

  • 代理服务器

通过代理服务器实现Session共享的思路非常简单,就是Session数据在哪台Tomcat,之后的请求都转发到这台Tomcat。例如Nginx,具体实现只需要修改转发规则为ip_hash即可。但这时候可能存在某一时间段大量用户始终访问某台Tomcat的负载很大,也就失去了负载均衡的意义。

  • 搭建缓存服务器

这种方案也是应用最普遍的方案,通过搭建缓存服务器,并使用第三方工具接管Tomcat对Session的管理。
本文例子采用方案4进行Session管理,使用的缓存服务器是Memcached,并使用memcached-session-manager管理Session。memcached-session-manager(以下简称msm)的使用方法很简单,只需要根据Tomcat版本和序列化方式下载相应jar包,拷贝至Tomcat的lib目录下,最后修改Tomcat配置文件,更换Session管理模块即可。

原型环境

  • 1XX.XX.XX.181

运行Nginx、Tomcat和Tomcat1

  • 1XX.XX.XX.182

运行Memcached
其中1XX.XX.XX.181主机搭建Tomcat集群环境,1XX.XX.XX.182主机搭建缓存服务器。
服务器环境:

# cat /etc/redhat-release 
CentOS release 6.5 (Final)
# uname -a
Linux chenllcentos.localdomain 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

安装Memcached

Memcached是一个高性能的分布式缓存系统,进入下载页面下载最新稳定版本。或者,可以通过wget下载:

# wget http://memcached.org/latest

安装Memcached之前,需要安装libevent-devel依赖:

# yum -y install libevent-devel

解压并安装:

# tar -zxvf memcached-1.x.x.tar.gz
# cd memcached-1.x.x
# ./configure && make && make test && sudo make install

启动memcached运行命令:

# /usr/local/memcached-1.4.21/bin/memcached -d -uroot -m 1024 -P /usr/local/memcached-1.4.21/memcached.pid

这里-d参数表示开启守护线程,-u参数指定用户,-m参数指定分配给memcached的内存大小。更多启动参数如下:

-d 选项是启动一个守护进程
-m 是分配给Memcache使用的内存数量,单位是MB,这里是1024MB,默认是64MB
-u 是运行Memcache的用户,这里是root
-l 是监听的服务器IP地址,默认应该是本机
-p 是设置Memcache监听的端口,默认是11211,最好是1024以上的端口
-c 选项是最大运行的并发连接数,默认是1024,这里设置了10240,按照你服务器的负载量来设定
-P 是设置保存Memcache的pid文件位置
-h 打印帮助信息
-v 输出警告和错误信息
-vv 打印客户端的请求和返回信息

查看端口状态:

[root@chenllcentos bin]# netstat -ntlp | grep memcached
tcp        0      0 0.0.0.0:11211               0.0.0.0:*                   LISTEN      2222/memcached      
tcp        0      0 :::11211                    :::*                        LISTEN      2222/memcached      

在集群环境中,Tomcat需要访问缓存服务器读取并更新Session信息,因此缓存服务器需要对11211端口放行:

# vi /etc/sysconfig/iptables

添加如下内容:

# 放行Memcached端口
-A INPUT -m state --state NEW -m tcp -p tcp --dport 11211 -j ACCEPT

重启iptables

# service iptables restart

停止memcached通过kill命令:

# kill `cat /usr/local/memcached-1.4.21/memcached.pid`

Tomcat配置msm

msm是托管在GoogleCode的一个开源项目,项目详细介绍可以查阅Tomcat high-availability clusters with memcached

拷贝jar包

使用msm之前,需要拷贝一下jars到$TOMCAT_HOME/lib目录:
memcached-session-manager-${version}.jar
memcached-session-manager-tc8-${version}.jar

该jar包需要和Tomcat版本一致。

spymemcached-2.11.1.jar
这里选择kryo-serializer作为序列化策略,因此还需要添加如下用于实现对象序列化的jar包:
msm-kryo-serializer
kryo-serializers-0.11
kryo
minlog
reflectasm
asm-3.2
最后,还需要添加javolution-serializer所需jar包:
msm-javolution-serializer
javolution-5.4.3.1

修改Tomcat配置文件

修改$TOMCAT_HOME/conf/context.xml配置文件,新增如下信息:

<Context>
    ...
    <!-- Memcached管理集群session  -->
    <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
          memcachedNodes="n1:1XX.XX.XX.182:11211"
          sticky="false"
          lockingMode="auto"
          sessionBackupAsync="false"
          sessionBackupTimeout="1000"
          transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"  />
    ...
</Context>

几点说明:

  • 其中memcachedNodes表示memcached节点信息,多个节点以空隔分开;
  • sticky指定Session共享模式;
  • sessionBackupTimeout的单位为分钟。

分别启动主机1XX.XX.XX.181的Nginx、Tomcat和Tomcat1,启动主机1XX.XX.XX.182的Memcached服务器。

Session共享测试

为了测试Nginx集群是否实现session共享,让index.jsp打印Session信息:

SessionID:<%=session.getId()%>

打开浏览器访问,如果配置正确可得到如下以-n1为结尾的Session串:

SessionID:2F712A985872A8688138D293F59E493A-n1.tomcat 

刷新浏览器,可以发现Session并不会发生变化,说明通过Memcached实现Session共享有效。如果我们关闭主机1XX.XX.XX.182的缓存服务器呢?

# kill `cat /usr/local/memcached-1.4.21/memcached.pid`

再刷新浏览器看看,将出现类似如下格式的Session串:

SessionID:E914205336C4FE5A386702F2B6D65063.tomcat 

注意:
如果刷新后仍然出现以以-n1为结尾的Session串,等待几秒后再试试。这是因为关闭缓存服务器需要时间,如果马上刷新Tomcat集群还是能从缓存服务器取到Session。

可以发现-n1结尾消失了,说明Session共享已经失效,并且反复刷新浏览器,Session的值在不断变化。