java - 严重 : Manager [localhost#/]: Unable to receive message through TCP channel

Question

我目前正在搭建tomcat 6集群环境，liferay 6.0.6。 具有 session 复制的 4 个节点。没有粘性 session 。

因此，按照本网站提供的指南，我执行了以下操作:

webapps/conf/context.xml 添加: webapps/ROOT/WEB-INF/web.xml 添加 : 到文件顶部，在第一个括号之后。 我还向我所有的自定义 portlet web.xml 添加了 distributable。 在 setenv.sh 中:-Djava.net.preferIPv6Addresses=false -Djava.net.preferIPv4Stack=true

在 webapps/conf/server.xml 中

<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcatA" />

tomcatA/B/C/D 跨节点。

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
    channelSendOptions="8">
    <Manager className="org.apache.catalina.ha.session.DeltaManager"
        expireSessionsOnShutdown="false" notifyListenersOnReplication="true" />
    <Channel className="org.apache.catalina.tribes.group.GroupChannel">
        <Membership className="org.apache.catalina.tribes.membership.McastService"
            address="228.0.0.10" port="45564" frequency="500" dropTime="3000" />
        <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
            address="auto" port="4000" autoBind="100" selectorTimeout="5000"
            maxThreads="6" />
        <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
            <Transport
                className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" timeout="30000" />
        </Sender>
        <Interceptor
            className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector" />
            <Interceptor
            className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor" />
    </Channel>
    <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
        filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.css;.*\.txt;" />
    <ClusterListener
        className="org.apache.catalina.ha.session.ClusterSessionListener" />
</Cluster>

在启动时，每个节点都会相互检测，并且似乎可以正常工作。然而，当有人试图修改网页内容时，我们得到一个错误:

SEVERE: Manager [localhost#/]: Unable to receive message through TCP channel
java.lang.IllegalStateException: setAttribute: Session already invalidated
    at org.apache.catalina.session.StandardSession.setAttribute(StandardSession.java:1326)
    at org.apache.catalina.ha.session.DeltaSession.setAttribute(DeltaSession.java:594)
    at org.apache.catalina.ha.session.DeltaRequest.execute(DeltaRequest.java:164)
    at org.apache.catalina.ha.session.DeltaManager.handleSESSION_DELTA(DeltaManager.java:1487)
    at org.apache.catalina.ha.session.DeltaManager.messageReceived(DeltaManager.java:1437)
    at org.apache.catalina.ha.session.DeltaManager.messageDataReceived(DeltaManager.java:1171)
    at org.apache.catalina.ha.session.ClusterSessionListener.messageReceived(ClusterSessionListener.java:92)
    at org.apache.catalina.ha.tcp.SimpleTcpCluster.messageReceived(SimpleTcpCluster.java:901)
    at org.apache.catalina.ha.tcp.SimpleTcpCluster.messageReceived(SimpleTcpCluster.java:882)
    at org.apache.catalina.tribes.group.GroupChannel.messageReceived(GroupChannel.java:269)
    at org.apache.catalina.tribes.group.ChannelInterceptorBase.messageReceived(ChannelInterceptorBase.java:79)
    at org.apache.catalina.tribes.group.interceptors.TcpFailureDetector.messageReceived(TcpFailureDetector.java:110)
    at org.apache.catalina.tribes.group.ChannelInterceptorBase.messageReceived(ChannelInterceptorBase.java:79)
    at org.apache.catalina.tribes.group.ChannelInterceptorBase.messageReceived(ChannelInterceptorBase.java:79)
        at org.apache.catalina.tribes.group.ChannelCoordinator.messageReceived(ChannelCoordinator.java:241)
    at org.apache.catalina.tribes.transport.ReceiverBase.messageDataReceived(ReceiverBase.java:225)
    at org.apache.catalina.tribes.transport.nio.NioReplicationTask.drainChannel(NioReplicationTask.java:188)
    at org.apache.catalina.tribes.transport.nio.NioReplicationTask.run(NioReplicationTask.java:91)
    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
    at java.lang.Thread.run(Thread.java:662)

我的 liferay-ext.properties :

cluster.link.autodetect.address=www.google.com:80
lucene.replicate.write=true
cluster.link.enabled=true

net.sf.ehcache.configurationResourceName=/cache/hibernate-clustered.xml
ehcache.multi.vm.config.location=/cache/liferay-multi-vm-clustered.xml

我还在所有节点上创建了一个jsp

<td>
  Session ID</td>
<td><%= session.getId() %></td>
<% session.setAttribute("abc","abc"); %>
</tr>
<tr>
<td>
  Created on</td>
  <td><%= new java.util.Date(session.getCreationTime()).toString() %></td>
</tr>
</table>
</body>
</html>

对于同一个用户，我可以切换服务器并且 session 似乎可以毫无问题地复制。然而，当我在 liferay 中修改某些东西时，我仍然得到堆栈跟踪。

我现在被困了一段时间。 我们已检查所有服务器和 JVM 时间是否与 NTP 服务器正确同步。 没有端口被阻止。服务器无法访问互联网。 它们都在 VM 上运行。

有人知道我做错了什么吗？？

谢谢。

Answer 1

一些注意事项...

1.) 您报告的问题可能与用于channelSendOptions 的值有关。

SEVERE: Manager [localhost#/]: Unable to receive message through TCP channel java.lang.IllegalStateException: setAttribute: Session already invalidated

您当前的配置是将 channelSendOptions 的值设置为 8。这意味着在您的节点之间发送的消息是异步发送的。这对于速度来说非常好，但是，这意味着数据可能会乱序到达 [1]。

错误消息表明它收到了更新 session 属性的消息，但是要更新的 session 已经失效(即删除)。出现此错误的一个常见原因是收到的消息顺序不正确。

在大多数情况下，您可以通过将 channelSendOptions 的值设置为 6 来更正此问题。这样会同步发送消息，保证顺序。

[1] - https://tomcat.apache.org/tomcat-6.0-doc/config/cluster.html#Attributes

2.) 另一种可能性(虽然不太可能)是您遇到了 Tomcat 中的错误。您没有列出您正在使用的 Tomcat 的具体版本，但升级到最新的 Tomcat 6.0.x 版本也是一个好主意。

3.) 您指出“没有粘性 session 就无法复制 session ”。这是不正确的。 session 复制和 session 粘性是两个独立的过程。虽然它们经常一起使用，但 session 复制不需要粘性 session ，粘性 session 也不需要 session 复制。

session 复制(Tomcat 称为“集群”)是跨多个 Tomcat 服务器复制 session 数据的过程。当跨多个节点复制 session 数据时，用户请求发送到哪个节点并不重要，因为它们都具有相同的 session 数据。

session “粘性”由负载均衡器执行，它是负载均衡器确保一个 session 始终指向同一后端 Tomcat 服务器的过程。

例如，负载均衡器将请求定向到 Tomcat 服务器 A，该请求导致创建 session 。启用 session 粘性后，负载均衡器会将每个具有相同 session ID 的额外请求发送到 Tomcat 服务器 A。其他没有 session 或具有不同 session 的请求将继续正常进行负载均衡。

就像巧克力和花生酱一样，粘性 session 和 session 复制经常一起使用，但这不是必需的。基本的负载平衡可以只用粘性 session 来执行，但是如果后端 Tomcat 节点发生故障，用户将丢失 session 数据。通过 session 复制和粘性 session ，用户不会受到后端 Tomcat 节点之一故障的影响。它们将由负载均衡器自动路由到不同的节点，并且该节点将拥有用户 session 数据的副本。