记一次由 MQ SDK 太简陋引发的生产事故

本文正在参加「Java应用线上问题排查经验/工具分享」活动

背景

由于公司所有系统都在云上，所以服务器/数据库/中间件啥的用的都是某云服务商的产品，包括 MQ/Redis 等。

某周边小系统在流程改造过程中，引入了该云服务商的 MQ 产品，通过 MQ 处理一些异步的场景。

经过一阵子的改造后，总于成功上线了。可好景不长，第二天这个系统就出事了……

问题描述

查看日志和监控发现，虽然报错那会有一定的调用量，但是量并不大啊，并发能有10个就了不得了。日志里还有多种错误信息（删除了详细的敏感错误信息）……

java.lang.IllegalStateException: Already connected
at sun.net.www.protocol.http.HttpURLConnection.setRequestProperty(HttpURLConnection.java:3132)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.setRequestProperty(HttpsURLConnectionImpl.java:330)
java.net.ProtocolException: cannot write to a URLConnection if doOutput=false - call setDoOutput(true)
at sun.net.www.protocol.http.HttpURLConnection.getOutputStream0(HttpURLConnection.java:1322)
at sun.net.www.protocol.http.HttpURLConnection.getOutputStream(HttpURLConnection.java:1315)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.getOutputStream(HttpsURLConnectionImpl.java:264)
java.lang.IllegalStateException: connect in progress
at sun.net.www.protocol.http.HttpURLConnection.setRequestMethod(HttpURLConnection.java:551)
at sun.net.www.protocol.https.HttpsURLConnectionImpl.setRequestMethod(HttpsURLConnectionImpl.java:388)
java.io.IOException: stream is closed
at sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.ensureOpen(HttpURLConnection.java:3427)
at sun.net.www.protocol.http.HttpURLConnection$HttpInputStream.read(HttpURLConnection.java:3452)

我看了眼详细的 StackTrace，发现都是这个 MQ SDK 相关的代码报错，虽然错误信息分了好几种，但结合起来看，都是网络/报文类的错误。

那问题就简单了，肯定是在和 MQ Server 交互时出现的问题。

不过既然功能测试阶段没有出现这个问题，那么说明单线程下，程序是没问题的，多线程请求时才会报错。

先猜测一下，可能的原因有：

MQ Server 的问题
客户端 -> MQ 网络的问题
程序问题

对于原因 1/2 ，可能性不大，因为功能其他环境也在正常使用，而且也联系了网络组的同事，确认网络一切正常，不太可能是这个导致的。所以只剩下原因3 - 程序问题了。

既然有了分析的方向，那就先从代码下手，看看和 MQ 交互的代码是怎么写的，有没有什么骚操作。

在这个系统的代码里，封装了一个和 MQ 交互的类，里面有一些基本的操作，发送消息/接收消息之类的方法（伪代码）：

// MQ SDK API
private Account account = new Account(endpoint,secretId, secretKey);
public void sendMsg(String msg){
// MQ SDK API
Queue queue = account.getQueue("queue-test10");
String msgId = queue.sendMessage("hello world,this is xxxxxmq sdk for java");
}

看到这个类的时候，我是有点懵逼的，这个 SDK 也太太太太简陋了吧……简陋的就像一个 Demo

不过简陋，也不见得是坏事嘛，功能好使就行。

我接着往下翻代码，既然是交互请求那里的问题，那就找到它发送 HTTP 请求的地方，一探究竟

中间的代码比较无聊，这里就不贴了，无非是一些校验/拼报文/签名之类的逻辑。

找了一会，终于到了最关键的地方，一个 HTTP 工具类，这也是这个 MQ SDK 发送 HTTP 请求的唯一类：

private URLConnection connection;
private String url ;
private void newHttpConnection(String url) throws Exception {
// 这里如果 url 相同，每次还使用相同连接，默认 POST 请求方式下，全局都会用同一个连接，永远不会新建
if(this.url != url)
{
URL realUrl = new URL(url);
if(url.toLowerCase().startsWith("https")){
HttpsURLConnection httpsConn = (HttpsURLConnection)realUrl.openConnection();
httpsConn.setHostnameVerifier(new HostnameVerifier(){
public boolean verify(String hostname, SSLSession session){
return true;
}
});
connection = httpsConn;
}
else{
connection = realUrl.openConnection();
}
this.connection.setRequestProperty("Accept", "*/*");
if(this.isKeepAlive)
this.connection.setRequestProperty("Connection", "Keep-Alive");
this.connection.setRequestProperty("User-Agent",
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
this.url = url ;
}
}
// 发送请求
public String request(String method, String url, String req,
int userTimeout) throws Exception {
String result = "";
BufferedReader in = null;
try{
// if (!this.url.equals(url))
this.newHttpConnection(url);
this.connection.setConnectTimeout(timeout+userTimeout);
this.connection.setReadTimeout(timeout+userTimeout);
if (method.equals("POST")) {
((HttpURLConnection)this.connection).setRequestMethod("POST");
this.connection.setDoOutput(true);
this.connection.setDoInput(true);
DataOutputStream out = new DataOutputStream(this.connection.getOutputStream());
out.writeBytes(req);
out.flush();
out.close();
}
this.connection.connect();
int status = ((HttpURLConnection)this.connection).getResponseCode();
if(status != 200)
throw new ServerException(status);
in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"utf-8"));
String line;
while ((line = in.readLine()) != null) {
result += line;
}
}catch(Exception e){
throw e;
}finally{
try {
if (in != null)
in.close();
} catch (Exception e2) {
throw e2;
}
}
return result;
}