Home / 기술 자료 / 博客 / 短信博客 / 用极客Geek精神,做极致软件:金笛短信中间件WEB版与数据库连接池

用极客Geek精神,做极致软件:金笛短信中间件WEB版与数据库连接池

短信中间件核心在于中间层,把复杂的底层操作转换为简单、方便的数据库操作。软件设计为从客户的数据库自动定时提取数据发送。中间件需要和用户的应用程序共享使用数据库,这就要求中间件访问数据库既要快,又不能影响数据库的性能。数据库连接池是必不可少的。

jindi-web-5

数据库连接池就是一个池子,里面放着数据库连接,应用服务需要的时候就去池子里面拿,用完之后归还给池子。数据库连接池负责分配、管理、释放数据库连接,它允许应用服务重复使用数据库连接,而非重新建立。数据库的连接创建和关闭连接均由连接池来实现。应用访问时,首先查看连接池中是否有空闲连接,如果存在空闲连接,则将连接分配给客户使用;如果没有空闲连接,则查看当前所开的连接数是否已经达到最大连接数,如果没达到就重新创建一个连接给请求的客户;如果达到就按设定的最大等待时间进行等待,如果超出最大等待时间,则抛出异常给客户。 当客户释放数据库连接时,先判断该连接的引用次数是否超过了规定值,如果超过就从连接池中删除该连接,否则保留等待再次使用。

如果不使用数据库连接池,进行一次查询,要进行很多次网络交互,可以看到,这样的缺点是:

1. 网络IO多

2. 响应时间长,导致QPS降低

3. 频繁创建连接和关闭连接,浪费数据库资源,影响服务器性能

使用连接池的好处:

1. 减少网络开销

2. 提升数据库性能

金笛短信中间件对连接池有2个要求:一要快,二要稳。目前,流行的Java数据库连接池有dbcp,druid,HikariCP,tomcat-jdbc,c3p0。在对所有流行的连接池进行逐一比较之后,单从性能角度看,性能从高到低分别是:HikariCP,druid,tomcat-jdbc,dbcp,c3p0 。

关于HikariCP和druid的性能对比,在github/HikariCP上有过讨论,结果是HikariCP性能上优于druid,吃瓜地址:https://github.com/brettwooldridge/HikariCP/issues/232

HikariCP 脱颖而出,符合金笛短信中间件短信要求既要快,又要稳的要求。短信从提取到发送,在数据库这个环节,把时间压缩到毫秒内,只有短信发送的每个环节都榨干,才能保证最终短信发送秒到。

各种评测对比,也说明HikariCP是目前最快的Java数据库连接池,spring boot 2.x已经使用HikariCP作为默认的数据库连接池,足见其优秀。总代码量:代码体积更是少的可怜,130kb。代码量越少,一般意味着执行效率越高、发生bug的可能性越低。简单意味着可靠,好维护,兼容性好。

数据库连接池,在20年以前就有。经过20年的进化,已经非常犀利。日本人素来以工匠精神著称,一个人一辈子就做好一件事。HikariCP是日本人在boneCP基础上,把优化做到了极致:为什么这么说呢?

1. 优化并精简字节码,优化代码,直到编译后的字节码最少,这样,CPU缓存可以加载更多的程序代码。使用Java字节码修改类库Javassist来生成委托实现动态代理,JDK Proxy生成的字节码更少。例如HikariCP的Statement proxy只有100行代码,只有BoneCP的十分之一,对编译器不满意,就差重写java编译器了。

2. 定义集合类型(ConcurrentBag):提高并发读写的效率。

3. 自定义数组类型(FastStatementList)代替ArrayList:避免每次get()调用都要进行range check,避免调用remove()时的从头到尾的扫描。

4. 其他针对BoneCP缺陷的优化,比如对于耗时超过一个CPU时间片的优化。

光速,每秒30万公里。没有比光速更快的了。HikariCP ,就是光速。

本着geek精神,在可靠性方面,继续研究。对于数据库连接中断的情况,通过测试getConnection(),各种CP的不相同处理方法如下:

(所有CP都配置了跟connectionTimeout类似的参数为5秒钟)

HikariCP:等待5秒钟后,如果连接还是没有恢复,则抛出一个SQLExceptions 异常;后续的getConnection()也是一样处理;

C3P0:完全没有反应,没有提示,也不会在“CheckoutTimeout”配置的时长超时后有任何通知给调用者;然后等待2分钟后终于醒来了,返回一个error;

Tomcat:返回一个connection,然后……调用者如果利用这个无效的connection执行SQL语句……结果可想而知;大约55秒之后终于醒来了,这时候的getConnection()终于可以返回一个error,但没有等待参数配置的5秒钟,而是立即返回error;

BoneCP:跟Tomcat的处理方法一样;也是大约55秒之后才醒来,有了正常的反应,并且终于会等待5秒钟之后返回error了;

也就是在数据库连接中断的情况下,HikariCP在5秒内就可以感知,并在最短时间内通知上层应用。这个响应够快,够及时。实际测试中,就是拔网线,等半分钟再插上,看谁最先恢复数据库连接。HikariCP 又胜出。

金笛短信中间件WEB版集成光速数据库连接池,在各种数据库环境下表现异常稳定。有的客户在局域网连接阿里云主机数据库因为不明原因,间歇性断网的情况,也没有影响短信发送。实测支持SQLServer、Oracle、MySQL,支持win和linux各个版本。

Mon Tue Wed Thu Fri Sat Sun
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30