SpringBoot系列(12): Mybatis采坑之For Each In大数查询


作者: 修罗debug
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。

摘要:在开发企业级应用项目业务模块期间,相信很多小伙伴都使用过Mybatis,毕竟SSM早已横行天下。然后,在使用Myabtis期间,如果经常需要用到 IN 查询,那么特别需要注意的是“大批数据量的查询”,使用不当,很可能会出现内存溢出以及其他奇奇怪怪的错误。

内容:在企业级应用项目开发过程中,Mybatis的For  Each  In查询功能相信各位小伙伴都遇见过,特别是在一些多表关联,根据Id  IN查询的场景,相关各位小伙伴多多少少都是有见过的!

下面,Debug将给各位小伙伴演示一下当 IN 查询的数据量过大时,采用For  Each遍历、拼接实现的方式的弊端。

(1)直接上一个单元测试方法的代码吧:

    @Test
public void method3() throws Exception{
//待批量查询的 列元素 列表
List<Integer> list=userMapper.selectAllIds();
//查询具体的实体对象列表
List<User> users=userMapper.selectByIds(list);
log.info("--获取查询结果列表:{}",users);
}

其中,userMapper.selectAllIds();方法是前往数据库表codes拿出所有的item_id,然后调用userMapper.selectByIds(list); 方法查询出 指定的 id 列表内的用户实体对象列表信息。其源代码分别如下所示:  

  <select id="selectAllIds" resultType="java.lang.Integer">
SELECT item_id FROM codes
</select>
<select id="selectByIds" resultType="com.debug.springboot.model.entity.User" parameterType="java.util.List">
SELECT <include refid="Base_Column_List"/>
FROM user
<where>
id IN
<foreach collection="list" item="item" separator="," open="(" close=")" index="">
#{item,jdbcType=VARCHAR}
</foreach>
</where> </select>

值得一提的,codes数据库表中的所有id一共有 37w 多条,如下图所示:  


接下来,我们点击“运行该单元测试方法”,一起见识一下会发生什么事情:  



从该运行结果报错的信息来看,Packet for query is too large (7910580 > 4194304). You can change this value on the server by setting the max_allowed_packet' variable

表示 待查询的数据量太大了,已经超过了指定可允许的容量了(其实也就间接影响了查询链接的断开与否了!)

解决方法一可以尝试去设置 “max_allowed_packet”属性的值,但是这只是治标不治本,不能从根本上进行解决!而且,For Each 在数据量大的情况也着实会消耗更多的内存、建立的与数据库链接所占用的资源毫无疑问会面临“断开”的风险。。。

于是乎,我们巧妙的想到了第二种方法,即很多人诟病的“$查询”,在下面大家会看到“曾经被别人讨厌的东西,如今看来却起到了很大的作用!”

(2)调整后的源代码如下所示:

    @Test
public void method4() throws Exception{
//待批量查询的 列元素 列表
List<Integer> list=userMapper.selectAllIds();

//利用mybatis $ 静态取值的特性,将其转化为 元素拼接的String 常量值
List<User> users=userMapper.selectByStrIds(Joiner.on(",").join(list));
log.info("--获取查询结果列表:{}",users);
}

我们在这里利用的正是 $ 静态特性,将查询出来的大批数据量的 列元素 列表转化为 String常量值,塞到数据库Mybatis查询时直接静态获取、复制即可,而不需要 For Each 遍历、赋值、拼接再  IN 查询了,其源代码如下所示:  

  <select id="selectByStrIds" resultType="com.debug.springboot.model.entity.User">
SELECT <include refid="Base_Column_List"/>
FROM user
WHERE id IN (${ids})
</select>

点击运行,会发现,一点毛事都木有了,而且运行得出的结果还很快(各位小伙伴可以将数据量提升到 百万 级别然后进行自测试试!)


好了,本篇文章我们就介绍到这里了,在数据量过大的情况下,建议各位小伙伴采用这种方式进行实现!  其他相关的技术,感兴趣的小伙伴可以关注底部Debug的技术公众号,或者加Debug的微信,拉你进“微信版”的真正技术交流群!一起学习、共同成长!  


补充:

1、本文涉及到的相关的源代码可以到此地址,check出来进行查看学习:

https://gitee.com/steadyjack/SpringBootTechnology

2、目前Debug已将本文所涉及的内容整理录制成视频教程,感兴趣的小伙伴可以前往观看学习:

https://www.fightjava.com/web/index/course/detail/5

3、关注一下Debug的技术微信公众号,最新的技术文章、技术课程以及技术专栏将会第一时间在公众号发布哦!