没有预热，不叫高并发「限流算法第三把法器：令牌桶算法」- 第302篇

一、Warm Up缘起

1.1 现象

（1）DB重启后，瞬间死亡

一个高并发环境下的DB，进程死亡后进行重启。由于业务处在高峰期间，上游的负载均衡策略发生了重分配。刚刚启动的DB瞬间接受了1/3的流量，然后load疯狂飙升，直至再无响应。

原因就是：新启动的DB，各种Cache并没有准备完毕，系统状态与正常运行时截然不同。可能平常1/10的量，就能够把它带入死亡。

（2）服务重启后，访问异常

另外一个常见的问题是：我的一台服务器发生了问题，由于负载均衡的作用，剩下的机器立马承载了这些请求，运行的很好。当服务重新加入集群时，却发生了大量高耗时的请求，在请求量高的情况下，甚至大批大批的失败。

原因：

~ 服务启动后，jvm并未完全准备完毕，JIT未编译等。

~ 应用程序使用的各种资源未准备就绪。

~ 负载均衡发生了rebalance。

 

这两个问题，都是没有做好预热，那什么是预热呐。

 

1.2 Warm Up

Warm Up，即冷启动/预热的方式。当系统长期处于低水位的情况下，流量突然增加时，直接把系统拉升到高水位可能瞬间把系统压垮。通过”冷启动”，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。

 

       对于Warm Up可以通过令牌桶算法进行实现。

 

二、令牌桶算法

令牌桶算法，又称token bucket。同样为了理解该算法，我们来看一下该算法的示意图：

 

 

首先，我们有一个固定容量的桶，桶里存放着令牌（token）。桶一开始是空的，token以 一个固定的速率r往桶里填充，直到达到桶的容量，多余的令牌将会被丢弃。每当一个请求过来时，就会尝试从桶里移除一个令牌，如果没有令牌的话，请求无法通过。

 

三、令牌桶算法小栗子

3.1 简易例子

       我们看一个使用Java代码写的最简单的例子：

  1. public class TokenBucket {
  2.     public long timeStamp = System.currentTimeMillis(); // 当前时间
  3.     public long capacity; // 桶的容量
  4.     public long rate; // 令牌放入速度
  5.     public long tokens; // 当前令牌数量
  6.  
  7.     public boolean grant() {
  8.         long now = System.currentTimeMillis();
  9.         // 先添加令牌
  10.         tokens = Math.min(capacity, tokens + (now - timeStamp) * rate);
  11.         timeStamp = now;
  12.         if (tokens < 1) {
  13.             // 若不到1个令牌,则拒绝
  14.             return false;
  15.         } else {
  16.             // 还有令牌，领取令牌
  17.             tokens -= 1;
  18.             return true;
  19.         }
  20.     }
  21. }

说明：

（1）令牌发放：这里通过时间差来进行发送令牌。

（2）令牌领取：直接使用-1的方式。

（3）满了丢弃：使用Math.min取最小值，所以最大也就是初始设置的容量。

 

3.2 Google开源工具包Guava限流工具类RateLimiter

Google开源工具包Guava提供了限流工具类RateLimiter，该类基于令牌桶算法实现流量限制，使用十分方便，而且十分高效。

       添加依赖：

  1. <dependency>
  2.  
  3.          <groupId>com.google.guava</groupId>
  4.  
  5.          <artifactId>guava</artifactId>
  6.  
  7.          <!-- forjava -->
  8.  
  9.          <version>28.2-jre</version>
  10.  
  11.          <!-- or,for Android: -->
  12.  
  13.          <!--<version>28.2-android</version> -->
  14.  
  15. </dependency>

说明：对于23.0（包括23.0）版本之前java版本没有后缀-jre，框架提供者估计是为了能够更好的区分是给什么平台使用的吧 -jre（java）,-android（安卓应用程序开发）。

       编写代码：

 

  1. public class RateLimiterTest {
  2.     public static void main(String[] args) {
  3.  
  4.         RateLimiter limiter = RateLimiter.create(1);
  5.  
  6.         for (int i = 1; i <= 5; i++) {
  7.             double waitTime = limiter.acquire(i);
  8.             System.out.println("acq:"+i+" cutTime=" + new Date()+" waitTime:" + waitTime);
  9.         }
  10.     }
  11. }

       Run一下：

  1. acq:1 cutTime=Wed Feb 26 14:46:36 CST 2020waitTime:0.0
  2.  
  3. acq:2 cutTime=Wed Feb 26 14:46:37 CST 2020waitTime:0.980988
  4.  
  5. acq:3 cutTime=Wed Feb 26 14:46:39 CST 2020waitTime:1.992958
  6.  
  7. acq:4 cutTime=Wed Feb 26 14:46:42 CST 2020waitTime:2.998297
  8.  
  9. acq:5 cutTime=Wed Feb 26 14:46:46 CST 2020waitTime:3.996815

说明：

（1）通过RateLimiter.create(1);创建一个限流器，参数代表每秒生成的令牌数。令牌的管理RateLimiter类就轻松帮我们搞定了。

（2）limiter.acquire(i);来以阻塞的方式获取令牌，也可以通过tryAcquire(intpermits, long timeout, TimeUnit unit)来设置等待超时时间的方式获取令牌，如果超timeout为0，则代表非阻塞，获取不到立即返回。

 

四、悟纤小结

要记住几点：

（1）Warm Up（冷启动/预热）：通过”冷启动”，让通过的流量缓慢增加，在一定时间内逐渐增加到阈值上限，给冷系统一个预热的时间，避免冷系统被压垮。

（2）Warm Up相应的实现算法是令牌桶算法。

（3）令牌桶算法简单理解就是由一个桶，桶里有令牌，也就是token，要请求前先从桶里拿一下令牌，如果拿到领牌，则可以访问资源，如果拿不到令牌，则拒绝访问；另外就是会根据一定的速率往桶里放入令牌。


 

  1. 我就是我，是颜色不一样的烟火。
  2. 我就是我，是与众不同的小苹果。
    







    购买完整视频，请前往：http://www.mark-to-win.com/TeacherV2.html?id=287