java线程池合理设置最大线程数和核心线程数方式

 更新时间:2021-12-28 16:29:40   作者:佚名   我要评论(0)

目录线程池合理设置最大线程数和核心线程数一开始是这么配置的后来网上查询线程池核心数配置最后我是这么配置的线程池核心线程数与最大线程数

线程池合理设置最大线程数和核心线程数

工作中有这样一个场景,需要处理千万级别的数据的一个算法,大部分是增删查的操作。这个时候就需要使用多线程去处理。

一开始是这么配置的

@Configuration
@EnableAsync(proxyTargetClass = true)//利用@EnableAsync注解开启异步任务支持
@ComponentScan({"com.ctfojt.auditbcarslogo.service"}) //必须加此注解扫描包
public class ThreadPoolConfig implements AsyncConfigurer {
    @Override
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(10);//核心线程大小
        taskExecutor.setMaxPoolSize(20);//最大线程大小
        taskExecutor.setQueueCapacity(500);//队列最大容量
        //当提交的任务个数大于QueueCapacity,就需要设置该参数,但spring提供的都不太满足业务场景,可以自定义一个,也可以注意不要超过QueueCapacity即可
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        taskExecutor.setAwaitTerminationSeconds(10);
        taskExecutor.setThreadNamePrefix("BCarLogo-Thread-");
        taskExecutor.initialize();
        return taskExecutor;
    }
}

这样配置效率很低,一天大概能处理30多万的数据。往后随着插入表的数据越来越多,处理速度也随之降低,跑个一两天之后,差不多能够处理10万多。完全满足不了需求。

后来网上查询线程池核心数配置

大部分都是这样的:

注:IO密集型(某大厂实践经验) 核心线程数 = CPU核数 / (1-阻塞系数)或着 CPU密集型:核心线程数 = CPU核数 + 1 IO密集型:核心线程数 = CPU核数 * 2

也尝试着这么配置,结果发现效率并不理想,提高不了多少。

最后我是这么配置的

结果效率大大提升,仅用不到一天的数据,就跑完了千万级的数据。

//获取当前机器的核数
public static final int cpuNum = Runtime.getRuntime().availableProcessors();
@Override
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(cpuNum);//核心线程大小
        taskExecutor.setMaxPoolSize(cpuNum * 2);//最大线程大小
        taskExecutor.setQueueCapacity(500);//队列最大容量
        //当提交的任务个数大于QueueCapacity,就需要设置该参数,但spring提供的都不太满足业务场景,可以自定义一个,也可以注意不要超过QueueCapacity即可
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        taskExecutor.setAwaitTerminationSeconds(60);
        taskExecutor.setThreadNamePrefix("BCarLogo-Thread-");
        taskExecutor.initialize();
        return taskExecutor;
    }

完美的解决了问题!

线程池核心线程数与最大线程数的区别

线程池策略

corePoolSize:核心线程数;maximunPoolSize:最大线程数

每当有新的任务到线程池时,

  • 第一步:先判断线程池中当前线程数量是否达到了corePoolSize,若未达到,则新建线程运行此任务,且任务结束后将该线程保留在线程池中,不做销毁处理,若当前线程数量已达到corePoolSize,则进入下一步;
  • 第二步:判断工作队列(workQueue)是否已满,未满则将新的任务提交到工作队列中,满了则进入下一步;
  • 第三步:判断线程池中的线程数量是否达到了maxumunPoolSize,如果未达到,则新建一个工作线程来执行这个任务,如果达到了则使用饱和策略来处理这个任务。注意: 在线程池中的线程数量超过corePoolSize时,每当有线程的空闲时间超过了keepAliveTime,这个线程就会被终止。直到线程池中线程的数量不大于corePoolSize为止。

(由第三步可知,在一般情况下,Java线程池中会长期保持corePoolSize个线程。)

饱和策略

当工作队列满且线程个数达到maximunPoolSize后所采取的策略

  • AbortPolicy:默认策略;新任务提交时直接抛出未检查的异常RejectedExecutionException,该异常可由调用者捕获。
  • CallerRunsPolicy:既不抛弃任务也不抛出异常,使用调用者所在线程运行新的任务。
  • DiscardPolicy:丢弃新的任务,且不抛出异常。
  • DiscardOldestPolicy:调用poll方法丢弃工作队列队头的任务,然后尝试提交新任务
  • 自定义策略:根据用户需要定制。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
  • JAVA 自定义线程池的最大线程数设置方法
  • Java线程数究竟设多少合理
  • Java线程池大小的设置方法实例
  • Java 自定义线程池和线程总数控制操作

相关文章

  • java线程池合理设置最大线程数和核心线程数方式

    java线程池合理设置最大线程数和核心线程数方式

    目录线程池合理设置最大线程数和核心线程数一开始是这么配置的后来网上查询线程池核心数配置最后我是这么配置的线程池核心线程数与最大线程数
    2021-12-28
  • QT编写地图实现在线轮廓图的示例代码

    QT编写地图实现在线轮廓图的示例代码

    目录一、前言二、功能特点三、体验地址四、效果图五、相关代码?一、前言 轮廓图也叫行政区划,这里的轮廓图是指百度地图的区域轮廓图,不是之
    2021-12-28
  • Python数据分析与处理(一)--北京高考分数线统计分析

    Python数据分析与处理(一)--北京高考分数线统计分析

    目录1.1 数据爬取1.2 最高分最低分统计1.3 一本二本理科差值统计1.4 2006—2019年近14年每科分数线的平均值统计前言: 为了帮助广大考生和家
    2021-12-28
  • 92折话费充值API接口,三网24小时到账

    92折话费充值API接口,三网24小时到账

    话费充值接口1、充值请求下单(post 表单提交)网关URL:https://router.wikeyun.cn/rest/Recharge/pushOrder 参数名类型必填参数说明store_id字符串是店铺IDmobile字符串是
    2021-12-28
  • .net6引入autofac框架

    .net6引入autofac框架

    引入NuGet 注册Autofac 在Program的var app = builder.Build();前加上这段代码 builder.Host.UseServiceProviderFactory(new AutofacSe
    2021-12-22
  • log4j2异步打印性能提升方式

    log4j2异步打印性能提升方式

    目录log4j2异步打印性能提升分析原因解决方案log4j2性能提升点理解为以下三点log4j2异步打印性能提升 压测结果发现,log4j升级成log4j2之后对
    2021-12-22
  • C语言之直接插入排序算法的方法

    C语言之直接插入排序算法的方法

    目录一、什么是直接插入排序二、代码讲解总结直接 插入排序 (Straight Insertion Sort)是一种最简单的排序方法,其基本操作是将一条记录插
    2021-12-22
  • C语言实现求解最小公倍数的算法示例

    C语言实现求解最小公倍数的算法示例

    目录题目描述问题分析方法一:穷举法方法二:定理法题目描述 求任意两个正整数的最小公倍数 问题分析 两个或多个整数公有的倍数叫做它们的公
    2021-12-22
  • .NET中IoC框架Autofac用法讲解

    .NET中IoC框架Autofac用法讲解

    1 前置阅读 在阅读本文章之前,你可以先阅读: 什么是依赖注入 2 简介 Autofac与C#语言的结合非常紧密,并学习它非常的简单,也是.NET
    2021-12-22
  • Vue lazyload图片懒加载实例详解

    Vue lazyload图片懒加载实例详解

    文档:https://github.com/hilongjw/vue-lazyload 1.安装 cnpm i vue-lazyload -S 或 npm i vue-lazyload -S 2.实例 导入配置等操作 src/
    2021-12-22

最新评论