1. JDBC 구현 계획
for 루프를 사용하여 데이터를 하나씩 삽입합니다. user(name,pwd) 값('aa','123'),('cc '에 삽입하는 것과 유사합니다. ,'123')...
첫 번째 해결 방법은 for 문 루프를 사용하여 다음을 삽입하는 것입니다.
이 솔루션의 장점은 JDBC의 ReadyStatement에 사전 컴파일 기능이 있으며 사전 컴파일 후에 캐시된다는 점입니다. -편집. 이후에는 SQL 실행이 더 빨라지고 JDBC에서는 일괄 처리 실행이 매우 강력해집니다.
단점은 SQL 서버와 애플리케이션 서버가 동일하지 않을 수 있으므로 네트워크 IO를 고려해야 한다는 것입니다. 네트워크 IO에 시간이 많이 걸리는 경우 SQL 실행 속도가 느려질 수 있습니다.
두 번째 옵션은 삽입을 위한 SQL을 생성하는 것입니다.
이 옵션의 장점은 네트워크 IO가 하나만 있다는 것입니다. 샤딩조차도 소수의 네트워크 IO에 불과하므로 이 솔루션은 네트워크 IO에 너무 많은 시간을 소비하지 않습니다.
물론 이 솔루션에도 단점이 있습니다. 첫째, SQL이 너무 길어서 샤딩 후 일괄 처리가 필요할 수도 있습니다. 둘째, ReadyStatement 사전 컴파일의 장점을 완전히 활용할 수 없으며, SQL을 다시 구문 분석해야 하며, 셋째, 최종 생성된 SQL을 재사용할 수 없습니다. 너무 길어서 데이터베이스 관리자가 이를 구문 분석해야 합니다. 이렇게 긴 SQL에도 시간이 걸립니다.
다음에는 두 번째 솔루션을 사용하여 구현하겠습니다.
2. 구체적인 구현 아이디어
삽입 효율성을 높이려면 하나씩 삽입할 수 없습니다. 일괄 삽입에는 foreach를 사용해야 합니다.
성능을 향상하려면 멀티스레딩을 사용하세요. 한 번에 여러 개의 삽입 작업을 제출하는 것은 불가능합니다. 많은 수의 삽입 작업은 시간이 많이 걸리며 이를 달성하기 위해 타이밍 작업을 사용할 수 있습니다.
다음으로 이를 구현하기 위해 코드를 사용하는 방법에 대해 이야기해 보겠습니다.
3. 코드 구현
이 사례는 주로 mybatis를 통합한 SpringBoot를 기반으로 구현되었습니다.
1. 종속성 가져오기
<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.4.RELEASE</version> </parent> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.48</version> </dependency> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.1.0</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> </dependency> </dependencies>
2. 시작 클래스 생성
@SpringBootApplication //引导类核心注解 @EnableScheduling //开启定时任务 public class BatchApplication { public static void main(String[] args) { SpringApplication.run(BatchApplication.class,args); } }
3. 구성 파일 application.yml
server: port: 9999 # 指定端口号 spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://localhost:3306/springboot?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC username: root password: 123 mybatis: mapper-locations: classpath:mybatis/*.xml #指定mapper映射文件路径 type-aliases-package: com.qfedu.model # 别名
4. 테이블 및 엔터티 클래스 생성:
CREATE TABLE `user` (
`id` INT(11) NOT NULL AUTO_INCREMENT,
`username` VARCHAR(30) DEFAULT NULL,
`pwd` VARCHAR(20) DEFAULT NULL,
`sex` INT(11) DEFAULT NULL,
`birthday` DATETIME DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8
참고: MyISAM 효율성은 INNODB보다 빠르게 증가합니다. User.java
@Data public class User { private int id; private String username; private String pwd; private int sex; private LocalDate birthday; }5. 지속성 레이어 매퍼 및 매핑 파일
UserMapper.java
@Mapper
public interface UserMapper {
void insertBatch(@Param("userList") List<User> userList);
}
UserMapper.xml
<?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.qfedu.mapper.UserMapper"> <insert id="addList" parameterType="User" > insert into user (username,pwd,sex,birthday) values <foreach collection="list" item="item" separator=","> (#{item.username}, #{item.pwd}, #{item.sex}, #{item.birthday}) </foreach> </insert> </mapper>6.SpringBoot가 통합됩니다. 기본적으로 예약됨 , 사용 단계는 다음과 같습니다.
부팅 클래스에 @EnableScheduling 주석을 추가하여 예약된 작업을 활성화합니다.
비즈니스 계층 메서드에 @Scheduled 주석을 추가하여 cron 표현식의 주기적 실행을 정의합니다.
비즈니스 계층 방식으로 시작된 스레드는 현재 시스템 구성에 따라 수정될 수 있습니다. 여기서는 7개의 스레드를 열었고 각 스레드는 20개의 루프를 실행하고 한 번에 5,000개의 데이터를 추가합니다. mybatis 배치 삽입 시 오류가 10,000개를 초과하지 않는 것이 좋습니다. 데이터의 양이 너무 많기 때문에 스택 메모리 오버플로가 발생하기 쉽습니다.8. 스레드 풀 구성스레드 풀 매개변수:@Component public class UserServiceImpl { @Autowired private UserMapper userMapper; @Autowired //线程池 private ThreadPoolExecutor executor; @Scheduled(cron = "0/20 * * * * ?") //每隔20秒执行一次 public void addList(){ System.out.println("定时器被触发"); long start = System.currentTimeMillis(); for (int i = 0; i < 7; i++) { Thread thread = new Thread(() -> { try { for (int j = 0; j < 20; j++) { userMapper.addList(UserUtil.getUsers(5000)); } } catch (Exception e) { e.printStackTrace(); } }); try { executor.execute(thread); } catch (Exception e) { System.out.println(e.getMessage()); } } } }7.객체 생성 유틸리티
실제 사업 개발 시 엑셀에서 가져올 데이터 생성을 시뮬레이션하는 데 사용합니다.
public class UserUtil { private static Random random = new Random(); public static List<User> getUsers(int num){ List<User> users = new ArrayList<>(); for (int i = 0;i<num;i++){ User user = new User(); user.setBirthday(LocalDate.now()); user.setSex(random.nextInt(2)); user.setPwd("123"+random.nextInt(100000)); user.setUsername("batch"+random.nextInt(num)); users.add(user); } return users; } }
corePoolSize 코어 스레드 수, 스레드 풀에서 보장되는 최소 스레드 수
mainumPoolSize 최대 스레드 수,
keepAliveTime은 스레드가 유휴 상태일 때 스레드를 재활용하는 데 걸리는 시간을 보장합니다.
단위는 시간 단위인 keepAliveTime과 함께 사용됩니다. , 작업이 실행되기 전에 작업을 저장하는 데 사용됩니다.@Configuration public class ThreadPoolExecutorConfig { @Bean public ThreadPoolExecutor threadPoolExecutor() { //线程池中6个线程,最大8个线程,用于缓存任务的阻塞队列数5个 ThreadPoolExecutor executor = new ThreadPoolExecutor(6, 8, 5, TimeUnit.SECONDS, new ArrayBlockingQueue<>(100)); executor.allowCoreThreadTimeOut(true);//允许超时 return executor; } }9. 완전한 프로젝트 구조
10. 테스트
위 내용은 springboot+mybatis를 사용하여 대량의 데이터를 빠르게 삽입하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

이 기사에서는 Java 프로젝트 관리, 구축 자동화 및 종속성 해상도에 Maven 및 Gradle을 사용하여 접근 방식과 최적화 전략을 비교합니다.

이 기사에서는 Maven 및 Gradle과 같은 도구를 사용하여 적절한 버전 및 종속성 관리로 사용자 정의 Java 라이브러리 (JAR Files)를 작성하고 사용하는 것에 대해 설명합니다.

이 기사는 카페인 및 구아바 캐시를 사용하여 자바에서 다단계 캐싱을 구현하여 응용 프로그램 성능을 향상시키는 것에 대해 설명합니다. 구성 및 퇴거 정책 관리 Best Pra와 함께 설정, 통합 및 성능 이점을 다룹니다.

이 기사는 캐싱 및 게으른 하중과 같은 고급 기능을 사용하여 객체 관계 매핑에 JPA를 사용하는 것에 대해 설명합니다. 잠재적 인 함정을 강조하면서 성능을 최적화하기위한 설정, 엔티티 매핑 및 모범 사례를 다룹니다. [159 문자]

Java의 클래스 로딩에는 부트 스트랩, 확장 및 응용 프로그램 클래스 로더가있는 계층 적 시스템을 사용하여 클래스로드, 링크 및 초기화 클래스가 포함됩니다. 학부모 위임 모델은 핵심 클래스가 먼저로드되어 사용자 정의 클래스 LOA에 영향을 미치도록합니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

ZendStudio 13.5.1 맥
강력한 PHP 통합 개발 환경
