SpringBoot2에 ClickHouse 데이터베이스를 통합하는 방법

1. ClickHouse 소개

1. 기본 소개

ClickHouse는 Yandex의 오픈 소스 데이터베이스로, 특히 시계열 스트리밍 데이터 처리 또는 일괄 데이터 저장에 적합합니다. ClickHouse는 범용 데이터베이스로 활용되어서는 안 되며, 대용량 데이터의 신속한 질의를 위한 초고성능 분산 실시간 처리 플랫폼으로 활용되어야 합니다. GROUP BY 등의 데이터 요약 질의 측면에서 ClickHouse의 질의 속도는 매우 빠릅니다.

2. 데이터 분석 기능

• OLAP 시나리오 특성

· 大多数是读请求
· 数据总是以相当大的批(> 1000 rows)进行写入
· 不修改已添加的数据
· 每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
· 宽表，即每个表包含着大量的列
· 较少的查询(通常每台服务器每秒数百个查询或更少)
· 对于简单查询，允许延迟大约50毫秒
· 列中的数据相对较小： 数字和短字符串(例如，每个URL 60个字节)
· 处理单个查询时需要高吞吐量（每个服务器每秒高达数十亿行）
· 事务不是必须的
· 对数据一致性要求低
· 每一个查询除了一个大表外都很小
· 查询结果明显小于源数据，换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中

• 열 데이터 저장

(1), 행 데이터

(2), 열 형식 데이터

(3 ), 비교 분석

분석 쿼리는 일반적으로 테이블 열의 작은 부분만 읽어야 합니다. 컬럼형 데이터베이스에서는 필요한 데이터만 읽을 수 있습니다. 데이터는 항상 일괄 읽기로 압축되므로 압축이 매우 쉽습니다. 동시에 데이터는 열에 별도로 저장되므로 압축하기가 더 쉽습니다. 이렇게 하면 I/O 크기가 더욱 줄어듭니다. 이렇게 하면 I/O 감소로 인해 시스템에서 더 많은 데이터를 캐시하는 데 도움이 됩니다.

2. SpringBoot 프레임워크 통합

이 사례는 Druid 연결 풀 및 mybatis 통합을 기반으로 합니다. SQL 파서 Druid 버전 1.1.10은 이제 ClickHouse를 지원합니다.

1. 핵심 종속성

<dependency>
    <groupId>ru.yandex.clickhouse</groupId>
    <artifactId>clickhouse-jdbc</artifactId>
    <version>0.1.53</version>
</dependency>

2. 첨부된 데이터 소스

spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    click:
      driverClassName: ru.yandex.clickhouse.ClickHouseDriver
      url: jdbc:clickhouse://127.0.0.1:8123/default
      initialSize: 10
      maxActive: 100
      minIdle: 10
      maxWait: 6000

3. Druid 연결 풀 구성

@Configuration
public class DruidConfig {
    @Resource
    private JdbcParamConfig jdbcParamConfig ;
    @Bean
    public DataSource dataSource() {
        DruidDataSource datasource = new DruidDataSource();
        datasource.setUrl(jdbcParamConfig.getUrl());
        datasource.setDriverClassName(jdbcParamConfig.getDriverClassName());
        datasource.setInitialSize(jdbcParamConfig.getInitialSize());
        datasource.setMinIdle(jdbcParamConfig.getMinIdle());
        datasource.setMaxActive(jdbcParamConfig.getMaxActive());
        datasource.setMaxWait(jdbcParamConfig.getMaxWait());
        return datasource;
    }
}

4. 이로써 통합 코드가 완성됩니다.

3. 작동 사례 시연

1. Mapper 인터페이스

@Component
@ConfigurationProperties(prefix = "spring.datasource.click")
public class JdbcParamConfig {
    private String driverClassName ;
    private String url ;
    private Integer initialSize ;
    private Integer maxActive ;
    private Integer minIdle ;
    private Integer maxWait ;
    // 省略 GET 和 SET
}

여기에 세 가지 간단한 인터페이스가 시연되어 있습니다.

2. Mapper.xml 파일

public interface UserInfoMapper {
    // 写入数据
    void saveData (UserInfo userInfo) ;
    // ID 查询
    UserInfo selectById (@Param("id") Integer id) ;
    // 查询全部
    List<UserInfo> selectList () ;
}

여기서 create_day는 문자열 형태로 변환되어 있으니 주의하셔야 합니다.

3. 제어 레이어 인터페이스

<mapper namespace="com.click.house.mapper.UserInfoMapper">
    <resultMap id="BaseResultMap" type="com.click.house.entity.UserInfo">
        <id column="id" jdbcType="INTEGER" property="id" />
        <result column="user_name" jdbcType="VARCHAR" property="userName" />
        <result column="pass_word" jdbcType="VARCHAR" property="passWord" />
        <result column="phone" jdbcType="VARCHAR" property="phone" />
        <result column="email" jdbcType="VARCHAR" property="email" />
        <result column="create_day" jdbcType="VARCHAR" property="createDay" />
    </resultMap>
    <sql id="Base_Column_List">
        id,user_name,pass_word,phone,email,create_day
    </sql>
    <insert id="saveData" parameterType="com.click.house.entity.UserInfo" >
        INSERT INTO cs_user_info
        (id,user_name,pass_word,phone,email,create_day)
        VALUES
        (#{id,jdbcType=INTEGER},#{userName,jdbcType=VARCHAR},#{passWord,jdbcType=VARCHAR},
        #{phone,jdbcType=VARCHAR},#{email,jdbcType=VARCHAR},#{createDay,jdbcType=VARCHAR})
    </insert>
    <select id="selectById" parameterType="java.lang.Integer" resultMap="BaseResultMap">
        select
        <include refid="Base_Column_List" />
        from cs_user_info
        where id = #{id,jdbcType=INTEGER}
    </select>
    <select id="selectList" resultMap="BaseResultMap" >
        select
        <include refid="Base_Column_List" />
        from cs_user_info
    </select>
</mapper>

위 내용은 SpringBoot2에 ClickHouse 데이터베이스를 통합하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!