同一個專案有時會涉及到多個資料庫,也就是多重資料來源。多重資料來源又可分為兩種情況:
1)兩個或多個資料庫沒有相關性,各自獨立,其實這種可以作為兩個專案來開發。例如在遊戲開發中一個資料庫是平台資料庫,其它還有平台下的遊戲對應的資料庫;
2)兩個或多個資料庫是master-slave的關係,例如有mysql搭建一個master-master,其後來又帶有多個slave;或採用MHA搭建的master-slave複製;
目前我所知道的Spring 多資料來源的搭建大概有兩種方式,可以根據多資料來源的情況進行選擇。
1. 採用spring設定檔直接配置多個資料來源
例如針對兩個資料庫沒有相關性的情況,可以採用直接在spring的設定檔中配置多個資料來源,然後分別進行交易的配置,如下所示:
<context:component-scan base-package="net.aazj.service,net.aazj.aop" /> <context:component-scan base-package="net.aazj.aop" /> <!-- 引入属性文件 --> <context:property-placeholder location="classpath:config/db.properties" /> <!-- 配置数据源 --> <bean name="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc_url}" /> <property name="username" value="${jdbc_username}" /> <property name="password" value="${jdbc_password}" /> <!-- 初始化连接大小 --> <property name="initialSize" value="0" /> <!-- 连接池最大使用连接数量 --> <property name="maxActive" value="20" /> <!-- 连接池最大空闲 --> <property name="maxIdle" value="20" /> <!-- 连接池最小空闲 --> <property name="minIdle" value="0" /> <!-- 获取连接最大等待时间 --> <property name="maxWait" value="60000" /> </bean> <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean"> <property name="dataSource" ref="dataSource" /> <property name="configLocation" value="classpath:config/mybatis-config.xml" /> <property name="mapperLocations" value="classpath*:config/mappers/**/*.xml" /> </bean> <!-- Transaction manager for a single JDBC DataSource --> <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource" /> </bean> <!-- 使用annotation定义事务 --> <tx:annotation-driven transaction-manager="transactionManager" /> <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="net.aazj.mapper" /> <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/> </bean> <!-- Enables the use of the @AspectJ style of Spring AOP --> <aop:aspectj-autoproxy/>
第二個資料來源的設定
<bean name="dataSource_2" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc_url_2}" /> <property name="username" value="${jdbc_username_2}" /> <property name="password" value="${jdbc_password_2}" /> <!-- 初始化连接大小 --> <property name="initialSize" value="0" /> <!-- 连接池最大使用连接数量 --> <property name="maxActive" value="20" /> <!-- 连接池最大空闲 --> <property name="maxIdle" value="20" /> <!-- 连接池最小空闲 --> <property name="minIdle" value="0" /> <!-- 获取连接最大等待时间 --> <property name="maxWait" value="60000" /> </bean> <bean id="sqlSessionFactory_slave" class="org.mybatis.spring.SqlSessionFactoryBean"> <property name="dataSource" ref="dataSource_2" /> <property name="configLocation" value="classpath:config/mybatis-config-2.xml" /> <property name="mapperLocations" value="classpath*:config/mappers2/**/*.xml" /> </bean> <!-- Transaction manager for a single JDBC DataSource --> <bean id="transactionManager_2" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource_2" /> </bean> <!-- 使用annotation定义事务 --> <tx:annotation-driven transaction-manager="transactionManager_2" /> <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="net.aazj.mapper2" /> <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory_2"/> </bean>
如上所示,我們分別配置了兩個關鍵資料的配置-使用sqlSessionFactoryBeanName屬性,注入不同的sqlSessionFactory的名稱,這樣的話,就為不同的資料庫對應的mapper 介面注入了對應的sqlSessionFactory。
要注意的是,多個資料庫的這種配置是不支援分散式事務的,也就是同一個事務中,不能操作多個資料庫。這種配置方式的優點是很簡單,但是卻不靈 活。對於master-slave類型的多資料來源配置而言不太適應,master-slave性的多資料來源的配置,需要特別靈活,需要根據業務的類型進行 細緻的配置。例如一些耗時特別大的select語句,我們希望放到slave上執行,而對於update,delete等操作肯定是只能在master上執行的,另外對於一些實時性要求很高的select語句,我們也可能需要放到master上執行-例如一個場景是我去商城購買一件兵器, 購買操作的很定是master,同時購買完成之後,需要重新查詢出我所擁有的兵器和金幣,那麼這個查詢可能也需要防止master上執行,而不能放在slave上去執行,因為slave上可能有延時,我們可不希望玩家發現購買成功之後,在背包中卻找不到兵器的情況出現。
所以對於master-slave類型的多重資料來源的配置,需要根據業務來進行靈活的配置,哪些select可以放到slave上,哪些select不能放到slave上。所以上面的那種所資料來源的配置就不太適應了。
2. 基於AbstractRoutingDataSource 和AOP 的多數據源的配置
基本原理是,我們自己定義一個DataSource類ThreadLocalRountingDataSource,來繼承AbstractRoutingDataSource,然後在配置文件中向ThreadLocalRountingDataSource,來繼承AbstractRoutingDataSource,然後在透過配置文件中向ThreadLocalRountingDataSource AOP 來靈活配置,在哪些地方選擇 master 資料來源,哪些地方需要選擇slave資料來源。下面看程式碼實作:
1)先定義一個enum來表示不同的資料來源:
package net.aazj.enums; /** * 数据源的类别:master/slave */ public enum DataSources { MASTER, SLAVE }
2)透過TheadLocal 保存每個執行緒選擇哪個資料來源的標誌(keyrr):
2)透過TheadLocal 來保存每個執行緒選擇哪個資料來源的標誌(key):rereee
3)定義ThreadLocalRountingDataSource,繼承AbstractRoutingDataSource:
package net.aazj.util; import net.aazj.enums.DataSources; public class DataSourceTypeManager { private static final ThreadLocal<DataSources> dataSourceTypes = new ThreadLocal<DataSources>(){ @Override protected DataSources initialValue(){ return DataSources.MASTER; } }; public static DataSources get(){ return dataSourceTypes.get(); } public static void set(DataSources dataSourceType){ dataSourceTypes.set(dataSourceType); } public static void reset(){ dataSourceTypes.set(DataSources.MASTER0); } }
4)在配置文件中向ThreadLocalRountingDataSource 注入master 和slave 的數據源:
package net.aazj.util; import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource; public class ThreadLocalRountingDataSource extends AbstractRoutingDataSource { @Override protected Object determineCurrentLookupKey() { return DataSourceTypeManager.get(); } }
上面spring的配置文件中,我們針對master數據庫和slave資料庫分別定義了dataSourceMaster和dataSourceSlave兩個dataSource,然後注入到
5)使用Spring AOP 來指定dataSource 的key ,所以dataSource會根據key選擇dataSourceMaster 和dataSourceSlave:
<context:component-scan base-package="net.aazj.service,net.aazj.aop" /> <context:component-scan base-package="net.aazj.aop" /> <!-- 引入属性文件 --> <context:property-placeholder location="classpath:config/db.properties" /> <!-- 配置数据源Master --> <bean name="dataSourceMaster" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc_url}" /> <property name="username" value="${jdbc_username}" /> <property name="password" value="${jdbc_password}" /> <!-- 初始化连接大小 --> <property name="initialSize" value="0" /> <!-- 连接池最大使用连接数量 --> <property name="maxActive" value="20" /> <!-- 连接池最大空闲 --> <property name="maxIdle" value="20" /> <!-- 连接池最小空闲 --> <property name="minIdle" value="0" /> <!-- 获取连接最大等待时间 --> <property name="maxWait" value="60000" /> </bean> <!-- 配置数据源Slave --> <bean name="dataSourceSlave" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <property name="url" value="${jdbc_url_slave}" /> <property name="username" value="${jdbc_username_slave}" /> <property name="password" value="${jdbc_password_slave}" /> <!-- 初始化连接大小 --> <property name="initialSize" value="0" /> <!-- 连接池最大使用连接数量 --> <property name="maxActive" value="20" /> <!-- 连接池最大空闲 --> <property name="maxIdle" value="20" /> <!-- 连接池最小空闲 --> <property name="minIdle" value="0" /> <!-- 获取连接最大等待时间 --> <property name="maxWait" value="60000" /> </bean> <bean id="dataSource" class="net.aazj.util.ThreadLocalRountingDataSource"> <property name="defaultTargetDataSource" ref="dataSourceMaster" /> <property name="targetDataSources"> <map key-type="net.aazj.enums.DataSources"> <entry key="MASTER" value-ref="dataSourceMaster"/> <entry key="SLAVE" value-ref="dataSourceSlave"/> <!-- 这里还可以加多个dataSource --> </map> </property> </bean> <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean"> <property name="dataSource" ref="dataSource" /> <property name="configLocation" value="classpath:config/mybatis-config.xml" /> <property name="mapperLocations" value="classpath*:config/mappers/**/*.xml" /> </bean> <!-- Transaction manager for a single JDBC DataSource --> <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> <property name="dataSource" ref="dataSource" /> </bean> <!-- 使用annotation定义事务 --> <tx:annotation-driven transaction-manager="transactionManager" /> <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="net.aazj.mapper" /> <!-- <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/> --> </bean>
execution(public * net.aazj.service..*.getUser(..))") 中的方法被呼叫之前,呼叫DataSourceTypeManager.set(DataSources.SLAVE) 設定了key 的類型為DataSources.SLAVE,所以dataSource 會根據key=DataSources.SLAVE 選擇dataSourceSlave 這個dataSource。所以該方法對於的sql語句會在slave資料庫上執行。
我們可以不斷的擴充 DataSourceInterceptor 這個 Aspect,在中進行各種各樣的定義,來為某個service的某個方法指定合適的資料來源對應的dataSource。
這樣我們就可以使用 Spring AOP 的強大功能來,十分靈活進行配置了。
6)AbstractRoutingDataSource原理剖析
ThreadLocalRountingDataSource 继承了 AbstractRoutingDataSource, 实现其抽象方法 protected abstract Object determineCurrentLookupKey(); 从而实现对不同数据源的路由功能。我们从源码入手分析下其中原理:
public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean AbstractRoutingDataSource 实现了 InitializingBean 那么spring在初始化该bean时,会调用InitializingBean的接口 void afterPropertiesSet() throws Exception; 我们看下AbstractRoutingDataSource是如何实现这个接口的: @Override public void afterPropertiesSet() { if (this.targetDataSources == null) { throw new IllegalArgumentException("Property 'targetDataSources' is required"); } this.resolvedDataSources = new HashMap<Object, DataSource>(this.targetDataSources.size()); for (Map.Entry<Object, Object> entry : this.targetDataSources.entrySet()) { Object lookupKey = resolveSpecifiedLookupKey(entry.getKey()); DataSource dataSource = resolveSpecifiedDataSource(entry.getValue()); this.resolvedDataSources.put(lookupKey, dataSource); } if (this.defaultTargetDataSource != null) { this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource); } }
targetDataSources 是我们在xml配置文件中注入的 dataSourceMaster 和 dataSourceSlave. afterPropertiesSet方法就是使用注入的。
dataSourceMaster 和 dataSourceSlave来构造一个HashMap——resolvedDataSources。方便后面根据 key 从该map 中取得对应的dataSource。
我们在看下 AbstractDataSource 接口中的 Connection getConnection() throws SQLException; 是如何实现的:
@Override public Connection getConnection() throws SQLException { return determineTargetDataSource().getConnection(); }
关键在于 determineTargetDataSource(),根据方法名就可以看出,应该此处就决定了使用哪个 dataSource :
protected DataSource determineTargetDataSource() { Assert.notNull(this.resolvedDataSources, "DataSource router not initialized"); Object lookupKey = determineCurrentLookupKey(); DataSource dataSource = this.resolvedDataSources.get(lookupKey); if (dataSource == null && (this.lenientFallback || lookupKey == null)) { dataSource = this.resolvedDefaultDataSource; } if (dataSource == null) { throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]"); } return dataSource; }
Object lookupKey = determineCurrentLookupKey(); 该方法是我们实现的,在其中获取ThreadLocal中保存的 key 值。获得了key之后,在从afterPropertiesSet()中初始化好了的resolvedDataSources这个map中获得key对应的dataSource。而ThreadLocal中保存的 key 值 是通过AOP的方式在调用service中相关方法之前设置好的。OK,到此搞定!
3. 总结
从本文中我们可以体会到AOP的强大和灵活。
以上就是sping,mybatis 多数据源处理的资料整理,希望能帮助有需要的朋友
更多spring mybatis多数据源实例详解相关文章请关注PHP中文网!