Node.js中JavaScript操作MySQL的常用方法整理_node.js
- WBOY原創
- 2016-05-16 15:12:392068瀏覽
一、建立資料庫連線：createConnection(Object)方法
此方法接受一個物件作為參數，該物件有四個常用的屬性host，user，password，database。與php中連結資料庫的參數相同。屬性列表如下：
- host: 連線資料庫所在的主機名稱. (預設: localhost)
- port: 連接埠. (預設: 3306)
- localAddress: 用於TCP連線的IP位址. (可選)
- socketPath: 連結到unix域的路徑。使用host和port時該參數會被忽略.
- user: MySQL使用者的使用者名稱.
- password: MySQL使用者的密碼.
- database: 連結到的資料庫名稱 (可選).
- charset: 連接的字元集. (預設: 'UTF8_GENERAL_CI'.設定此值要使用大寫!)
- timezone: 儲存本地時間的時區. (預設: 'local')
- stringifyObjects: 是否序列化物件. See issue #501. (預設: 'false')
- insecureAuth: 是否允許舊的驗證方法連線到資料庫執行個體. (預設: false)
- typeCast: 決定是否講column值轉換為本機JavaScript類型欄位值. (預設: true)
- queryFormat: 自訂的查詢語句格式化函數.
- supportBigNumbers: 資料庫處理大數字(長整數和含小數),時應該啟用 (預設: false).
- bigNumberStrings: 啟用 supportBigNumbers和bigNumberStrings 並強制這些數字以字串的方式傳回(預設: false).
- dateStrings: 強制日期類型(TIMESTAMP, DATETIME, DATE)以字串傳回，而不是一javascript Date物件回傳. (預設: false)
- debug: 是否開啟偵錯. (預設: false)
- multipleStatements: 是否允許在一個query中傳遞多個查詢語句. (Default: false)
- flags: 連結標誌.
也可以使用字串連接資料庫例如：
var connection = mysql.createConnection('mysql://user:pass@host/db?debug=true&charset=BIG5_CHINESE_CI&timezone=-0700');
二、結束資料庫連線end()和destroy()
end()接受一個回調函數，並且會在query結束之後才觸發，如果query出錯，仍然會終止鏈接，錯誤會傳遞到回調函數中處理。
destroy()立即終止資料庫連接，即使還有query沒有完成，之後的回呼函數也不會在觸發。
三、建立連接池 createPool(Object)
Object和createConnection參數相同。
可以監聽connection事件，並設定session值
pool.on('connection', function(connection) {
connection.query('SET SESSION auto_increment_increment=1')
});
connection.release()釋放連結到連接池。如果需要關閉連線並且刪除，則需要使用connection.destroy()
pool除了接受和connection相同的參數外，還接受幾個擴展的參數
createConnection: 用於建立連結的函數. (Default: mysql.createConnection)
waitForConnections: 決定當沒有連接池或鏈結數打到最大值時pool的行為. 為true時鏈結會被放入隊列中在可用是調用，為false時會立即返回error. (Default: true)
connectionLimit: 最大連接數. (Default: 10)
queueLimit: 連接池中連接請求的烈的最大長度，超過這個長度就會報錯，值為0時沒有限制. (Default: 0)
四、連接池群集
允許不同的host連結
// create
var poolCluster = mysql.createPoolCluster();
poolCluster.add(config); // anonymous group
poolCluster.add('MASTER', masterConfig);
poolCluster.add('SLAVE1', slave1Config);
poolCluster.add('SLAVE2', slave2Config);
// Target Group : ALL(anonymous, MASTER, SLAVE1-2), Selector : round-robin(default)
poolCluster.getConnection(function (err, connection) {});
// Target Group : MASTER, Selector : round-robin
poolCluster.getConnection('MASTER', function (err, connection) {});
// Target Group : SLAVE1-2, Selector : order
// If can't connect to SLAVE1, return SLAVE2. (remove SLAVE1 in the cluster)
poolCluster.on('remove', function (nodeId) {
console.log('REMOVED NODE : ' + nodeId); // nodeId = SLAVE1
});
poolCluster.getConnection('SLAVE*', 'ORDER', function (err, connection) {});
// of namespace : of(pattern, selector)
poolCluster.of('*').getConnection(function (err, connection) {});
var pool = poolCluster.of('SLAVE*', 'RANDOM');
pool.getConnection(function (err, connection) {});
pool.getConnection(function (err, connection) {});
// destroy
poolCluster.end();
連結集群的選用參數
canRetry: 值為true時，允許連線失敗時重試(Default: true)
removeNodeErrorCount: 當連線失敗時 errorCount 值會增加. 當errorCount 值大於 removeNodeErrorCount 將會從PoolCluster中刪除一個節點. (Default: 5)
- defaultSelector: 預設選擇器. (Default: RR)
- RR: 循環. (Round-Robin)
- RANDOM: 隨機函數選擇節點.
- ORDER: 無條件地選擇第一個可用節點.
五、切換使用者/改變連線狀態
Mysql允許在比斷開連線的情況下切換使用者
connection.changeUser({user : 'john'}, function(err) {
if (err) throw err;
});
参数
- user: 新的用户 (默认为早前的一个).
- password: 新用户的新密码 (默认为早前的一个).
- charset: 新字符集 (默认为早前的一个).
- database: 新数据库名称 (默认为早前的一个).
六、处理服务器连接断开
var db_config = {
host: 'localhost',
user: 'root',
password: '',
database: 'example'
};
var connection;
function handleDisconnect() {
connection = mysql.createConnection(db_config); // Recreate the connection, since
// the old one cannot be reused.
connection.connect(function(err) { // The server is either down
if(err) { // or restarting (takes a while sometimes).
console.log('error when connecting to db:', err);
setTimeout(handleDisconnect, 2000); // We introduce a delay before attempting to reconnect,
} // to avoid a hot loop, and to allow our node script to
}); // process asynchronous requests in the meantime.
// If you're also serving http, display a 503 error.
connection.on('error', function(err) {
console.log('db error', err);
if(err.code === 'PROTOCOL_CONNECTION_LOST') { // Connection to the MySQL server is usually
handleDisconnect(); // lost due to either server restart, or a
} else { // connnection idle timeout (the wait_timeout
throw err; // server variable configures this)
}
});
}
handleDisconnect();
七、转义查询值
为了避免SQL注入攻击，需要转义用户提交的数据。可以使用connection.escape() 或者 pool.escape()
例如：
var userId = 'some user provided value';
var sql = 'SELECT * FROM users WHERE id = ' + connection.escape(userId);
connection.query(sql, function(err, results) {
// ...
});
或者使用？作为占位符
connection.query('SELECT * FROM users WHERE id = ?', [userId], function(err, results) {
// ...
});
不同类型值的转换结果
Numbers 不变
Booleans 转换为字符串 'true' / 'false'
Date 对象转换为字符串 'YYYY-mm-dd HH:ii:ss'
Buffers 转换为是6进制字符串
Strings 不变
Arrays => ['a', 'b'] 转换为 'a', 'b'
嵌套数组 [['a', 'b'], ['c', 'd']] 转换为 ('a', 'b'), ('c', 'd')
Objects 转换为 key = 'val' pairs. 嵌套对象转换为字符串.
undefined / null ===> NULL
NaN / Infinity 不变. MySQL 不支持这些值, 除非有工具支持，否则插入这些值会引起错误.
转换实例：
var post = {id: 1, title: 'Hello MySQL'};
var query = connection.query('INSERT INTO posts SET ?', post, function(err, result) {
// Neat!
});
console.log(query.sql); // INSERT INTO posts SET `id` = 1, `title` = 'Hello MySQL'
或者手动转换
var query = "SELECT * FROM posts WHERE title=" + mysql.escape("Hello MySQL");
console.log(query); // SELECT * FROM posts WHERE title='Hello MySQL'
八、转换查询标识符
如果不能信任SQL标识符(数据库名、表名、列名)，可以使用转换方法mysql.escapeId(identifier)；
var sorter = 'date';
var query = 'SELECT * FROM posts ORDER BY ' + mysql.escapeId(sorter);
console.log(query); // SELECT * FROM posts ORDER BY `date`
支持转义多个
var sorter = 'date';
var query = 'SELECT * FROM posts ORDER BY ' + mysql.escapeId('posts.' + sorter);
console.log(query); // SELECT * FROM posts ORDER BY `posts`.`date`
可以使用??作为标识符的占位符
var userId = 1;
var columns = ['username', 'email'];
var query = connection.query('SELECT ?? FROM ?? WHERE id = ?', [columns, 'users', userId], function(err, results) {
// ...
});
console.log(query.sql); // SELECT `username`, `email` FROM `users` WHERE id = 1
九、准备查询
可以使用mysql.format来准备查询语句，该函数会自动的选择合适的方法转义参数。
var sql = "SELECT * FROM ?? WHERE ?? = ?";
var inserts = ['users', 'id', userId];
sql = mysql.format(sql, inserts);
10、自定义格式化函数
connection.config.queryFormat = function (query, values) {
if (!values) return query;
return query.replace(/\:(\w+)/g, function (txt, key) {
if (values.hasOwnProperty(key)) {
return this.escape(values[key]);
}
return txt;
}.bind(this));
};
connection.query("UPDATE posts SET title = :title", { title: "Hello MySQL" });
十、获取插入行的id
当使用自增主键时获取插入行id，如：
connection.query('INSERT INTO posts SET ?', {title: 'test'}, function(err, result) {
if (err) throw err;
console.log(result.insertId);
});
十一、流处理
有时你希望选择大量的行并且希望在数据到达时就处理他们，你就可以使用这个方法
var query = connection.query('SELECT * FROM posts');
query
.on('error', function(err) {
// Handle error, an 'end' event will be emitted after this as well
})
.on('fields', function(fields) {
// the field packets for the rows to follow
})
.on('result', function(row) {
// Pausing the connnection is useful if your processing involves I/O
connection.pause();
processRow(row, function() {
connection.resume();
});
})
.on('end', function() {
// all rows have been received
});
十二、混合查询语句（多语句查询）
因为混合查询容易被SQL注入攻击，默认是不允许的，可以使用var connection = mysql.createConnection({multipleStatements: true});开启该功能。
混合查询实例：
connection.query('SELECT 1; SELECT 2', function(err, results) {
if (err) throw err;
// `results` is an array with one element for every statement in the query:
console.log(results[0]); // [{1: 1}]
console.log(results[1]); // [{2: 2}]
});
同样可以使用流处理混合查询结果：
var query = connection.query('SELECT 1; SELECT 2');
query
.on('fields', function(fields, index) {
// the fields for the result rows that follow
})
.on('result', function(row, index) {
// index refers to the statement this result belongs to (starts at 0)
});
如果其中一个查询语句出错，Error对象会包含err.index指示错误语句的id，整个查询也会终止。
混合查询结果的流处理方式是做实验性的，不稳定。
十三、事务处理
connection级别的简单事务处理
connection.beginTransaction(function(err) {
if (err) { throw err; }
connection.query('INSERT INTO posts SET title=?', title, function(err, result) {
if (err) {
connection.rollback(function() {
throw err;
});
}
var log = 'Post ' + result.insertId + ' added';
connection.query('INSERT INTO log SET data=?', log, function(err, result) {
if (err) {
connection.rollback(function() {
throw err;
});
}
connection.commit(function(err) {
if (err) {
connection.rollback(function() {
throw err;
});
}
console.log('success!');
});
});
});
});
十四、错误处理
err.code = string err.fatal => boolean
PS：使用mysql模块时遇到的坑
之前写了个小程序Node News，用到了MySQL数据库，在本地测试均没神马问题。放上服务器运行一段时间后，偶然发现打开页面的时候页面一直处于等待状态，直到Nginx返回超时错误。于是上服务器检查了遍，发现程序仍然在运行，且能正确记录每次的请求，再修改代码跟踪调试，原来是在查询数据库的时候，回调一直没有被执行，程序就挂在那里了。
想了很久也想不明白为神马mysql模块没有执行回调，最后突然想起来去看了下错误日志，才发现有个“No reconnection after connection lost”错误没有被捕捉到，原来是连接丢失了，上github上看了下文档和issues，上面说到连接丢失后不会自动重新连接，会触发error事件。我赶紧给程序添加了断线后自动重连功能，现在已正常运行了10多天。
MySQL中有一个名叫wait_timeout的变量，表示操作超时时间，当连接超过一定时间没有活动后，会自动关闭该连接，这个值默认为28800（即8小时）。
自动重连数据库的代码：
function handleError (err) {
if (err) {
// 如果是连接断开，自动重新连接
if (err.code === 'PROTOCOL_CONNECTION_LOST') {
connect();
} else {
console.error(err.stack || err);
}
}
}
// 连接数据库
function connect () {
db = mysql.createConnection(config);
db.connect(handleError);
db.on('error', handleError);
}
var db;
connect();
网上流传的大多数使用mysql模块的代码，往往忽略了这个问题，一不小心就让一拨又一拨的人往坑里踩了。
有童鞋回复问使用pool又会怎样，于是去看了下mysql模块的源码：目前可在npm中安装到的最新版本为2.0.0-alpha7，使用mysql.createPool()来创建的pool没办法自动处理连接被关闭的问题，但是在github上的版本已经修复了（应该还没发布到npm上），当触发了connection的error事件时，会把该connection对象从连接池中移除。（源码：https://github.com/felixge/node-mysql/blob/master/lib/Pool.js#L119 ）
使用pool的代码：
var mysql = require('mysql');
var pool = mysql.createPool(config);
pool.getConnection(function(err, connection) {
// Use the connection
connection.query( 'SELECT something FROM sometable', function(err, rows) {
// And done with the connection.
connection.end();
// Don't use the connection here, it has been returned to the pool.
});
});