在写一个将 discuzx 的 post 数据的 bbcode 转换成 html 的功能。
但是转换过程中,越到后面,越卡了。
本来想学学并发的,无奈不会啊。。。太菜了。
注释掉的是想要弄的。。。
求个解决方案。代码如下。
package main
import (
"database/sql"
"fmt"
"github.com/frustra/bbcode"
_ "github.com/go-sql-driver/mysql"
//"time"
//"runtime"
"strconv"
)
const (
XnFromPost = "bbs_post"
XnTopost = "bbs_post"
DxFromPost = "pre_forum_post"
)
type Hostinfo struct {
DBUser,
DBPassword,
DBname,
DBHost,
DBPort,
DBChar string
}
type post struct {
pid int
message string
}
var OldDB, NewDB *sql.DB
/**
设置数据库,并连接数据库
*/
func SetDB() (olddata, newdata *sql.DB) {
var localhost, remotehost Hostinfo
localhost = Hostinfo{
"root",
"123456",
"xiuno",
"",
"3306",
"utf8",
}
remotehost = Hostinfo{
"root",
"123456",
"gxvtc",
"",
"3306",
"utf8",
}
olddata, _ = connMysql(&localhost)
newdata, _ = connMysql(&remotehost)
return olddata, newdata
}
/**
连接数据库
*/
func connMysql(host *Hostinfo) (*sql.DB, error) {
//db, err := sql.Open("mysql", "root:123456@/"+dbs+"?charset=utf8")
if host.DBHost != "" {
host.DBHost = "tcp(" + host.DBHost + ":" + host.DBPort + ")"
fmt.Println(host.DBHost)
}
db, err := sql.Open("mysql", host.DBUser+":"+host.DBPassword+"@"+host.DBHost+"/"+host.DBname+"?charset="+host.DBChar)
return db, err
}
func main() {
OldDB, NewDB = SetDB()
defer OldDB.Close()
defer NewDB.Close()
updatePost()
}
func updatePost() {
const total = 100
//selectPost := "SELECT pid,message FROM " + XnFromPost + " ORDER BY pid ASC LIMIT 10"
selectPost := "SELECT pid,message FROM " + DxFromPost + " ORDER BY pid ASC "
/*
Data, err := OldDB.Query(selectPost)
if err != nil {
fmt.Println(err.Error())
}*/
fmt.Println(selectPost)
updatePost := "UPDATE " + XnTopost + " SET message = ? WHERE pid = ? limit 1"
fmt.Println(updatePost)
stmt, err := OldDB.Prepare(updatePost)
//insertPost := "INSERT INTO " + XnTopost + " (message,pid) VALUES (?,?)"
//fmt.Println(insertPost)
//stmt, err := OldDB.Prepare(insertPost)
if err != nil {
fmt.Println(err.Error())
}
//mypost := make(map[int]post)
i := 0
for {
tmpNum := i * total
i++
tmpSQL := selectPost + " LIMIT " + strconv.Itoa(tmpNum) + "," + strconv.Itoa(total)
fmt.Println(tmpSQL)
Data, err := NewDB.Query(tmpSQL)
//Data, err := NewDB.Query(tmpSQL)
if err != nil {
fmt.Println(err.Error())
}
tag := false
//使用并发的方式
for Data.Next() {
tag = true
var pid int
var msg string
Data.Scan(&pid, &msg)
fmt.Println(pid)
//bbcode转码html
compiler := bbcode.NewCompiler(true, true)
msg = compiler.Compile(msg)
//mypost[pid] = post{pid, msg}
_, err = stmt.Exec(msg, pid)
if err != nil {
fmt.Println("pid: ", pid, err.Error())
}
}
if tag == false {
fmt.Println("没有数据了...")
break
}
}
/*
//直接查找并更新
for Data.Next() {
var pid int
var msg string
Data.Scan(&pid, &msg)
//bbcode转码html
compiler := bbcode.NewCompiler(true, true)
msg = compiler.Compile(msg)
mypost[pid] = post{pid, msg}
//fmt.Println(mypost)
fmt.Println(pid)
_, err = stmt.Exec(msg, pid)
if err != nil {
fmt.Println("pid: ", pid, err.Error())
}
}
*/
/*
//使用并发的方式
for Data.Next() {
var pid int
var msg string
Data.Scan(&pid, &msg)
//bbcode转码html
compiler := bbcode.NewCompiler(true, true)
msg = compiler.Compile(msg)
mypost[pid] = post{pid, msg}
}
runtime.GOMAXPROCS(runtime.NumCPU())
c := make(chan post)
for _, v := range mypost {
go ShowMsg(c, v)
/*
go func() {
fmt.Println(v.pid)
c <- v.pid
}()
<-c
//time.Sleep(2 * time.Second)
//fmt.Println(v.pid)
}
for _, _ = range mypost {
fmt.Println(&c)
<-c
} */
}
func ShowMsg(c chan post, mypost post) {
//fmt.Println(mypost.pid)
c <- mypost
}
PHP中文网2017-04-17 13:57:14
由於我實在沒有耐心看完你的程式碼,而且很多東西都還要你自己去實踐, 這裡我簡單說一下我的方案, 希望能給你指明方向; 当然我也可能有理解错误,如果谁发现错误,请及时告知
.
先說明幾個比較重要的概念和前提知識:
golang的協程對應的是實際作業系統執行緒, routine之間是獨立的
使用go關鍵字呼叫了一個函數後, 只是新建了另外一個新的執行緒
指定了cpu number之後go才真正使用多核心cpu, goroutine才真正被並行調度;
使用無緩衝channel就像是握手,必須同時有寫有讀才能繼續執行
channel使用完畢之後需要進行關閉, 否則會有記憶體外洩
channel可以試用range進行讀取
好了, 上面比較枯燥, 下面是我按照我的程式碼開始跟你講解清楚你需要注意的問題:
/* 正确创建合适数量的goroutine */
#建议创建routine的方式类似这样, 根据CPU数量创建合适的线程
runtime.GOMAXPROCS(runtime.NumCPU())
for i:=0; i < runtime.NumCPU()+2; i++ {
go func(id int) {
fmt.Printf("new routine id(%d)\n", i)
}(i)
}
#你的创建方式是错误的, 根据你的数据数量创建等数量的线程, 每个线程只处理一个数据
for _, v := range mypost {
go ShowMsg(c, v)
}
好, 創建了合適的線程之後,我們開始分析這些線程的執行, 上面for循環的代碼所在的線程(routine)我們可以稱之為main routine, 因為它是第一個routine; go後面調用的匿名函數則並發執行了內部邏輯, main routine现在不知道哪个routine先执行完毕, 也就更不知道它们合适全部执行完毕
, 作為一個合格的程式設計師,必須考慮清楚他們之間的先後順序;
import "sync"
/* 正确管理routine的生命周期, 防止死锁 */
var barrier sync.WaitGroup /* 使用WaitGroup管理自己启动的多个线程 */
for i:=0; i < runtime.NumCPU()+2; i++ {
barrier.Add(1) /* 总数加1 */
go func(id int) {
fmt.Printf("new routine id(%d)\n", i)
barrier.Done() /* 总数减1 */
}(i)
}
go func() {
barrier.Wait() /* 等待上面的所有routine结束(总数变为0) */
#由于Wait会卡死, 为了不影响main routine的执行, 这里将它单独放在一个routine中
}()
OK了, 現在routine全部在掌握之中, 下面就可以考慮如何讓它們替我工作了!而我們要做的就是利用channel傳遞數據進去, 讓routine通過routine接收數據並並發處理.
#假想的任务: 多线程执行1到100得加法!
var barrier sync.WaitGroup /* 使用WaitGroup管理自己启动的多个线程 */
cin := make(chan int)
cout := make(chan int)
#因为cin无缓冲的(有缓冲也不可能容纳全部100个数据), 所以增加新的routine往其中写数据, 保证main routine不卡死, 可以调用起来后面的for循环, 消耗数据.
go func() {
for i:=1; i <= 100; i++ {
cin<-i
}
Close(cin)
}
for i:=0; i < runtime.NumCPU()+2; i++ {
barrier.Add(1) /* 总数加1 */
go func() {
sum := 0
# for循环, 每个routine处理cin中读取的多个(不是全部100个)数据处理
for x := range cin {
sum += x
}
cout<-sum
barrier.Done() /* 总数减1 */
}()
}
go func() {
#由于Wait会卡死, 为了不影响main routine,这里将它单独放在一个routine中.
barrier.Wait() /* 等待上面的所有routine结束(总数变为0) */
Close(cout) #全部运算routine都结束了, 再也不会写cout, 关闭channel
}()
var totalSum int := 0
for s := cout { #main routine读取各个routine的结果,做最终的统计
totalSum += s
}
fmt.Println(totalSum)
註: 以上程式碼並未嚴格測試, 只是為了說明我的方案, 呵呵好累. 給個辛苦分..
巴扎黑2017-04-17 13:57:14
先搞清楚 這個問題到底是討論 資料庫處理能力還是golang 如何利用多核心進行多重並發?
題主要解決的:越到後來越慢? 到底是慢在哪裡? mysql?還是你的go程式?
慢的是golang對CPU的使用(不可能)? 還是mysql硬碟IO?
基本上可以肯定是你的mysql硬碟IO卡了。