PHPプログラムの最適化についてアドバイスをお願いします。実行速度が遅すぎます。

この投稿は、zhuzhaodan によって 2013-06-12 18:06:26 に最終編集されました

4 レベルのシソーラスには 4000 語の txt ファイルがあり、形式は次のとおりです
アクセント n、アクセント
許容されます。 a. 許容できる、望ましい
受け入れ、承認
接近、通路
付属品
偶然
現在英語と中国語を分けてmySQLデータベースに挿入するコードは以下の通りです

<?phpheader("Content-type: text/html; charset=utf-8");$file = dirname(__FILE__)."/siji.txt";  //四级词库文件if(!file_exists($file)){	echo 'Not exist';}else {	$a = array();//存放英汉对照对儿的数组	$lines = file($file);//读取txt到数组，一行为一个英汉对照对	foreach ($lines as $k=>$v){		if(preg_match('/[a-zA-Z]/',$v))//有的行是标题之类的，不是英汉对照，判断后不加到数组a里面			$a[$k] = trim($v);//因为有换行符，去掉	}	$b = array();//2维数组，$b[n][0]为英文，$b[n][1]为释义	foreach($a as $k=>$v){//把a数组的英汉分离，填充到b数组的第二维内		preg_match('/([a-zA-Z]*)\s(.*)/',$v,$matches);//正则英汉分离，matches[1]是英文，matches[2]是释义中文		$b[$k][0] = $matches[1];		$b[$k][1] = $matches[2];	}	$dsn = 'mysql:host=localhost;dbname=test1';	$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));	foreach($b as $k=>$v){//插入数据库		$db->exec("INSERT INTO siji (en,cn) VALUES ('$v[0]','$v[1]')");//数据库3个字段，id，en是英文，cn是中文	}		}

プログラムの実行時間は2分程度なので、通常の部分はあまり最適化できていない気がします。データベースへの挿入に時間がかかりすぎます。方法があれば、お気軽に教えてください。最終的な最適化後、120 秒以内に完了することを願っています。レベル 4 の語彙ライブラリには、合計 4000 組のフレーズしかありません。120 秒は長すぎます。

最終レンダリング:


専門家、私は比較的初心者なので、このプログラムはコードと全体的な考え方の両方でゆっくりと実行されます。特にデータベースとアレイに関する最適化に関する提案、またはより良い方法があるかどうかを尋ねたいと考えています。ここで100ポイントです、ありがとう！


ディスカッションに返信（解決策）

要件を満たしていない可能性がありますが、あなたの考えよりも確実に速いです

意見を聞かせてください、

どれだけ効率的かわかりません、

いいえ配列またはループが必要です。
まず file_get_contents を使用してファイルを文字列に読み込みます。
次に preg_replace が文字列全体をマルチステートメント SQL に直接フォーマットします。
それからそれを 1 回実行します。

メモリテーブルは一度にデータベースに書き込まれます

1. #1 と同様に内容を挿入 SQL ステートメントにフォーマットし、*.sql として保存します

2. mysql を直接使用して上記の *.sql、PHP をインポートしますexec を使用できます

メモリテーブルは一度にデータベースに書き込まれます

詳しく説明してください

Mysql には複数行の挿入ステートメントがあり、1 つの SQL ステートメントに 1 つの SQL ステートメントを組み込むよりもはるかに効率的です。

形式は次のとおりです:

insert into (...) 値 (...),(...),...
申し訳ありませんが、上記の insert には t がありません
export ステートメントの形式MySQL では複数行の挿入が使用されており、インポート速度は非常に高速です。通常、1 つのステートメントには 2000 行が含まれていますが、データ ファイル内の行が例の形式に準拠している場合は、次のことが可能です。 MySQLコマンドを直接使う

$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){  preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r);  if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));

要件を満たさないかもしれないが、あなたのものより確実に速い

LOAD DATA local INFILE '/路径/siji.txt' INTO TABLE siji  FIELDS TERMINATED BY ' ' (en, cn);

Prepared Statementのパラメータバインディングを使って考えてみた

$ar = array_map('trim', file('siji.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES ));foreach($ar as $v){  preg_match('/([a-zA-Z]*)\s(.*)/', $v, $r);  if(isset($r[2])) $b[] = "('$r[1]','$r[2]')";}$dsn = 'mysql:host=localhost;dbname=test1';$db = new PDO($dsn,'root','',array(PDO::MYSQL_ATTR_INIT_COMMAND => 'set names utf8'));$db->exec('INSERT INTO siji (en,cn) VALUES ' . join(',', $b));

元のコードと比較してみる

	$start = microtime(true);	$stmt = $db->prepare('INSERT INTO siji (en,cn) VALUES (:en,:cn)');	$stmt->bindParam(':en',$en);	$stmt->bindParam(':cn',$cn);	foreach($b as $k=>$v){//插入数据库		$en = $v[0];		$cn = $v[1];		$stmt->execute();//数据库3个字段，id，en是英文，cn是中文	}	echo microtime(true)-$start;//127秒

です実際には 11 秒遅くなります。これは、同じ種類のステートメントが SQL テンプレートにコンパイルされた後に速度が向上するという意味ではないでしょうか。なぜここで速度が低下するのでしょうか? ?奇妙すぎる！

パラメーター バインディングを使用する場合、データに実際に特殊文字が含まれていないという事実に関係なく、PDO::quote (特殊文字のエスケープ) は常に実行されます
追加の時間は PDO::quote の実行時間です

If常に単一の挿入を挿入するだけでは、「高速」で実行されません

実際には 11 秒遅くなります。これは、同じ種類のステートメントが SQL テンプレートにコンパイルされた後に速度が向上することを意味するのではないでしょうか。なぜここで落ちるのですか？ ?奇妙すぎる！
プリコンパイルの改善原則は、コンパイル自体の時間を節約することです。単純な挿入コンパイルには時間がかかると思いますか?

メモリテーブルをデータベースに一度に書き込む

MySQL にはまだ弱いと感じます SQLServer のような一括コピー機能はないようです
「メモリテーブル」具体的にどのように実装すればよいのでしょうか？詳細な説明を求めてください

1つのSQL文に接続して実行すると、はるかに高速になります