php+mysql实现数据分批插入
上周需要将云端的数据有条件的录入到mysql中,最开始是使用遍历数据然后一条条的插入的笨方法,结果速度慢的要死,所以又随便写了个笨方法2.0,记录一下自己菜鸟的成长历程。同时这也是在博客园的第一篇文章,目的仅仅是单纯的记录一下自己的狗屎代码,因为我是菜鸟,哈哈。。。
比如说有10001条数据,每次插入1000条,分11次插入完成,代码如下:
<?php
$mysqli = new mysqli('localhost','root','123456','test');
if ($mysqli->connect_error) {
die('Connect Error (' . $mysqli->connect_errno . ') '
. $mysqli->connect_error);
}
/*
*@param $data array 要插入的数据
*@param $each int 每次插入的条数
*/
function batchInsert($data,$each){
$num = count($data); // 数据总数
$step = ceil( $num/$each); // insert执行总次数
$j = 1;
$s = $step;
foreach ($data as $val){ // 目前仅仅是起到循环作用
if($j > $step) break;
$arr2 = array_slice($data, ($step - $s) * $each, $each); // 每次取100条
$sql = "insert into batch VALUES ";
foreach($arr2 as $v){
$exist = $GLOBALS['mysqli']->query("select * from batch where number = '$v' limit 1 "); // 检查要插入的数据是否已存在
$row = $exist->fetch_array(MYSQLI_ASSOC);
if(empty($row)){
$sql .= "(null,$v,now()),"; // 将sql语句拼接起来
}
}
$sql = rtrim($sql, ',');
$result = $GLOBALS['mysqli']->query($sql);
echo $sql,'<br>';
46 47 $j++;
$s--;
}
return $result;
}
// 先测试简单的数字插入
for ($i = 1;$i <= 505;++$i){
$arr[$i] = $i;
}
var_dump(batchInsert($arr,100));
?>
测试505条数据,每次插入100条,分6次插入完成。