首页 > 数据库> 文章详细

批量更新MySQL表

2019-10-28 20:13:54 阅读：219 来源： 互联网

我正在尝试使用c更新MySQL InnoDB表. 1亿行.查询耗时将近一个小时,这不是问题.

但是,我想将此更新分成较小的块,以便不阻止表访问.此更新不必是孤立的事务.

同时,就额外的开销而言,拆分更新不应太昂贵.

我考虑过使用以下方法在表中循环：

UPDATE TABLENAME SET NEWVAR=<expression> LIMIT batchsize, offset,

但是UPDATE在MySQL中没有偏移选项.

我知道我可以尝试更新在键上选择的数据范围以及LIMIT选项,但这对于该简单任务而言似乎相当复杂.

解决方法:

我完成了下面列出的过程.它可以工作,但是我不确定所有查询来识别连续范围是否有效.可以使用以下参数(示例)来调用它：

call chunkUpdate('SET var=0','someTable','theKey',500000);

基本上,第一个参数是update命令(例如,诸如“ set x = …”之类的东西),其后是mysql表名,其后是必须唯一的数字(整数)键,其后是要处理的块.密钥应具有合理性能的索引.可以删除以下代码中的“ n”变量和“ select”语句,仅用于调试.

delimiter //
CREATE PROCEDURE chunkUpdate (IN cmd VARCHAR(255), IN tab VARCHAR(255), IN ky VARCHAR(255),IN sz INT)
BEGIN
  SET @sqlgetmin = CONCAT("SELECT MIN(",ky,")-1 INTO @minkey FROM ",tab); 
  SET @sqlgetmax = CONCAT("SELECT MAX(",ky,") INTO @maxkey FROM ( SELECT ",ky," FROM ",tab," WHERE ",ky,">@minkey ORDER BY ",ky," LIMIT ",sz,") AS TMP"); 
  SET @sqlstatement = CONCAT("UPDATE ",tab," ",cmd," WHERE ",ky,">@minkey AND ",ky,"<=@maxkey");
  SET @n=1;

  PREPARE getmin from @sqlgetmin;
  PREPARE getmax from @sqlgetmax;
  PREPARE statement from @sqlstatement;

  EXECUTE getmin;

  REPEAT
    EXECUTE getmax; 
    SELECT cmd,@n AS step, @minkey AS min, @maxkey AS max;
    EXECUTE statement;
    set @minkey=@maxkey;
    set @n=@n+1;
  UNTIL @maxkey IS NULL
  END REPEAT; 
  select CONCAT(cmd, " EXECUTED IN ",@n," STEPS") AS MESSAGE;
END//

标签：locking,sql-update,mysql
来源： https://codeday.me/bug/20191028/1954972.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

批量更新MySQL表