当前位置:首页 > 编程技术 > 正文内容

PHP导出数据超时的优化建议解读

yc8881年前 (2022-11-24)编程技术233

PHP导出数据超时的优化建议解读

本文为小伙伴们带来了关于PHP导出数据超时的优化建议解读,

一般情况下,导出超时可能都是以下三种情况:

  一、sql语句复杂,查询时间过长;

  二、处理查询后数据逻辑冗余;

  三、数据量过大导致响应超时;

接下来分别给出这三种情况的优化建议。

一、sql语句复杂,查询时间过长

  1、查看索引是否设置妥当,即所用的查询条件是否有添加索引,当然索引不是越多越好,只需给常用的查询条件加上即可,一般采用B+树的索引方式(具体原因可自行百度,不再赘述)

  2、在查询语句中尽量避免IN、NOT IN、IS NULL、OR、!=、<>、LIKE、OR、NOT EXISTS这些查询条件的出现,会导致索引失效。
- IN查询时,可以考虑用BETWEEN来代替

- LIKE查询时,仅当"%"在前时会索引失效,"%"在后是不会失效的

- 查询条件里还要避免数字的出现,使用字符串,数字也会导致索引失效,例如,查询:"pid"=1,可以优化为"pid"="1"

- 要尽量避免在循环中使用查询语句,这种情况一般可以用join或者with来解决(当涉及到跨库时,请谨慎使用这种方式!)

- 查询时,可以指定需要查询的字段,排除掉不需要的字段避免资源浪费

- 当数据量多大时,可以使用分页和缓存来优化(具体方法请参考数据量过大导致响应超时部分)

温馨提示:在执行查询语句后,可以通过show profiles来查询语句的资源消耗情况来帮助你更好的优化sql语句;关于查询语句是否使用了索引,可以在查询语句前加explain来查看索引使用情况,例如:

explain select * from user where id= '1';

二、处理查询后数据逻辑冗余

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
- 在做数组循环时,尽量使用continuebreak来减少没必要的循环;
 
- 尽量减少if嵌套层数,在需要用到多个if-else时,使用switch可以提高效率,特别是在数据量大时
- 当进行数组赋值时,
  一次赋一个值,使用$arr[]=1,会比array_push($arr,"1"),更快,
  但是当需要多次赋值时,
    array_push($arr,"1","2","3",...),会比
    $arr[]="1";
    $arr[]="2"
    $arr[]="3"
    ...
  更快
   
- 遍历数组进行赋值时,尽量使用引用的方式,减少内存开销,例如:
   
    foreach($arr as &$item){
      $item = 1;
      ...
    }

三、数据量过大导致响应超时

当数量两过大,又不想用异步的方式导出excel文件时,可以尝试使用csv来作为到处格式,且查询导出数据时可以使用分页的方式查询,导出时利用ob_flush进行缓存。例如:

?
1
2
3
4
5
6
7
8
9
10
11
$page = 1;    // 页面
$pageSize = 1000;    //每页条数
while(
  $list = Db::name("user")->page($page)->limit($pageSize)->select()
)
{
  foreach($list as &$item){
    // TODO 进行相应的逻辑处理
  }
  $page++;
}

当数据访问次数过多时,建议使用redis缓存一些固定数据,减少mysql查询次数。
当然,最好的方式还是使用异步的方式导出,建议使用python或者go语言搭建微服务来进行导出。


本站发布的内容若侵犯到您的权益,请邮件联系站长删除,我们将及时处理!


从您进入本站开始,已表示您已同意接受本站【免责声明】中的一切条款!


本站大部分下载资源收集于网络,不保证其完整性以及安全性,请下载后自行研究。


本站资源仅供学习和交流使用,版权归原作者所有,请勿商业运营、违法使用和传播!请在下载后24小时之内自觉删除。


若作商业用途,请购买正版,由于未及时购买和付费发生的侵权行为,使用者自行承担,概与本站无关。


本文链接:https://www.10zhan.com/biancheng/10087.html

标签: php
分享给朋友:

“PHP导出数据超时的优化建议解读” 的相关文章

【说站】laravel实现自定义404页面并给页面传值

【说站】laravel实现自定义404页面并给页面传值

以 laravel5.8 为例,虽然有自带的404页面,但太简单,我们更希望能自定义404页面,将用户留在站点。实现的方式很简单,将自定义的视图文件命名为 404.blade.php,并放到 reso...

【说站】用一句话就可以去除宝塔面板操作上的二次验证

【说站】用一句话就可以去除宝塔面板操作上的二次验证

用过宝塔的朋友应该都会发现,现在宝塔面板有些鸡肋的功能,删除文件、删除数据库、删除站点等操作都需要做计算题!不仅加了几秒的延时等待,还无法跳过!这时候就会有朋友在想,如何去除宝塔面板的二次验证,此篇文...

【说站】电脑安装MySQL时出现starting the server失败原因及解决方案

【说站】电脑安装MySQL时出现starting the server失败原因及解决方案

今天在安装MySQL时出现starting the server失败,经过查询分析得出以下结论,记录一下操作步骤。原因分析:如果电脑是第一次安装MySQL,一般不会出现这样的报错。如下图所示。star...

【说站】vagrant实现linux虚拟机的安装并配置网络

【说站】vagrant实现linux虚拟机的安装并配置网络

一、VirtualBox的下载和安装1、下载VirtualBox官网下载:https://www.virtualbox.org/wiki/Downloads我的电脑是Windows的,所以下载Wind...

【说站】Java从resources读取文件内容的方法有哪些

【说站】Java从resources读取文件内容的方法有哪些

本文主要介绍的是java读取resource目录下文件的方法,比如这是你的src目录的结构├── main│ ├── java│ │ └── ...

【说站】使用systemctl配置dnspod-shell实现ddns

【说站】使用systemctl配置dnspod-shell实现ddns

这个是毛子路由器上用的脚本,由于碳云的nat服务器公网IP不断的变,因此只好通过ddns来稳定连接nat服务器了。顺便水一篇文章,大家新年快乐。使用前需要将域名添加到 DNSPod 中,并添加一条A记...