关于使用 Lazy Collections 来提高 Laravel Excel 读取的性能详解（轻松支持百万数据）_网络技术

关于使用 Lazy Collections 来提高 Laravel Excel 读取的性能详解（轻松支持百万数据）

发布时间 - 2020-03-21 00:00:00 点击率：次

在 laravel 6 中添加了一种新类型的集合: lazy collections。如果需要处理非常大的数据集（数千或数百万行）而不会遇到内存限制，那么它们是非常棒的。

推荐：laravel教程

我最近的任务是在工作中的一个项目中重构 Excel 导出。问题是，由于数据集太大，Laravel 无法处理，导出无法再创建。数据库查询返回了大约 300,000 个结果！应用程序产生超时或一直内存不足。

一种天真的方法是增加超时时间或内存限制，并希望下次出现问题时，另一个人会处理这个问题。但这不是我的工作方式。我不喜欢创可贴。我喜欢具体的、长期的解决方案。

Laravel Excel 扩展包已经相当灵活。通过在使用 FromQuery-concerns 时使用「chunks」，它在减少数据库负载方面做得很好。然而，我们的导出仍然很难处理大数据集。

我和我的同事讨论过，我们是否应该完全重写这个特性：将导出推送到队列中，并在导出结束时向用户发送通知。然而，这个功能在这个应用程序中只是一个很小的东西。对我们来说，仅仅为了一个简单的导出而增加如此多的开销是没有意义的。

那天晚些时候，我有一个小小的「我发现了」的时刻，因为我记得 Laravel 中有 LazyCollections 这个东东。

我重新编写了导出：它现在使用 FromCollection-concern，而不是 FromQuery。我必须对 collection() 方法进行的惟一更改是将查询构建器链末尾的 get() 方法替换为 cursor()。

下面是我们导出功能的简化版本。 Request 对象通过构造函数传递，因此我们可以根据用户在 UI 中选择的内容对查询进行调整。

request = $request;
    }
    public function collection()
    {
        return User::query()
            ->when($this->request->get('include_subscribed'), function ($q) {
                return $q->where('is_subscribed', true);
            })
            ->cursor(); // ← 重要的一点
    }
}

我相信你在你的项目中遇到了内存问题。你增加了内存限制，希望问题已经解决了 (我自己已经做过无数次了)。

如果是在 Laravel 项目中，我希望，我可以让你重新查看该代码并使用 LazyCollections 重写。

修复这个问题非常有趣，所以我做了一个小小的基准测试：我们的导出现在可以轻松地导出数百万行，而不会遇到内存限制。太酷了！

# laravel # 构造函数 # Collection # 对象 # 数据库 # ui # 重构 # excel # 这个问题 # 重写 # 一个小小 # 数百万 # 应用程序 # 是在 # 很好 # 让你 # 在这个 # 很难

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：jQuery Validate 相关参数及常用的自定义验证规

下一篇：四网合一建站后，怎样优化网站以吸引更多学生和家长访问？

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：jQuery Validate 相关参数及常用的自定义验证规

下一篇：四网合一建站后，怎样优化网站以吸引更多学生和家长访问？