从PostgreSQL等大型数据库中随机选择行,可能是一个性能密集型任务。本文探讨两种高效实现此目标的常用方法,并讨论其优缺点。
方法一:按随机值过滤
select * from table where random() < 0.01;
此方法随机对行进行排序,然后根据阈值进行过滤。但是,它需要进行全表扫描,对于大型数据集来说可能很慢。
方法二:按随机值排序并限制结果
select * from table order by random() limit 1000;
此方法随机对行进行排序,并选择前n行。它的性能优于第一种方法,但它有一个局限性:当行组中存在过多行时,它可能无法选择随机子集。
大型数据集的优化方案
对于具有大量行的表(例如您示例中的5亿行),以下方法提供了一种优化的解决方案:
WITH params AS ( SELECT 1 AS min_id, -- 最小ID(小于等于当前最小ID) 5100000 AS id_span -- 四舍五入。(max_id - min_id + buffer) ) SELECT * FROM ( SELECT p.min_id + trunc(random() * p.id_span)::integer AS id FROM params p , generate_series(1, 1100) g -- 1000 + buffer GROUP BY 1 -- 去除重复项 ) r JOIN big USING (id) LIMIT 1000; -- 去除多余项
此查询利用ID列上的索引进行高效检索。它在ID空间内生成一系列随机数,确保ID唯一,并将数据与主表连接以选择所需数量的行。
其他考虑因素
边界查询:
表ID列的空隙相对较少至关重要,以避免在随机数生成中需要大型缓冲区。
物化视图:
如果需要重复调用随机数据,考虑创建物化视图可以提高性能。
PostgreSQL 9.5 的 TABLESAMPLE SYSTEM:
PostgreSQL 9.5 中引入的这种优化技术允许快速采样指定百分比的行。
以上是如何从大型 PostgreSQL 表中高效地选择随机行?的详细内容。更多信息请关注PHP中文网其他相关文章!

本文讨论了使用MySQL的Alter Table语句修改表,包括添加/删除列,重命名表/列以及更改列数据类型。

文章讨论了为MySQL配置SSL/TLS加密,包括证书生成和验证。主要问题是使用自签名证书的安全含义。[角色计数:159]

文章讨论了流行的MySQL GUI工具,例如MySQL Workbench和PhpMyAdmin,比较了它们对初学者和高级用户的功能和适合性。[159个字符]

本文讨论了使用Drop Table语句在MySQL中放下表,并强调了预防措施和风险。它强调,没有备份,该动作是不可逆转的,详细介绍了恢复方法和潜在的生产环境危害。

文章讨论了使用准备好的语句,输入验证和强密码策略确保针对SQL注入和蛮力攻击的MySQL。(159个字符)

本文讨论了在PostgreSQL,MySQL和MongoDB等各个数据库中的JSON列上创建索引,以增强查询性能。它解释了索引特定的JSON路径的语法和好处,并列出了支持的数据库系统。


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

EditPlus 中文破解版
体积小,语法高亮,不支持代码提示功能

Dreamweaver CS6
视觉化网页开发工具

SublimeText3汉化版
中文版,非常好用

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。