MySQL从600K行中快速select10个随机行

我怎样才能最好地写一个从总共600k中随机select10行的查询？

Answer 1

一个伟大的职位处理几个案例，从简单到差距，到差距不一致。

http://jan.kneschke.de/projects/mysql/order-by-rand/

对于大多数一般情况下，这是你如何做到这一点：

SELECT name FROM random AS r1 JOIN (SELECT CEIL(RAND() * (SELECT MAX(id) FROM random)) AS id) AS r2 WHERE r1.id >= r2.id ORDER BY r1.id ASC LIMIT 1 

这假设ID的分配是相等的，并且ID列表中可能有空位。 请参阅文章以获取更多高级示例

Answer 2

 SELECT column FROM table ORDER BY RAND() LIMIT 10 

Answer 3

它非常简单和单行查询。

 SELECT * FROM Table_Name ORDER BY RAND() LIMIT 0,10; 

Answer 4

我得到快速查询 （约0.5秒）与一个缓慢的CPU ，select10个随机行在400K注册MySQL数据库非caching2GB大小。 在这里看到我的代码： 在MySQL中快速select随机行

 <?php $time= microtime_float(); $sql='SELECT COUNT(*) FROM pages'; $rquery= BD_Ejecutar($sql); list($num_records)=mysql_fetch_row($rquery); mysql_free_result($rquery); $sql="SELECT id FROM pages WHERE RAND()*$num_records<20 ORDER BY RAND() LIMIT 0,10"; $rquery= BD_Ejecutar($sql); while(list($id)=mysql_fetch_row($rquery)){ if($id_in) $id_in.=",$id"; else $id_in="$id"; } mysql_free_result($rquery); $sql="SELECT id,url FROM pages WHERE id IN($id_in)"; $rquery= BD_Ejecutar($sql); while(list($id,$url)=mysql_fetch_row($rquery)){ logger("$id, $url",1); } mysql_free_result($rquery); $time= microtime_float()-$time; logger("num_records=$num_records",1); logger("$id_in",1); logger("Time elapsed: <b>$time segundos</b>",1); ?> 

Answer 5

从书籍：

使用偏移量select一个随机行

另一种避免上述替代scheme中发现的问题的技术是对数据集中的行进行计数并返回一个介于0和计数之间的随机数。 然后在查询数据集时使用这个数字作为偏移量

 <?php $rand = "SELECT ROUND(RAND() * (SELECT COUNT(*) FROM Bugs))"; $offset = $pdo->query($rand)->fetch(PDO::FETCH_ASSOC); $sql = "SELECT * FROM Bugs LIMIT 1 OFFSET :offset"; $stmt = $pdo->prepare($sql); $stmt->execute( $offset ); $rand_bug = $stmt->fetch(); 

当你不能假定连续的键值时，使用这个解决scheme，你需要确保每一行都有被选中的机会。

Answer 6

简单的查询，具有出色的性能 （缺口）：

 SELECT * FROM tbl WHERE id IN (SELECT id FROM (SELECT id FROM tbl ORDER BY RAND() LIMIT 10) t) 

使用了两个嵌套的子查询，因为MySQL在第一个中不支持LIMIT。

这很快，因为sorting阶段只使用索引ID列。

对于加权版本： https ： //stackoverflow.com/a/41577458/893432

Answer 7

如何从表中select随机行：

从这里： selectMySQL中的随机行

对“表扫描”的快速改进是使用索引来获取随机ID。

 SELECT * FROM random, ( SELECT id AS sid FROM random ORDER BY RAND( ) LIMIT 10 ) tmp WHERE random.id = tmp.sid; 

Answer 8

那么如果你的键没有空白，而且它们都是数字，你可以计算随机数并select这些行。 但是这可能不会是这样的。

所以一个解决scheme是：

 SELECT * FROM table WHERE key >= FLOOR(RAND()*MAX(id)) LIMIT 1 

这将基本上确保你得到你的密钥范围内的一个随机数，然后你select下一个更好的更好。 你必须这样做10次。

但是这并不是真正的随机，因为你的密钥很可能不会被均匀分配。

这是一个很大的问题，要满足所有的要求并不容易，MySQL的rand（）是最好的，如果你真的想要10个随机的行。

然而，另一种解决scheme是快速的，但是在随机性方面也有一个折衷，但是可能更适合你。 在这里阅读： 如何优化MySQL的ORDER BY RAND（）函数？

问题是你是如何随机的。

你能解释一下吗，所以我可以给你一个好的解决scheme。

例如，我曾与一家公司有一个解决scheme，他们需要绝对的随机性非常快。 他们最终用预先填充数据库的随机值select降序，然后再次设置为不同的随机值。

如果你几乎没有更新，你也可以填写一个递增的ID，所以你没有任何的差距，只能在select之前计算随机密钥…这取决于用例！

Answer 9

我用这个http://jan.kneschke.de/projects/mysql/order-by-rand/张贴由Riedsio（我使用一个存储过程，返回一个或多个随机值的情况下）：;

  DROP TEMPORARY TABLE IF EXISTS rands; CREATE TEMPORARY TABLE rands ( rand_id INT ); loop_me: LOOP IF cnt < 1 THEN LEAVE loop_me; END IF; INSERT INTO rands SELECT r1.id FROM random AS r1 JOIN (SELECT (RAND() * (SELECT MAX(id) FROM random)) AS id) AS r2 WHERE r1.id >= r2.id ORDER BY r1.id ASC LIMIT 1; SET cnt = cnt - 1; END LOOP loop_me; 

在这篇文章中，他通过维护一个表格（使用触发器等等，参见文章）来解决ID中的间隙问题，从而导致不那么随机的结果 。 我正在解决这个问题，在表中添加另一列，填充了连续的数字，从1开始（ 编辑：这个列被添加到子查询在运行时创build的临时表中，不影响你的永久表）：

  DROP TEMPORARY TABLE IF EXISTS rands; CREATE TEMPORARY TABLE rands ( rand_id INT ); loop_me: LOOP IF cnt < 1 THEN LEAVE loop_me; END IF; SET @no_gaps_id := 0; INSERT INTO rands SELECT r1.id FROM (SELECT id, @no_gaps_id := @no_gaps_id + 1 AS no_gaps_id FROM random) AS r1 JOIN (SELECT (RAND() * (SELECT COUNT(*) FROM random)) AS id) AS r2 WHERE r1.no_gaps_id >= r2.id ORDER BY r1.no_gaps_id ASC LIMIT 1; SET cnt = cnt - 1; END LOOP loop_me; 

在文章中我可以看到他竭尽全力优化代码。 如果我的变化影响了performance，我没有任何意见，但对我来说效果很好。

Answer 10

我需要一个查询来从一个相当大的表中返回大量的随机行。 这是我想出来的。 首先获取最大loggingID：

 SELECT MAX(id) FROM table_name; 

然后将该值replace为：

 SELECT * FROM table_name WHERE id > FLOOR(RAND() * max) LIMIT n; 

其中max是表中的最大loggingID，n是结果集中所需的行数。 假设在loggingID中没有空白，尽pipe我怀疑它会影响结果（如果还没有尝试过）。 我也创build这个存储过程是更通用的; 传入要返回的表名和行数。 我在Windows 2008上运行MySQL 5.5.38，32GB，双3GHz E5450，在一个有17,361,264行的表上，它在〜.03 sec /〜11 sec时相当一致，可以返回1,000,000行。 （时间来自MySQL Workbench 6.1;根据您的喜好，您也可以在第二个select语句中使用CEIL而不是FLOOR）

 DELIMITER $$ USE [schema name] $$ DROP PROCEDURE IF EXISTS `random_rows` $$ CREATE PROCEDURE `random_rows`(IN tab_name VARCHAR(64), IN num_rows INT) BEGIN SET @t = CONCAT('SET @max=(SELECT MAX(id) FROM ',tab_name,')'); PREPARE stmt FROM @t; EXECUTE stmt; DEALLOCATE PREPARE stmt; SET @t = CONCAT( 'SELECT * FROM ', tab_name, ' WHERE id>FLOOR(RAND()*@max) LIMIT ', num_rows); PREPARE stmt FROM @t; EXECUTE stmt; DEALLOCATE PREPARE stmt; END $$ 

然后

 CALL [schema name].random_rows([table name], n); 

Answer 11

这是一个可以帮助很多人的游戏改变者。

我有一个200k行的表， 有顺序的ID ，我需要selectN个随机行，所以我select根据表中最大的ID生成随机值，我创build了这个脚本来找出哪个是最快的操作：

 logTime(); query("SELECT COUNT(id) FROM tbl"); logTime(); query("SELECT MAX(id) FROM tbl"); logTime(); query("SELECT id FROM tbl ORDER BY id DESC LIMIT 1"); logTime(); 

结果是：

• 数量： 36.8418693542479毫秒
• 最大： 0.241041183472毫秒
• 订购： 0.216960906982毫秒

基于这个结果，order desc是获得最大id的最快操作，
这是我对这个问题的回答：

 SELECT GROUP_CONCAT(n SEPARATOR ',') g FROM ( SELECT FLOOR(RAND() * ( SELECT id FROM tbl ORDER BY id DESC LIMIT 1 )) n FROM tbl LIMIT 10) a ... SELECT * FROM tbl WHERE id IN ($result); 

仅供参考：从200k表中获得10个随机行，花了我1.78 毫秒 （包括所有在PHP方面的操作）

Answer 12

所有最好的答案已经发布（主要是那些引用链接http://jan.kneschke.de/projects/mysql/order-by-rand/ ）。

我想要指出另一种加速可能性 – caching 。 想想为什么你需要得到随机的行。 可能你想在网站上显示一些随机的post或随机广告。 如果你得到100 req / s，是真的需要每个访客得到随机行？ 通常，将这些X随机行caching1秒（甚至10秒）是完全正确的。 如果在同一秒内100位唯一身份访问者获得相同的随机post，则无关紧要，因为接下来的100位访问者将获得不同的post。

当使用这个caching时，你也可以使用一些较慢的解决scheme来获取随机数据，因为不pipe你的请求是什么，它只会从MySQL每秒取一次。

Answer 13

如果你只有一个读取请求

将@redsio的答案和一个临时表（600K并不多）结合起来：

 DROP TEMPORARY TABLE IF EXISTS tmp_randorder; CREATE TABLE tmp_randorder (id int(11) not null auto_increment primary key, data_id int(11)); INSERT INTO tmp_randorder (data_id) select id from datatable; 

然后采取@redsios的一个版本答案：

 SELECT dt.* FROM (SELECT (RAND() * (SELECT MAX(id) FROM tmp_randorder)) AS id) AS rnd INNER JOIN tmp_randorder rndo on rndo.id between rnd.id - 10 and rnd.id + 10 INNER JOIN datatable AS dt on dt.id = rndo.data_id ORDER BY abs(rndo.id - rnd.id) LIMIT 1; 

如果桌子很大，可以在第一部分进行筛选：

 INSERT INTO tmp_randorder (data_id) select id from datatable where rand() < 0.01; 

如果你有很多读取请求

1. 版本：你可以保持表tmp_randorder持久，称之为datatable_idlist。 以一定的时间间隔（日，小时）重新创build表，因为它也会出现漏洞。 如果你的桌子变得很大，你也可以填充洞

   从datatable_idlist中selectl.data_id作为整体l在dt.id = l.data_id中joindatatable dt dt.id为null;

2. 版本：直接在数据表中或在持久性附加表datatable_sortorder给你的数据集一个random_sortorder列。 索引该列。 在你的应用程序中生成一个随机值（我将称之为$rand ）。

    select l.* from datatable l order by abs(random_sortorder - $rand) desc limit 1; 

这个解决scheme用最高和最低的random_sortorder来区分“边缘行”，所以间隔（一天一次）重新排列它们。

Answer 14

另一个简单的解决scheme是对行进行sorting并随机取出其中一个，使用此解决scheme，您不需要在表中具有任何“Id”列。

 SELECT d.* FROM ( SELECT t.*, @rownum := @rownum + 1 AS rank FROM mytable AS t, (SELECT @rownum := 0) AS r, (SELECT @cnt := (SELECT RAND() * (SELECT COUNT(*) FROM mytable))) AS n ) d WHERE rank >= @cnt LIMIT 10; 

您可以根据需要更改限制值，以访问尽可能多的行，但这主要是连续的值。

但是，如果您不需要连续的随机值，则可以获取更大的样本，并从中随机select。 就像是 …

 SELECT * FROM ( SELECT d.* FROM ( SELECT c.*, @rownum := @rownum + 1 AS rank FROM buildbrain.`commits` AS c, (SELECT @rownum := 0) AS r, (SELECT @cnt := (SELECT RAND() * (SELECT COUNT(*) FROM buildbrain.`commits`))) AS rnd ) d WHERE rank >= @cnt LIMIT 10000 ) t ORDER BY RAND() LIMIT 10; 

Answer 15

如果有一个自动生成的id，我发现一个很好的方法是使用模运算符'％'。 例如，如果你需要10000个随机logging70000个，你可以简化这个说你需要每7行中有1个。 这个查询可以简化：

 SELECT * FROM table WHERE id % FLOOR( (SELECT count(1) FROM table) / 10000 ) = 0; 

如果将可用的总行数除以目标行的结果不是一个整数，那么您将得到一些额外的行，因此您应该添加一个LIMIT子句来帮助您修改结果集，如下所示：

 SELECT * FROM table WHERE id % FLOOR( (SELECT count(1) FROM table) / 10000 ) = 0 LIMIT 10000; 

这确实需要一个完整的扫描，但它比ORDER BY RAND更快，在我看来，比本主题中提到的其他选项更容易理解。 另外，如果写入数据库的系统批量创build一组行，则可能无法获得如您所期望的那样的随机结果。

Answer 16

我改进了@Riedsio的答案。 这是我可以在一个大的，均匀分布的带有间隙的表上find的最有效的查询（从具有> 2.6B行的表中获取1000个随机行进行testing）。

 (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max := (SELECT MAX(id) FROM table)) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) 

让我解开正在发生的事情。

1. @max := (SELECT MAX(id) FROM table)
   • 我正在计算并保存最大值。 对于非常大的表格，每次需要一行时，计算MAX(id)会有一些额外的开销
2. SELECT FLOOR(rand() * @max) + 1 as rand)
   • 获取一个随机的ID
3. SELECT id FROM table INNER JOIN (...) on id > rand LIMIT 1
   • 这填补了空白。 基本上，如果你随机select一个数字在差距，它会select下一个ID。 假设差距是均匀分布的，这应该不成问题。

做联合可以帮助你把所有东西都放到1个查询中，这样你可以避免做多个查询。 它还可以让您节省计算MAX(id)的开销。 根据您的应用程序，这可能很重要或很less。

请注意，这只会得到ID并以随机顺序获取它们。 如果你想做更高级的事情，我build议你这样做：

 SELECT t.id, t.name -- etc, etc FROM table t INNER JOIN ( (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max := (SELECT MAX(id) FROM table)) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) UNION (SELECT id FROM table INNER JOIN (SELECT FLOOR(RAND() * @max) + 1 as rand) r on id > rand LIMIT 1) ) x ON x.id = t.id ORDER BY t.id 

Answer 17

如果你想要一个随机logging（不pipe是否在ID之间有gapes）：

 PREPARE stmt FROM 'SELECT * FROM `table_name` LIMIT 1 OFFSET ?'; SET @count = (SELECT FLOOR(RAND() * COUNT(*)) FROM `table_name`); EXECUTE stmt USING @count; 

资料来源： https : //www.warpconduit.net/2011/03/23/selecting-a-random-record-using-mysql-benchmark-results/#comment-1266

Answer 18

老问题，但这是我今天碰到的东西，想要select一个随机页面。 我select不使用任何答案，因为担心performance和事实，他们中的许多人在“随机”有强烈的偏见。 这是我的解决scheme（使用PHP）：

Pages model:

 public static function getIDs() { $sql = "SELECT `id` FROM `pages`;"; $db = static::getDB(); $stmt = $db->query($sql); return $stmt->fetchAll(PDO::FETCH_ASSOC); } 

Pages controller:

 public function randomAction() { $pages = Pages::getIDs(); $random = $pages[rand(0, count($pages))]; $this->redirect('/' . $random['id'], 307); } 

基本上，它所做的只是从数据库中获取页面数组，然后使用PHP从返回的数组中随机select一个。

如果您需要10条logging，只需遍历数组并删除选定的logging以避免重复，然后将它们添加到单独的结果数组中。 像这样的东西：

 public static function randomAction() { $pages = Pages::getIDs(); $count = count($pages); $results = []; for($i = 0; $i < 10; $i++) { $random = rand(0, $count); $count -= 1; $results[] = $pages[$random]; unset($pages[$random]); } return $results; } 

Answer 19

我使用这个查询：

 select floor(RAND() * (SELECT MAX(key) FROM table)) from table limit 10 

查询时间：0.016s

Answer 20

使用下面的简单查询从表中获取随机数据。

 SELECT user_firstname , COUNT(DISTINCT usr_fk_id) cnt FROM userdetails GROUP BY usr_fk_id ORDER BY cnt ASC LIMIT 10 

Answer 21

这是我如何做到的：

 select * from table_with_600k_rows where rand() < 10/600000 limit 10 

我喜欢它，因为不需要其他表格，写起来很简单，而且执行速度非常快。

Answer 22

我想这是最好的方法..

 SELECT id, id * RAND( ) AS random_no, first_name, last_name FROM user ORDER BY random_no