PHP获得所有的图像,其宽度和高度> = 200更快
我仿效一些function,如http://pinterest.com add a pin
如何获得所有的图像宽度和高度> = 200更快? pinterest.com
将完成整个过程近10秒,但我需要48.64秒。
require dirname(__FILE__) . '/simple_html_dom.php'; $url = 'http://www.huffingtonpost.com/'; $html = file_get_html($url); if($html->find('img')){ foreach($html->find('img') as $element) { $size = @getimagesize($element->src); if($size[0]>=200&&$size[1]>=200){ echo $element; } } }// cost 48.64 seconds
我想你使用的是使用curl_multi_init
parallel
运行curl
请求,请参阅http://php.net/manual/en/function.curl-multi-init.php了解更多信息。; 这样它将加载更快,并避免所有带宽问题,也可能影响速度。
将图像保存到本地临时目录中,不直接在本地运行getimagesize()
,这比通过http://
运行它快得多
我希望这有帮助
编辑1
注意***
A.不是所有的图片都以http
开头
B.不是所有的图像都是有效的
C.创build需要存储图像的temp
文件夹
概念validation
require 'simple_html_dom.php'; $url = 'http://www.huffingtonpost.com'; $html = file_get_html ( $url ); $nodes = array (); $start = microtime (); $res = array (); if ($html->find ( 'img' )) { foreach ( $html->find ( 'img' ) as $element ) { if (startsWith ( $element->src, "/" )) { $element->src = $url . $element->src; } if (! startsWith ( $element->src, "http" )) { $element->src = $url . "/" . $element->src; } $nodes [] = $element->src; } } echo "<pre>"; print_r ( imageDownload ( $nodes, 200, 200 ) ); echo "<h1>", microtime () - $start, "</h1>"; function imageDownload($nodes, $maxHeight = 0, $maxWidth = 0) { $mh = curl_multi_init (); $curl_array = array (); foreach ( $nodes as $i => $url ) { $curl_array [$i] = curl_init ( $url ); curl_setopt ( $curl_array [$i], CURLOPT_RETURNTRANSFER, true ); curl_setopt ( $curl_array [$i], CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729)' ); curl_setopt ( $curl_array [$i], CURLOPT_CONNECTTIMEOUT, 5 ); curl_setopt ( $curl_array [$i], CURLOPT_TIMEOUT, 15 ); curl_multi_add_handle ( $mh, $curl_array [$i] ); } $running = NULL; do { usleep ( 10000 ); curl_multi_exec ( $mh, $running ); } while ( $running > 0 ); $res = array (); foreach ( $nodes as $i => $url ) { $curlErrorCode = curl_errno ( $curl_array [$i] ); if ($curlErrorCode === 0) { $info = curl_getinfo ( $curl_array [$i] ); $ext = getExtention ( $info ['content_type'] ); if ($info ['content_type'] !== null) { $temp = "temp/img" . md5 ( mt_rand () ) . $ext; touch ( $temp ); $imageContent = curl_multi_getcontent ( $curl_array [$i] ); file_put_contents ( $temp, $imageContent ); if ($maxHeight == 0 || $maxWidth == 0) { $res [] = $temp; } else { $size = getimagesize ( $temp ); if ($size [1] >= $maxHeight && $size [0] >= $maxWidth) { $res [] = $temp; } else { unlink ( $temp ); } } } } curl_multi_remove_handle ( $mh, $curl_array [$i] ); curl_close ( $curl_array [$i] ); } curl_multi_close ( $mh ); return $res; } function getExtention($type) { $type = strtolower ( $type ); switch ($type) { case "image/gif" : return ".gif"; break; case "image/png" : return ".png"; break; case "image/jpeg" : return ".jpg"; break; default : return ".img"; break; } } function startsWith($str, $prefix) { $temp = substr ( $str, 0, strlen ( $prefix ) ); $temp = strtolower ( $temp ); $prefix = strtolower ( $prefix ); return ($temp == $prefix); }
产量
Array ( [0] => temp/img8cdd64d686ee6b925e8706fa35968da4.gif [1] => temp/img5811155f8862cd0c3e2746881df9cd9f.gif [2] => temp/imga597bf04873859a69373804dc2e2c27e.jpg [3] => temp/img0914451e7e5a6f4c883ad7845569029e.jpg [4] => temp/imgb1c8c4fa88d0847c99c6f4aa17a0a457.jpg [5] => temp/img36e5da68a30df7934a26911f65230819.jpg [6] => temp/img068c1aa705296b38f2ec689e5b3172b9.png [7] => temp/imgfbeca2410b9a9fb5c08ef88dacd46895.png ) 0.076347
谢谢 :)
getimagesize()将首先下载整个图像文件,然后进行分析。 一般你只需要文件的前几百个字节来获得types/分辨率的细节。 另外,它将为每个图像使用一个单独的http请求。
正确优化的系统将使用部分获取请求来获取图像的第一部分,并利用http保留来保持TCP连接的开销降到最低。
那么从html中读取宽度和高度呢? 我知道一些图像可能没有这个属性,但也许你可以跳过这个属性小于200px的图像。
这只是一个想法,但可能不适合你。
参考
使用imagecreatefromstring
, imagesx
和imagesy
,这应该在30秒内运行。 比getimagesize()快一点
function ranger($url){ $headers = array( "Range: bytes=0-32768" ); $curl = curl_init($url); curl_setopt($curl, CURLOPT_HTTPHEADER, $headers); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); return curl_exec($curl); curl_close($curl); } require dirname(__FILE__) . '/simple_html_dom.php'; $url = 'http://www.huffingtonpost.com/'; $html = file_get_html($url); if($html->find('img')){ foreach($html->find('img') as $element) { $raw = ranger($element->src); $im = @imagecreatefromstring($raw); $width = @imagesx($im); $height = @imagesy($im); if($width>=200&&$height>=200){ echo $element; } } }