PHPcurl和曲奇饼
我有一些PHP Curl和Cookies身份validation的问题。
我有一个文件Connector.phpauthentication另一台服务器上的用户，并返回当前用户的Cookie。
问题是，我想通过curl来validation数千个用户，但是一次只能为一个用户validation和保存COOKIES。
connector.php的代码是这样的：
<?php if(!count($_REQUEST)) { die("No Access!"); } //Core Url For Services define ('ServiceCore', 'http://example.com/core/'); //Which Internal Service Should Be Called $path = $_GET['service']; //Service To Be Queried $url = ServiceCore.$path; //Open the Curl session $session = curl_init($url); // If it's a GET, put the GET data in the body if ($_GET['service']) { //Iterate Over GET Vars $postvars = ''; foreach($_GET as $key=>$val) { if($key!='service') { $postvars.="$key=$val&"; } } curl_setopt ($session, CURLOPT_POST, true); curl_setopt ($session, CURLOPT_POSTFIELDS, $postvars); } //Create And Save Cookies $tmpfname = dirname(__FILE__).'/cookie.txt'; curl_setopt($session, CURLOPT_COOKIEJAR, $tmpfname); curl_setopt($session, CURLOPT_COOKIEFILE, $tmpfname); curl_setopt($session, CURLOPT_HEADER, false); curl_setopt($session, CURLOPT_RETURNTRANSFER, true); curl_setopt($session, CURLOPT_FOLLOWLOCATION, true); // EXECUTE $json = curl_exec($session); echo $json; curl_close($session); ?> 这是authentication的过程：
- 用户input用户名和密码： Connector.php？service = logon＆user_name = user32＆user_pass = 123
- Connector.php？service = logosessionInfo这会返回有关用户的信息，这些信息基于先前使用login服务保存的cookie。
问题是这个代码将cookie保存在一个文件中，并且不能处理多个用户的身份validation。
您可以使用curl选项指定cookie文件。 您可以为每个用户使用一个独特的文件。
curl_setopt( $curl_handle, CURLOPT_COOKIESESSION, true ); curl_setopt( $curl_handle, CURLOPT_COOKIEJAR, uniquefilename ); curl_setopt( $curl_handle, CURLOPT_COOKIEFILE, uniquefilename );
处理它的最好方法是将你的请求逻辑粘贴到一个curl函数中，并且只传入唯一的文件名作为参数。
function fetch( $url, $z=null ) { $ch = curl_init(); $useragent = isset($z['useragent']) ? $z['useragent'] : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0.2) Gecko/20100101 Firefox/10.0.2'; curl_setopt( $ch, CURLOPT_URL, $url ); curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true ); curl_setopt( $ch, CURLOPT_AUTOREFERER, true ); curl_setopt( $ch, CURLOPT_FOLLOWLOCATION, true ); curl_setopt( $ch, CURLOPT_POST, isset($z['post']) ); if( isset($z['post']) ) curl_setopt( $ch, CURLOPT_POSTFIELDS, $z['post'] ); if( isset($z['refer']) ) curl_setopt( $ch, CURLOPT_REFERER, $z['refer'] ); curl_setopt( $ch, CURLOPT_USERAGENT, $useragent ); curl_setopt( $ch, CURLOPT_CONNECTTIMEOUT, ( isset($z['timeout']) ? $z['timeout'] : 5 ) ); curl_setopt( $ch, CURLOPT_COOKIEJAR, $z['cookiefile'] ); curl_setopt( $ch, CURLOPT_COOKIEFILE, $z['cookiefile'] ); $result = curl_exec( $ch ); curl_close( $ch ); return $result; }
我用它来快速抓取。 它需要url和一系列选项。
在处理类似的问题时，我在将大量资源合并到networking上之后创build了以下函数，并添加了自己的cookie处理。 希望这对其他人有用。
function get_web_page( $url, $cookiesIn = '' ){ $options = array( CURLOPT_RETURNTRANSFER => true, // return web page CURLOPT_HEADER => true, //return headers in addition to content CURLOPT_FOLLOWLOCATION => true, // follow redirects CURLOPT_ENCODING => "", // handle all encodings CURLOPT_AUTOREFERER => true, // set referer on redirect CURLOPT_CONNECTTIMEOUT => 120, // timeout on connect CURLOPT_TIMEOUT => 120, // timeout on response CURLOPT_MAXREDIRS => 10, // stop after 10 redirects CURLINFO_HEADER_OUT => true, CURLOPT_SSL_VERIFYPEER => false, // Disabled SSL Cert checks CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1, CURLOPT_COOKIE => $cookiesIn ); $ch = curl_init( $url ); curl_setopt_array( $ch, $options ); $rough_content = curl_exec( $ch ); $err = curl_errno( $ch ); $errmsg = curl_error( $ch ); $header = curl_getinfo( $ch ); curl_close( $ch ); $header_content = substr($rough_content, 0, $header['header_size']); $body_content = trim(str_replace($header_content, '', $rough_content)); $pattern = "#Set-Cookie:\\s+(?<cookie>[^=]+=[^;]+)#m"; preg_match_all($pattern, $header_content, $matches); $cookiesOut = implode("; ", $matches['cookie']); $header['errno'] = $err; $header['errmsg'] = $errmsg; $header['headers'] = $header_content; $header['content'] = $body_content; $header['cookies'] = $cookiesOut; return $header; }
首先使用tempnam（）函数创build临时cookie：
$ckfile = tempnam ("/tmp", "CURLCOOKIE");
执行curl init巫婆cookie保存为临时文件：
$ch = curl_init ("http://uri.com/"); curl_setopt ($ch, CURLOPT_COOKIEJAR, $ckfile); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true); $output = curl_exec ($ch);
或者访问临时数据存储的cookie数据：
$ch = curl_init ("http://somedomain.com/cookiepage.php"); curl_setopt ($ch, CURLOPT_COOKIEFILE, $ckfile); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, true); $output = curl_exec ($ch);
这将加载cookie初始化页面：
curl_setopt ($ch, CURLOPT_COOKIEFILE, $ckfile);
在这里你可以find一些关于cURL和cookies的有用信息http://docstore.mik.ua/orelly/webprog/pcook/ch11_04.htm 。
你也可以使用这个做得好的方法https://github.com/alixaxel/phunction/blob/master/phunction/Net.php#L89就像一个函数：;
function CURL($url, $data = null, $method = 'GET', $cookie = null, $options = null, $retries = 3) { $result = false; if ((extension_loaded('curl') === true) && (is_resource($curl = curl_init()) === true)) { curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_FAILONERROR, true); curl_setopt($curl, CURLOPT_AUTOREFERER, true); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false); curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false); if (preg_match('~^(?:DELETE|GET|HEAD|OPTIONS|POST|PUT)$~i', $method) > 0) { if (preg_match('~^(?:HEAD|OPTIONS)$~i', $method) > 0) { curl_setopt_array($curl, array(CURLOPT_HEADER => true, CURLOPT_NOBODY => true)); } else if (preg_match('~^(?:POST|PUT)$~i', $method) > 0) { if (is_array($data) === true) { foreach (preg_grep('~^@~', $data) as $key => $value) { $data[$key] = sprintf('@%s', rtrim(str_replace('\\', '/', realpath(ltrim($value, '@'))), '/') . (is_dir(ltrim($value, '@')) ? '/' : '')); } if (count($data) != count($data, COUNT_RECURSIVE)) { $data = http_build_query($data, '', '&'); } } curl_setopt($curl, CURLOPT_POSTFIELDS, $data); } curl_setopt($curl, CURLOPT_CUSTOMREQUEST, strtoupper($method)); if (isset($cookie) === true) { curl_setopt_array($curl, array_fill_keys(array(CURLOPT_COOKIEJAR, CURLOPT_COOKIEFILE), strval($cookie))); } if ((intval(ini_get('safe_mode')) == 0) && (ini_set('open_basedir', null) !== false)) { curl_setopt_array($curl, array(CURLOPT_MAXREDIRS => 5, CURLOPT_FOLLOWLOCATION => true)); } if (is_array($options) === true) { curl_setopt_array($curl, $options); } for ($i = 1; $i <= $retries; ++$i) { $result = curl_exec($curl); if (($i == $retries) || ($result !== false)) { break; } usleep(pow(2, $i - 2) * 1000000); } } curl_close($curl); } return $result; }
并将其作为$cookieparameter passing：
$cookie_jar = tempnam('/tmp','cookie');
您可以使用CURLOPT_COOKIEFILE和CURLOPT_COOKIEJAR为每个用户定义不同的Cookie。 为每个用户创build不同的文件，这样每个用户都可以在远程服务器上拥有自己的基于cookie的会话。
以上描述的解决scheme即使具有独特的CookieFile名称，也可能导致大量的问题。
我们不得不为这个解决scheme提供大量的authentication，而且由于高文件读写操作，我们的服务器停止运行。
这个解决scheme是使用Apache反向代理，完全忽略CURL请求。
详细介绍如何在Apache上使用Proxy可以在这里find： https ： //httpd.apache.org/docs/2.4/howto/reverse_proxy.html
