PHP 获取远程网页内容的代码(fopen,curl已测)

1、fopen的使用

  

复制代码 代码如下:

  <?php

  $handle = fopen ("http://s.glzy8.com/", "rb");

  $contents = "";

  while (!feof($handle)) {

  $contents .= fread($handle, 8192);

  }

  fclose($handle);

  echo $contents; //输出获取到得内容。

  ?>

  

复制代码 代码如下:

  // 对 PHP 5 及更高版本可以使用下面的代码

  <?php

  $handle = fopen("http://s.glzy8.com", "rb");

  $contents = stream_get_contents($handle);

  fclose($handle);

  echo $contents;

  ?>

  但上面的代码容易出现 failed to open stream: HTTP request failed!错误,解决方法

  有人说在php.ini中,有这样两个选项:allow_url_fopen =on(表示可以通过url打开远程文件),user_agent="PHP"(表示通过哪种脚本访问网络,默认前面有个 " ; " 去掉即可。)重启服务器。

  但是有些还是会有这个警告信息,想用完美的解决还差一步,还得设置php.ini里面的user_agent,php默认的user_agent是PHP,我们把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)来模拟浏览器就可以了

PHP 获取远程网页内容的代码(fopen,curl已测)

  user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

  在工作中遇到这个问题,后完美解决,故分享给大家。

  2、通过curl来实现

  

复制代码 代码如下:

  <?php

  $url = "http://s.glzy8.com";

  $ch = curl_init();

  curl_setopt ($ch, CURLOPT_URL, $url);

  curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

  curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);

  $dxycontent = curl_exec($ch);

  echo $dxycontent;

  ?>

  linux下可以使用下面的代码下载

  exec("wget {$url}");

  PHP抓取外部资源函数fopen / file_get_contents / curl 的区别

  fopen / file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。

  但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。

  这大大减少了DNS查询的次数。

  所以CURL的性能比fopen / file_get_contents 好很多。

  管理资源吧原创内容,转载请注明出处。