利用PHP的cURL库实现网页抓取

使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

下面是一个利用cURL库抓取网页的简单例子:

<?php
$curl = curl_init(); //初始化一个cURL对象
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com'); //设置你需要抓取的URL
curl_setopt($curl, CURLOPT_HEADER, 1); //设置header
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); //设置cURL参数
$data = curl_exec($curl); //运行cURL,请求网页
curl_close($curl); //关闭URL请求
var_dump($data); //显示获得的数据
?>

阅读更多