curl爬虫

函数部分

1. /**
   
2. * 发起网络请求
   
3. * @param string $url
   
4. * @param $data
   
5. * @param array $header
   
6. * @return bool|string
   
7. */
   
8. function http_request(string $url, $data = [], array $header = []) {
   
9.     $ret = '';
   
10.     // 1、初始化
    
11.     $ch = curl_init();
    
12.     // 2、相关配置
    
13.     # 设置请求的URL地址
    
14.     curl_setopt($ch, CURLOPT_URL, $url);
    
15.     # 设置一下执行成功后不直接返回到客户端
    
16.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    
17.     # 设置超时时间  单位是秒
    
18.     curl_setopt($ch, CURLOPT_TIMEOUT, 30);
    
19.     # 不进行证书的检测
    
20.     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
    
21.     curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
    
22.     # 伪造一个请求的浏览器型号
    
23.     curl_setopt($ch, CURLOPT_USERAGENT, 'msie');
    
24. 
    
25.     // 表示有请求体，是POST的提交
    
26.     if (!empty($data)) {
    
27.         # 指明是一个POST请求
    
28.         curl_setopt($ch, CURLOPT_POST, 1);
    
29.         curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
    
30.         if (is_string($data)) {
    
31.             # 设置头信息，告诉接受者我们发送的数据类型
    
32.             curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
    
33.         }
    
34.     }
    
35.     // 3、执行
    
36.     $ret = curl_exec($ch);
    
37.     # 请求的错误码 为0表示请求正确，大于0则表求请求失败的
    
38.     if (curl_errno($ch) > 0) {
    
39.         echo curl_error($ch);
    
40.         exit;
    
41.     }
    
42.     // 4、关闭请求资源
    
43.     curl_close($ch);
    
44.     return $ret;
    
45. }
    

复制代码

调用部分

1. //采集标题推荐使用curl需要手动开启
   
2. //__DIR__获取当前目录
   
3. include __DIR__.'/function.php';
   
4. //$url='https://kandian.ke.com/detail/MjY3MzE1NzI=.html?beikefrom=pc_kd_index';
   
5. $url="https://www.aurrel.com/thread-17326-1-1.html";
   
6. $html=http_request($url);

复制代码

调用部分也可以实例化一个DOMdocument对象，然后在查找路径的那种方式来找我们想要的内容

1. //实例化一个dom对象
   
2. //var_dump($html);
   
3. $dom=new DOMDocument();
   
4. //加载html忽略html不严谨的格式
   
5. libxml_use_internal_errors(1);
   
6. //dom下面执行加载loadhtml方法
   
7. $dom->loadHTML($html);
   
8. //将加载完的$dom对象当参数传递进去，转为xpath路径对象
   
9. $xpath=new DOMXPath($dom);
   
10. //查询路径值
    
11. $path='//*[@id="main-wrap"]/div/div[3]/div[1]/div/a';

复制代码

1. //生成对应的路径列表数据
   
2. $nodelist=$xpath->query($path);
   
3. //循环输出每一个对象调用他下面的属性取值
   
4. foreach ($nodelist as $v){
   
5.     var_dump($v->nodeValue);
   
6. }
   

复制代码

关于如何寻找你的dom的xpath路径呢

此方法简单浏览器能帮你完成不要去写正则表达式好累！！！！！