ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

php 爬取超链接

2020-03-29 16:03:45  阅读:286  来源: 互联网

标签:row links url 爬取 超链接 sql mysqli php result


 

<?php
//$page=file_get_contents("http://www.kmycjng.com/lsmdcx.aspx?sheng=4C26F8901DC98154&c=D39BF6B55B1AA80F");
//preg_match();

header("Content-type: text/html;charset=utf-8");
//连接数据库
$link = mysqli_connect("localhost", "root", "root");
mysqli_select_db("crawler");
mysqli_query('set names utf8');

function crawler($url)
{
    $contents = file_get_contents($url);
    $content = iconv("gb2312", "utf-8", $contents);

    $data1 = preg_replace("'([\r\n])[\s]+'", "", $content);
    preg_match('/<h1>(.*?)<\/h1>/', $data1, $arr);
    $title = $arr[1];  //标题
    $sql = "SELECT * FROM links WHERE url ='{$url}'";
    $result = mysqli_query($sql);
    $row = mysqli_fetch_array($result);
    if ($row) {
        $sqlr = "UPDATE links SET status=1 , title='{$title}' WHERE id = {$row['id']}";
    } else {
        $sqlr = "INSERT INTO links(url,title) VALUES ('$url','$title')";
    }
    $result = mysqli_query($sqlr);

    //获取页面所有连接
    $pattern = "/< a href=\"(.*?)\"/";
    preg_match_all($pattern, $content, $matches);

    $links = $matches[1];
    foreach ($links as $value) {
        $sql = "SELECT * FROM links WHERE url ='{$value}'";
        $result = mysqli_query($sql);
        $row = mysqli_fetch_array($result);
        if (!$row) {
            $sqls = "INSERT INTO links(url) VALUES ('$value')";
            $result = mysqli_query($sqls);
        }
    }

    //先查当前url,并写入数据
    //再把当前页面找到的url写入表
}

$url = "http://www.xingwei.edu.cn/";
while (true) {
    crawler($url);
    //获取数据表中没有爬取的连接
    $sql = "SELECT * FROM links WHERE status = 0 order by id asc LIMIT 1";
    $result = mysqli_query($sql);
    $row = mysqli_fetch_array($result);
    if (!$row) {
        break;
    } else {
        $url = $row['url'];
    }
}

 

标签:row,links,url,爬取,超链接,sql,mysqli,php,result
来源: https://www.cnblogs.com/beiman/p/12592752.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有