PHP实现抓取页面与代码解析
在做一些天气预报或者RSS订阅的程序时,往往需要抓取非本地文件,一般情况下都是利用php模拟浏览器的访问,通过http请求访问url地址, 然后得到html源代码或者xml数据,得到数据我们不能直接输出,往往需要对内容进行提取,然后再进行格式化,以更加友好的方式显现出来。
一、 PHP抓取页面的主要方法:1. file()函数2. file_get_contents()函数3. fopen()->fread()->fclose()模式4.curl方式5. fsockopen()函数 socket模式6. 使用插件(如:doc.guandang.net)
二、PHP解析html或xml代码主要方式:1. 正则表达式 2. PHP DOMDocument对象 3. 插件(如:)
如果你对以上内容已经很了解,以下内容可以飘过……
美丽说doc.guandang.net 大湘网doc.guandang.net 安卓doc.guandang.net
PHP抓取页面1. file()函数<?php $url='doc.guandang.net'; $lines_array=file($url); $lines_string=implode('',$lines_array); echo htmlspecialchars($lines_string); ?> 2. file_get_contents()函数使用file_get_contents和fopen必须空间开启allow_url_fopen.方法:编辑php.ini,设置 allow_url_fopen = On,allow_url_fopen关闭时fopen和file_get_contents都不能打开远程文件。
<?php $url='doc.guandang.net'; $lines_string=file_get_contents($url); echo htmlspecialchars($lines_string); ?> 3. fopen()->fread()->fclose()模式<?php $url='doc.guandang.net'; $handle=fopen($url,"rb"); $lines_string=""; do{ $data=fread($handle,1024); if(strlen($data)==0){break;} $lines_string.=$data; }while(true); fclose($handle); echo htmlspecialchars($lines_string); ?> 4. curl方式使用curl必须空间开启curl.方法:windows下修改php.ini,将extension=php_curl.dll前面的分号去掉,而且需 要拷贝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下;Linux下要安装curl扩展。
<?php $url='doc.guandang.net'; $ch=curl_init(); $timeout=5; curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); $lines_string=curl_exec($ch); curl_close($ch); echo htmlspecialchars($lines_string); ?> 5. fsockopen()函数 socket模式socket模式能否正确执行,也跟服务器的设置有关系,具体可以通过phpinfo查看服务器开启了哪些通信协议,比如我的本地php socket没开启http,只能使用udp测试一下了。
<?php $fp = fsockopen("udp://127.0.0.1", 13, $errno, $errstr); if (!$fp) { echo "ERROR: $errno - $errstr<br />\n"; } else { fwrite($fp, "\n"); echo fread($fp, 26); fclose($fp); } ?> 6. 插件网上应该有比较多的插件,snoopy插件是在网上搜到的,有兴趣的
详解PHP 之 Smarty ——————如何实现代码与页面的分离 在任何 Web 应用中,...(我们知道这种网页往往 在整个网站中占大多数) ,通过这种缓存机制获取的性能提升...
file_get_contents 实现 <?php $url="http://...[0]; //另外赋值,给抓取分析做准备 $my_book_...抓取网页的文字(去掉 HTML 代码) 3、方便抓取网页...
PHP单线程实现并行抓取网页_互联网_IT/计算机_专业...代码 <?php function http_get_open($url) { $... php网页分析 内容抓取 爬... 6页 1下载券 PHP...
curl一般用来抓取网页, 第二种就是get或者post数据, 第三种应用就是实现PHP的...PHP也支持cURL库,我们常常用来远程页面抓取和采集。 也支持断点续传Range的代码:...
php网页分析 内容抓取 爬虫 文件分析_IT/计算机_专业资料。获取所有内容url保存... 第6章 构建PHP互动网页 34页 免费 抓取网页分析 30页 免费 PHP单线程实现...
php网页分析_内容抓取_爬虫_文件分析_互联网_IT/计算机_专业资料。php 网页... C#网页爬虫 暂无评价 3页 免费 PHP单线程实现并行抓取网... 4页 免费 前段...
分析搜索引擎抓取网页的... 2页 免费 php网页分析 内容抓取 爬... 6页 1...呵呵 代码还有点粗糙,比如还没有实现,统一写到 xml 中,然后显示出来。 还有...
php 网页分析 内容抓取 爬虫 文件分析 (2011-11-19 20:53:10) 转载 ▼ 标签: 杂谈 <?php //获取所有内容 url 保存到文件 function get_index($save_file...
请看下 面的代码! <?php $ch = curl_init ("http://dailynews.sina.com...加个◎;这样我们只要对$txt 进行适当的分析后,我们就可以 偷偷的抓取 sina 的...
网页数据抓取分析 1页 免费 php网页分析 内容抓取...去所有 html 标签和 javascript 代码 2、提取网页的...可以实现简单的表单提交及 cookie 保存 第一部分 ...
热门文档