专注WEB编程开发技术
最近正在学习Python，打算用作爬虫开发。既然要做爬虫，首先就要抓取网页，并且从网页中提取出超链接地址。
下面是最简单的实现方法，先将目标网页抓回来，然后通过正则匹配a标签中的href属性来获得超链接，代码如下：
import urllib2
import re
url = 'http://www.sunbloger.com/'
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
print a
阳光部落原创，更多内容请访问http://www.sunbloger.com/
这个故障的原因是PHPCMS V9的QQ登录功能代码中，使用了file_get_contents函数来获取腾讯的https网址，这类网址是通过ssl加密传输的。虽然，我们可以通过为PHP安装openssl扩展，让file_get_contents函数可以获取到内容，但获取到的内容还是加密的，无法正常的解密。
我的解决思路是自己编写一个通过curl读取数据的方法，替换掉PHPCMS原有的方法，具体如下：
我在一次调试PHP逐行输出时候，发现ob_flush和flush两个都失效了，通过phpinfo基本能判断php.ini的设置是正常的。
再去看Nginx，发现Nginx中，有如下的设置：
fastcgi_buffer_size 128k;
fastcgi_buffers 8 128k;
问题基本找到了，Nginx会缓冲PHP输出的信息，当达到128k时才会将缓冲区的数据发送给客户端，那么我们首先需要将这个缓冲区调小，比如：
fastcgi_buffer_size 4k;
fastcgi_buffers 8 4k;
并且，必须禁用gzip
gzip off;
然后，在php中，在ob_flush和flush前，输出一段达到4k的内容，例如：
echo str_repeat(‘ ‘, 1024*4);
到此，PHP就可以正常通过ob_flush和flush逐行输出需要的内容了。
当我们在Javascript里需要用到jQuery但又无法判断是否加载过时，可以通过下面的方法来自动判断并加载jQuery，代码如下：
function getScript(url, success) {
var script = document.createElement('script');
script.src = url;
var head = document.getElementsByTagName('head')[0],
done = false;
// Attach handlers for all browsers
script.onload = script.onreadystatechange = function() {
if (!done && (!this.readyState || this.readyState == 'loaded' || this.readyState == 'complete')) {
done = true;
// callback function provided as param
success();
script.onload = script.onreadystatechange = null;
head.removeChild(script);
};
};
head.appendChild(script);
};
if (typeof jQuery == 'undefined') {
alert('Not found jQuery');
getScript('http://ajax.googleapis.com/ajax/libs/jquery/1.4.4/jquery.min.js', function() {
alert('jQuery loaded');
});
}
阳光部落原创，更多内容请访问http://www.sunbloger.com/
假设我们现在需要在一个for循环中通过异步的方式向一个后端php程序请求数据，常规的写法Ajax是无法正常工作的，网上也有不少的解决方案，这里提供一个闭包方案，详细如下：
Javascript代码如下：
for (i=1; i<=10; i++) {
(function (i) {
$.ajax({
type: "GET",
url: "http://www.youdomain.com/ajax.php",
data: "num=" + i,
success: function(data){
alert(data);
}
});
})(i);
}
阳光部落原创，更多内容请访问http://www.sunbloger.com/
1.在站点跟目录新建一个目录，目录名自定，例如manage，这个manage目录就是今后你登陆后台需要访问路径。
2.在manage目录里新建一个index.php文件，代码如下：
<?php
define('PHPCMS_PATH', realpath(dirname(__FILE__) . '/..') . '/');
include '../phpcms/base.php';
$session_storage = 'session_' . pc_base :: load_config('system', 'session_storage');
pc_base :: load_sys_class($session_storage);
session_start();
$_SESSION['right_enter'] = 1;
unset($session_storage);
header('location:../index.php?m=admin&c=index&a=login&pc_hash=');
?>
3.找到\phpcms\modules\admin目录，在这个目录中新建一个名为MY_index.php的文件，代码如下：
<?php
defined('IN_PHPCMS') or exit('No permission resources.');
class MY_index extends index {
public function __construct() {
if(empty($_SESSION['right_enter'])) {
header('location:./');
exit();
}
parent::__construct();
}
public function public_logout() {
$_SESSION['right_enter'] = 0;
parent::public_logout();
}
}
?>
最后，将上面新建的目录和文件上传至服务器对应的路径后，你的PHPCMS站点就只能通过http://www.xxx.com/manage/这样的地址访问后台的登录入口了。
备注：上述方法仅针对PHPCMS V9版。
APNS（全称：Apple Push Notification Service），翻译为：苹果消息推送服务。
下面的代码是用PHP语言编写的一个公共类，用来完成从服务器端向APNS Server推送消息的过程。（这个类被应用在新京报新闻这个App的消息推送服务器端）
<?php
/**
* ApplePush 苹果消息推送公共类
* @author www.sunbloger.com
*/
class ApplePush
{
/**
* APNS server url
*
* @var string
*/
protected $apns_url = 'ssl://gateway.push.apple.com:2195'; //沙盒地址：ssl://gateway.sandbox.push.apple.com:2195
/**
* 推送数据
*
* @var string
*/
private $payload_json;
/**
* 数据流对象
*
* @var mixed
*/
private $fp;
/**
* 设置APNS地址
*
* @param string $url
*/
public function setApnsUrl($url)
{
if (empty($url)) {
return false;
} else {
$this->apns_url = $url;
}
return true;
}
/**
* 设置推送的消息
*
* @param string $body
*/
public function setBody($body)
{
if (empty($body)) {
return false;
} else {
$this->payload_json = json_encode($body);
}
return true;
}
/**
* Open 打开APNS服务器连接
*
* @param string $pem 证书
* @param string $passphrase 证书密钥
*/
public function open($pem, $passphrase)
{
if (empty($pem)) {
return false;
}
if (empty($passphrase)) {
return false;
}
$ctx = stream_context_create();
stream_context_set_option($ctx, 'ssl', 'local_cert', $pem);
stream_context_set_option($ctx, 'ssl', 'passphrase', $passphrase);
$fp = stream_socket_client($this->apns_url, $err, $errstr, 60, STREAM_CLIENT_CONNECT, $ctx);
if (!$fp) {
return false;
}
$this->fp = $fp;
return true;
}
/**
* Send 推送
*
* @param string $token
*/
public function send($token)
{
$msg = chr(0) . pack('n', 32) . pack('H*', $token) . pack('n', strlen($this->payload_json)) . $this->payload_json;
$result = fwrite($this->fp, $msg, strlen($msg));
return $result;
}
/**
* Close APNS server 关闭APNS服务器连接
*
*/
public function close()
{
fclose($this->fp);
return true;
}
}
?>
阳光部落原创，更多内容请访问http://www.sunbloger.com/
XML——可扩展标记语言 。
可扩展标记语言，标准通用标记语言的子集，一种用于标记电子文件使其具有结构性的标记语言。
它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。
PHP5已经内置的用于解析XML的函数，但使用起来并不顺手，于是就有了下面这段代码：
<?php
function xmlToArray($xml) {
$array = (array)(simplexml_load_file($xml, null, LIBXML_NOCDATA));
foreach ($array as $key => $value) {
$array[$key] = structToArray((array)$value);
}
return $array;
}
function structToArray($item) {
if (!is_string($item)) {
$item = (array)$item;
foreach ($item as $key => $value) {
$item[$key] = structToArray($value);
}
}
return $item;
}
$file ="test.xml";
$arrXml = xmlToArray($file);
print_r($arrXml);
?>
首先，我们构造一个奖项数组：
<?php
$prize_arr = array(
array('id'=>1, 'prize'=>'No.1', 'v'=>1),
array('id'=>2, 'prize'=>'No.2', 'v'=>3),
array('id'=>3, 'prize'=>'No.3', 'v'=>6),
array('id'=>4, 'prize'=>'No.4', 'v'=>10),
array('id'=>5, 'prize'=>'No.5', 'v'=>20),
array('id'=>6, 'prize'=>'Sorry', 'v'=>60),
);
?>
上面的数组中，No.1代表1等奖，以此类推，No.5代表5等奖，而Sorry代表没有中奖。v代表概率。
继续，我们看看算法的代码：
<?php
function get_rand($proArr) {
$result = '';
//概率数组的总概率精度
$proSum = array_sum($proArr);
//概率数组循环
foreach ($proArr as $key => $proCur) {
$randNum = mt_rand(1, $proSum);
if ($randNum <= $proCur) {
$result = $key;
break;
} else {
$proSum -= $proCur;
}
}
unset($proArr);
return $result;
}
?>
上面的代码从1等奖开始，根据概率逐一计算每个奖项是否中出，直至最后没有中奖。
究竟这个算法是否准确，我们来模拟一下：
<?php
//通过奖项数组，构造出一个用于抽奖的概率数组
foreach ($prize_arr as $key => $val) {
$arr[$key] = $val['v'];
}
//模拟1万次抽奖
for ($i=1; $i<=10000; $i++) {
$prize_key = get_rand($arr);
if (isset($test[$prize_arr[$prize_key]['prize']])) {
$test[$prize_arr[$prize_key]['prize']]++;
} else {
$test[$prize_arr[$prize_key]['prize']] = 1;
}
}
print_r($test);
?>
上面代码的模拟结果输出：
Array
(
[sorry] => 6017
[No.5] => 2011
[No.4] => 968
[No.3] => 587
[No.2] => 310
[No.1] => 107
)
通过模拟结果可以看出，这个算法还是很靠谱的。
阳光部落原创，更多内容请访问http://www.sunbloger.com/