如何让网站程序定时执行

技术原理

cron+taskqueue

有人说直接用cron就行了,为什么还要用taskqueue呢,是这样的,如果加入一个定时执行任务就要建立一个cron计划的话未免太麻烦,也有可能受到服务器资源的限制,比如我用新浪SAE只能设置15个cron计划,那假如我有一千个定时执行任务,就没办法了。

所以我采取以下策略

我把每个计划任务分成两个部分:需要请求的URL和POST数据,post数据用json格式储存。创建两个表circle表和task表,如果是隔特定时间执行一次任务就在task表中创建一个任务并把任务ID加入circle表中。如果是定时执行,比如x时x分x秒执行,只需把该任务加入task表中即可,并附上时间信息。

然后建了15个cron任务,每隔4秒执行特定的一个脚本,该脚本任务是从task表和circle表中读取时间信息,判断哪个任务需要当前执行,然后取出加入taskqueue队列。。

 

贴吧抢楼程序

[php]
<?php
header("content-type:text/html;charset=gbk");
include "./lib/tieba.class.php";
$tieba=new tieba(‘水之子哈哈’,true,false,"");
$data=$tieba->wap_curl("河海");
foreach($data as $key=>$value){
if($value["replay_count"]==0){
$tieba->replay($value["tid"], get_words("words.txt"));

}
}
function get_words($file){
$data=file("./words/".$file);
$sum=count($data);
return $data[rand(0,$sum-1)];

}
[/php]

ThinkPHP框架分析

先说配置

配置有系统默认配置、项目配置、扩展配置,其中我们自定义的内容绝大多数在项目配置中,也就是Conf/config.php 扩展配置的一种写法如下

先在config.php中写

[php]

<?php

return array(

"LOAD_EXT_CONFIG"=>"db",

);
[/php]

然后我们在同目录的db.php文件中写入配置信息

如何分组

分组比较简单,现在刚才那个config.php文件中写入如下配置信息

[php]

<?php

return array(

"APP_GROUP_LIST"=>"admin,home",

"DEFAULT_GROUP"=>"home",

);

[/php]

然后在action等目录中新建admin home目录,在这些目录中写相关业务逻辑,一些人做的显示错误,可能是大小写输入错误,那可以配置,大小写不敏感

[php]

<?php

return array(

"URL_CASE_INSENSITIVE"=>true

);

[/php]

控制器

控制器比较特别的就属前置和后置操作了,例如:

[php]

function _before_index(){

}

function _after_index(){

}

[/php]

其它的就是获取系统变量,判断请求类型,比较特别的就是ajax返回

模型

数据库模型操作比较老套,亮点有个字段映射,例如

[php]

<?php

protected $_map=array("name"=>"username");

[/php]

由数据库取出的字段转换成表单字段

[php]

<?php

$User=D(‘"user");

$data=$User->find(1);

$data=$User->parseFieldsMap($data);

[/php]

MySQL 三种关联查询的方式: ON vs USING vs 传统风格

看看下面三个关联查询的 SQL 语句有何区别?
[sql]
SELECT * FROM film JOIN film_actor ON (film.film_id = film_actor.film_id)
SELECT * FROM film JOIN film_actor USING (film_id)
SELECT * FROM film, film_actor WHERE film.film_id = film_actor.fi
[/sql]
最大的不同更多是语法糖,但有一些有意思的东西值得关注。

为了方便区别,我们将前两种写法称作是 ANSI 风格,第三种称为 Theta 风格。

Theta 风格

在 FROM 短语中列出了关联的表名,而 WHERE 短语则指定如何关联。

这种写法被认为是古老的方式,有些时候比较难以理解,请看下面查询:
[sql]
SELECT * FROM film, film_actor WHERE film.film_id = film_actor.film_id AND actor_id = 17 AND film.length > 120
[/sql]
上述查询列出片长超过 120 分钟的电影,其中包括演员编号是 17 的条件。别在意查询结果,查询本身如何呢?WHERE 表达式中包含三个条件,要看出哪个条件是关联,哪个条件是过滤还是稍费点事的。不过还是相对简单的,但如果是 5 个表,20 多个条件呢?

ANSI 风格: ON

使用 JOIN … ON 可以将表关联的条件和记录过滤条件分开,将上面的语句重写后的结果如下:
[sql]
SELECT * FROM film JOIN film_actor ON (film.film_id = film_actor.film_id) WHERE actor_id = 17 AND film.length > 120
[/sql]
看起来清晰许多。

注意: ON 语句中的括号不是必须的,我个人喜欢这样写而已。

ANSI 风格: USING

有一种特殊情况,当两个要关联表的字段名是一样的,我们可以使用  USING ,可减少 SQL 语句的长度:
[sql]
SELECT * FROM film JOIN film_actor USING (film_id) WHERE actor_id = 17 AND film.length > 120
[/sql]
这个时候括号就是必须的了。这种写法很好,输入更少的单词,查询的性能也非常棒,但还需要注意一些差异。

USING 和 ON

下面语句是可行的:
[sql]
SELECT film.title, film_id FROM film JOIN film_actor USING (film_id) WHERE actor_id = 17 AND film.length > 120;
[/sql]
但下面这个就不行:
[sql]
SELECT film.title, film_id FROM film JOIN film_actor ON (film.film_id = film_actor.film_id) WHERE actor_id = 17 AND film.length > 120;ERROR 1052 (23000): Column ‘film_id’ in field list is ambiguous
[/sql]
因为 USING “知道” film_id 字段在两个表中都有,所以没有指定确切的表都没关系,两个值必须一致就是。

ON 就没那么智能,你必须指明要关联的表和字段名。

上面两个实际的结果是比较有趣的,当使用 USING 时,字段只在结果中出现一次:
[sql]
SELECT * FROM film JOIN film_actor USING (film_id) WHERE actor_id = 17 AND film.length > 120 LIMIT 1G
*************************** 1. row ***************************
film_id: 96
title: BREAKING HOME
description: A Beautiful Display of a Secret Agent And a Monkey who must Battle a Sumo Wrestler in An Abandoned Mine Shaft
release_year: 2006
language_id: 1
original_language_id: NULL
rental_duration: 4
rental_rate: 2.99
length: 169
replacement_cost: 21.99
rating: PG-13
special_features: Trailers,Commentaries
last_update: 2006-02-15 05:03:42
actor_id: 17
last_update: 2006-02-15 05:05:03
[/sql]
而使用 ON 时,字段就会出现两次:
[sql]
SELECT * FROM film JOIN film_actor ON film.film_id = film_actor.film_id WHERE actor_id = 17 AND film.length > 120 LIMIT 1G
*************************** 1. row ***************************
film_id: 96
title: BREAKING HOME
description: A Beautiful Display of a Secret Agent And a Monkey who must Battle a Sumo Wrestler in An Abandoned Mine Shaft
release_year: 2006
language_id: 1
original_language_id: NULL
rental_duration: 4
rental_rate: 2.99
length: 169
replacement_cost: 21.99
rating: PG-13
special_features: Trailers,Commentaries
last_update: 2006-02-15 05:03:42
actor_id: 17
film_id: 96
last_update: 2006-02-15 05:05:03
[/sql]
幕后
MySQL 对两者的处理方式是相同的,使用 EXPLAIN EXTENDED 我们可以看到:
[sql]
EXPLAIN EXTENDED SELECT film.title, film_id FROM film JOIN film_actor USING (film_id) WHERE actor_id = 17 AND film.length > 120G
*************************** 1. row ***************************

2 rows in set, 1 warning (0.00 sec)

root@mysql-5.1.51> SHOW WARNINGSG
*************************** 1. row ***************************
Level: Note
Code: 1003
Message: select `sakila`.`film`.`title` AS `title`,`sakila`.`film`.`film_id` AS `film_id`
from `sakila`.`film` join `sakila`.`film_actor`
where (
(`sakila`.`film`.`film_id` = `sakila`.`film_actor`.`film_id`)
and (`sakila`.`film_actor`.`actor_id` = 17)
and (`sakila`.`film`.`length` > 120)
)
[/sql]
最终所有的查询都被转成了 Theta 风格。

让HTTP代理更加智能化

一、HTTP代理的应用环境

刷票、发帖、刷流量等需要在短时间内换大量IP的应用

二、在使用HTTP代理的难点

1.选出能有且速度快的代理较难

2.用选出的代理在实际使用中会出现不稳定情况,需要针对此IP进行智能化的再鉴定和剔除工作

3.伪造初始IP地址,如果只是简单的应用代理,服务器很简单的就能检测出原始IP

三、程序的书写

[php]
public function get($url) {
$this->curl = curl_init();
if($this->proxy){
curl_setopt ($this->curl, CURLOPT_PROXY,$this->proxy);
curl_setopt ($this->curl, CURLOPT_HTTPHEADER, array(‘CLIENT-IP:’.$this->client_ip, ‘X-FORWARDED-FOR:’.$this->client_ip));
echo $this->proxy;
}
curl_setopt($this->curl, CURLOPT_URL, $url);
curl_setopt($this->curl, CURLOPT_HEADER, 1);
curl_setopt($this->curl, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)");
curl_setopt($this->curl, CURLOPT_COOKIE, $this->cookie);
curl_setopt($this->curl, CURLOPT_RETURNTRANSFER, 1);
$data = curl_exec($this->curl);
curl_close($this->curl);
preg_match_all("/Set-Cookie:(.*?);/", $data, $match, PREG_SET_ORDER);
foreach ($match as $r) {
if ($this->cookie != ”) {
$this->cookie = $this->cookie . ‘;’;
}
if (isset($r[1])) {
$this->cookie .= trim(str_replace("rn", "", $r[1]));
}
}
$this->set($this->cookie_name,$this->cookie);
return $data;

}
[/php]