作者归档：admin

关于列表推导式

列表推导式最开始是一些函数式编译语言的句法特征，比如模式匹配，它能极大提高函数式程序的读写能力。最开始并没有列表推导式，只有集合推导式（Set Comprehensions），列表推导式第一次使用是Turner1982年在KRC（Kent Recursive Calculator）上。列表推导式曾经在各种函数式编程语言中出现，如Miranda(一种纯粹的函数式编程语言)，Orwell(一种lazy函数式编程语言，对Haskell有较大影响)。

曾经列表推导式被称为集合抽象，由于抽象(abstractions)这个词语的英文单词在若干个地方有用到，其意思太多了，所以引入了推导式(comprehensions)这样一个词语。从数学上的策梅洛-弗兰克尔集合论（Zermelo-Fraenkel Set Theory）（http://en.wikipedia.org/wiki/Zermelo-Frankel_set_theory）　来看，列表推导式和集合推导式类似。比如求集合Ａ中奇数的平方

B = {square x | x ∈ A & odd x}

上面的这个示例，如果A集合是{1,2,3,4}，那么B集合为{1,9}

如果我们把这些数学符号换成常见的编程符号，如：

ys = [square x | x <- xs; odd x]

或者我们将<-再变为for in，再加上if语句，是不是就是Python的列表推导式了。 

vec = [1, 2, 3, 4]
rs = [x * x for x in vec if x % 2 != 0]
print rs

对应上面的Python示例，我们看下在Python中，列表推导式的一般形式：

[表达式 for item1 in 序列1 ... for itemN in 序列N if 条件表达式]

上面的表达式分为三部分，最左边是生成每个元素的表达式，然后是for 迭代过程，最右边可以设定一个if 判断作为过滤条件。

[]内的列表写以写为一行，也可以写为多行，一般来说多行更易读些，看个人喜好吧。

对于Python而言，列表推导式（List Comprehensions）是其最强有力的语法之一，常用于从集合对象中有选择地获取并计算元素，虽然多数情况下可以使用for、if等语句组合完成同样的任务。

其本质是一种语法糖，它提供了一种简洁高效的方式来创建列表和迭代器, 而不必借助map(), filter(), 或者lambda。
简单的列表推导可以比其它的列表创建方法更加清晰简单. 生成器表达式可以十分高效, 因为它们避免了创建整个列表。这里的优点一般是指使用简单的列表推导式时，而对于复杂的列表推导式虽然可以高效，但是生成的表达式可能难以阅读（不排除通过某些注释或排版达到优化可读性的目的）。列表推导式适用于简单情况. 每个部分应该单独置于一行: 映射表达式, for语句, 过滤器表达式. 禁止多重for语句或过滤器表达式. 复杂情况下还是使用循环吧。

如果我们要用PHP去实现列表推导式，应当如何表现呢？（这里假设我们需要实现这样一个语法糖）

有如下想法，其一般形式如下：

list{表达式1, 表达式2, ... if (条件表达式),  $list1 as $key1 => $row1, $list2 as $key2 => $row2, ...}
 
 
//如下示例：
 
list{echo $key1, echo $row2, if ($key1 > $key2), $a as $key => $row, $b as $key2 => $row2, }

在if语句前可以有多个表达式处理，以逗号隔开；
在if语句后面可以有多个列表，以逗号隔开；

也许这个YY有点纠结，只是对于PHP来说，这个糖果也许没那么重要？

参考资料：

Jones – 《The Implementation of Functional Programming Languages》, PH, 1987

http://zh-google-styleguide.googlecode.com/hg-history/2a227ce093e7b70085818bba22061d9393f3bb99/pyguide/python_language_rules.txt

PHP内核中文件上传类型的获取过程

我们在做WEB应用开发时，经常会遇到文件上传的需求，文件作为一种中间介质将一些信息传递给我们。以PHP为例，如果我们需要实现一个简单的文件上传（假设我们的测试服务器为Apache），首先我们需要有一个前台页面让用户选择文件，这里以一个文件的上传为例：

<form name="upload" action="upload_test.php" method="POST" enctype="multipart/form-data">
<input type="hidden" value="1024" name="MAX_FILE_SIZE" />
请选择文件:<input name="ufile" type="file" />
<input type="submit" value="Just Upload it" />
</form>

当我们选择点击提交按钮时，浏览器会将数据提交给服务器。通过Filddle我们可以看到其提交的请求头如下：

POST http://localhost/test/upload_test.php HTTP/1.1
Host: localhost
Connection: keep-alive
Content-Length: 1347
Cache-Control: max-age=0
Origin: http://localhost
User-Agent: //省略若干
Content-Type: multipart/form-data; boundary=----WebKitFormBoundaryBq7AMhcljN14rJrU 
 
// 上面的是关键
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Referer: http://localhost/test/test.html
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
 
// 以下为POST提交的内容
 
------WebKitFormBoundaryBq7AMhcljN14rJrU
Content-Disposition: form-data; name="MAX_FILE_SIZE"
 
10240
------WebKitFormBoundaryBq7AMhcljN14rJrU
Content-Disposition: form-data; name="ufile"; filename="logo.png"
Content-Type: image/png //这里就是我们想要的文件类型
 
//以下为文件内容

如果我们在upload_test.php文件中打印$_FILES，可以看到上传文件类型为image/png。

对应上面的请求头，image/png在文件内容输出的前面的Content-Type字段中。

基本上我们知道了上传的文件类型是浏览器自己识别，直接以文件的Content-Type字段传递给服务器。那么这些内容在PHP中是如何解析的呢？

文件类型获取过程

当客户端发起文件提交请求时，Apache会将所接收到的内容转交给mod_php5模块。
当PHP接收到请求后，首先会调用sapi_activate，在此函数中程序会根据请求的方法处理数据，如我们示例的POST的方法：

if(!strcmp(SG(request_info).request_method, "POST")
&& (SG(request_info).content_type)) {
/* HTTP POST -> may contain form data to be read into variables
depending on content type given
*/
sapi_read_post_data(TSRMLS_C);
}

sapi_read_post_data在main/SAPI.c中实现，它会根据POST内容的Content-Type类型来选择处理POST内容的方法。

if (zend_hash_find(&SG(known_post_content_types), content_type,
content_type_length+1, (void **) &post_entry) == SUCCESS) {
/* found one, register it for use */
SG(request_info).post_entry = post_entry;
post_reader_func = post_entry->post_reader;
}

以上代码的关键在于SG(known_post_content_types)变量在哪里初始化，其基本过程如下：

sapi_startup
sapi_globals_ctor(&sapi_globals);
php_setup_sapi_content_types(TSRMLS_C);
sapi_register_post_entries(php_post_entries TSRMLS_CC);

这里的的php_post_entries定义在main/php_content_types.c文件。如下：

/* {{{ php_post_entries[]
*/
static sapi_post_entry php_post_entries[] = {
{ DEFAULT_POST_CONTENT_TYPE, sizeof(DEFAULT_POST_CONTENT_TYPE)-1, sapi_read_standard_form_data, php_std_post_handler },
{ MULTIPART_CONTENT_TYPE, sizeof(MULTIPART_CONTENT_TYPE)-1, NULL, rfc1867_post_handler },
{ NULL, 0, NULL, NULL }
};
/* }}} */
 
#define MULTIPART_CONTENT_TYPE "multipart/form-data"
 
#define DEFAULT_POST_CONTENT_TYPE "application/x-www-form-urlencoded"

嗯，这里的MULTIPART_CONTENT_TYPE（multipart/form-data）所对应的rfc1867_post_handler方法就是我们今天要找的核心函数，其定义在main/rfc1867.c文件：SAPI_API SAPI_POST_HANDLER_FUNC(rfc1867_post_handler)

后面获取Content-Type的过程就比较简单了：

  • 通过multipart_buffer_eof控制循环，遍历所有的multipart部分
  • 通过multipart_buffer_headers获取multipart部分的头部信息
  • 通过php_mime_get_hdr_value(header, “Content-Type”)获取类型
  • 通过register_http_post_files_variable(lbuf, cd, http_post_files, 0 TSRMLS_CC);将数据写到$_FILES变量。
SAPI_API SAPI_POST_HANDLER_FUNC(rfc1867_post_handler)
{
 
//若干省略
    while (!multipart_buffer_eof(mbuff TSRMLS_CC)){
        if (!multipart_buffer_headers(mbuff, &header TSRMLS_CC)) {
		goto fileupload_done;
	}
//若干省略
	/* Possible Content-Type: */
	if (cancel_upload || !(cd = php_mime_get_hdr_value(header, "Content-Type"))) {
		cd = "";
	} else { 
	/* fix for Opera 6.01 */
		s = strchr(cd, ';');
		if (s != NULL) {
			*s = '\0';
		}
	}
//若干省略
	/* Add $foo[type] */
	if (is_arr_upload) {
        	snprintf(lbuf, llen, "%s[type][%s]", abuf, array_index);
	} else {
		snprintf(lbuf, llen, "%s[type]", param);
	}
	register_http_post_files_variable(lbuf, cd, http_post_files, 0 TSRMLS_CC);
    //若干省略
    }
}

其它的$_FILES中的size、name等字段，其实现过程与type类似

如何在用户中断时停止程序的运行

当我们以WEB的方式运行PHP脚本时，默认情况下，即使你关闭当前页面，程序也会继续执行，直接程序结束或超时。如果我们想在用户关闭页面或点击了停止页面运行时就中断程序，我们需要做些什么呢？上周和小毅同学讨论了这个问题，从而也引出了今天我们这篇文章。

我们知道HTTP协议是基于TCP/IP协议，对于一个PHP页面的请求就是一个HTTP请求（假设我们是Apache服务器），从而会创建TCP连接，当用户中断请求时，会给服务器一个abort状态。这个abort状态就是今天我们要讲的关键点。

在PHP中有一个函数与abort状态有关：ignore_user_abort函数
ignore_user_abort() 函数设置与客户机断开时是否会终止脚本的执行。它返回 user-abort 之前设置的布尔值。它的参数可选。如果设置为 true，则忽略与用户的断开，如果设置为 false，会导致脚本停止运行。

PHP 不会检测到用户是否已断开连接，直到尝试向客户机发送信息为止。因此如果我们只是使用echo语句，可能无法如实的看到abort的效果，因为PHP在输出时会有一个缓存，如果要刷新缓存，则可以使用flush() 函数。

如下代码t.php：

ignore_user_abort(TRUE);
set_time_limit(50);
 
while (1) {
    echo $i++, "\r\n";    
    flush();
 
    $fp = fopen("data.txt", 'a');
    fwrite($fp, $i . " \r\n");
    fclose($fp);
 
    sleep(1);
}

在浏览器中执行这段代码，过了大概两秒后，关闭请求的页面，50秒后，你会发现在data.txt文件中写入了至少50个数。这表示我们的中断操作是无效的。
如果我们改一下，把第一句改为：ignore_user_abort(FALSE);，重复上面的操作，你会发现，只写入了极少的数字，这表示我们的中断操作有效了。
现在通过ignore_user_abort函数，我们实现了用户中断就马上停止程序的操作。这里有一个问题，即我们需要不停的flush，通过flush函数来更新连接状态，当状态为abort时，程序根据ignore_user_abort的设置来判断是否中断程序。除此之外，我们也可以使用直接获取连接状态来check连接状态，并对特定的状态作出处理，如下代码：

ignore_user_abort(FALSE);
set_time_limit(50);
 
while (1) {
 
    echo $i++, "\r\n";
    flush();
 
     if (connection_status() != CONNECTION_NORMAL) {
        break;
    }
 
    $fp = fopen("data.txt", 'a');
    fwrite($fp, $i . ":" . connection_status() . " \r\n");
    fclose($fp);
 
    sleep(1);
}

这里的connection_status函数的作用是获取连接的状态，当连接的状态非normal时，我们就中断循环，从而也达到了中断程序的操作。这个示例与前面的示例不同之处在于中断操作是由我们自己控制，而不是通过flush操作直接exit。如果在用户中断后还有一些其它的操作，这种方式会更合适一些。当然，这里的flush操作依旧不可少，我们还是需要通过这个函数做check操作。

ignore_user_abort函数和connection_status函数都实现了我们的目的，这两个函数的实现有没有关联？我们在ext/standard/basic_functions.c文件中找到这两个函数的实现如下：

/* {{{ proto int connection_aborted(void)
 
Returns true if client disconnected */
PHP_FUNCTION(connection_aborted)
{
    RETURN_LONG(PG(connection_status) & PHP_CONNECTION_ABORTED);
}
/* }}} */
 
/* {{{ proto int connection_status(void)
Returns the connection status bitfield */
PHP_FUNCTION(connection_status)
{
    RETURN_LONG(PG(connection_status));
}
/* }}} */
 
/* {{{ proto int ignore_user_abort([string value])
Set whether we want to ignore a user abort event or not */
PHP_FUNCTION(ignore_user_abort)
{
    char *arg = NULL;
    int arg_len = 0;
    int old_setting;
 
    if (zend_parse_parameters(ZEND_NUM_ARGS() TSRMLS_CC, "|s", &arg, &arg_len) == FAILURE) {
        return;
    }
 
    old_setting = PG(ignore_user_abort);
 
    if (arg) {
        zend_alter_ini_entry_ex("ignore_user_abort", sizeof("ignore_user_abort"), arg, arg_len, PHP_INI_USER,     PHP_INI_STAGE_RUNTIME, 0 TSRMLS_CC);
    }
 
    RETURN_LONG(old_setting);
}
/* }}} */

connection_status函数直接返回PG(connection_status)的值，

ignore_user_abort函数重新设置PG(ignore_user_abort)的值，

不管是因为缓存满自动调用或通过flush函数调用的flush操作，其最终都会根据连接状态判断是否执行php_handle_aborted_connection函数，如果是abort状态，则执行。

其代码如下：

/* {{{ php_handle_aborted_connection
*/
PHPAPI void php_handle_aborted_connection(void)
{
    TSRMLS_FETCH();
 
    PG(connection_status) = PHP_CONNECTION_ABORTED;
    php_output_set_status(0 TSRMLS_CC);
 
    if (!PG(ignore_user_abort)) {
        zend_bailout();
    }
}
/* }}} */

在PG(ignore_user_abort)为假时，即不忽略用户的中断行为时，如果调用了此函数，则使用zend_bailout函数跳出程序直接exit。

在默认情况下ignore_user_abort为0，即不忽略用户的中断行为。

如果你是ubuntu的默认apache环境下，可能上面的代码会无效。这是由于此环境下的apache开启了zip，在没有达到预定的大小时，服务器不会与客户端通信，从而也就无法获取客户端的状态，即使使用了flush函数也是一样。