HTTP协议的过期模型和由过期时间想到的

HTTP为提高性能,减少网络传输的信息量,从而使用了缓存。
HTTP协议缓存的目标是去除许多情况下对于发送请求的的需求和去除许多情况下发送完整请求的需求。
在http协议中使用截止模型和证实模型来实现缓存。
【截止模型】
目的:减少操作的大量网络来回奔波,或者说减少http的请求数。
避免请求的主要机制是服务器提供明确的在将来截止的时间,表示响应可满足后续请求,即可以在不联系服务器而返回更新的响应。
在服务器指定了截止时间,在截止时间之前实体不会改变,此时需要慎重考虑截止时间。
实现方式:服务器可以使用Expires头部,也可以使用Cache-Control头部的max-age指令来指定明确的截止时间。
其中max-age指令的优先级高于Expires
【证实模型】
目的:减少网络带宽的损耗
这里的证实是指在在请求与应答中存在一些缓存的条目,这些条目在请求与应答中传递,判断是否过期,从而判断是否重传内容。
与截止模型相关,这里还有一次请求,只是如果缓存有效,则不会重传内容。
实现方式:Last-Modified实体头部域经常用于证实模型,如果实体在Last-Modified值以来没有修改过,则可以认为此缓存有效。
ETag头部域提供“不透明”的证实。
【由过期时间想到的】
近来看协议,看源码,过期时间或者超时总会频繁出现。
思考,为什么在这种大型的架构中,过期时间这样一个限制是如此频繁的出现。又或者我们在cookie或session中所看到的expire,缓存中的时间限制等等。这些都是我们经常可以遇到的。
如果我们把这些东西赋予生命,那么我们所设置的这些都是他们的生命终止的时候。
为了保证程序或信息流的生命的完整性,我们希望他们在出生后,只能存活这样一段时间,在我们可以控制的范围内自然的消散?
那对于内存的分配和新的垃圾收集机制,PHP中使用了引用计数,如果使用过期时间,在某个特定的时间内有效,又或者我们无法控制用户所定义的变量的生命周期,所以我们无法以过期时间来实现?
前面提到了session,PHP的session存储方案中,以文件存储为例,设置了过期时间。以文件的最后修改时间为准。
一次http请求,如果缓存 在客户端的内容还没有过期,则直接使用客户端的内容,这是http协议的一种过期模型。这是一个纯粹的以过期时间缓存的模型。不存在再次的交互。
在应用中提到过期,也许我们会看到缓存这个东西。缓存,以一种更快的介质或更短的距离取代较慢的介质或较长的传输距离的优化方式。
如果一个生命没有了完结的时候,它永生了,又当如何?守护进程,我们希望他会一直运行,那如何我们需要时时的中断这样的守护进程,如何管理?我们在做设计的时候如何处理?对于一个永不过期的缓存,如果我们需要将其清除掉,如何处理?清除这一个?以相同 的key重新设置?
以上的http协议的过期模型来自 RFC2616
后面是乱想的…
从年前开始,一直在和朋友一起写TIPI系统文章,而blog的更新也就放在一旁了。这里说明一下。

HTTP为提高性能,减少网络传输的信息量,从而使用了缓存。

HTTP协议缓存的目标是去除许多情况下对于发送请求的的需求和去除许多情况下发送完整请求的需求。

在http协议中使用截止模型和证实模型来实现缓存。

【截止模型】

目的:减少操作的大量网络来回奔波,或者说减少http的请求数。

避免请求的主要机制是服务器提供明确的在将来截止的时间,表示响应可满足后续请求,即可以在不联系服务器而返回更新的响应。

在服务器指定了截止时间,在截止时间之前实体不会改变,此时需要慎重考虑截止时间。

实现方式:服务器可以使用Expires头部,也可以使用Cache-Control头部的max-age指令来指定明确的截止时间。

其中max-age指令的优先级高于Expires

【证实模型】

目的:减少网络带宽的损耗

这里的证实是指在在请求与应答中存在一些缓存的条目,这些条目在请求与应答中传递,判断是否过期,从而判断是否重传内容。

与截止模型相关,这里还有一次请求,只是如果缓存有效,则不会重传内容。

实现方式:Last-Modified实体头部域经常用于证实模型,如果实体在Last-Modified值以来没有修改过,则可以认为此缓存有效。

ETag头部域提供“不透明”的证实。

【由过期时间想到的】

近来看协议,看源码,过期时间或者超时总会频繁出现。

思考,为什么在这种大型的架构中,过期时间这样一个限制是如此频繁的出现。又或者我们在cookie或session中所看到的expire,缓存中的时间限制等等。这些都是我们经常可以遇到的。

如果我们把这些东西赋予生命,那么我们所设置的这些都是他们的生命终止的时候。

为了保证程序或信息流的生命的完整性,我们希望他们在出生后,只能存活这样一段时间,在我们可以控制的范围内自然的消散?

那对于内存的分配和新的垃圾收集机制,PHP中使用了引用计数,如果使用过期时间,在某个特定的时间内有效,又或者我们无法控制用户所定义的变量的生命周期,所以我们无法以过期时间来实现?

前面提到了session,PHP的session存储方案中,以文件存储为例,设置了过期时间。以文件的最后修改时间为准。

一次http请求,如果缓存 在客户端的内容还没有过期,则直接使用客户端的内容,这是http协议的一种过期模型。这是一个纯粹的以过期时间缓存的模型。不存在再次的交互。

在应用中提到过期,也许我们会看到缓存这个东西。缓存,以一种更快的介质或更短的距离取代较慢的介质或较长的传输距离的优化方式。

如果一个生命没有了完结的时候,它永生了,又当如何?守护进程,我们希望他会一直运行,那如何我们需要时时的中断这样的守护进程,如何管理?我们在做设计的时候如何处理?对于一个永不过期的缓存,如果我们需要将其清除掉,如何处理?清除这一个?以相同 的key重新设置?

以上的http协议的过期模型来自 RFC2616

后面是乱想的…

从年前开始,一直在和朋友一起写TIPI系统文章…

TIPI0203-PHP脚本的执行

在前面的章节介绍了PHP的生命周期,PHP的SAPI,这些内容都是处于上层的,在这个下面是对于PHP本身的解析和执行。这一小节我们介绍PHP脚本的执行。

目前的编程语言可以分为两大类:

  • 第一类是像C/C++, .NET, Java之类的编译型语言, 它们的共性是: 运行之前必须对源代码进行编译,然后运行编译后的目标文件.
  • 第二类比如:PHP, Javascript, Ruby, Python这些解释型语言, 他们都无需经过编译即可”运行”. 虽然可以理解为直接运行, 但它们并不是真的直接就被能被机器理解, 机器只能理解机器语言,那这些语言是怎么被执行的呢, 一般这些语言都需要一个解释器, 由解释器来执行这些源码, 实际上这些语言还是会经过编译环节, 只不过它们一般会在运行的时候实时进行编译. 为了效率,并不是所有语言在每次执行的时候都会重新编译一遍, 比如PHP的各种opcode缓存扩展(如APC, xcache, eAccelerator等),比如Python会将编译的中间文件保存成pyc/pyo文件,避免每次运行重新进行编译所带来的性能损失.

PHP的脚本的执行也需要一个解释器, 比如命令行下的php程序,或者apache的mod_php模块等等. 前一节提到了PHP的SAPI接口, 下面就以PHP命令行程序为例解释PHP脚本是怎么被执行的. 例如如下的这段PHP脚本:

<?php
$str = "Hello, Tipi!\n";
echo $str;

假设上面的代码保存在名为hello.php的文件中, 用PHP命令行程序执行这个脚本:

$ php --help  # 显示php程序可以接受的参数
$ php ./hello.php

这段代码的输出显然是Hello, Tipi!, 那么在执行脚本的时候PHP/Zend都做了些什么呢? 这些语句是怎么样让php输出这段话的呢? 下面将一步一步的进行介绍.

程序的执行

  1. 如上例中, 传递给php程序需要执行的文件, php程序完成基本的准备工作后启动PHP及Zend引擎, 加载注册的扩展模块.
  2. 初始化完成后读取脚本文件,Zend引擎对脚本文件进行词法分析,语法分析. 然后编译成opcode 执行. 如果安装了apc之类的opcode缓存, 编译环节可能会被跳过而直接从缓存中读取opcode执行.

脚本的编译执行

PHP在读取到脚本文件后首先对代码进行词法分析, PHP的词法分析器是通过lex生成的, 词法规则文件在$PHP_SRC/Zend/zend_language_scanner.l, 这一阶段lex会会将源代码按照词法规则切分一个一个的标记(token). PHP中提供了一个函数token_get_all(), 该函数接收一个字符串参数, 返回一个按照词法规则切分好的数组. 例如将上面的php代码作为参数传递给这个函数:

<?php
$code =<<<PHP_CODE
<?php
$str = "Hello, Tipi\n";
echo $str;
PHP_CODE;

var_dump(token_get_all($code));

运行上面的脚本你将会看到一如下的输出

array (
  0 =>
  array (
    0 => 368,       // 脚本开始标记
    1 => '<?php     // 匹配到的字符串
',
    2 => 1,
  ),
  1 =>
  array (
    0 => 371,
    1 => ' ',
    2 => 2,
  ),
  2 => '=',
  3 =>
  array (
    0 => 371,
    1 => ' ',
    2 => 2,
  ),
  4 =>
  array (
    0 => 315,
    1 => '"Hello, Tipi
"',
    2 => 2,
  ),
  5 => ';',
  6 =>
  array (
    0 => 371,
    1 => '
',
    2 => 3,
  ),
  7 =>
  array (
    0 => 316,
    1 => 'echo',
    2 => 4,
  ),
  8 =>
  array (
    0 => 371,
    1 => ' ',
    2 => 4,
  ),
  9 => ';',

这也是Zend引擎词法分析做的事情,将代码切分为一个个的标记,然后使用语法分析器(PHP使用yacc生成语法分析器, 规则见$PHP_SRC/Zend/zend_language_parser.y), yacc根据规则进行相应的处理, 如果代码找不到匹配的规则,也就是语法错误时Zend引擎会停止,并输出错误信息. 比如缺少括号,或者不符合语法规则的情况都会在这个环节检查. 在匹配到相应的语法规则后,Zend引擎还会进行编译, 将代码编译为opcode, 完成后,Zend引擎会执行这些opcode, 在执行opcode的过程中还有可能会继续重复进行编译-执行, 例如执行eval,include/require等语句, 因为这些语句还会包含或者执行其他文件或者字符串中的脚本.

例如上例中的echo语句会编译为一条ZEND_ECHO指令, 执行过程中,该指令由C函数zend_print_variable(zval* z)执行,将传递进来的字符串打印出来. 为了方便理解, 本例中省去了一些细节,例如opcode指令和处理函数之间的映射关系等. 后面的章节将会详细介绍.

如果想直接查看生成的Opcode,可以使用php的vld扩展查看。扩展下载地址: http://pecl.php.net/package/vld。Win下需要自己编译生成dll文件。

作者:TIPI团队

TIPI020203-FastCGI

FastCGI简介


什么是CGI

CGI全称是“通用网关接口”(Common Gateway Interface), 它可以让一个客户端,从网页浏览器向执行在Web服务器上的程序,请求数据。 CGI描述了客户端和这个程序之间传输数据的一种标准。 CGI的一个目的是要独立于任何语言的,所以CGI可以用任何一种语言编写,只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等

什么是FastCGI

FastCGI像是一个常驻(long-live)型的CGI,它可以一直执行着,只要激活后,不会每次都要花费时间去fork一次(这是CGI最为人诟病的fork-and-execute 模式)。它还支持分布式的运算, 即 FastCGI 程序可以在网站服务器以外的主机上执行并且接受来自其它网站服务器来的请求。

FastCGI是语言无关的、可伸缩架构的CGI开放扩展,其主要行为是将CGI解释器进程保持在内存中并因此获得较高的性能。众所周知,CGI解释器的反复加载是CGI性能低下的主要原因,如果CGI解释器保持在内存中并接受FastCGI进程管理器调度,则可以提供良好的性能、伸缩性、Fail- Over特性等等。

FastCGI的工作原理

  1. Web Server启动时载入FastCGI进程管理器(IIS ISAPI或Apache Module)
  2. FastCGI进程管理器自身初始化,启动多个CGI解释器进程(可见多个php-cgi)并等待来自Web Server的连接。
  3. 当客户端请求到达Web Server时,FastCGI进程管理器选择并连接到一个CGI解释器。Web server将CGI环境变量和标准输入发送到FastCGI子进程php-cgi。
  4. FastCGI子进程完成处理后将标准输出和错误信息从同一连接返回Web Server。当FastCGI子进程关闭连接时,请求便告处理完成。FastCGI子进程接着等待并处理来自FastCGI进程管理器(运行在Web Server中)的下一个连接。 在CGI模式中,php-cgi在此便退出了。

PHP中的CGI实现


PHP的cgi实现本质是是以socket编程实现一个tcp或udp协议的服务器,当启动时,创建tcp/udp协议的服务器的socket监听,并接收相关请求进行处理。这只是请求的处理,在此基础上添加模块初始化,sapi初始化,模块关闭,sapi关闭等就构成了整个cgi的生命周期。 程序是从cgi_main.c文件的main函数开始,而在main函数中调用了定义在fastcgi.c文件中的初始化,监听等函数。我们从main函数开始,看看PHP对于fastcgi的实现。

这里将整个流程分为初始化操作,请求处理,关闭操作三个部分。 我们就整个流程进行简单的说明,并在其中穿插介绍一些用到的重要函数。

初始化操作

过程说明见代码注释

/* {{{ main
 */
int main(int argc, char *argv[])
{
...
sapi_startup(&cgi_sapi_module); //  1512行 启动sapi,调用sapi全局构造函数,初始化sapi_globals_struct结构体
... //  根据启动参数,初始化信息

if (cgi_sapi_module.startup(&cgi_sapi_module) == FAILURE) { //  模块初始化 调用php_cgi_startup方法
...
}

...
if (bindpath) {
    fcgi_fd = fcgi_listen(bindpath, 128);   //  实现socket监听,调用fcgi_init初始化
    ...
}

if (fastcgi) {
    ...
    /* library is already initialized, now init our request */
    fcgi_init_request(&request, fcgi_fd);   //  request内存分配,初始化变量
}

fcgi_listen函数主要用于创建、绑定socket并开始监听

    if ((listen_socket = socket(sa.sa.sa_family, SOCK_STREAM, 0)) < 0 ||
        ...
        bind(listen_socket, (struct sockaddr *) &sa, sock_len) < 0 ||
        listen(listen_socket, backlog) < 0) {
        ...
    }

请求处理操作流程

过程说明见代码注释

    while (parent) {
        do {
            pid = fork();   //  生成新的子进程
            switch (pid) {
            case 0: //  子进程
                parent = 0;

                /* don't catch our signals */
                sigaction(SIGTERM, &old_term, 0);   //  终止信号
                sigaction(SIGQUIT, &old_quit, 0);   //  终端退出符
                sigaction(SIGINT,  &old_int,  0);   //  终端中断符
                break;
                ...
                default:
                /* Fine */
                running++;
                break;
        } while (parent && (running < children));

    ...
        while (!fastcgi || fcgi_accept_request(&request) >= 0) {
        SG(server_context) = (void *) &request;
        init_request_info(TSRMLS_C);
        CG(interactive) = 0;
                    ...
            }

在fcgi_accept_request函数中,处理连接请求,忽略受限制客户的请求,调用fcgi_read_request函数(定义在fastcgi.c文件),分析请求的信息,将相关的变量写到对应的变量中。 其中在读取请求内容时调用了safe_read方法。如下所示: [main() -> fcgi_accept_request() -> fcgi_read_request() -> safe_read()]

static inline ssize_t safe_read(fcgi_request *req, const void *buf, size_t count)
{
    size_t n = 0;
    do {
    ... //  省略  对win32的处理
        ret = read(req->fd, ((char*)buf)+n, count-n);   //  非win版本的读操作
    ... //  省略
    } while (n != count);

}

在请求初始化完成,读取请求完毕后,就该处理请求的PHP文件了。假设此次请求为PHP_MODE_STANDARD则会调用php_execute_script执行PHP文件。 在此函数中它先初始化此文件相关的一些内容,然后再调用zend_execute_scripts函数,对PHP文件进行词法分析和语法分析,生成中间代码, 并执行zend_execute函数,从而执行这些中间代码。关于整个脚本的执行请参见第三节 脚本的执行。

关闭操作流程

过程说明代码注释

...
php_request_shutdown((void *) 0);   //  php请求关闭函数
...
fcgi_shutdown();    //  fcgi的关闭 销毁fcgi_mgmt_vars变量
php_module_shutdown(TSRMLS_C);  //  模块关闭    清空sapi,关闭zend引擎 销毁内存,清除垃圾等
sapi_shutdown();    //  sapi关闭  sapi全局变量关闭等
...

参考资料


以下为本篇文章对于一些定义引用的参考资料:

http://www.fastcgi.com/drupal/node/2

http://baike.baidu.com/view/641394.htm

作者:TIPI团队