文章
文章用户商铺快讯网址导航

小知识：Nginx学习笔记之事件驱动框架处理流程

ngx_event_core_module模块的ngx_event_process_init方法对事件模块做了一些初始化。其中包括将“请求连接”这样一个读事件对应的处理方法（handler）设置为ngx_event_accept函数，并将此事件添加到epoll模块中。当有新连接事件发生时，ngx_event_accept就会被调用。大致流程是这样：

worker进程在ngx_worker_process_cycle方法中不断循环调用ngx_process_events_and_timers函数处理事件，这个函数是事件处理的总入口。

ngx_process_events_and_timers会调用ngx_process_events，这是一个宏，相当于ngx_event_actions.process_events，ngx_event_actions是个全局的结构体，存储了对应事件驱动模块（这里是epoll模块）的10个函数接口。所以这里就是调用了ngx_epoll_module_ctx.actions.process_events函数，也就是ngx_epoll_process_events函数来处理事件。

ngx_epoll_process_events调用Linux函数接口epoll_wait获得“有新连接”这个事件，然后调用这个事件的handler处理函数来对这个事件进行处理。

在上面已经说过handler已经被设置成了ngx_event_accept函数，所以就调用ngx_event_accept进行实际的处理。

下面分析ngx_event_accept方法，它的流程图如下所示：

%小知识：Nginx学习笔记之事件驱动框架处理流程-猿站网-插图

经过精简的代码如下，注释中的序号对应上图的序号：

001void
002ngx_event_accept(ngx_event_t *ev)
003{
004socklen_t  socklen;
005ngx_err_t  err;
006ngx_log_t  *log;
007ngx_uint_t  level;
008ngx_socket_t  s;
009ngx_event_t  *rev, *wev;
010ngx_listening_t  *ls;
011ngx_connection_t *c, *lc;
012ngx_event_conf_t *ecf;
013u_char  sa[NGX_SOCKADDRLEN];
014
015if (ev->timedout) {
016if (ngx_enable_accept_events((ngx_cycle_t *) ngx_cycle) != NGX_OK) {
017return;
018}
019
020ev->timedout = 0;
021}
022
023ecf = ngx_event_get_conf(ngx_cycle->conf_ctx, ngx_event_core_module);
024
025if (ngx_event_flags & NGX_USE_RTSIG_EVENT) {
026ev->available = 1;
027
028} else if (!(ngx_event_flags & NGX_USE_KQUEUE_EVENT)) {
029ev->available = ecf->multi_accept;
030}
031
032lc = ev->data;
033ls = lc->listening;
034ev->ready = 0;
035
036do {
037socklen = NGX_SOCKADDRLEN;
038
039/* 1、accept方法试图建立连接，非阻塞调用 */
040s = accept(lc->fd, (struct sockaddr *) sa, &socklen);
041
042if (s == (ngx_socket_t) -1)
043{
044err = ngx_socket_errno;
045
046if (err == NGX_EAGAIN)
047{
048/* 没有连接，直接返回 */
049return;
050}
051
052level = NGX_LOG_ALERT;
053
054if (err == NGX_ECONNABORTED) {
055level = NGX_LOG_ERR;
056
057} else if (err == NGX_EMFILE || err == NGX_ENFILE) {
058level = NGX_LOG_CRIT;
059}
060
061if (err == NGX_ECONNABORTED) {
062if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
063ev->available–;
064}
065
066if (ev->available) {
067continue;
068}
069}
070
071if (err == NGX_EMFILE || err == NGX_ENFILE) {
072if (ngx_disable_accept_events((ngx_cycle_t *) ngx_cycle)
073!= NGX_OK)
074{
075return;
076}
077
078if (ngx_use_accept_mutex) {
079if (ngx_accept_mutex_held) {
080ngx_shmtx_unlock(&ngx_accept_mutex);
081ngx_accept_mutex_held = 0;
082}
083
084ngx_accept_disabled = 1;
085
086} else {
087ngx_add_timer(ev, ecf->accept_mutex_delay);
088}
089}
090
091return;
092}
093
094/* 2、设置负载均衡阈值 */
095ngx_accept_disabled = ngx_cycle->connection_n / 8
096- ngx_cycle->free_connection_n;
097
098/* 3、从连接池获得一个连接对象 */
099c = ngx_get_connection(s, ev->log);
100
101/* 4、为连接创建内存池 */
102c->pool = ngx_create_pool(ls->pool_size, ev->log);
103
104c->sockaddr = ngx_palloc(c->pool, socklen);
105
106ngx_memcpy(c->sockaddr, sa, socklen);
107
108log = ngx_palloc(c->pool, sizeof(ngx_log_t));
109
110/* set a blocking mode for aio and non-blocking mode for others */
111/* 5、设置套接字属性为阻塞或非阻塞 */
112if (ngx_inherited_nonblocking) {
113if (ngx_event_flags & NGX_USE_AIO_EVENT) {
114if (ngx_blocking(s) == -1) {
115ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
116ngx_blocking_n ” failed”);
117ngx_close_accepted_connection(c);
118return;
119}
120}
121
122} else {
123if (!(ngx_event_flags & (NGX_USE_AIO_EVENT|NGX_USE_RTSIG_EVENT))) {
124if (ngx_nonblocking(s) == -1) {
125ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
126ngx_nonblocking_n ” failed”);
127ngx_close_accepted_connection(c);
128return;
129}
130}
131}
132
133*log = ls->log;
134
135c->recv = ngx_recv;
136c->send = ngx_send;
137c->recv_chain = ngx_recv_chain;
138c->send_chain = ngx_send_chain;
139
140c->log = log;
141c->pool->log = log;
142
143c->socklen = socklen;
144c->listening = ls;
145c->local_sockaddr = ls->sockaddr;
146c->local_socklen = ls->socklen;
147
148c->unexpected_eof = 1;
149
150rev = c->read;
151wev = c->write;
152
153wev->ready = 1;
154
155if (ngx_event_flags & (NGX_USE_AIO_EVENT|NGX_USE_RTSIG_EVENT)) {
156/* rtsig, aio, iocp */
157rev->ready = 1;
158}
159
160if (ev->deferred_accept) {
161rev->ready = 1;
162
163}
164
165rev->log = log;
166wev->log = log;
167
168/*
169* TODO: MT: – ngx_atomic_fetch_add()
170*  or protection by critical section or light mutex
171*
172* TODO: MP: – allocated in a shared memory
173*   – ngx_atomic_fetch_add()
174*  or protection by critical section or light mutex
175*/
176
177c->number = ngx_atomic_fetch_add(ngx_connection_counter, 1);
178
179if (ls->addr_ntop) {
180c->addr_text.data = ngx_pnalloc(c->pool, ls->addr_text_max_len);
181if (c->addr_text.data == NULL) {
182ngx_close_accepted_connection(c);
183return;
184}
185
186c->addr_text.len = ngx_sock_ntop(c->sockaddr, c->socklen,
187c->addr_text.data,
188ls->addr_text_max_len, 0);
189if (c->addr_text.len == 0) {
190ngx_close_accepted_connection(c);
191return;
192}
193}
194
195/* 6、将新连接对应的读写事件添加到epoll对象中 */
196if (ngx_add_conn && (ngx_event_flags & NGX_USE_EPOLL_EVENT) == 0) {
197if (ngx_add_conn(c) == NGX_ERROR) {
198ngx_close_accepted_connection(c);
199return;
200}
201}
202
203log->data = NULL;
204log->handler = NULL;
205
206/* 7、TCP建立成功调用的方法，这个方法在ngx_listening_t结构体中 */
207ls->handler(c);
208
209} while (ev->available); /* available标志表示一次尽可能多的建立连接，由配置项multi_accept决定 */
210}

Nginx中的“惊群”问题

Nginx一般会运行多个worker进程，这些进程会同时监听同一端口。当有新连接到来时，内核将这些进程全部唤醒，但只有一个进程能够和客户端连接成功，导致其它进程在唤醒时浪费了大量开销，这被称为“惊群”现象。Nginx解决“惊群”的方法是，让进程获得互斥锁ngx_accept_mutex，让进程互斥地进入某一段临界区。在该临界区中，进程将它所要监听的连接对应的读事件添加到epoll模块中，使得当有“新连接”事件发生时，该worker进程会作出反应。这段加锁并添加事件的过程是在函数ngx_trylock_accept_mutex中完成的。而当其它进程也进入该函数想要添加读事件时，发现互斥锁被另外一个进程持有，所以它只能返回，它所监听的事件也无法添加到epoll模块，从而无法响应“新连接”事件。但这会出现一个问题：持有互斥锁的那个进程在什么时候释放互斥锁呢？如果需要等待它处理完所有的事件才释放锁的话，那么会需要相当长的时间。而在这段时间内，其它worker进程无法建立新连接，这显然是不可取的。Nginx的解决办法是：通过ngx_trylock_accept_mutex获得了互斥锁的进程，在获得就绪读/写事件并从epoll_wait返回后，将这些事件归类放入队列中：

新连接事件放入ngx_posted_accept_events队列

已有连接事件放入ngx_posted_events队列

代码如下：

01if (flags & NGX_POST_EVENTS)
02{
03/* 延后处理这批事件 */
04queue = (ngx_event_t **) (rev->accept ? &ngx_posted_accept_events : &ngx_posted_events);
05
06/* 将事件添加到延后执行队列中 */
07ngx_locked_post_event(rev, queue);
08}
09else
10{
11rev->handler(rev); /* 不需要延后，则立即处理事件 */
12}

写事件做类似处理。进程接下来处理ngx_posted_accept_events队列中的事件，处理完后立即释放互斥锁，使该进程占用锁的时间降到了最低。

Nginx中的负载均衡问题

Nginx中每个进程使用了一个处理负载均衡的阈值ngx_accept_disabled，它在上图的第2步中被初始化：

ngx_accept_disabled = ngx_cycle->connection_n / 8 – ngx_cycle->free_connection_n;

它的初值为一个负数，该负数的绝对值等于总连接数的7/8.当阈值小于0时正常响应新连接事件，当阈值大于0时不再响应新连接事件，并将ngx_accept_disabled减1，代码如下：

01if (ngx_accept_disabled > 0)
02{
03ngx_accept_disabled–;
04}
05else
06{
07if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR)
08{
09return;
10}
11….
12}

这说明，当某个进程当前的连接数达到能够处理的总连接数的7/8时，负载均衡机制被触发，进程停止响应新连接。

参考：

《深入理解Nginx》 P328-P334.

声明： 猿站网有关资源均来自网络搜集与网友提供，任何涉及商业盈利目的的均不得使用，否则产生的一切后果将由您自己承担！ 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除，制止非法恶意传播，不对任何下载或转载者造成的危害负任何法律责任！也请大家支持、购置正版！ 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报，会员发帖仅代表会员个人观点，并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络，如有侵权烦请发送邮件至：2697268773@qq.com进行处理。
eventngxprocess
建站知识

小知识：Linux rpm、yum指令及使用方法详解

2023-5-9 1:54:43

建站知识

小知识：Linux 逻辑卷管理(LVM)使用方法总结

2023-5-9 2:02:57

猜你喜欢
0 条回复 A文章作者 M管理员
    暂无讨论，说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部