邢栋博客

邢栋博客,Action博客,记录工作和生活中的点点滴滴

关于负载均衡
负载均衡的工作方式

1.http重定向
当http代理(比如浏览器)向web服务器请求某个url后,web服务器可以通过http响应信息中的location标记来返回一个新的url。这意味着http代理需要继续请求这个新的url,完成自动跳转。
缺点:吞吐率限制
优点:不需要额外的技术支持

2.dns负载均衡
dns负责提供域名解析服务,当访问某个站点时,实际上首先需要通过该站点域名的dns服务器来获取域名指向的ip地址,这一过程,dns服务器完成了域名到ip地址的映射,同样,这样映射也可以是一对多的,这个时候,dns服务器便充当了负载均衡调度器
dig google.cn 查看dns的配置
缺点:dns记录缓存更新不及时、策略的局限性、不能做健康检查
优点:可以寻找最近的服务器,加快请求速度
适用场景:多机房部署的时候


3.反向代理负载均衡
在用户的请求到达反向代理服务器时(已经到达网站机房),由反向代理服务器根据算法转发到具体的服务器。常用的apache,nginx都可以充当反向代理服务器。反向代理的调度器可以根据扮演的是用户和实际服务器中间人的角色。
工作在http层(七层)
缺点:代理服务器成为性能的瓶颈,特别是一次上传大文件
有点:配置简单、策略丰富、维持用户回话、可根据访问路径做转发。
适用场景:请求量不高的,简单负载均衡。后端较大的应用。

4.ip负载均衡
工作在传输层(四层)
通过操作系统内修改发送来的ip数据包,将数据包的目标地址修改为内部实际服务器地址,从而实现请求的转发,做到负载均衡。lvs的nat模式。
缺点:所有数据进出还是过负载机器,网络宽带成为瓶颈。
优点:内核完成转发,性能高。
使用场景:对性能要求高,但对宽带要求不高的应用。视频和下载等大宽带的应用,不适合使用。

5.数据链路层的负载均衡
工作在数据链路层(二层)
在请求到达负载均衡器后,通过配置所有集群机器的虚拟ip和负载均衡器相同,再通过修改请求的mac地址,从而做到请求的转发。与ip负载均衡不一样的是,在请求访问服务器 之后,直接返回客户。而无需经过负载均衡器。LVS DR(Direct Routing)模式。
缺点:配置复杂
优点:由集群机器直接返回,提高了出口宽带。
适用场景:大型网站使用最广的一种负载均衡方法



负载均衡中维护用户的session会话
1.把同一个用户在某一个会话中的请求,都分配到固定的某一台服务器上去,常见的负载均衡算法有ip_hash法。
2.session数据集中存储。session数据集中存储就是利用数据库或者缓存来存储session数据,实现了session和应用服务器的解耦。
3.使用cookie代替session。


负载均衡常见的策略
1.轮询
能力比较弱的服务器导致能力较弱的服务器最先超载

2.加权轮询
这种算法解决了简单轮训调度算法的缺点:传入的请求按照顺序被分配到集群中服务器,但是会考虑提前为每台服务器分配的权重。

3.最少连接数
根据后端服务器当前的连接数情况,动态的选取其中当前积压连接数量最少的一台服务器处理当前的请求,尽可能的提高后端服务的利用效率,将请求合理的分流到每一台服务器

4.加权最少连接数

5.源ip_hash
这种方式通过生成请求源ip的哈希值,并通过这个hash值来找到正确的真实服务器,这意味着对于同一主机来说他对应的服务器总是相同。

6.随机
通过系统的随机算法,根据后端服务器的列表大小值来随机选取其中的一台服务器进行访问,实际效果接近轮询的结果。


温习memcache

memcached 启动参数

memcached -m 64 -vv

-d 守护进程
-p 指定端口号 默认 11211
-m 指定最大使用内存大小 默认 64m
-t 线程数 默认4
-l 连接的ip地址 ,默认是本机
-M 内存耗尽时返回错误,而不是删除项
-c 最大同时连接数 默认 1024
-f 块大小增长因子,默认是1.25
-n 最小分配空间,key+value+flags 默认是48
-vv 详细信息 还打印客户端命令/响应
-I 重写每个数据页尺寸。调整数据项最大尺寸
-R 
通过限制某个连接可以连接提交的命令数,以避免其他连接等待时间过久。某连接提交的命令数一旦达到该阀值,服务器将暂时拒绝其后续的请求,则优先处理其他连接的请求。该限制默认是20,即每个连接可以提交的命令数

-B 绑定协议,ascii,binary,auto (default)


php扩展 memcached memcache
memcached 拥有更多的方法和支持,支持二进制协议,在性能方面更好。 Memcached::setOption


每个chunk size 大小80字节,共有13107个chunk (1024*1024/80=13107)。等于1MB,即1个page
数据存入时,会按照大小分配到不同的chunk中。50字节的数据,会放到 slab class1 中的chunk,浪费30字节

内存分配方式
-m 参数指定预留的内存空间总大小
切分成若干个页(page),默认每页1M,分配给slab class
不同的slab class 中再切割成不同大小的chunk
page被分配到 slab class 后,page就不再移动
每个 slab class 就像一个缓存系统。有自己的lru。



统计命令
stats
进程信息、连接数、请求数、网络流量、LRU
stats slabs
显示各个slab的信息,包括chunk的大小、数目、使用情况等
stats items
显示各个slab中item的数目,及最老item最后一次访问距离现在的秒数等
stats setting
显示进程启动的参数信息


Memcached添加item的逻辑
计算item的大小,选取合适的slab class。如果其对应的slab class为申请过page,则申请一个page的内存,并将该item存入其中一个chunk当中。即便达到预设的内存限制,也会申请一个page内存空间。

如果其对应的slab class出现过,则在该范围的page当中优先选择过期或被删除的chunk进行存储,其次选择未使用过的。

如果其对应的slab class出现过,但是其所属的所有page都已经存储满了,那么会申请一个新的page,这个page被等分为N个规定大小的chunk,存储到第一个chunk。

如果其对应的slab class出现过,但是其所属的所有page都已经存储满,并且memcached已不能再分配新的内存空间。将根据LRU算法(近期最少使用的),清除某个item并将新项存储到该位置。


http的request和response介绍
http请求
http request

1.request line
GET   /dir/1.html      HTTP/1.1
请求方法  资源位置 协议版本

2.HTTP HEADERS
通用header 请求header 实体 header

3.Content


request method
HTTP/1.1规范中的8个请求方法
1.GET      url长度有限制
2.POST 
3.HEAD
4.PUT  //201
5.DELETE
6.TRACE
7.OPTIONS
8.CONNECT



request headers
Accept:
text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
参数为 Content Type
q指定优先级[0-1],为不接受,默认为1
如果不指定*/*,则其他类型优先级为0

Accept-Encoding: gzip, deflate 

Accept-Language: zh-CN,zh;q=0.9,en;q=0.8

Authorization:
Basic
%%%%%%%%%%%%%%%%%

401 Unauthorized

Cookie:
version=1;skin=new;


Cache-Control: 
max-age=0

Host:
www.xingdong365.com

If-Match:
"aetaghdsfsdaf"

If-Modified-Since:
Sun,11 May 2018 08:30:44 GMT

If-None-Match:
"aetaghdsfsdaf"

If-Range:
"aetaghdsfsdaf"

If-Unmodified-Since:
Sun,11 May 2018 08:30:44 GMT

Referer:
http://xingdong365.com

Range:
bytes=0-499,1000-

Upgrade:
HTTP/2.0

Via:
192.168.0.26,example.com

X-Requested-With: //是否是ajax请求
XMLHttpRequest  

X-Forwarded-For:  //代理服务器转发
client1,proxy1,192.168.0.128



http response 

1.Status line
HTTP/1.1 200 OK

100-199:参考信息
200-299:成功
300-399:重定向
400-499:客户端错误
500-599:服务器错误

200 OK 一切ok
GET /index.html HTTP/1.1

201 Created 已创建 通常伴随 Location Header 返回 
PUT /a-new-doc.html HTTP/1.1

206 Partial Content 片段内容 
GET /large.zip HTTP/1.1
Range:bytes0-500

301 Moved Permanently 永久重定向 已永久移动到其他位置,配合location使用
seo适用,无结尾/请求目录时也会自动产生此响应
GET /beauty HTTP/1.1

302 Found 找到了 临时跳转
按HTTP规范,客户端此时应使用和导致产生此响应的请求方法 同样的方法再次请求Location指定位置的资源
在实践中,绝大多数浏览器都一律使用get请求location中指定的资源

304 Not Modified 未修改,无变动(用缓存中的)
Date:..........
ETag:"........"
GET /beauty HTTP/1.1
If-None-Match:"......."
If-Modified-Since:............

400 Bad Request 请求错误 打开的方式不对
401 Unauthorized 未被授权 浏览器收到此响应弹出一个输入用户名 密码的对话框
403 Forbidden 禁止访问
404 not found
405 Method not Allowed  
访问方法不对 服务器禁止以所请求的方法访问,同时一般会通过allow告知允许的方法 
Allow:GET,POST
406 Not Acceptable 无法接受
当请求中的accept系列header中列出的条件无法满足时,会产生此响应
GET / HTTP/1.1
Accept:application/json
408 Request timeout 请求超时 服务器一直没遇到 connection:close 会产生此响应并关闭连接

500 Internal Server Error 服务器错误
502 Bad Gateway 网关错误 代理服务器从上游服务器收到一个无效响应时,会给客户端返回此响应
503 service Unavailable 服务暂时不可用
504 Gateway Timeout 网关超时。代理服务器无法在限定时间内从上游服务器收到一个响应 


2.HTTP headers
通用header 响应header 实体header

ETag:"aetaghdsfsdaf"
Location:http://xingdong365.com
Refresh:3;url=http://xingdong365.com
Set-Cookie:........
Vary:Accept-Language,User-Agent

3.Content
<html>....</html>


http性能优化 performance

缓存
cache-control If-Modified-Since  ETag

cache-control 缓存策略
 max-age=600,no-cache="Set-Cookie"

no-cache="xxx" 缓存,但在发回客户端先做检查,传值则表示不缓存指定的header
no-store 不缓存任何内容,在ie中=no-cache
max-age=120 缓存最大有效期,单位秒(age response header)
max-stale=600 在缓存过期后还可以继续保存600秒,不赋值则表示可一直有效
no-transform 禁止缓存代理修改内容
only-if-cached 禁止缓存代理访问应用服务器,仅在有缓存时返回内容
public 任何客户端(代理服务器或浏览器)均可缓存
private 仅限私有客户端(一般是浏览器)可缓存内容
must-revalidate 必须重新验证缓存有效性(默认行为),此指令目的在于显示指明
proxy-revalidate 代理服务器需要重新验证缓存有效期,浏览器不需要
s-maxage 指定public 客户端上的maxage,private可忽略


第一次请求:服务器响应
Last-Modified : 时间A
第二次请求,附加header,检查是否从上次修改时间点后有过新的修改
If-Modified-Since:时间A

ETag:If-None-Match

Vary:Accept-Encoding
告知缓存代理服务器,客户端请求中发送了不同的Accept-Encoding就要缓存不同的版本

SELECT和EPOLL模式
SELECT和EPOLL模式

select模式
1.应用层首先初始化FD_SET(填入需要检测的socket集合),然后调用select函数
2.内核对FD_SET包含的所有socket进行了逐个检测,如果某个socket有状态发生,则填入内容分配一个数组,当所有socket都检查完成后,再将该数组copy到FD_SET中,然后返回应用层

3.select调用返回,应用层从返回的FD_SET中提取有状态发生的socket,并根据socket值映射客户端上下文(可以通过map或hash_map实现映射),然后处理收到的数据

epoll模式
1.应用层调用 epoll_wait检测有事件发生的连接
2.内核对epoll注册事件的socket进行跟踪,一旦某个socket有事件发生,便将其保存到一个内部数组。当接到应用层调用epoll_wait时,直接将该集合copy到epoll_wait数组返回给应用层即可,不需要象select模式对每个worker进行逐一检查。

3.epoll_wait调用返回,所有有事件发生的连接被填入一个epoll_event数组,应用层可根据epoll_event中的用户自定义变量 直接映射客户端上下文(不需要借助hash表),然后处理收到的数据

linux中awk命令的简单介绍和使用

1.字段以:分隔,打印第一列
awk -F":" '{print $1}' /etc/passwd

2.字段以:分隔,打印第一列和第三列
awk -F":" '{print $1 $3}' /etc/passwd  
awk -F":" '{print $1":"$3}' /etc/passwd

3.文件形式的执行
vim test.awk 写入
BEGIN {FS=":"}
{print $1}

awk -f test.awk /etc/passwd

4.普通过滤代码块
字段以:分隔,输出 以a开头的第一列数数据
awk  'BEGIN{FS=":"}  /^a/{print $1}'  /etc/passwd  

字段以:分隔,输出第一列为root的一行数据
awk  'BEGIN{FS=":"}  $1=="root"{print $0}'  /etc/passwd 

字段以:分隔,输出第七列为nologin的第一列数数据
awk  'BEGIN{FS=":"}  $7 ~ "nologin"{print $1}'  /etc/passwd

字段以:分隔,输出不包含nologin 的第一列数数据
awk  'BEGIN{FS=":"}  !/nologin/{print $1}'  /etc/passwd


5.字段分隔符(FS)
FS="\t+"   一个或者多个TAB分隔
FS="[[:space:]+]"  一个或者多个空白分隔 ,默认的
FS="(foo|:)"  以foo或者:分隔
 
 
6.字段数量(NF)
NF: number of fileds 字段数量,通常只读
NF==3{print "字段为3的行:" $0}
第二列之后的数据

  if(NF>2){
    print $1 $2 $3
  }
}
 
7.记录数量(NR)
NR: number of records 记录(行)数量,当前awk遍历过的函数,动态变化
NR==3{print "第三行"}
#跳过前10行

  if(NR>10){
    print $0
  }
}
 
8.FS和RS例子
my.txt
路人甲
电话:110
手机:138110

路人乙
电话:120
手机:138120
 
awk 'BEGIN{FS="\n";RS=""} {print $1"\t"$2"\t"$3}' my.txt 
说明: FS="/n" 每一列以\n(换行)来分隔, RS=""每一行以空格来分隔

结果如下
路人甲 电话:110 手机:138110

路人乙 电话:120 手机:138120


9.OFS和ORS
OFS:字段输出分隔符,默认是" "
ORS:记录输出分隔符,默认为"\n"

my.txt
路人甲
电话:110
手机:138110

路人乙
电话:120
手机:138120
 
awk 'BEGIN{FS="\n";RS="";OFS="\t";ORS="\n"} {print $1,$2,$3}' my.txt
说明: 
  FS="/n" 每一列以\n(换行)来分隔, RS=""每一行以 【空行】 来分隔
  OFS="/t" 每一列输出用 \t 来分隔, ORS=""每一行以 \n换行 来分隔

结果如下
路人甲 电话:110 手机:138110
路人乙 电话:120 手机:138120

10.循环语句
my.txt
路人甲
电话:110
手机:138110

路人乙
电话:120
手机:138120
QQ:123456
 
awk 'BEGIN{FS="\n";RS="";ORS=""} {for(x=1;x<=NF;x++){print $x"\t"}print "\n"}' my.txt

结果如下
路人甲 电话:110 手机:138110
路人乙 电话:120 手机:138120    QQ:123456

linux中sed命令的几个简单事例


删除文件中1-10行的数据
sed -e '1,10d' ./myfile.txt 

删除文件中以#开头的行,即删除注释
sed -e '/^#/d' ./myfile.txt 

将每行第一次出现的xingdong替换成action
sed -e 's/xingdong/action/' ./myfile.txt

将每行所有的xingdong替换成action
sed -e 's/xingdong/actio/g' ./myfile.txt


把结果存储到文件
sed -e 's/xingdong/actio/g' ./myfile.txt > ./newfile.txt 
或者

sed -i 's/xingdong/actio/g' ./myfile.txt 


使用sed--格式

命令行格式
sed [options] 'command' file(s)
options  -e;-n
command 行定位(正则) + sed命令(操作)

命令行格式举例
1. sed -n '/root/p'
2. sed -e '10,20d' -e 's/false/true/g'

基本操作命令
1. -p 打印相关的行 需要和 -n 配合  sed -n 'p' /etc/passwd
2. -a(新增行) /i(插入行)   新增是在某行之后,插入是在之前
   -c(替代行)
   -d(删除行)
   
nl /etc/passwd | sed '1,5i===' //在1-5行之前插入=== 
nl /etc/passwd | sed '5i==='  //在5行之前插入===
sed '/^$/d' dt.php  //去除空行

3. -s(行首个字符替换) : 分隔符/,# 等
   -g(全局替换) 
sed -e 's/xingdong/actio/g' ./myfile.txt
sed -e 's/xingdong/action/' ./myfile.txt
   
   
高级操作命令
(1)
-{}:多个sed命令,用;分开  
nl passwd|sed '{20,30d;s/false/true/}'

(2)
-n 读取下一个输入行(用下一个命令处理)
nl /etc/passwd |sed -n '{n;p}'  //打印偶数行 同 nl /etc/passwd |sed -n '2~2p'
nl /etc/passwd |sed -n '{p;n}' //打印奇数行 同 nl /etc/passwd |sed -n '1~2p'

(3)
- &:替换固定字符串
cat  /etc/passwd|sed 's/^[a-z]\+/&  /'

案例1:大小写的转换
元字符 \u\l\U\L :转换为大写/小写字符
cat  /etc/passwd|sed 's/^[a-z]\+/\U&/'  //把用户名转换成大写
cat  /etc/passwd|sed 's/^[a-z]\+/\u&/'  //把用户名首字母转换成大写
ls *.php| sed 's/^\w\+/\U&/'  //把所有php文件名转换成大写
cat /etc/passwd| sed 's/\([a-z]\+\):x:\([0-9]\+\):\([0-9]\+\).*$/\1:\2:\3/'   //取 用户名:uid:gid

(4)
-\( \):替换某种(部分)字符串(\1,\2)

ifconfig eth0 | sed -n '/inet/p'| sed 's/inet \([0-9.]\+\).*$/\1/' // 取ip

(5)
-r:复制指定文件插入到匹配行
-w:复制匹配行拷贝到指定文件里

sed '1r 123.txt' abc.txt   //复制123.txt的文件内容到 abc.txt第一行后面,文件内容没改变
sed '1w abc.txt' 123.txt   //复制123.txt内容的第一行到abc.txt中(清空然后写入)
sed 'w abc.txt' 123.txt    //复制123.txt内容到abc.txt中(清空然后写入) 

(6)
q:退出sed

nl /etc/passwd | sed '/daemon/q'  //找到daemon所在的行然后退出
nl /etc/passwd | sed '10q'  //读取到第10行退出


sed -f scriptfile file(s)


Linux 中查看文件第n行内容的命令
Linux 中查看文件第n行内容的命令

方法1:
head -m filename | tail -1                    //查看filename文件的第m行(tail -1 是数字1)
例子:head -100 data.txt | tail -1          //查看data.txt文件的第100行

方法2:
 nl filename | sed -n 'mp'                     //查看filename文件的第m行
例子:nl data.txt | sed -n '100p'             //查看data.txt文件的第100行

方法3:
sed -n 'mp' filename                            //查看filename文件的第m行
例子:sed -n '100p 'data.txt                   //查看data.txt文件的第100行

方法4:
awk 'NR==m' filename                        //查看filename文件的第m行
例子:awk 'NR==100 'data.txt               //查看data.txt文件的第100行
mongodb日志太大问题

MongoDB的日志文件在设置 logappend=true 的情况下,会不断向同一日志文件追加的,时间长了,自然变得非常大。
解决如下:(特别注意:启动的时候必须是--logpath指定了log路径的)
用mongo连接到服务端

use admin  //切换到admin数据库
db.runCommand({logRotate:1})

这样会使mongo关闭当前日志文件,重启一个新的日志文件,不需要停止mongodb服务。

如果感觉之前的log日志文件无用,可以删除掉,这样能节省很大的硬盘空间。

优惠券
广告位-淘宝
最新微语