码厩技术博客

#203 Linux 命名空间

命名空间是什么

对内核资源进行分区，为进程隔离提供支持。

命名空间类型

Mount

挂载点可以在不同命名空间之间共享。

UTS

UNIX Time-Sharing

不知道为什么叫这个名字。作用是隔离主机名和域名。

IPC

不同 IPC 命名空间的进程不能通过 shm 系列方法共享内存。

PID

Network

每个网络命名空间都有一组自己的网络资源，包括 IP 地址、路由表、套接字列表、连接跟踪表、防火墙等等。

User

主要作用是权限的隔离。

Cgroup

进程控制组。

Time

时间的隔离。

系统调用

• clone
• unshare
• setns

参考资料与拓展阅读

• namespaces(7) — Linux manual page
• 维基百科（en）, Linux namespaces

#202 Python 加密解密

• PyCrypto Crypto 曾经非常著名的项目，后来没有维护了，推荐后面两个。

• https://github.com/pycrypto/pycrypto

• https://www.pycrypto.org/

• PyCryptodome Crypto 从 PyCrypto 分叉出来的项目，继续维护中。

• https://github.com/Legrandin/pycryptodome

• https://www.pycryptodome.org/
• pycryptodomex Cryptodome
  • 和 PyCryptodome 是一套代码，只是包名不同。
  • PyCryptodome 继续使用 Crypto 做包名，用来替代 PyCrypto。
  • pycryptodomex 使用 Cryptodome 做包名，方便和老的 PyCrypto 共存。

• Cryptography cryptography 算 Python 官方项目（PyCA Python Cryptographic Authority）。

• https://github.com/pyca/cryptography

• https://cryptography.io/

#201 英文花体

#200 sdkman 的使用

# 安装
curl -s "https://get.sdkman.io" | bash

# 查看当前版本
sdk version

# 更新到最新版本
sdk update

# 列出可用 Java 版本
sdk list java

# 安装指定 Java 版本
sdk install java 11.0.16-albba

# 切换到另一个已安装 Java 版本
sdk use java 8.8.9-albba

除了管理 Java 版本，还可以用来管理其他开发工具，比如 Gradle，Maven，Scale 等。

#199 惊群与 accept_mutex

多个进程共享一个 bind socket 时，会发生这样的情况：一个连接进来，所有相关进程都从睡眠状态被唤醒。然后其中一个进程拿到这个连接，其他进程就继续 sleep。
这种现象就叫做惊群。好处就是如果来了大量连接的话，大家一起干活（可能可以算是正向的影响），坏处就是，如果只来了少量的连接，白白吵醒一众进程，消耗 CPU 资源。
这个好处像没有一样，资源的浪费确是实打实的。

注意，新版本 Nginx 上不需要互斥锁，默认没有惊群现象。

accept_mutex

Syntax: accept_mutex on | off;
Default: accept_mutex off;
Context: events

If accept_mutex is enabled, worker processes will accept new connections by turn. Otherwise, all worker processes will be notified about new connections, and if volume of new connections is low, some of the worker processes may just waste system resources.

There is no need to enable accept_mutex on systems that support the EPOLLEXCLUSIVE flag (1.11.3) or when using reuseport.

Prior to version 1.11.3, the default value was on.

如果 accept_mutex 启用，worker 进程会按顺序接受连接。否则，所有 worker 进程都会收到新连接通知，也就是惊群了。

1.11.3 之前，accept_mutex 默认是 on。为什么现在默认 off 了呢？
文档有写, 因为 1.11.3 之后，支持 EPOLLEXCLUSIVE 标记的平台，默认就不会发生惊群了，不需要 accept_mutex。

此外：如果使用了 TCP reuseport（需要 Linux 内核支持）, 就不需要启用 accept_mutex。

如果 reuseport 参考: 2019/02/05, reuseport: 端口复用
PS: 2015/05 发布的 1.9.1 及之后版本，Nginx 引入了 reuseport 指令。

accept_mutex_delay

Syntax: accept_mutex_delay time;
Default: accept_mutex_delay 500ms;
Context: events

If accept_mutex is enabled, specifies the maximum time during which a worker process will try to restart accepting new connections if another worker process is currently accepting new connections.

如果 accept_mutex 启用，那么这个参数指定了 worker 进程申请 accept_mutex 锁失败之后的 sleep 时长。

也就是说如果出现竞争，没有抢到锁的进程就要睡眠一段时间，避免无效的反复申请锁。不过，感觉默认的这个 0.5 秒感觉有点长，50ms 应该就够了吧。

实现

参考：深入浅出 Linux 惊群：现象、原因和解决方案

附: 睡眠队列（等待队列）

#198 ASCII 码表

#197 virtualenv 的使用

安装

pip install virtualenvwrapper

把以下内容加入 ~/.bashrc，~/.zshrc 等 Shell 初始化代码中：

export WORKON_HOME="~/.virtualenvs"
export VIRTUALENVWRAPPER_PYTHON="/usr/bin/python3"
source virtualenvwrapper.sh

1. source virtualenvwrapper_lazy.sh 也可以，只是不会自动补全了。
2. 这两个脚本默认会放到 /usr/local/bin/ 目录，或者 ~/.local/bin/ 目录，所以可以直接 source 加载。

简单使用

# 创建并进入虚拟环境
mkvirtualenv myproject

# 进入指定虚拟环境
workon myproject

# 退出虚拟环境
deactivate

# 列出虚拟环境
workon

# 删除虚拟环境
rmvirtualenv myproject

其他命令

virtualenvwrapper

virtualenvwrapper is a set of extensions to Ian Bicking's virtualenv
tool.  The extensions include wrappers for creating and deleting
virtual environments and otherwise managing your development workflow,
making it easier to work on more than one project at a time without
introducing conflicts in their dependencies.

For more information please refer to the documentation:

    http://virtualenvwrapper.readthedocs.org/en/latest/command_ref.html

Commands available:

  add2virtualenv: add directory to the import path

  allvirtualenv: run a command in all virtualenvs

  cdproject: change directory to the active project

  cdsitepackages: change to the site-packages directory

  cdvirtualenv: change to the $VIRTUAL_ENV directory

  cpvirtualenv: duplicate the named virtualenv to make a new one

  lssitepackages: list contents of the site-packages directory

  lsvirtualenv: list virtualenvs

  mkproject: create a new project directory and its associated virtualenv

  mktmpenv: create a temporary virtualenv

  mkvirtualenv: Create a new virtualenv in $WORKON_HOME

  rmvirtualenv: Remove a virtualenv

  setvirtualenvproject: associate a project directory with a virtualenv

  showvirtualenv: show details of a single virtualenv

  toggleglobalsitepackages: turn access to global site-packages on/off

  virtualenvwrapper: show this help message

  wipeenv: remove all packages installed in the current virtualenv

  workon: list or change working virtualenvs

#196 MySQL 技巧

安装之后初始化

忘记密码

改密码

查看版本

1. mysql 命令行登录的时候显示的欢迎信息
2. select @@version
3. select version()
4. SHOW VARIABLES WHERE variable_name LIKE 'version%';
5. status

导出数据为 JSON

导出数据为 CSV

#195 Linux 文件属性（stat）

• atime：access time，访问时间
• mtime：change time，修改时间，内容修改
• ctime：modify time，变更时间，内容修改，或者元数据修改
• crtime：create time / birth time，创建时间，部分文件系统支持（Ext4，btrfs，xfs）

[root@localhost]# stat abc.txt
  File: `abc.txt'
  Size: 11214           Blocks: 24         IO Block: 4096   regular file
Device: fc10h/64528d    Inode: 3153180     Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2016-07-09 19:35:42.321279859 +0800
Modify: 2016-07-09 19:35:42.321279859 +0800
Change: 2016-07-09 19:35:42.321279859 +0800

[root@localhost]# cat abc.txt > /dev/null

[root@localhost]# stat abc.txt
  File: `abc.txt'
  Size: 11214           Blocks: 24         IO Block: 4096   regular file
Device: fc10h/64528d    Inode: 3153180     Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2016-07-09 19:35:42.321279859 +0800
Modify: 2016-07-09 19:35:42.321279859 +0800
Change: 2016-07-09 19:35:42.321279859 +0800

[root@localhost]# mount
/dev/vda1 on / type ext4 (rw,noatime,errors=remount-ro)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/vdb on /data type ext4 (rw,noatime)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)

重点是 noatime 选项，表示文件系统忽略 atime 的变更，因为频繁的 atime 变更对性能有影响。

#194 Linux 常用压缩命令 CheatSheet

rar

rar a xxx.rar files...
rar e xxx.rar ./

rar a -p123456 xxx.rar files...
rar e -p123456 xxx.rar ./

rar a -v20m xxx.rar files...

tar

常用的参数说明（grep "^ \-[a-zA-Z0-9]" <(tar --help) | sort）：

• vf 分别表示输出详细信息、指定压缩包名称
• x 解压
• c 压缩
• t 列出压缩包里面的文件列表
• 压缩文件类型（Linux 下最常用的两种）：
• z：gz
• j：bz2

# To extract an uncompressed archive:
tar -xvf /path/to/foo.tar

# To create an uncompressed archive:
tar -cvf /path/to/foo.tar /path/to/foo/

# To extract a .gz archive:
tar -xzvf /path/to/foo.tgz

# To create a .gz archive:
tar -czvf /path/to/foo.tgz /path/to/foo/

# To list the content of an .gz archive:
tar -ztvf /path/to/foo.tgz

# To extract a .bz2 archive:
tar -xjvf /path/to/foo.tgz

# To create a .bz2 archive:
tar -cjvf /path/to/foo.tgz /path/to/foo/

# To list the content of an .bz2 archive:
tar -jtvf /path/to/foo.tgz

# To create a .gz archive and exclude all jpg,gif,... from the tgz
tar czvf /path/to/foo.tgz --exclude=\*.{jpg,gif,png,wmv,flv,tar.gz,zip} /path/to/foo/

# To use parallel (multi-threaded) implementation of compression algorithms:
tar -z ... -> tar -Ipigz ...
tar -j ... -> tar -Ipbzip2 ...
tar -J ... -> tar -Ipixz ...

zip

# Create zip file
zip archive.zip file1 directory/

# To list, test and extract zip archives, see unzip
cheat unzip

# Extract archive
unzip archive.zip

# Windows 下创建的压缩包放到 Ubuntu 下解压可能会有编码问题
unzip archive.zip -O gbk

# Test integrity of archive
unzip -tq archive.zip

# List files and directories in a file
unzip -l archive.zip

7z

sudo apt install p7zip-full
dpkg -L p7zip-full p7zip | grep bin/
# /usr/bin/7z
# /usr/bin/7za
# /usr/bin/7zr
# /usr/bin/p7zip

文档中说是支持 7z，xz，tar，gz，zip，bz2，iso，rpm，deb 等等等等格式，不过没用过。

# 压缩
7z a  xxxx.7z files...
# 解压
7z e  xxxx.7z
# 查看文件列表
7z l  xxxx.7z

参考

1. man
2. --help
3. cheat / tldr