Linux (5) - 码厩

#66 Shell 历史

Unix Linux Shell 2020-01-07

参考: https://en.wikipedia.org/wiki/Comparison_of_command_shells

Linux Shell

Thompson shell (sh), 1971, Unix v1 - v6
只存在历史中
在 Bourne shell 之前，贝尔实验室还出了一个 Mashey shell，只出现在 1976 年的 PWB UNIX 中（所以又叫 PWB shell），没有大范围使用
Bourne shell (sh), 1977, Unix v7
C shell (csh), 1978
TENEX C shell (tcsh), 1983
是 TENEX 系统开发的 csh 兼容 Shell
Korn shell (ksh), 1983
Bash, 1989
Almquist shell (ash), 1989
zsh, 1990
Debian Almquist shell (dash), an ash fork, 1997
主体随 ash 是 BSD 协议，不过，可能是为了保持对 bash 的兼容，采用了 bash 项目的一个文件
fish, 2005

说明

Unix 上的 sh 有版权问题, 所以 BSD 和 Linux 上的 /bin/sh 都指向某一种兼容 Shell (一般是默认 Shell)
RHEL/CentOS 上，默认 Shell 是 Bash
Debian/Ubuntu 上，默认 Shell 是 Dash
FreeBSD 上默认采用 tcsh, 基于 FreeBSD 的 GhostBSD 采用 fish
OpenBSD 上默认采用 pdksh (pd: Public Domain), 不知道和 tsh 什么关系。可能是 OpenBSD 维护的 tsh 兼容 Shell。
NetBSD 上默认采用 ash
由于 ash 非常轻量级，BusyBox 采用了 dash fork
然后 BusyBox 被 Alpine Linux, Tiny Core Linux 或者其他嵌入式 Linux (比如 OpenWrt) 采用，所以这些系统的默认 Shell 应该就是 ash

所以可能使用最广泛的 Shell 是 ash 和 bash。

其他：MacOS 上曾经默认采用 bash, 后来专向了 zsh

Windows 平台

command.com, 1980
cmd.exe, 1993
PowerShell, 2006

#65 如何占用文件以及遇到 Text file busy 之后怎么处理 [编辑中]

Linux 2019-12-25

:) 本文正在编辑中，暂时不提供浏览...

#64 GNU/Linux 上如何快速创建一个大文件？「from StackOverflow」

Linux 开发工具 2019-12-25

在 StackOverflow 上看到好些种快速创建文件的命令，逐个测试，在 Ubuntu 下可用的方法有以下几种：

time dd if=/dev/zero of=test.img bs=10M iflag=fullblock,count_bytes count=10G
# 0.00s user 0.45s system 1% cpu 39.144 total

# 在 xfsprogs 包中：
# -n 表示不写入数据
time xfs_mkfile -n 10g test.img
# 0.01s user 0.01s system 2% cpu 0.669 total

# 在 VBox 挂载的虚拟磁盘上执行时遇到 “不支持的操作” 错误
# 在 EXT4 磁盘上没有遇到问题，速度很快
time fallocate -l 10G test.img

time truncate -s 10G test.img
# 0.00s user 0.00s system 46% cpu 0.005 total

time dd if=/dev/zero of=test.img bs=1 count=0 seek=10G
# 0.00s user 0.00s system 77% cpu 0.002 total

最后看到的 dd seek 方案深得征信深得朕心。

根据这个思路，Python 创建 10G 的文件应该这么写（也是我一直以来的写法）：

GB = 1 << 30
with open('test.img', 'w') as _file:
    _file.seek(10 * GB - 1)
    _file.write(chr(0))

#63 Systemd 相关命令

Linux Systemd 2019-12-21

apt-file list systemd | grep bin/
systemd: /bin/journalctl
systemd: /bin/loginctl
systemd: /bin/networkctl
systemd: /bin/systemctl
systemd: /bin/systemd
systemd: /bin/systemd-ask-password
systemd: /bin/systemd-escape
systemd: /bin/systemd-inhibit
systemd: /bin/systemd-machine-id-setup
systemd: /bin/systemd-notify
systemd: /bin/systemd-sysext
systemd: /bin/systemd-sysusers
systemd: /bin/systemd-tmpfiles
systemd: /bin/systemd-tty-ask-password-agent
systemd: /usr/bin/bootctl
systemd: /usr/bin/busctl
systemd: /usr/bin/hostnamectl
systemd: /usr/bin/kernel-install
systemd: /usr/bin/localectl
systemd: /usr/bin/resolvectl
systemd: /usr/bin/systemd-analyze
systemd: /usr/bin/systemd-cat
systemd: /usr/bin/systemd-cgls
systemd: /usr/bin/systemd-cgtop
systemd: /usr/bin/systemd-cryptenroll
systemd: /usr/bin/systemd-delta
systemd: /usr/bin/systemd-detect-virt
systemd: /usr/bin/systemd-id128
systemd: /usr/bin/systemd-mount
systemd: /usr/bin/systemd-path
systemd: /usr/bin/systemd-resolve
systemd: /usr/bin/systemd-run
systemd: /usr/bin/systemd-socket-activate
systemd: /usr/bin/systemd-stdio-bridge
systemd: /usr/bin/systemd-umount
systemd: /usr/bin/timedatectl

journalctl
loginctl
networkctl
systemctl
systemd
systemd-ask-password
systemd-escape
systemd-inhibit
systemd-machine-id-setup
systemd-notify
systemd-sysext
systemd-sysusers
systemd-tmpfiles
systemd-tty-ask-password-agent
bootctl
busctl
hostnamectl
kernel-install
localectl
resolvectl
systemd-analyze
systemd-cat
systemd-cgls
systemd-cgtop
systemd-cryptenroll
systemd-delta
systemd-detect-virt
systemd-id128
systemd-mount
systemd-path
systemd-resolve
systemd-run
systemd-socket-activate
systemd-stdio-bridge
systemd-umount
timedatectl

ps -ef | grep -E "systemd|systemd|dns|dhcp|udevd" | grep -Fv grep
root         333       1  0 10:00 ?        00:00:05 /lib/systemd/systemd-journald
root         419       1  0 10:00 ?        00:00:01 /lib/systemd/systemd-udevd
systemd+     546       1  0 10:00 ?        00:00:07 /lib/systemd/systemd-oomd
systemd+     547       1  0 10:00 ?        00:00:00 /lib/systemd/systemd-resolved
systemd+     548       1  0 10:00 ?        00:00:00 /lib/systemd/systemd-timesyncd
message+     573       1  0 10:00 ?        00:00:04 @dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
root         680       1  0 10:00 ?        00:00:00 /lib/systemd/systemd-logind
root         682       1  0 10:00 ?        00:00:00 /usr/sbin/thermald --systemd --dbus-enable --adaptive
markjour     2508       1  0 10:05 ?        00:00:01 /lib/systemd/systemd --user
markjour     2523    2508  0 10:05 ?        00:00:00 /usr/bin/dbus-daemon --session --address=systemd: --nofork --nopidfile --systemd-activation --syslog-only
markjour     5461    2508  0 10:11 ?        00:00:00 /usr/libexec/gnome-session-binary --systemd-service --session=ubuntu
root        6630       1  0 10:15 ?        00:00:00 systemd-tty-ask-password-agent --wall

#62 Systemd 子命令

Linux Systemd 2019-12-21

Unit Commands:
  list-units [PATTERN...]             List units currently in memory
  list-sockets [PATTERN...]           List socket units currently in memory,
                                      ordered by address
  list-timers [PATTERN...]            List timer units currently in memory,
                                      ordered by next elapse
  is-active PATTERN...                Check whether units are active
  is-failed PATTERN...                Check whether units are failed
  status [PATTERN...|PID...]          Show runtime status of one or more units
  show [PATTERN...|JOB...]            Show properties of one or more
                                      units/jobs or the manager
  cat PATTERN...                      Show files and drop-ins of specified units
  help PATTERN...|PID...              Show manual for one or more units
  list-dependencies [UNIT...]         Recursively show units which are required
                                      or wanted by the units or by which those
                                      units are required or wanted
  start UNIT...                       Start (activate) one or more units
  stop UNIT...                        Stop (deactivate) one or more units
  reload UNIT...                      Reload one or more units
  restart UNIT...                     Start or restart one or more units
  try-restart UNIT...                 Restart one or more units if active
  reload-or-restart UNIT...           Reload one or more units if possible,
                                      otherwise start or restart
  try-reload-or-restart UNIT...       If active, reload one or more units,
                                      if supported, otherwise restart
  isolate UNIT                        Start one unit and stop all others
  kill UNIT...                        Send signal to processes of a unit
  clean UNIT...                       Clean runtime, cache, state, logs or
                                      configuration of unit
  freeze PATTERN...                   Freeze execution of unit processes
  thaw PATTERN...                     Resume execution of a frozen unit
  set-property UNIT PROPERTY=VALUE... Sets one or more properties of a unit
  bind UNIT PATH [PATH]               Bind-mount a path from the host into a
                                      unit's namespace
  mount-image UNIT PATH [PATH [OPTS]] Mount an image from the host into a
                                      unit's namespace
  service-log-level SERVICE [LEVEL]   Get/set logging threshold for service
  service-log-target SERVICE [TARGET] Get/set logging target for service
  reset-failed [PATTERN...]           Reset failed state for all, one, or more
                                      units
Unit File Commands:
  list-unit-files [PATTERN...]        List installed unit files
  enable [UNIT...|PATH...]            Enable one or more unit files
  disable UNIT...                     Disable one or more unit files
  reenable UNIT...                    Reenable one or more unit files
  preset UNIT...                      Enable/disable one or more unit files
                                      based on preset configuration
  preset-all                          Enable/disable all unit files based on
                                      preset configuration
  is-enabled UNIT...                  Check whether unit files are enabled
  mask UNIT...                        Mask one or more units
  unmask UNIT...                      Unmask one or more units
  link PATH...                        Link one or more units files into
                                      the search path
  revert UNIT...                      Revert one or more unit files to vendor
                                      version
  add-wants TARGET UNIT...            Add 'Wants' dependency for the target
                                      on specified one or more units
  add-requires TARGET UNIT...         Add 'Requires' dependency for the target
                                      on specified one or more units
  edit UNIT...                        Edit one or more unit files
  get-default                         Get the name of the default target
  set-default TARGET                  Set the default target

Machine Commands:
  list-machines [PATTERN...]          List local containers and host

Job Commands:
  list-jobs [PATTERN...]              List jobs
  cancel [JOB...]                     Cancel all, one, or more jobs

Environment Commands:
  show-environment                    Dump environment
  set-environment VARIABLE=VALUE...   Set one or more environment variables
  unset-environment VARIABLE...       Unset one or more environment variables
  import-environment VARIABLE...      Import all or some environment variables

Manager State Commands:
  daemon-reload                       Reload systemd manager configuration
  daemon-reexec                       Reexecute systemd manager
  log-level [LEVEL]                   Get/set logging threshold for manager
  log-target [TARGET]                 Get/set logging target for manager
  service-watchdogs [BOOL]            Get/set service watchdog state

System Commands:
  is-system-running                   Check whether system is fully running
  default                             Enter system default mode
  rescue                              Enter system rescue mode
  emergency                           Enter system emergency mode
  halt                                Shut down and halt the system
  poweroff                            Shut down and power-off the system
  reboot                              Shut down and reboot the system
  kexec                               Shut down and reboot the system with kexec
  exit [EXIT_CODE]                    Request user instance or container exit
  switch-root ROOT [INIT]             Change to a different root file system
  suspend                             Suspend the system
  hibernate                           Hibernate the system
  hybrid-sleep                        Hibernate and suspend the system
  suspend-then-hibernate              Suspend the system, wake after a period of
                                      time, and hibernate

#61 Systemd 的问题

Linux Systemd 2019-12-20

开源中国上看到 Debian 正在投票是否支持非 systemd 初始化系统。

2014 年素来混乱的 Debian 社区，经过了一番激烈争论之后（甚至是生命安全威胁），终于决定支持 systemd。
PS: 这场争议导致部分核心人员离开，主要是对 Debian 社区的管理机制（混乱 “民主”）产生质疑。
2015 年 5 月发布的 Debian 8.0 (Jessie) 开始使用 Systemd 当默认的初始化系统。
但是关于 Systemd 的争论从未停止，甚至有部分开发者独自维护了一个拒绝 Systemd 的分叉：Devuan。

Systemd 真是闹出好大争议，和 GNOME3 一样。也正是有 GNOME3 的例子（社区总体来说，或者说大多数人，最后还是拥抱了变化，接纳 GNOME3），而且我只是一个实用主义的使用者，我觉得 Systemd 挺好的，能提升性能、使用又方便，为什么不呢。

#60 PowerShell 在 Ubuntu 下的安装和试用

Linux PowerShell 开发工具 2019-08-22

PowerShell 的最近的一次更新修复了其作为 SSH 的登录 Shell 的一些问题。
Win 10 对 NFS，SSH 的支持推进也是有目共睹。
随着 MS 对 Windows 的策略调整，估计以后 Windows 服务器也会变多。

# Download the Microsoft repository GPG keys
wget -q https://packages.microsoft.com/config/ubuntu/18.04/packages-microsoft-prod.deb

# Register the Microsoft repository GPG keys
sudo dpkg -i packages-microsoft-prod.deb

# Update the list of products
sudo apt-get update

# Enable the "universe" repositories
sudo add-apt-repository universe

# Install PowerShell
sudo apt-get install -y powershell

# Start PowerShell
pwsh

PS 常用命令

# 获取本地 IP
(invoke-webrequest -uri "http://ifconfig.me/ip").content

get-nettcpconnection | where-object {$_.State -eq "Listen"}
get-nettcpconnection -localport 49667
get-process -id (get-nettcpconnection -localport 49667).owningprocess
stop-process -id (get-nettcpconnection -localport 11).owningprocess

"# README" | out-file README.md
type README.md

#59 Shell 编程备忘录

Linux Shell 2019-08-21

PS: Shell 编程时总是不能区分什么是 Shell 语法，什么是系统命令。

基础

x=abc

echo hello world
echo 'Just output $x'
echo "The value of x: $x"

echo ${x:?变量未设置}
echo ${x:+变量已设置}
echo ${x:-默认值}

变量

Shell 就是标准的弱类型，所有的数据都是按照字符串的形式存储，然后根据上下文决定如何处理。

x='hello world' # 等于号两边不能有空格
local x='hello world' # 本地作用域，函数体中使用
echo $a
echo ${a}

unset a
readonly a  # 将变量设置成只读，不能修改，不能 unset
readonly b=1
# 没有提供方法取消 readonly 属性，但是我看到 SO 上有提供非常规方法来做这件事情

字符串变量

单引号不支持变量和转义（也就是说字符串中不能出现单引号）！

x="hello world"
echo $x

echo ${#x}
echo ${x/world/markjour} # 字符串替换

# 子字符串/字符串切片
echo ${x::5}  # hello
echo ${x:7:8} # world
echo ${x::4}  # hell
echo ${x::-4} # hello w

特殊变量

$0
$1
...
$n

# 所有参数
$*
$@

$# # 参数个数
$$ # 进程号
$! # 后台进程号
$? # 上一个命令的退出状态
$- # himBHs 当前 Shell 的选项

数组

arr=(zhao qian sun li)
arr[4]=zhou
arr[5]=wu
arr[6]=zheng
arr[7]=wang
echo ${arr[0]} # zhao
echo ${arr[@]} # zhao qian sun li zhao wu zheng wang

# 获取数组元素个数
echo ${#arr}    # 4 定义时的长度，后来新加的不算，也就是说这个值定义变量的时候就定了
echo ${#arr[@]} # 8

条件

if condition:
then
    :
else:
    :
fi

[ ]
[[ ]]
test

循环

for var in list:
do
    :
done

数学计算

test

逻辑

数学比较

字符串比较

文件相关

bcdfgkpurwxse
白菜豆腐干，靠谱如我，羞涩

最常用的：

-e 检查路径是否存在
-d 检查是否为目录
-f 检查是否为文件
-r 检查文件是否可读
-w 检查文件是否可写
-x 检查文件是否可执行
-s 检查文件是否为空

参考资料与拓展阅读

StackOverflow, Unset readonly variable in bash
How To Unix For Loop 1 to 100 Numbers
Linux Handbook, Bash Beginner Series #4: Using Arrays in Bash
StackOverflow, Questions tagged [bash]

#58 ImageMagick 与中文渲染问题

Linux 开发工具图像处理 ImageMagick 乱码问题 2019-06-22

为什么 convert 和 montage 命令中使用的汉字都没能正确渲染在图片中去呢？
或许，可以将本文中的中文替换成 non-ascii 字符，或者 Unicode 字符。
或许，也可将 ImageMagick 替换成其他不支持中文的库。

参考了实在是太多文档，都没来得及记下来，只是从 Shell 的历史纪录中翻出来这些命令，做一个记录。

结论

字体问题，必须选择包含中文字形的字体，使用完整的字体名称，比如：Noto-Sans-Mono-CJK-SC-Regular。

#57 关于终端（未完成）

开发工具 Linux 终端 2019-06-22

整理一下关于终端的种种概念。

一	二	三	四	五	六	日

码厩技术博客