开发工具 (2)

#37 VPN 与 NAT

开发工具计算机网络 VPN NAT iptables 2021-05-09

我公司办公环境需要用到 OpenVPN，之前允许一个账号在两处登录，现在处于安全考虑只允许一处登录了。
然后，我就不方便了，因为我办公环境有两台电脑（台式机 Windows，笔记本 Ubuntu）都需要接入 VPN。

#36 nmap 基本用法

开发工具计算机网络 Nmap 2021-05-01

检查端口可连接性，并支持检测操作系统信息、占用端口的常见应用程序。

开放（Open）
关闭（Closed）
过滤（Filtered）
未过滤（Unfiltered）
开放或过滤（Open|Filtered）
关闭或过滤（Closed|Filtered）
默认扫描常用端口

常用命令

nmap 192.168.31.0/24

# Ping扫描
nmap -sn 192.168.31.0/24
# 快速端口扫描
nmap -F  192.168.31.0/24

# 操作系统
sudo nmap -O -v 192.168.31.42
sudo nmap -A -v 192.168.31.42  # 输出更详细

# 常规检查：端口（-sV）和操作系统（-O）
sudo nmap -sV -O 192.168.31.42

# 检查指定端口
nmap -p 22 192.168.31.42
nmap -p 22,80,443,3306 192.168.31.42
# 所有端口
nmap -p 1-65525 192.168.31.42
nmap -p-        192.168.31.42
# 加上使用这个端口的服务版本信息
nmap -p 22 192.168.31.42 -sV

# 对端口进行探测
nmap -PS 192.168.31.42  # SYN
nmap -PA 192.168.31.42  # ASK
nmap -PU 192.168.31.42  # UDP

sudo nmap -sS 192.168.1.1-10   # SYN
sudo nmap -sA 192.168.31.0/24  # ACK
sudo nmap -sF 192.168.31.0/24  # FIN
sudo nmap -sN 192.168.31.0/24  # TCP Null
sudo nmap -sT 192.168.31.0/24  # TCP Connect
sudo nmap -sU 192.168.31.0/24  # UDP
sudo nmap -sO 192.168.31.0/24  # IP 协议扫描

nmap -O  192.168.0.1/16
nmap -sP 192.168.0.1/16

nmap -sSU 192.168.1.1/24
# Ping Scan
# Parallel DNS resolution
# SYN Stealth Scan
# UDP Scan

参考资料与拓展阅读

https://www.tutorialspoint.com/nmap-cheat-sheet

基础概念

身份验证器

Authenticator

密码就算是身份验证器。
加密密钥，比如 SSH 的公钥私钥（密钥对）

动态密码

One-time Password, 缩写: OTP, 又叫做一次性密码

我们常用的的短信验证码就是一种非常方便快捷的动态密码形式。
早些年一些网络服务，比如谷歌、网易通行证等，可能会提供一个动态口令表，包含十几个密码，可以保存为图片，或者纯文本，上面的密码可以逐个使用，每个密码只能用一次。

RFC4226 HOTP: An HMAC-Based One-Time Password Algorithm
RFC6238 TOTP: Time-Based One-Time Password Algorithm

HOTP 基于 HMAC 算法

简单来说就是根据密钥和计数器来生成一个一次性密码。
除了记住密钥之外，你还要记住这是第几次使用。

HOTP value = HOTP(K, C) mod 10^d
HOTP(K, C) = truncate(HMAC_H(K, C))
truncate(MAC) = extract31(MAC, MAC[(19 × 8) + 4:(19 × 8) + 7] × 8)
MAC[(19 × 8) + 4:(19 × 8) + 7] × 8
取第十九字节的后四位（小端序）, 转成一个有符号整型数（小端序），作为截取 MAC 的位置
extract31(MAC, i) = MAC[i × 8 + 1:i × 8 + (4 × 8) − 1]
MAC[i × 8 + 1:i × 8 + (4 × 8) − 1]
从上一步得到的位置处，取四个字节，去掉符号位（小端序）

TOTP 基于时间

协商起始时间 T₀ 和时间间隔 T_X
双方分别计算时间计数器 C_T
TOTP value(K) = HOTP value(K, C_T)

多重要素验证

Multi-factor authentication, 缩写: MFA
Two-factor authentication, 缩写: 2FA

谷歌身份验证器

Google 身份验证器是一款 TOTP 与 HOTP 的两步验证软件令牌，此软件用于 Google 的认证服务。此项服务所使用的算法已列于 RFC 6238 和 RFC 4226 中。
Google 身份验证器给予用户一个六位到八位的一次性密码用于进行登录 Google 或其他站点时的附加验证。其同样可以给第三方应用生成口令，例如密码管理员或网络硬盘。先前版本的 Google 身份验证器开放源代码，但之后的版本以专有软件的形式公开。

谷歌验证器基于 TOTP，但是更进一步简化，以约定代替了协商过程。

T0 为 Unix 时间
TX 为 30 秒
哈希算法为 sha1

此外：

虽然不是很大的创新，而且这个软件验证器实现很简单，但是免费、开放（不需要做任何谷歌服务绑定），加上谷歌的强大影响力，这个软件验证器被很多系统采用。
最后，其他提供动态口令的应用都需要来兼容谷歌身份验证器。

PS: RedHat 开发并维护了开源的 FreeOTP 分支项目。

PS: 微软也有一个 Microsoft Authenticator，阿里云 APP 中有一个 虚拟MFA 功能，都是一个意思。
微软家的为自己提供 8 位密码，别人家的就 6 位，区别对待（虽然感觉好像也并没有什么影响）
阿里云 MFA 是需要手机 APP 登录进去之后才能使用的。

Just4Fun

import base64
import hashlib
import hmac
import time

DEFAULT_INTERVAL = 30  # Google Authenticator: 30 秒
DEFAULT_HASH = hashlib.sha1


def get_hotp_token(secret: str, counter: int, hash_algorithm=DEFAULT_HASH, length=6):
    padding_len = 8 - len(secret) % 8
    if padding_len != 8:
        assert 1 <= padding_len <= 7
        secret += '=' * padding_len
    key = base64.b32decode(secret, True)
    message = (counter & 0xffffffffffffffff).to_bytes(8, 'big')
    mac = hmac.new(key, message, hash_algorithm).digest()
    loc = mac[-1] & 0x0F
    token = (int.from_bytes(mac[loc:loc+4], 'big') & 0x7fffffff) % (10 ** length)
    return token


def get_totp_token(secret, interval=DEFAULT_INTERVAL):
    time_counter = int(time.time()) // interval
    return get_hotp_token(secret, time_counter)


if __name__ == '__main__':
    print('%06d' % get_totp_token(sys.argv[1]))

参考资料与拓展阅读

#34 使用 jq 命令解析 JSON 数据

Linux 开发工具 jq JSON 2021-03-04

jq 是我在命令行中解析 JSON 的一个常用工具，用起来非常顺手。

https://github.com/stedolan/jq
https://stedolan.github.io/jq/

用法

curl https://24pullrequests.com/users.json | jq

# 取第一个元素
curl https://24pullrequests.com/users.json | jq '.[0]'
# 取第一个元素的指定字段
curl https://24pullrequests.com/users.json | jq '.[0].nickname'

# 切片
curl https://24pullrequests.com/users.json | jq '.[:2]'

# 遍历
curl https://24pullrequests.com/users.json | jq '.[] | .nickname'

# 取字段
curl https://24pullrequests.com/users/changeworld.json | jq .nickname

# 取多个字段
curl https://24pullrequests.com/users/changeworld.json | jq '.nickname,.contributions_count'

# 获取列表长度
curl https://24pullrequests.com/users.json | jq length

# 列出 Keys
curl https://24pullrequests.com/users/changeworld.json | jq keys
curl https://24pullrequests.com/users/changeworld.json | jq "keys[]"
curl https://24pullrequests.com/users.json | jq ".[0] | keys[]"

# 列出 Keys 和 值类型
cat a.json | jq ".[0] | keys,map(type)"
cat a.json | jq ".[0] | to_entries | map([.key, (.value | type)])"
cat a.json | jq '.[0] | to_entries | map("\(.key) : \(.value|type)")[]'

还有很多更强大的用法，可以参考文档，我就会上面几个，在命令行中简单搜索 JSON 也够用了。

刚在文档中学会一招，重新组合 JSON：

curl https://24pullrequests.com/users/changeworld.json | jq '[.nickname, .organisations[].login]'
curl https://24pullrequests.com/users/changeworld.json | jq '{name:.nickname, orgs:[.organisations[].login]}'

👍🏻 Nice!!!

Windows CMD 太挫，中文字体选择少，XP, Win7 下只有点阵字体 (fixedsys) 和新宋体，Win10 字体又多了几个，但效果页不太好。
不过 Win10 的话，可能是半年前吧，微软新出来了一个 Windows Terminal 的虚拟终端，就现代化多了。现在我在 Windows 下（偶尔）一般都是用的新版 Terminal + PowerShell，听方便。
但如果由于 OS 版本等问题，离不开 cmd 的话，有两个方法，一个是使用第三方终端模拟器，比如 cmder；再一个就是想办法定制一下 cmd 的字体。
我在这里记录一下之前使用的一个方案^失效地址（确认有效，不过好久都没有用了）。

#32 GNU/Linux 上如何快速创建一个大文件？「from StackOverflow」

Linux 开发工具 2019-12-25

在 StackOverflow 上看到好些种快速创建文件的命令，逐个测试，在 Ubuntu 下可用的方法有以下几种：

time dd if=/dev/zero of=test.img bs=10M iflag=fullblock,count_bytes count=10G
# 0.00s user 0.45s system 1% cpu 39.144 total

# 在 xfsprogs 包中：
# -n 表示不写入数据
time xfs_mkfile -n 10g test.img
# 0.01s user 0.01s system 2% cpu 0.669 total

# 在 VBox 挂载的虚拟磁盘上执行时遇到 “不支持的操作” 错误
# 在 EXT4 磁盘上没有遇到问题，速度很快
time fallocate -l 10G test.img

time truncate -s 10G test.img
# 0.00s user 0.00s system 46% cpu 0.005 total

time dd if=/dev/zero of=test.img bs=1 count=0 seek=10G
# 0.00s user 0.00s system 77% cpu 0.002 total

最后看到的 dd seek 方案深得征信深得朕心。

根据这个思路，Python 创建 10G 的文件应该这么写（也是我一直以来的写法）：

GB = 1 << 30
with open('test.img', 'w') as _file:
    _file.seek(10 * GB - 1)
    _file.write(chr(0))

#31 PowerShell 在 Ubuntu 下的安装和试用

Linux PowerShell 开发工具 2019-08-22

PowerShell 的最近的一次更新修复了其作为 SSH 的登录 Shell 的一些问题。
Win 10 对 NFS，SSH 的支持推进也是有目共睹。
随着 MS 对 Windows 的策略调整，估计以后 Windows 服务器也会变多。

# Download the Microsoft repository GPG keys
wget -q https://packages.microsoft.com/config/ubuntu/18.04/packages-microsoft-prod.deb

# Register the Microsoft repository GPG keys
sudo dpkg -i packages-microsoft-prod.deb

# Update the list of products
sudo apt-get update

# Enable the "universe" repositories
sudo add-apt-repository universe

# Install PowerShell
sudo apt-get install -y powershell

# Start PowerShell
pwsh

PS 常用命令

# 获取本地 IP
(invoke-webrequest -uri "http://ifconfig.me/ip").content

get-nettcpconnection | where-object {$_.State -eq "Listen"}
get-nettcpconnection -localport 49667
get-process -id (get-nettcpconnection -localport 49667).owningprocess
stop-process -id (get-nettcpconnection -localport 11).owningprocess

"# README" | out-file README.md
type README.md

#30 获取文件添加到 git 的时间

开发工具 Git 2019-08-01

git log --diff-filter=A --follow --format="%h %ad %ce" -1 -- requirements.txt | cat
# 6a0eebf 2019-05-22 19-47-09 bobo@example.com

参考：https://stackoverflow.com/questions/2390199/finding-the-date-time-a-file-was-first-added-to-a-git-repository

#29 Gitlab 从 12.1 版本开始将不再支持 MySQL

开发工具 GitLab MySQL PostgreSQL 2019-07-03

看到新闻，Gitlab 从 12.1 版本开始将不再支持 MySQL，理由是：

无法支持嵌套分组查询（详情）
必须使用黑科技来提升 MySQL 对列的限制，这将导致 MySQL 拒绝存储数据
MySQL 无法添加 TEXT 类型字段的长度限制
MySQL 不支持分区索引
还有类似 Geo

Gitlab 支持的另一个数据库是 PostgreSQL，意思是 PostgreSQL 不存在上面的问题。
这也可以看作是二者的部分区别吧！

值得研究研究。

#28 ImageMagick 与中文渲染问题

Linux 开发工具图像处理 ImageMagick 乱码问题 2019-06-22

为什么 convert 和 montage 命令中使用的汉字都没能正确渲染在图片中去呢？
或许，可以将本文中的中文替换成 non-ascii 字符，或者 Unicode 字符。
或许，也可将 ImageMagick 替换成其他不支持中文的库。

参考了实在是太多文档，都没来得及记下来，只是从 Shell 的历史纪录中翻出来这些命令，做一个记录。

结论

字体问题，必须选择包含中文字形的字体，使用完整的字体名称，比如：Noto-Sans-Mono-CJK-SC-Regular。

码厩技术博客

#37 VPN 与 NAT

#36 nmap 基本用法

常用命令

参考资料与拓展阅读

#35 谷歌身份认证器

基础概念

身份验证器

动态密码

HOTP 基于 HMAC 算法

TOTP 基于时间

多重要素验证

谷歌身份验证器

Just4Fun

参考资料与拓展阅读

#34 使用 jq 命令解析 JSON 数据

用法

#33 修改 cmd 字体

#32 GNU/Linux 上如何快速创建一个大文件？「from StackOverflow」

#31 PowerShell 在 Ubuntu 下的安装和试用

PS 常用命令

#30 获取文件添加到 git 的时间

#29 Gitlab 从 12.1 版本开始将不再支持 MySQL

#28 ImageMagick 与中文渲染问题

结论

一	二	三	四	五	六	日