HTTPS

#4 OpenSSL 检查 HTTPS 和 SMTP (STARTTLS) 连接

OpenSSL HTTPS SMTP TLS 2023-12-10

echo | openssl s_client -connect sendcloud.net:443
echo | openssl s_client -showcerts -connect sendcloud.net:443
echo | openssl s_client -showcerts -debug -connect sendcloud.net:443 >/dev/null
echo | openssl s_client -showcerts -debug -connect sendcloud.net:443 2>/dev/null | openssl x509 -inform pem -noout -text

# 导出证书
openssl s_client -connect sendcloud.net:443 </dev/null | openssl x509 -outform pem > sendcloud.net.cer
# 导出所有证书
openssl s_client -showcerts -connect sendcloud.net:443 </dev/null | sed -n '/-----BEGIN/,/-----END/p' > sendcloud.net.cer
# 查看证书信息
openssl s_client -showcerts -connect sendcloud.net:443 </dev/null | sed -n '/-----BEGIN/,/-----END/p' | openssl x509 -noout -text
# 查看证书链上所有证书信息
OLDIFS=$IFS; IFS=':' certs=$(openssl s_client -showcerts -connect sendcloud.net:443 2>/dev/null </dev/null | sed -n '/-----BEGIN/,/-----END/{/-----BEGIN/ s/^/:/; p}'); for cert in ${certs#:}; do echo $cert | openssl x509 -noout -text; done; IFS=$OLDIFS
# # 查看证书链上所有证书 OCSP URI
OLDIFS=$IFS; IFS=':' certs=$(openssl s_client -showcerts -connect sendcloud.net:443 2>/dev/null </dev/null | sed -n '/-----BEGIN/,/-----END/{/-----BEGIN/ s/^/:/; p}'); for cert in ${certs#:}; do echo $cert | openssl x509 -noout -ocsp_uri; done; IFS=$OLDIFS
# -ocsp_uri
# -serial
# -fingerprint
# -subject
# 检查证书在 30 天之后有没有过期
openssl s_client -connect sendcloud.net:443 2>/dev/null </dev/null | openssl x509 -outform pem | openssl x509 -noout -checkend 2592000
# -checkend intmax  Check whether the cert expires in the next arg seconds
# -checkhost val    Check certificate matches host
# -checkemail val   Check certificate matches email
# -checkip val      Check certificate matches ipaddr
echo | openssl s_client -verify_hostname baidu.com -connect sendcloud.net:443 1>/dev/null

SMTP

一样的，只是加 -starttls smtp。

echo | openssl s_client -connect smtp.sendcloud.net:25 -starttls smtp
echo | openssl s_client -connect smtp.sendcloud.net:25 -starttls smtp 2>/dev/null | openssl x509 -inform pem -noout -text

其他

校验证书

# echo | openssl s_client -connect smtp.sendcloud.net:25 -starttls smtp 2>/dev/null | openssl verify
# echo | openssl s_client -showcerts -connect smtp.sendcloud.net:25 -starttls smtp 2>/dev/null | openssl verify
echo | openssl s_client -showcerts -connect smtp.sendcloud.net:25 -starttls smtp 2>/dev/null | sed -n '/-----BEGIN/,/-----END/p' > smtp.sendcloud.net.cer
openssl verify -CAfile smtp.sendcloud.net.cer smtp.sendcloud.net.cer

IMAP

echo | openssl s_client -connect imap.126.com:143 -starttls imap

测试 TLS 1.3 支持

echo | openssl s_client -connect smtp.sendcloud.net:25 -starttls smtp -tls1_3

OCSP 检测

用上面的 sendcloud.net.cer 举例，需要将文件中第一个证书和下面的其他证书拆开，分成 sendcloud.cer 和 chain.cer

openssl x509 -noout -ocsp_uri -in sendcloud.cer
# http://ocsp.sectigo.com
openssl ocsp -issuer chain.cer -cert sendcloud.cer -text -url http://ocsp.sectigo.com
# Error querying OCSP responder
# 140052849842064:error:27076072:OCSP routines:PARSE_HTTP_LINE1:server response error:ocsp_ht.c:314:Code=400,Reason=Bad Request

遇到上面报错是因为 OSCP 客户端使用 HTTP 1.0，但是服务器端现在都是 1.1，需要 Host 头。

$ openssl ocsp -issuer chain.cer -cert sendcloud.cer -text -url http://ocsp.sectigo.com -header "HOST" "ocsp.sectigo.com"
OCSP Request Data:
    Version: 1 (0x0)
    Requestor List:
        Certificate ID:
          Hash Algorithm: sha1
          Issuer Name Hash: 21F3459A10CAA6C84BDA1E3962B127D5338A7C48
          Issuer Key Hash: 17D9D6252767F931C24943D93036448C6CA94FEB
          Serial Number: DB5F1FFAFFB770CA38E8120A6121852E
    Request Extensions:
        OCSP Nonce:
            0410F47624DDB17E9703BFCDCC96E983018B
OCSP Response Data:
    OCSP Response Status: successful (0x0)
    Response Type: Basic OCSP Response
    Version: 1 (0x0)
    Responder Id: 17D9D6252767F931C24943D93036448C6CA94FEB
    Produced At: Dec  9 07:52:17 2023 GMT
    Responses:
    Certificate ID:
      Hash Algorithm: sha1
      Issuer Name Hash: 21F3459A10CAA6C84BDA1E3962B127D5338A7C48
      Issuer Key Hash: 17D9D6252767F931C24943D93036448C6CA94FEB
      Serial Number: DB5F1FFAFFB770CA38E8120A6121852E
    Cert Status: good
    This Update: Dec  9 07:52:17 2023 GMT
    Next Update: Dec 16 07:52:16 2023 GMT

    Signature Algorithm: sha256WithRSAEncryption
         5f:65:bf:3e:d1:8c:16:63:76:bc:83:82:b8:a3:67:54:1d:26:
         78:e1:b9:7f:64:c7:61:bc:40:0d:4b:b0:7f:49:29:bc:38:48:
         43:87:a5:dd:a1:e6:b4:74:ce:58:44:24:30:c3:0d:f5:ab:da:
         8c:f9:25:0e:3e:e2:fe:5a:64:5f:32:d9:f5:15:6f:0c:0c:89:
         97:30:f6:6c:07:56:6e:54:81:4f:d3:22:1f:16:94:a0:2b:99:
         49:2f:2c:0f:c8:b7:b4:90:2f:60:01:54:9c:f9:34:c0:c6:e1:
         09:3f:93:d4:dd:a7:0b:34:bb:cb:4b:06:c3:5a:8c:fc:dc:85:
         4f:9d:a7:08:c3:22:98:06:b8:b9:d4:47:51:9c:36:43:f3:53:
         db:f5:d1:2f:4c:a6:97:c7:5a:f5:15:04:c4:94:a4:9e:95:4c:
         03:fd:5a:60:b8:4c:75:e8:02:74:e4:80:1c:8f:17:85:8a:a2:
         9e:b9:5d:74:4a:2e:7d:9f:5e:d8:40:6b:60:63:74:3f:dc:11:
         d4:f6:b4:86:6e:6b:83:8a:ff:57:cf:b4:41:1f:a3:66:b2:e2:
         00:6a:3a:33:dc:c3:3d:13:1d:37:97:d9:9c:d9:b5:9b:24:74:
         24:82:7a:f9:ca:51:b3:39:24:e3:90:f4:ff:4b:8e:be:f8:0f:
         ec:7a:16:55
WARNING: no nonce in response
Response Verify Failure
139766041024400:error:27069076:OCSP routines:OCSP_basic_verify:signer certificate not found:ocsp_vfy.c:92:
sendcloud.cer: good
        This Update: Dec  9 07:52:17 2023 GMT
        Next Update: Dec 16 07:52:16 2023 GMT

#3 HTTPS 知识点

HTTPS TLS 信息安全 2022-11-11

2019/02/03, Let's Encrypt
2021/01/08, 了解 HTTPS 背后的原理
2021/11/22, HTTPS 的资源消耗
2022/09/04, HSTS: HTTP Strict Transport Security
2022/11/11, HTTPS 知识点
2023/12/10, OpenSSL 检查 HTTPS 和 SMTP (STARTTLS) 连接

HTTPS = HTTP + TLS
原来是 TCP -> HTTP
现在是 TCP -> TLS -> HTTP

提升了安全性的同时，降低了一些性能。

更重要的是，互联网基础设施层面开始淘汰 HTTP：

包括谷歌在内的浏览器厂商将使用 HTTP 访问的网站标记为不安全网站，Google 还会降低 HTTP 网站的排名。
其他平台，比如苹果 App Store，微信小程序等，都要求使用 HTTPS 协议。

1、怎么提升安全性

加密数据传输： TLS 数据加密，难以被窃听和解密。即使攻击者能够截获传输的数据包，他们也不能轻易读取其中的内容。
身份验证： 受信任的第三方机构颁发的 TLS 证书，可以用来验证服务器身份。
完整性验证： 使用消息摘要算法（如 SHA-256）来验证数据的完整性，防止数据被篡改（中间人攻击）。

2、降低了多少性能

相关通信过程在 2021/01/08，了解 HTTPS 背后的原理有描述。

损耗主要在哪些环节呢？

握手
加密、解密
数据传输（加密之后数据增大）
证书验证 - 优化：浏览器缓存证书

3、如何优化

参考 HTTPS 的资源消耗，针对消耗点进行优化。

4、工具

Qualys SSL Server Test：https://www.ssllabs.com/ssltest/index.html

5、清单

在 2012 年的 RFC 6797 中，HTTP 严格传输安全被定义为网络安全标准。创建这个标准的主要目的，是为了。

证书
- OCSP（在线证书状态协议）：检查证书有效期，确保没有被吊销
TLS 协议版本
加密套件
HSTS（HTTP 严格传输安全）
RFC 6797。
作用是避免用户遭受使用 SSL stripping（剥离，HTTP 降级攻击）的中间人攻击（man-in-The-middle，MITM）
```
add_header Strict-Transport-Security "max-age=31536000";
```
HTTP/2 支持
Apple ATS（App Transport Security）
> 苹果 ATS 证书的选择及配置：
> 自 2017 年 01 月 01 日起，根据苹果公司要求，所有 iOS 应用必须使用 ATS（App Transport Security），即 iOS 应用内的连接必须使用安全的 HTTPS 连接。

#2 HSTS: HTTP Strict Transport Security

HTTPS TLS 2022-09-04

HSTS 全称 HTTP Strict Transport Security，中文就是 HTTP 严格传输安全。

HSTS 的作用是通过特定的 HTTP 响应头告知浏览器，未来访问该网站时必须使用 HTTPS 连接，确保通信的安全性。这可以避免用户通过 HTTP 访问时的自动重定向，从而减少延迟。

对于同时支持 HTTP 和 HTTPS 的站点，HSTS 强制客户端始终使用 HTTPS，防止潜在的中间人攻击。主流浏览器都已全面支持 HSTS。

HSTS 于 2012 年成为互联网标准建议（RFC 6797），并逐渐被广泛采用。

背景

SSL 剥离攻击（SSLStrip），HTTP 降级攻击

受益于一整套相对可靠的公钥基础设施（PKI），直接的 HTTPS 通信是无法中间人攻击的。
中间人的伪造证书会被校验出来。

但是部分网站都是配置 HTTP 和 HTTPS 地址共存。

工作原理

通过 Strict-Transport-Security 响应头（下面称之为 HSTS 头），告诉客户端应该采用 HTTPS 连接。
客户端以后再访问这个网站就会自动重定向到 HTTPS（即使指定了 HTTP 协议）。

语法

Strict-Transport-Security: max-age=<expire-time>
Strict-Transport-Security: max-age=<expire-time>; includeSubDomains
Strict-Transport-Security: max-age=<expire-time>; includeSubDomains; preload

max-age 作用时长（秒），表示在这么长的时间之内都应该直接请求 HTTPS 协议。
includeSubDomains 对所有子域名生效
preload 添加到 HSTS 预加载列表需要的
- 不是标准的一部分，但主流浏览器都支持

例如：

Strict-Transport-Security: max-age=63072000; includeSubDomains; preload

表示两年之内，当前域名以及所有子域名，都通过 HTTPS 访问。

预加载列表

提交：https://hstspreload.org/
https://hg.mozilla.org/mozilla-central/raw-file/tip/security/manager/ssl/nsSTSPreloadList.inc
https://www.chromium.org/hsts/
作用：强行指定相关域名采用 HTTPS 访问协议
谷歌维护，其他浏览器厂商也采纳了这个列表
max-age 至少一年，且必须 includeSubDomains
如果监听了 80 端口，重定向到相同域名的 HTTPS 服务（443 端口）

要求原文：

Serve a valid certificate.
Redirect from HTTP to HTTPS on the same host, if you are listening on port 80.
Serve all subdomains over HTTPS.
1. In particular, you must support HTTPS for the www subdomain if a DNS record for that subdomain exists.
Serve an HSTS header on the base domain for HTTPS requests:
1. The max-age must be at least 31536000 seconds (1 year).
2. The includeSubDomains directive must be specified.
3. The preload directive must be specified.
4. If you are serving an additional redirect from your HTTPS site, that redirect must still have the HSTS header (rather than the page it redirects to).

问题

第一次访问不受 HSTS 保护
如果网站想回退到 HTTP，可能会受阻

Nginx HSTS 配置

80 rewrite 到 https

server {
    listen 80;
    server_name example.com;
    # rewrite ^(.*)$ https://$host$1 permanent;
    return 301 https://$server_name$request_uri;
}

HSTS 头

add_header Strict-Transport-Security "max-age=63072000; includeSubDomains; preload";

PKP：Public Key Pinning

和 HSTS 类似，服务器告诉浏览器网站的证书指纹，浏览器缓存起来。
后面的每次访问都会计算证书指纹，如果和之前缓存的哈希不匹配，则向用户发出警告，存在中间人攻击风险。

计算证书指纹的方法：

SPKI
哈希，对整个证书计算哈希值，更加安全

和 HSTS 类似的是工作方式，目的（提升安全性），不同的是手段，HSTS 是为了确保采用安全的协议，PKP 是确保证书不被伪造。

参考资料与拓展阅读

MDN, Strict-Transport-Security
Wikipedia, HTTP Strict Transport Security

#1 了解 HTTPS 背后的原理

HTTPS TLS 信息安全 2021-01-08

OpenSSL LOGO

一	二	三	四	五	六	日