#793 Golang dlv 调试工具的使用 [编辑中]
Golang 2022-04-28dlv 是 Golang 生态中一种常见的调试工具，我感觉有点类似 gdb。本文描述其基本用法。
#792 GitHub RPC 相关项目
开发者 RPC 2022-04-26C++
- protocolbuffers/protobuf
Protocol Buffers - Google's data interchange format - aria2/aria2
aria2 is a lightweight multi-protocol & multi-source, cross platform download utility operated in command-line. It supports HTTP/HTTPS, FTP, SFTP, BitTorrent and Metalink. - google/flatbuffers
FlatBuffers: Memory Efficient Serialization Library - apache/incubator-brpc
Industrial-grade RPC framework used throughout Baidu, with 1,000,000+ instances and thousands kinds of services. "brpc" means "better RPC". - RPCS3/rpcs3
PS3 emulator/debugger - TarsCloud/Tars
Tars is a high-performance RPC framework based on name service and Tars protocol, also integrated administration platform, and implemented hosting-service via flexible schedule. - capnproto/capnproto
Cap'n Proto serialization/RPC system - core tools and C++ library - idealvin/cocoyaxi
A go-style coroutine library in C++11 and more. - baidu/sofa-pbrpc
A light-weight RPC implement of google protobuf RPC framework. - zeroc-ice/ice
Comprehensive RPC framework with support for C++, C#, Java, JavaScript, Python and more. - Tencent/phxrpc
A simple C++ based RPC framework. - FISCO-BCOS/FISCO-BCOS
FISCO BCOS 是由微众牵头的金链盟主导研发、对外开源、安全可控的企业级金融区块链底层技术平台。 单链配置下，性能 TPS 可达万级。提供群组架构、并行计算、分布式存储、可插拔的共识机制、隐私保护算法、支持全链路国密算法等诸多特性。 经过多个机构、多个应用，长时间在生产环境中的实践检验，具备金融级的高性能、高可用性及高安全性。FISCO BCOS is a secure and reliable financial-grade open-source blockchain platform. The platform provides rich features including group architecture, cross-chain communication protocols, pluggable consensus mechanisms, privacy protection algorithms, OSCCA-approved (Office of State Commercial Cryptography Administration) cryptography algorithms, and distributed storage. Its performance, usability, and security have been testified by many institutional users and successful business applications in a live production environment. - rpclib/rpclib
rpclib is a modern C++ msgpack-RPC server and client library - sogou/srpc
High performance, low latency, lightweight enterprise-level RPC system. Supports Baidu bRPC, Tencent tRPC, thrift protocols.
Go
- asim/go-micro
A Go microservices framework - chai2010/advanced-go-programming-book
:books: 《Go 语言高级编程》开源图书，涵盖 CGO、Go 汇编语言、RPC 实现、Protobuf 插件实现、Web 框架实现、分布式系统等高阶主题(完稿) - zeromicro/go-zero
A web and RPC framework written in Go. It's born to ensure the stability of the busy sites with resilient design. Builtin goctl greatly improves the development productivity. - grpc/grpc-go
The Go language implementation of gRPC. HTTP/2 based RPC - geektutu/7days-golang
7 days golang programs from scratch (web framework Gee, distributed cache GeeCache, object relational mapping ORM framework GeeORM, rpc framework GeeRPC etc) 7 天用 Go 动手写/从零实现系列 - smallnest/rpcx
Best microservices framework in Go, like alibaba Dubbo, but with more features, Scale easily. Try it. Test it. If you feel it's better, use it! 𝐉𝐚𝐯𝐚 有 𝐝𝐮𝐛𝐛𝐨, 𝐆𝐨𝐥𝐚𝐧𝐠 有 𝐫𝐩𝐜𝐱! build for clound! - roadrunner-server/roadrunner
🤯 High-performance PHP application server, load-balancer and process manager written in Golang - twitchtv/twirp
A simple RPC framework with protobuf service definitions - cloudwego/kitex
A high-performance and strong-extensibility Golang RPC framework that helps developers build microservices. - davyxu/cellnet
High performance, simple, extensible golang open source network library - hashicorp/go-plugin
Golang plugin system over RPC. - TarsCloud/TarsGo
A high performance microservice framework in golang. A linux foundation project.
Java
- doocs/advanced-java
😮 Core Interview Questions & Answers For Experienced Java(Backend) Developers | 互联网 Java 工程师进阶知识完全扫盲：涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识 - apache/dubbo
Apache Dubbo is a high-performance, java based, open source RPC framework. - redisson/redisson
Redisson - Redis Java client with features of In-Memory Data Grid. Over 50 Redis based Java objects and services: Set, Multimap, SortedSet, Map, List, Queue, Deque, Semaphore, Lock, AtomicLong, Map Reduce, Publish / Subscribe, Bloom filter, Spring Cache, Tomcat, Scheduler, JCache API, Hibernate, MyBatis, RPC, local cache ... - dianping/cat
CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC 框架，RPC 框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。 - grpc/grpc-java
The Java gRPC implementation. HTTP/2 based RPC - nathanmarz/storm
Distributed and fault-tolerant realtime computation: stream processing, continuous computation, distributed RPC, and more - weibocom/motan
A cross-language remote procedure call(RPC) framework for rapid development of high performance distributed services. - line/armeria
Your go-to microservice framework for any situation, from the creator of Netty et al. You can build any type of microservice leveraging your favorite technologies, including gRPC, Thrift, Kotlin, Retrofit, Reactive Streams, Spring Boot and Dropwizard. - sofastack/sofa-rpc
SOFARPC is a high-performance, high-extensibility, production-level Java RPC framework.
Python
- crossbario/autobahn-python
WebSocket and WAMP in Python for Twisted and asyncio - quantmind/pulsar
Event driven concurrent framework for Python - lgandx/PCredz
This tool extracts Credit card numbers, NTLM(DCE-RPC, HTTP, SQL, LDAP, etc), Kerberos (AS-REQ Pre-Auth etype 23), HTTP Basic, SNMP, POP, SMTP, FTP, IMAP, etc from a pcap file or from a live interface. - Thriftpy/thriftpy
Thriftpy has been deprecated, please migrate to https://github.com/Thriftpy/thriftpy2 - tomerfiliba-org/rpyc
RPyC (Remote Python Call) - A transparent and symmetric RPC library for python - samuelcolvin/arq
Fast job queuing and RPC in python with asyncio and redis. - arskom/spyne
A transport agnostic sync/async RPC library that focuses on exposing services with a well-defined API using popular protocols. - jgarzik/python-bitcoinrpc
Python interface to bitcoin's JSON-RPC API - Pyrlang/Pyrlang
Erlang node implemented in Python 3.5+ (Asyncio-based) - Thriftpy/thriftpy2
Pure python approach of Apache Thrift. - kevinhwang91/rnvimr
Make Ranger running in a floating window to communicate with Neovim via RPC - hakril/PythonForWindows
A codebase aimed to make interaction with Windows and native execution easier - joshmarshall/jsonrpclib
A Python JSON-RPC over HTTP that mirrors xmlrpclib syntax. - CiscoDevNet/yang-explorer
An open-source Yang Browser and RPC Builder Application - phunt/avro-rpc-quickstart
Apache Avro RPC Quick Start. - pavlov99/json-rpc
🔁 JSON-RPC 1/2 transport implementation. Supports python 2/3 and pypy. - progrium/duplex
Full duplex modern RPC - maxcutler/python-wordpress-xmlrpc
Python library for WordPress XML-RPC integration - studio-ousia/mprpc
A fast Python RPC library - Ananto30/zero
Zero: A simple, fast, high performance and low latency Python framework (RPC + PubSub) for building microservices or distributed servers
#791 墨菲安全 CLI
开发者 安全 2022-04-25OSCHINA 上听说墨菲安全, 是一个 Golang 写的 cli 工具, 收集项目的依赖信息提交到服务器端, 查询可能的安全风险。
根据官方文档，目前支持 Java（maven，gradle），Golang（go mod），Node（npm，yarn），Python（pip）语言。
本文档就是简单的试用一下。
总结：我感觉挺好的，一般来说对于依赖我们都不上心，其实是有很大安全风险在里面。我觉得应该对线上业务的依赖都应该有严格的审查。
如果是安全方面的需求没有那么强烈，用这个工具可以为依赖的管理提供一些帮助。
可以考虑和 CI/CD 继承，如果有安全风险就发出告警信息。
#790 给新人的目标
开发者 Python 2022-04-19一些阶段性目标：
-
参照网上查到的博客和文档，先列出大纲以及制定学习计划
大概以下五个主题的内容： -
Python 标准库
- Tornado
- Redis
- RabbitMQ (pika)
-
MySQL (SQLAlchemy/pymysql)
-
如果资源方面允许，可以实现一个内部系统开发，进行编码和设计方面的指导 - 阅读项目文档，理解邮件和短信的处理流程，项目结构，以及每个项目的核心逻辑
- 给定一个周边项目进行开发维护，小任务开发（Code Review）
- 从写文档和单元测试开始，逐渐参与核心项目的开发和维护
其他：Linux 基础，Git，我们的开发流程和规范
标准库
- 常用基础库: os, sys, shutil, re, time, datetime, ramdom, json, pickle ...
- 日志: logging
- HTTP 相关: urllib, http
- 邮件相关: email, smtplib, smtpd
- 编码和加密相关: md5, sha, base64, hmac, binascii
- 单元测试: unitest 非常重要
Tornado
- Web 框架先走起来
- 基本用法，比如
add_timeout,call_later,add_callback... - 了解 IOLoop/IOStream
- 项目开发过程中的一些实践
Redis
- 安装
redis-cli- 数据类型
- 命令清单
redis库
RabbitMQ
- 基本概念 (Exchange / Queue / Binding / Channel / Connection)
- 安装和使用
pika库- 发布/订阅 (生产, 消费)
MySQL
- 数据类型
- 连接
- 索引
pymysql/mysqlclient库- SQLAlchemy
#789 小朋友的数学加强计划
育儿 Excel 2022-04-18一些简单的算术（十以内的加减法）要掰着手指算半天，还总算错，我觉得是训练少了。
目标：能够不假思索地说出答案。
工具：Excel 生成题目，打印到 A4 纸
第一步：数数训练
- 从 1 数到 100
- 从 100 倒数到 1
- 指定两个数字比大小
- 10 以内
- 20 以内
- 100 以内
- 从指定数字往后数指定位
- 从指定数字往前数指定位
第二步：十以内加法训练
- 5 以内的加法，应该没有问题，确认一下。
- 大数
6 ~ 9+ 小数0 ~ 5 - 大数
6 ~ 9+ 大数6 ~ 9 - 十以内的加法综合训练
第三步：十以内的减法训练
- 5 以内的减法，应该没有问题，确认一下。
- 十以内的减法综合训练
第四步：加法
- 不用进位的加法
- 进位加法
11 ~ 19+0 ~ 9 - 更大数的进位加法（加强）
- 100 以内加法综合训练
第四步：减法
- 不用借位减法
- 借位减法
11 ~ 19-0 ~ 9 - 更大数的借位减法（加强）
- 100 以内减法综合训练
#788 HTTP 协议新提案：Query 方法
HTTP 2022-04-15令我惊讶的是，竟然还有人不是为了解决什么痛点问题，而想对一个使用如此广泛的基础协议做改动。
我敢打赌，绝对不可能通过。
https://www.ietf.org/archive/id/draft-ietf-httpbis-safe-method-w-body-02.html
这个新提案的主要理由是 URL 中不能包含太多数据（实现的限制），然后受 URL 编码的影响，效率下降。
作者认为应该设计一个支持 Body 的 GET 方法，那就是 Query。
提案讨论了相关的缓存问题。要求将 URL 和 Body 合并成 Key。
可以在这里跟踪相关进展：
#787 办公网络中的安全问题
安全 计算机网络 iptables 2022-04-14同事发来消息，说是我的电脑经过安全扫描，判断有风险。提了以下几条改进意见：
-
SMB 共享，风险高，希望限制访问，并强制执行消息签名。
改进：其实现在我很少使用 SMB 共享了，直接关闭了事。
PS: 其实在用 SMB 共享，所以重新开启 smbd 并禁止匿名访问。 -
开启了 IP 转发，风险中，建议关闭。
IP 转发功能对我的工作是非常必要的，不能关闭
之前的文章, 2021/05/09, VPN 与 NAT 有讲过这个问题。
改进：调整 iptables 规则，only ACCEPT 指定链路 FORWARD - 3Proxy HTTP 代理（端口 10809）只做透明请求远程溢出，风险高，建议升级 3Proxy 版本。
我没有安装什么 3Proxy, 这个端口是其他 HTTP 代理服务的端口（不排除底层使用了 3Proxy）
改进：我直接将其改成监听 127.0.0.1 了事
#786 数据序列化格式
开发者 2022-04-14文本类型
最常见的文本类型数据序列化格式要数 JSON 和 XML 了。
早年间，知名的 RPC 规范 SOAP，XML-RPC 就是定义在 XML 的基础之上。
后来，随着 Web 的流行，JSON 使用得越来越多，基于 JSON 的 RPC 也开始出现。
但是最后 RPC 整体衰弱下来，终究没有抵过 HTTP API 的趋势。大部分 HTTP API 都是基于 JSON，少部分基于 XML。
苹果公司的 plist (Property list) 格式也是基于 XML。
除了 JSON 和 XML 之外，其他常见的文本类型数据序列化格式还有：CSV，YAML。
二进制类型
-
ASN.1 参考 2020/01/31, ASN.1。
-
D-BUS
-
三种语言相关的序列化格式：
-
Java Object Serialization
- Python Pickle
-
PHP serialization format
-
Mongo 引入的 BSON，二进制 JSON。类似的格式（JSON 二进制化）还有：
-
Binn
- CBOR (rfc8949)
- Amazon Ion
- msgpack
- Smile
-
ubjson。
-
也有一些 XML 二进制化的格式(Binary XML)，比如：
-
W3C 推荐的 Efficient XML Interchange (EXI)
-
ISO 标准 Fast Infoset。
-
Apache 基金会的 Avro 和 Parquet。
-
近些年，随着微服务的流行，RPC 重新席卷而来。一般都是采用二进制的数据格式。
二进制的编码效率更高，可视化（转换成文本）的问题可以通过网关来提供。
Google 公司的 Protocol Buffers (protobuf) 和 FlatBuffers
Apache Thrift 也有自己独创的序列化格式（同名）。
#785 如何面试程序员
招聘 2022-04-13之前写的关于面试的文章都是站在求职者的角度，今天这一篇是站在招聘者的角度。工作一些年之后，总是会偶尔参与到公司的招聘流程中。在做面试官之后，应该如何来考察一个开发者的工作能力呢？
#784 Golang GC 与 STW [编辑中]
Golang GC 2022-04-11相信 Golang 开发者可能前段时间见过两位大佬关于 Golang 性能的技术讨论（撕X），其中一个很重要的点就是涉及 Golang GC 对性能的影响。
我之前的开发经验几乎全部集中于 PHP，JS，Python 等脚本型语言，较少需要涉及 GC（只有几次涉及服务内存占用的时候检查过 GC）。
接触到 Golang 之后，如果不去研究 GC 可能很多疑问是无法解决的，很多时候的优化也和 GC 密切相关。