可观测性(Observability)
可观测性(Observability)主要包括日志(Logs)、指标(Metrics)和链路追踪(Traces)三大部分,已成为现代应用监控体系的主流架构。
- 日志(Logs):记录系统运行事件和错误信息,用于问题排查、行为审计和故障分析。
- 指标(Metrics):通过数值量化系统运行状态,用于性能监控、趋势分析和异常告警。
- 链路追踪(Traces):记录请求在多个服务间的调用路径,用于分析调用关系和定位性能瓶颈。
业务系统可以通过内置 SDK 直接向可观测性平台上报数据,也可以将日志等信息写入文件,再由独立运行的采集 Agent 负责数据采集、转换、批量处理和转发,最终提交给可观测性平台。
可观测性平台负责数据的存储、检索、分析和可视化,并提供 Dashboard、告警等扩展功能。
OpenTelemetry
OpenTelemetry(简称 OTel)是 CNCF 开源的、厂商无关的可观测性标准框架,提供统一的 API、SDK 和采集器,用于生成、采集和传输日志(Logs)、指标(Metrics)和链路追踪(Traces)。它不负责数据存储和可视化,核心价值是统一数据采集标准,降低监控平台的厂商绑定。
OpenObserve
OpenObserve 是一款符合 OpenTelemetry 标准的一体化可观测性平台,整合了日志、指标和链路追踪能力,可以理解为 Grafana + Loki + Prometheus + Jaeger 的一体化替代方案。
PS:其他平台包括:Grafana LGTM、SigNoz、Jaeger、Elastic、Apache SkyWalking、Datadog(商业)、New Relic(商业)、Dynatrace(商业)、Splunk(商业)等。它们支持程度不同,有的原生接收 OTLP,有的通过 Collector 或集成组件接入。
- 日志(Logs):集中采集应用日志、系统日志,支持全文检索和 SQL 查询。
- 指标(Metrics):采集 CPU、内存、请求量、错误率、延迟等时序指标。
- 链路追踪(Traces):通过 Trace ID 串联多个服务的调用过程,定位性能瓶颈。
此外还支持 Dashboard、告警、数据处理 Pipeline、RUM 等功能。底层使用 Rust 开发,支持 SQL 和 PromQL。
安装 OpenObserve
建议先使用 Docker Compose 部署单机版。它适合开发环境、小规模生产环境和功能验证。
PS:官方文档还提供 Linux 二进制、Kubernetes 等安装方式。
mkdir -p /opt/openobserve/data
cd /opt/openobserve
vim compose.yaml # 文件内容在下面
# 启动
docker compose up -d
docker compose logs -f
compose.yaml 文件:
services:
openobserve:
# 官方镜像,试用的话就用 latest 就行
image: public.ecr.aws/zinclabs/openobserve:latest
container_name: openobserve
restart: unless-stopped
ports:
- "5080:5080"
environment:
ZO_DATA_DIR: /data
ZO_ROOT_USER_EMAIL: admin@example.com
ZO_ROOT_USER_PASSWORD: "ChangeThisPassword"
volumes:
- ./data:/data
启动之后可以通过 http://服务器IP:5080 访问,使用配置的管理员账号登录。
关于存储
单节点模式默认使用 SQLite 和本地磁盘,也可以配置对象存储。
高可用主题则会涉及:
- PostgreSQL:元数据。
- NATS:节点间消息协调。
- S3 / MinIO / RustFS:遥测数据存储。
- Router、Ingester、Querier、Compactor、Scheduler:分布式处理组件。
OpenTelemetry Collector(采集端)
OpenTelemetry Collector 是独立运行的采集服务,可以接收不同业务系统的日志、指标和链路数据,再统一发送给 OpenObserve。
它本身不依赖 OpenObserve,可以将来切换到其他后端。
部署 Collector
采用 Docker 部署官方发行的 OpenTelemetry Collector Contrib 版本(包含 filelog 等常用采集组件):
services:
otel-collector:
image: otel/opentelemetry-collector-contrib:latest
container_name: otel-collector
restart: unless-stopped
command: ["--config=/etc/otelcol/config.yaml"]
volumes:
- ./otel-config.yaml:/etc/otelcol/config.yaml:ro
- /var/log:/var/log:ro
ports:
- "4317:4317" # OTLP gRPC 接收端口
- "4318:4318" # OTLP HTTP 接收端口
配置 Collector
创建 otel-config.yaml:
receivers:
otlp:
protocols:
grpc:
endpoint: 0.0.0.0:4317
http:
endpoint: 0.0.0.0:4318
filelog:
include:
- /var/log/*.log
start_at: end
processors:
memory_limiter:
check_interval: 1s
limit_percentage: 80
spike_limit_percentage: 25
batch:
send_batch_size: 8192
timeout: 5s
exporters:
otlphttp/openobserve:
endpoint: http://openobserve:5080/api/default
headers:
Authorization: ${env:OPENOBSERVE_AUTH}
stream-name: application
service:
pipelines:
logs:
receivers: [otlp, filelog]
processors: [memory_limiter, batch]
exporters: [otlphttp/openobserve]
traces:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlphttp/openobserve]
metrics:
receivers: [otlp]
processors: [memory_limiter, batch]
exporters: [otlphttp/openobserve]
这里的 openobserve 是 Compose 服务名,两个容器需要处于同一个 Docker 网络。
认证信息:
echo -n 'admin@example.com:ChangeThisPassword' | base64
将结果设置为 OPENOBSERVE_AUTH,注意需要带 Basic 前缀。
实际生产环境建议使用专门的采集账号或 Ingestion Token,而不是管理员密码。
这套架构的价值:
- 业务系统只需要连接 Collector。
- Collector 负责批量发送、缓存处理、数据转换。
- OpenObserve 负责存储、查询和展示。
- 多个业务系统共享一个采集入口。
官方支持 OTLP HTTP 和 gRPC 两种传输方式,初期建议使用 HTTP。
SDK 接入
这里需要区分两种方式:
| 接入方式 | 适用场景 |
|---|---|
| OpenTelemetry SDK | 日志、指标、分布式追踪 |
| OpenObserve HTTP API | 直接写入结构化日志 |
| OpenObserve 专用 SDK | 简化特定语言的接入 |
我的建议是:业务代码统一使用 OpenTelemetry,避免直接依赖 OpenObserve SDK。这样以后更换 Loki、Jaeger、Tempo 或其他可观测性后端时,业务代码基本不需要调整。
Go 接入
Go 推荐使用官方 OpenTelemetry SDK。
主要组件:
| 组件 | 用途 |
|---|---|
go.opentelemetry.io/otel |
核心 API |
go.opentelemetry.io/otel/sdk |
SDK 实现 |
otlptracehttp |
Trace 导出 |
otelhttp |
HTTP 自动埋点 |
otelslog |
slog 日志桥接 |
安装依赖:
go get go.opentelemetry.io/otel
go get go.opentelemetry.io/otel/sdk
go get go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp
go get go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp
设置环境变量:
export OTEL_SERVICE_NAME=order-service
export OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318
export OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
这里连接的是 Collector,而不是 OpenObserve。
初始化 Trace Provider:
package telemetry
import (
"context"
"os"
"go.opentelemetry.io/otel"
"go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp"
sdktrace "go.opentelemetry.io/otel/sdk/trace"
"go.opentelemetry.io/otel/sdk/resource"
semconv "go.opentelemetry.io/otel/semconv/v1.30.0"
)
func Init(ctx context.Context) (func(context.Context) error, error) {
exporter, err := otlptracehttp.New(ctx)
if err != nil {
return nil, err
}
res, err := resource.New(
ctx,
resource.WithAttributes(
semconv.ServiceName(os.Getenv("OTEL_SERVICE_NAME")),
),
)
if err != nil {
return nil, err
}
tp := sdktrace.NewTracerProvider(
sdktrace.WithBatcher(exporter),
sdktrace.WithResource(res),
)
otel.SetTracerProvider(tp)
return tp.Shutdown, nil
}
业务中使用:
tracer := otel.Tracer("order-service")
ctx, span := tracer.Start(ctx, "CreateOrder")
defer span.End()
// 业务处理
HTTP 服务则可以通过 otelhttp.NewHandler 包装,实现请求级 Trace 采集。
注意:上面是最小 Trace 初始化示例,正式使用还需要配置资源属性、错误记录、采样策略和优雅关闭。
Go 日志接入
考虑到你使用 log/slog,我建议保留现有日志体系,不要为了接入 OpenObserve 更换日志库。
有两条路线:
路线 A:slog → OpenTelemetry Logs → Collector
使用 otelslog 将 slog 接入 OpenTelemetry Logs,再通过 OTLP 导出。这是统一可观测性方案。
不过 Go 的 OpenTelemetry Logs 生态成熟度目前低于 Traces 和 Metrics,建议固定依赖版本。
路线 B:slog → JSON 文件 → Collector
这是我更推荐的初期方案:
logger := slog.New(
slog.NewJSONHandler(os.Stdout, nil),
)
然后由 Collector 使用 filelog 或其他日志采集组件读取文件。
如果采用文件采集,需要把应用日志写入独立文件,并配置轮转、文件权限和采集游标;不要直接采集所有容器标准输出文件。
不使用 SDK,直接请求 API
OpenObserve 也提供 HTTP API,例如:
curl -u 'admin@example.com:password' \
-X POST \
'http://localhost:5080/api/default/application/_json' \
-H 'Content-Type: application/json' \
-d '[{
"level": "info",
"service": "order-service",
"message": "order created",
"order_id": "12345"
}]'
这种方式适合:
- 一次性脚本。
- 定时任务。
- 第三方系统集成。
- 不方便安装 Collector 的程序。
但不建议所有业务代码都自己实现 HTTP 日志发送、重试和批量缓冲。
落地架构建议
建议分三阶段实施:
- 第一阶段:日志集中化。 所有服务统一 JSON 日志格式,增加
service、level、trace_id、request_id等字段。 - 第二阶段:指标监控。 采集请求量、错误率、P95/P99 延迟、CPU、内存等。
- 第三阶段:分布式追踪。 对 HTTP、数据库、RPC 等关键调用增加 Trace 埋点。
尤其需要注意:日志、指标和 Trace 必须使用统一的 service.name、环境标识和 Trace ID,才能真正实现跨信号关联。
最后一个架构建议:OpenObserve 最值得利用的不是它自己的 SDK,而是它对 OpenTelemetry 标准的支持。如果准备把它用于多个服务,建议封装一个统一的 telemetry 初始化包,统一管理:
- Logger:基于 slog,输出 JSON。
- Tracer:基于 OpenTelemetry。
- Metrics:基于 OpenTelemetry。
- Resource:统一服务名、版本、环境、实例 ID。
- Exporter:通过 Collector 统一出口。
这样业务项目只依赖内部 telemetry 包,不直接依赖 OpenObserve。以后替换后端,迁移成本会低很多。