OpenObserve 统一可观测性平台

可观测性(Observability)

可观测性(Observability)主要包括日志(Logs)、指标(Metrics)和链路追踪(Traces)三大部分,已成为现代应用监控体系的主流架构。

  • 日志(Logs):记录系统运行事件和错误信息,用于问题排查、行为审计和故障分析。
  • 指标(Metrics):通过数值量化系统运行状态,用于性能监控、趋势分析和异常告警。
  • 链路追踪(Traces):记录请求在多个服务间的调用路径,用于分析调用关系和定位性能瓶颈。

业务系统可以通过内置 SDK 直接向可观测性平台上报数据,也可以将日志等信息写入文件,再由独立运行的采集 Agent 负责数据采集、转换、批量处理和转发,最终提交给可观测性平台。

可观测性平台负责数据的存储、检索、分析和可视化,并提供 Dashboard、告警等扩展功能。

OpenTelemetry

OpenTelemetry(简称 OTel)是 CNCF 开源的、厂商无关的可观测性标准框架,提供统一的 API、SDK 和采集器,用于生成、采集和传输日志(Logs)、指标(Metrics)和链路追踪(Traces)。它不负责数据存储和可视化,核心价值是统一数据采集标准,降低监控平台的厂商绑定。

OpenObserve

OpenObserve 是一款符合 OpenTelemetry 标准的一体化可观测性平台,整合了日志、指标和链路追踪能力,可以理解为 Grafana + Loki + Prometheus + Jaeger 的一体化替代方案。
PS:其他平台包括:Grafana LGTM、SigNoz、Jaeger、Elastic、Apache SkyWalking、Datadog(商业)、New Relic(商业)、Dynatrace(商业)、Splunk(商业)等。它们支持程度不同,有的原生接收 OTLP,有的通过 Collector 或集成组件接入。

  1. 日志(Logs):集中采集应用日志、系统日志,支持全文检索和 SQL 查询。
  2. 指标(Metrics):采集 CPU、内存、请求量、错误率、延迟等时序指标。
  3. 链路追踪(Traces):通过 Trace ID 串联多个服务的调用过程,定位性能瓶颈。

此外还支持 Dashboard、告警、数据处理 Pipeline、RUM 等功能。底层使用 Rust 开发,支持 SQL 和 PromQL。

安装 OpenObserve

建议先使用 Docker Compose 部署单机版。它适合开发环境、小规模生产环境和功能验证。
PS:官方文档还提供 Linux 二进制、Kubernetes 等安装方式。

mkdir -p /opt/openobserve/data
cd /opt/openobserve

vim compose.yaml # 文件内容在下面

# 启动
docker compose up -d
docker compose logs -f

compose.yaml 文件:

services:
    openobserve:
        # 官方镜像,试用的话就用 latest 就行
        image: public.ecr.aws/zinclabs/openobserve:latest
        container_name: openobserve
        restart: unless-stopped
        ports:
            - "5080:5080"
        environment:
            ZO_DATA_DIR: /data
            ZO_ROOT_USER_EMAIL: admin@example.com
            ZO_ROOT_USER_PASSWORD: "ChangeThisPassword"
        volumes:
            - ./data:/data

启动之后可以通过 http://服务器IP:5080 访问,使用配置的管理员账号登录。

关于存储

单节点模式默认使用 SQLite 和本地磁盘,也可以配置对象存储。

高可用主题则会涉及:

  • PostgreSQL:元数据。
  • NATS:节点间消息协调。
  • S3 / MinIO / RustFS:遥测数据存储。
  • Router、Ingester、Querier、Compactor、Scheduler:分布式处理组件。

OpenTelemetry Collector(采集端)

OpenTelemetry Collector 是独立运行的采集服务,可以接收不同业务系统的日志、指标和链路数据,再统一发送给 OpenObserve。

它本身不依赖 OpenObserve,可以将来切换到其他后端。

部署 Collector

采用 Docker 部署官方发行的 OpenTelemetry Collector Contrib 版本(包含 filelog 等常用采集组件):

services:
    otel-collector:
        image: otel/opentelemetry-collector-contrib:latest
        container_name: otel-collector
        restart: unless-stopped
        command: ["--config=/etc/otelcol/config.yaml"]
        volumes:
            - ./otel-config.yaml:/etc/otelcol/config.yaml:ro
            - /var/log:/var/log:ro
        ports:
            - "4317:4317" # OTLP gRPC 接收端口
            - "4318:4318" # OTLP HTTP 接收端口

配置 Collector

创建 otel-config.yaml:

receivers:
    otlp:
        protocols:
            grpc:
                endpoint: 0.0.0.0:4317
            http:
                endpoint: 0.0.0.0:4318

    filelog:
        include:
            - /var/log/*.log
        start_at: end

processors:
    memory_limiter:
        check_interval: 1s
        limit_percentage: 80
        spike_limit_percentage: 25

    batch:
        send_batch_size: 8192
        timeout: 5s

exporters:
    otlphttp/openobserve:
        endpoint: http://openobserve:5080/api/default
        headers:
            Authorization: ${env:OPENOBSERVE_AUTH}
            stream-name: application

service:
    pipelines:
        logs:
            receivers: [otlp, filelog]
            processors: [memory_limiter, batch]
            exporters: [otlphttp/openobserve]

        traces:
            receivers: [otlp]
            processors: [memory_limiter, batch]
            exporters: [otlphttp/openobserve]

        metrics:
            receivers: [otlp]
            processors: [memory_limiter, batch]
            exporters: [otlphttp/openobserve]

这里的 openobserve 是 Compose 服务名,两个容器需要处于同一个 Docker 网络。

认证信息:

echo -n 'admin@example.com:ChangeThisPassword' | base64

将结果设置为 OPENOBSERVE_AUTH,注意需要带 Basic 前缀。

实际生产环境建议使用专门的采集账号或 Ingestion Token,而不是管理员密码。

这套架构的价值:

  • 业务系统只需要连接 Collector。
  • Collector 负责批量发送、缓存处理、数据转换。
  • OpenObserve 负责存储、查询和展示。
  • 多个业务系统共享一个采集入口。

官方支持 OTLP HTTP 和 gRPC 两种传输方式,初期建议使用 HTTP。

SDK 接入

这里需要区分两种方式:

接入方式 适用场景
OpenTelemetry SDK 日志、指标、分布式追踪
OpenObserve HTTP API 直接写入结构化日志
OpenObserve 专用 SDK 简化特定语言的接入

我的建议是:业务代码统一使用 OpenTelemetry,避免直接依赖 OpenObserve SDK。这样以后更换 Loki、Jaeger、Tempo 或其他可观测性后端时,业务代码基本不需要调整。

Go 接入

Go 推荐使用官方 OpenTelemetry SDK。

主要组件:

组件 用途
go.opentelemetry.io/otel 核心 API
go.opentelemetry.io/otel/sdk SDK 实现
otlptracehttp Trace 导出
otelhttp HTTP 自动埋点
otelslog slog 日志桥接

安装依赖:

go get go.opentelemetry.io/otel
go get go.opentelemetry.io/otel/sdk
go get go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp
go get go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp

设置环境变量:

export OTEL_SERVICE_NAME=order-service
export OTEL_EXPORTER_OTLP_ENDPOINT=http://localhost:4318
export OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf

这里连接的是 Collector,而不是 OpenObserve。

初始化 Trace Provider:

package telemetry

import (
    "context"
    "os"

    "go.opentelemetry.io/otel"
    "go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracehttp"
    sdktrace "go.opentelemetry.io/otel/sdk/trace"
    "go.opentelemetry.io/otel/sdk/resource"
    semconv "go.opentelemetry.io/otel/semconv/v1.30.0"
)

func Init(ctx context.Context) (func(context.Context) error, error) {
    exporter, err := otlptracehttp.New(ctx)
    if err != nil {
        return nil, err
    }

    res, err := resource.New(
        ctx,
        resource.WithAttributes(
            semconv.ServiceName(os.Getenv("OTEL_SERVICE_NAME")),
        ),
    )
    if err != nil {
        return nil, err
    }

    tp := sdktrace.NewTracerProvider(
        sdktrace.WithBatcher(exporter),
        sdktrace.WithResource(res),
    )

    otel.SetTracerProvider(tp)

    return tp.Shutdown, nil
}

业务中使用:

tracer := otel.Tracer("order-service")
ctx, span := tracer.Start(ctx, "CreateOrder")
defer span.End()
// 业务处理

HTTP 服务则可以通过 otelhttp.NewHandler 包装,实现请求级 Trace 采集。

注意:上面是最小 Trace 初始化示例,正式使用还需要配置资源属性、错误记录、采样策略和优雅关闭。

Go 日志接入

考虑到你使用 log/slog,我建议保留现有日志体系,不要为了接入 OpenObserve 更换日志库。

有两条路线:

路线 A:slog → OpenTelemetry Logs → Collector

使用 otelslog 将 slog 接入 OpenTelemetry Logs,再通过 OTLP 导出。这是统一可观测性方案。

不过 Go 的 OpenTelemetry Logs 生态成熟度目前低于 Traces 和 Metrics,建议固定依赖版本。

路线 B:slog → JSON 文件 → Collector

这是我更推荐的初期方案:

logger := slog.New(
    slog.NewJSONHandler(os.Stdout, nil),
)

然后由 Collector 使用 filelog 或其他日志采集组件读取文件。

如果采用文件采集,需要把应用日志写入独立文件,并配置轮转、文件权限和采集游标;不要直接采集所有容器标准输出文件。

不使用 SDK,直接请求 API

OpenObserve 也提供 HTTP API,例如:

curl -u 'admin@example.com:password' \
  -X POST \
  'http://localhost:5080/api/default/application/_json' \
  -H 'Content-Type: application/json' \
  -d '[{
    "level": "info",
    "service": "order-service",
    "message": "order created",
    "order_id": "12345"
  }]'

这种方式适合:

  • 一次性脚本。
  • 定时任务。
  • 第三方系统集成。
  • 不方便安装 Collector 的程序。

但不建议所有业务代码都自己实现 HTTP 日志发送、重试和批量缓冲。

落地架构建议

建议分三阶段实施:

  1. 第一阶段:日志集中化。 所有服务统一 JSON 日志格式,增加 service、level、trace_id、request_id 等字段。
  2. 第二阶段:指标监控。 采集请求量、错误率、P95/P99 延迟、CPU、内存等。
  3. 第三阶段:分布式追踪。 对 HTTP、数据库、RPC 等关键调用增加 Trace 埋点。

尤其需要注意:日志、指标和 Trace 必须使用统一的 service.name、环境标识和 Trace ID,才能真正实现跨信号关联。

最后一个架构建议:OpenObserve 最值得利用的不是它自己的 SDK,而是它对 OpenTelemetry 标准的支持。如果准备把它用于多个服务,建议封装一个统一的 telemetry 初始化包,统一管理:

  • Logger:基于 slog,输出 JSON。
  • Tracer:基于 OpenTelemetry。
  • Metrics:基于 OpenTelemetry。
  • Resource:统一服务名、版本、环境、实例 ID。
  • Exporter:通过 Collector 统一出口。

这样业务项目只依赖内部 telemetry 包,不直接依赖 OpenObserve。以后替换后端,迁移成本会低很多。

参考资料与拓展阅读

如果你有魔法,你可以看到一个评论框~