Go 入门和深入

Go 常用框架(工具)技术雷达 ❤️

技术选型一般选择接口稳定,持续维护,生态相对成熟,star 数量较高,用户广泛的库,坑少一点。 前后分离时代用 gin 之类的框架写app后台还是挺快的,但是感觉做并发不高的内部后台业务还是用脚本python/php之类的更快。 以下第三方库均可以通过 google + 关键词搜索到,同一行尽量按照流行程度从前往后列举,默认都是 github 上的包(只写了仓库后缀)。 也可以去 awesome-go 之类的去查找,然后根据 star 数目等作为参考选用。

  • web/rpc框架: gin, grpc, beego, labstack/echo
  • 微服务框架:go-kit, go-micro, karatos(b 站),go-zero(好未来),jupiter(斗鱼)
  • 参数验证:go-playground/validator, bytedance/go-tagexpr
  • 单元测试断言:matryer/is, testify/assert, smartystreets/goconvey(bdd 驱动测试), rakyll/gotest(gotest 颜色)
  • 错误处理: pkg/errors, hashicorp/go-multierror(多错误处理), sync/errgroup(多goroutine错误处理)
  • 重试:avast/retry-go
  • json处理转换:go-simplejson/mapstructure,json-iterator/go (比内置的 json 解析快很多), tidwall/gjson(获取 json 值)
  • 字典/结构体合并/结构体拷贝:imdario/mergo, jinzhu/copier
  • 配置解析: viper(兼容很多格式)
  • mysql orm: gorm, xorm, sqlx, ent/ent(实体框架), doug-martin/goqu(生成sql)
  • redis: go-redis, redigo
  • Kafka: Shopify/sarama, confluent-kafka-go
  • Elasticsearch: olivere/elastic, elastic/go-elasticsearch
  • mongodb: mongodb/mongo-go-driver
  • id生成器: rx/xid, beinan/fastid, bwmarrin/snowflake, sony/sonyflake, godruoyi/go-snowflake
  • uuid: gofrs/uuid, satori/go.uuid, google/uuid (注意有些会 panic)
  • hash: cespare/xxhash(快速 hash)
  • cache(in memory): patrickmn/go-cache, allegro/bigcache, golang/groupcache(分布式), singleflight(防止缓存击穿)
  • cache(lru/lfu/2Q/ARC): hashicorp/golang-lru, bluele/gcache, songangweb/mcache(增强lru)
  • 并发/协程池(star 数从低到高排序):
  • 原子访问:uber-go/atomic
  • 异步任务队列框架: machinery, gocelery, hibiken/asynq, LMSTFY(美图开源)
  • 定时任务:robfig/cron, ouiqiang/gocron
  • 熔断:hystrix-go, eapache/go-resiliency, cep21/circuit, alibaba/sentinel-golang
  • 限流库:
    • web框架限流:ulule/limiter, didip/tollbooth
    • 令牌桶(token bucket)限流:juju/ratelimit, golang.org/x/time/rate
    • 漏桶(leaky bucket)限流: uber-go/ratelimit
  • 日志: logrus, zap, lumberjack(滚动日志)
  • 链路追踪:opentracing/opentracing-go, uber/jaeger-client-go
  • 调试:go-spew/dlv, kr/pretty
  • 图片处理:h2non/imaginary
  • 网络库/连接池:fatih/pool; panjf2000/gnet, valyala/fasthttp,kavu/go_reuseport
  • websocket: nhooyr.io/websocket, gorilla/websocket
  • http client: levigross/grequests, asmcos/requests, go-resty/resty, gojek/heimdall(重试、熔断)
  • 表格:go-echarts
  • excel(XLSX): 360EntSecGroup-Skylar/excelize, tealeg/xlsx
  • 转换工具:
  • 代码检查工具:
    • 静态检查:golangci-lint
    • goroutine 泄露检查: github.com/uber-go/goleak
    • 注释工具: github.com/cuonglm/gocmt 自动给导出变量、函数等增加注释
  • 热编译工具:gowatch
  • 网络代理:goproxy
  • 命令行处理: spf13/cobra
  • 字符串处理工具:huandu/xstrings
  • 类型转换:spf13/cast
  • HTML 处理/过滤: PuerkitoBio/goquery, microcosm-cc/bluemonday
  • 系统信息收集:shirou/gopsutil
  • go runtime: bmhatfield/go-runtime-metrics(runtime 指标收集)
  • 邮件:gopkg.in/gomail
  • 接口文档生成:swaggo/swag
  • 消息队列:nsqio/nsq
  • 延时队列/时间轮:ouqiang/delay-queue, RussellLuo/timingwheel
  • 分布式kv存储:etcd
  • 用户认证:golang-jwt/jwt,dgrijalva/jwt-go(弃用), authelia/authelia
  • 访问(权限)控制:casbin/casbin
  • 进程控制:uber-go/automaxprocs
  • 地理位置:ip2location/ip2location-go
  • 时间处理:jinzhu/now
  • 金融数字格式化: leekchan/accounting
  • 分布式事务:yedf/dtm
  • 分布式锁: go-redsync/redsync(redlock算法)
  • Zookeeper: go-zookeeper/zk
  • 设计模式:tmrts/go-patterns
  • 数据结构:deckarep/golang-set

工具:

Go日志实践

Go文档查询

GOPROXY 代理

如果有有一些库拉不下来又没有自己的代理,可以试试

export GOPROXY=https://goproxy.io

Web/RPC框架

  • gin
  • grpc

个人推荐使用 gin,当然你可以参考一下 star 选择别的框架

微服务

微服务框架:

微服务代码示例:

单元测试(unittest)

GoMock框架使用指南 如何写出优雅的 golang 代码

静态语言编写单测相比动态语言要难一些,动态语言中比如 python 可以很容易用 mock.patch 来做属性/方法替换。 但是静态语言不行,一般难点在于如何去模拟外部依赖(比如数据库/rpc请求,redis 请求等):

  • 接口(go 推荐面向接口编程,否则你很难使用 gomock 来编写单测)
  • mysql: 如何 mock 数据库请求。使用 sqlmock,或者编写 dao 层 interface,然后 mock 这个dao层接口
  • http: 使用 httpmock 来模拟请求返回值
  • redis: 这里我试了下 miniredis 比较好用,基于 go 实现,无需真实的 redis server

也有一种方式在单测环境加入真实的db 和redis(比如 docker),然后单测读取测试环境的数据库来操作。 这样的好处是可以不使用各种 mock 库,直接操作真实的 mysql,测试代码写起来也更方便。

以下是一些单测相关的库:

  • testing: 内置库
  • github.com/stretchr/testify/assert: 用来做断言 assert 方便
  • gomock(mockgen): 静态语言难以像动态语言直接属性替换,所以一般我们基于接口编写代码,然后可以生成接口 mock
  • sqlmock: 如果依赖了数据库 mysql 等,可以使用 sqlmock 模拟数据库返回内容。(或者就在测试环境用真实的 mysql,测试完清理插入的测试数据)
  • httpmock: 用来 mock 调 http 请求
  • github.com/alicebob/miniredis 可以用来 mock redis,无需启动真实的 resdis server。试了下非常好用,也不用使用 mock 和真实的 redis 了。个人强烈推荐
  • bouk/monkey: 通过替换函数指针的方式修改任意函数的实现,如果以上都无法满足需求,可以用这种比较 hack 的方式。可能需要禁止编译器内联优化 go test -gcflask=-l ./...
  • agiledragon/gomonkey: go 语言实现 monkey patch

目前比较推荐使用 assert 做断言,使用 gomonkey 用来 mock 函数/方法等。

参考:

Go 断点调试器dlv

# 搜索函数,打断点,如果有同名函数的时候比较有用
funcs FuncName

# 打断点断点
b main.main

# 打印变量
print val

# go get -u github.com/derekparker/delve/cmd/dlv
dlv debug main.go

# 加上命令行参数
# https://github.com/go-delve/delve/issues/562
dlv debug ./cmd/unit-assignment-cli/main.go -- server

# 如何调试 go 的 coredump 文件。对于一些很偶发的进程退出会比较难排查,可以利用 coredump 文件辅助排查问题:
1. 调整ulimit关于core file size的设置,执行 ulimit -c unlimited 将core file size设成无限大小。
2. 输出环境变量 export GOTRACEBACK=crash 使得golang进程知道需要产生cash时候的coredump文件。
3. 分析 /usr/local/bin/dlv core ./app ./core_app
4. 使用命令 goroutine goroutineid 和 bt 打印栈信息

# dlv 常用命令:
break main.go:7  # 在main.go 第 7 行加入断点
break runtime.growslice # 函数处打断点
continue # 继续执行运行到断点处
disassemble # 插件对应的反汇编代码
goroutines # 查看当前 goroutines
stack(bt) # 查看调用栈信息
regs  # 过regs命令可以查看全部的寄存器状态, 可以通过单步执行来观察寄存器的变化
locals # 查看当前函数所有变量值

Go Debug 调试工具

Go 开发关键技术指南

Go List import

# https://pmcgrath.net/how-to-get-golang-package-import-list
go list -f '{{range $imp := .Imports}}{{printf "%s\n" $imp}}{{end}}' | sort
go list -f '{{range $dep := .Deps}}{{printf "%s\n" $dep}}{{end}}' | xargs go list -f '{{if not .Standard}}{{.ImportPath}}{{end}}'

Go Profiler

Go goroutine 泄露

泄露场景:

  • goroutine由于channel的读/写端退出而一直阻塞,导致goroutine一直占用资源,而无法退出
  • goroutine进入死循环中,导致资源一直无法释放。(比如无法停止的定时器或者 for 循环等)

解决方式: goroutine 能够终止,goroutine 终止的场景如下:

  • 当一个goroutine完成它的工作
  • 由于发生了没有处理的错误
  • 有其他的协程告诉它终止(比如常见的生产者消费者场景,主线程结束之后通知生产者退出)

如何发现:

  • 使用开源工具: github.com/uber-go/goleak
  • runtime 协程数量监控:runtime.NumGoroutine()
  • pprof: pprof.Lookup("goroutine")

参考:

Go 反射

Go 网络编程

Go 操作消息队列

Go源码阅读

除了内置库之外,go 还有很多优秀的源码值得学习。建议用到的一些优秀的第三方库的源码都可以看一下,了解底层实现也方便排查问题。

../_images/gocode阅读.png