golang 字符串拼接性能的对比分析

 更新时间:2021-02-01 22:00:44   作者:佚名   我要评论(0)

背景
最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务,在完成
开发后,测试性能时发现性能达不到要求,通过

背景

最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务,在完成

开发后,测试性能时发现性能达不到要求,通过pprof 来确认cpu主要耗费在gc上,分析结果主要是由于字符串拼接导致,故需要测试一下字符串拼接的几种方法的性能;

字符串拼接的几种方法

1、直接使用加号进行拼接

2、strings.Join()

3、fmt.Sprintf()

4、bytes.Buffer

大量字符串拼接性能测试

我们使用的场景主要是大量字符串拼接,所以需要的场景是不断在字符串上拼接所以测试函数如下:

// fmt.Printf
func BenchmarkFmtSprintfMore(b *testing.B) {
 var s string
 for i := 0; i < b.N; i++ {
  s += fmt.Sprintf("%s%s", "hello", "world")
 }
 fmt.Errorf(s)
}
// 加号 拼接
func BenchmarkAddMore(b *testing.B) {
 var s string
 for i := 0; i < b.N; i++ {
  s += "hello" + "world"
 }
 fmt.Errorf(s)
}

// strings.Join
func BenchmarkStringsJoinMore(b *testing.B) {

 var s string
 for i := 0; i < b.N; i++ {
  s += strings.Join([]string{"hello", "world"}, "")

 }
 fmt.Errorf(s)
}

// bytes.Buffer
func BenchmarkBufferMore(b *testing.B) {

 buffer := bytes.Buffer{}
 for i := 0; i < b.N; i++ {
  buffer.WriteString("hello")
  buffer.WriteString("world")

 }
 fmt.Errorf(buffer.String())
}

执行测试函数

~/gopath/src/test/string  go test -bench="."
goos: darwin
goarch: amd64
pkg: test/string
BenchmarkFmtSprintfMore-4   300000  118493 ns/op
BenchmarkAddMore-4    300000  124940 ns/op
BenchmarkStringsJoinMore-4  300000  117050 ns/op
BenchmarkBufferMore-4   100000000   37.2 ns/op
PASS
ok  test/string 112.294s

从上可以看出使用bytes.buffer的性能是非常高的,如果涉及到大量数据拼接推荐

bytes.buffer{}

单次字符串拼接性能测试

func BenchmarkFmtSprintf(b *testing.B) {
 for i := 0; i < b.N; i++ {
  s := fmt.Sprintf("%s%s", "hello", "world")
  fmt.Errorf(s)
 }

}

func BenchmarkAdd(b *testing.B) {
 for i := 0; i < b.N; i++ {
  s := "hello" + "world"
  fmt.Errorf(s)
 }
}
func BenchmarkStringsJoin(b *testing.B) {
 for i := 0; i < b.N; i++ {
  s := strings.Join([]string{"hello", "world"}, "")
  fmt.Errorf(s)
 }
}
func BenchmarkBuffer(b *testing.B) {

 for i := 0; i < b.N; i++ {
  b := bytes.Buffer{}
  b.WriteString("hello")
  b.WriteString("world")
  fmt.Errorf(b.String())
 }
}

执行测试函数

 ~/gopath/src/test/string  go test -bench="."
goos: darwin
goarch: amd64
pkg: test/string
BenchmarkFmtSprintf-4  10000000   200 ns/op
BenchmarkAdd-4    20000000   93.6 ns/op
BenchmarkStringsJoin-4  10000000   152 ns/op
BenchmarkBuffer-4   10000000   175 ns/op
PASS
ok  test/string 7.818s

从上可以看出单词调用字符串拼接性能 + > strings.Join > bytes.Buffer > fmt.Sprintf

总结

如果涉及到大量数据拼接推荐 bytes.buffer{}

后记

当然只是通过bytes.buffer{} 性能还是不够的,针对这个问题我们通过添加缓存进一步接口qps.

cpu 耗费在gc 上的原因,需要分析golang gc 回收机制, 这是另外一个topic, 之后总结。

补充:Go语言字符串批量拼接-StringBuilder

1.安装

go get -u github.com/typa01/go-utils

import (
 "github.com/typa01/go-utils"
)

使用,例:

fieldNames := tsgutils.NewInterfaceBuilder()

2.使用

func TestStringBuilderReplace(t *testing.T) {
 builder1 := NewStringBuilder()
 builder1.Append("%111%abc%987%")
 FmtPrintln(builder1.Replace("%", "$").ToString()) // $111$abc$987$
 builder2 := builder1.Clear()
 builder2.AppendStrings("abc","defg").AppendInt(123).AppendFloat64(66.44).AppendStrings("aaa", "bbb", "&")
 FmtPrintln(builder2.RemoveLast().ToString()) // abcdefg1236.644E+01aaabbb
 str1 := NewString("123")
 builder3 := NewStringBuilderString(str1).Append("456")
 FmtPrintln(builder3.ToString()) // 123456
}

3.GitHub源码地址

https://github.com/typa01/go-utils

https://github.com/typa01/go-utils/blob/master/string_builder.go

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

您可能感兴趣的文章:
  • golang判断net.Conn 是否已关闭的操作
  • golang:json 反序列化的[]和nil操作
  • 解决Golang json序列化字符串时多了\的情况
  • 解决golang json解析出现值为空的问题
  • golang 获取字符串长度的案例
  • golang获取网卡信息操作

相关文章

  • golang 字符串拼接性能的对比分析

    golang 字符串拼接性能的对比分析

    背景 最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务,在完成 开发后,测试性能时发现性能达不到要求,通过
    2021-02-01
  • Go语言模型:string的底层数据结构与高效操作详解

    Go语言模型:string的底层数据结构与高效操作详解

    Golang的string类型底层数据结构简单,本质也是一个结构体实例,且是const不可变。 string的底层数据结构 通过下面一个例子来看: package
    2021-02-01
  • go 迭代string数组操作 go for string[]

    go 迭代string数组操作 go for string[]

    go 迭代string数组,直接拷贝去用即可 package main import ( "fmt" ) func main() { subsCodes := []string{"aaaa", "vvvvv", "dddd", "
    2021-02-01
  • 使用Go module和GoLand初始化一个Go项目的方法

    使用Go module和GoLand初始化一个Go项目的方法

    1 简介 Golang 是一门优秀的语言,特别是在并发编程上,得益于它的协程和 channel 等,非常方便易用。它通过 go module 来管理包和依赖,本文
    2021-02-01
  • golang 获取字符串长度的案例

    golang 获取字符串长度的案例

    1.不同字符与获取字符串长度 获取字符串长度,是字符串操作的重要方法。理论来说,获取字符串长度,只要从头到尾查找一遍就可以了。但遗憾的
    2021-02-01
  • Go语言设置JSON的默认值操作

    Go语言设置JSON的默认值操作

    给需要设置的JSON字段初试化你想设置的值就OK。 比如我想让[]string类型的字段的默认值是[],而不是nil,那我就make([]string, 0)赋值给该字
    2021-02-01
  • golang获取网卡信息操作

    golang获取网卡信息操作

    我就废话不多说了,大家还是直接看代码吧~ package main import ( "fmt" "os/exec" "strings" "github.com/safchain/ethtool" ) func
    2021-02-01
  • 解决golang json解析出现值为空的问题

    解决golang json解析出现值为空的问题

    我是通过beego框架,将请求过来的json进行解析,并将值保存在结构体中 --------------------1--------------------- request := UpdateCo
    2021-02-01
  • Go语言获取系统性能数据gopsutil库的操作

    Go语言获取系统性能数据gopsutil库的操作

    psutil是一个跨平台进程和系统监控的Python库,而gopsutil是其Go语言版本的实现。本文介绍了它的基本使用。 Go语言部署简单、性能好的特点非
    2021-02-01
  • go语言 bool类型的使用操作

    go语言 bool类型的使用操作

    我就废话不多说了,大家还是直接看代码吧~ // 1 声明类型,没有初始化,零值(false) var a bool a = true fmt.Println("a = ", a) // 2 自
    2021-02-01

最新评论