深入理解go的slice和到底什么时候该用slice

文章分享sheepbao 发表了文章 • 1 个评论 • 439 次浏览 • 2016-10-12 12:09 • 来自相关话题

前言

用过go语言的亲们都知道,slice(中文翻译为切片)在编程中经常用到,它代表变长的序列,序列中每个元素都有相同的类型,类似一个动态数组,利用append可以实现动态增长,利用slice的特性可以很容易的切割slice,它们是怎么... 查看全部

前言


用过go语言的亲们都知道,slice(中文翻译为切片)在编程中经常用到,它代表变长的序列,序列中每个元素都有相同的类型,类似一个动态数组,利用append可以实现动态增长,利用slice的特性可以很容易的切割slice,它们是怎么实现这些特性的呢?现在我们来探究一下这些特性的本质是什么。


先了解一下slice的特性



  • 定义一个slice
    s := []int{1,2,3,4,5}
    fmt.Println(s) // [1 2 3 4 5]

    一个slice类型一般写作[]T,其中T代表slice中元素的类型;slice的语法和数组很像,只是没有固定长度而已。


  • slice的扩容
    s := []int{1,2,3,4,5}
    s = append(s, 6)
    fmt.Println(s) // [1 2 3 4 5 6]

    内置append函数在现有数组的长度 < 1024 时 cap 增长是翻倍的,再往上的增长率则是 1.25,至于为何后面会说。


  • slice的切割
    s := []int{1,2,3,4,5,6}
    s1 := s[0:2]
    fmt.Println(s1) // [1 2]
    s2 := s[4:]
    fmt.Println(s2) // [5 6]
    s3 := s[:4]
    fmt.Println(s3) // [1 2 3 4]


  • slice作为函数参数


    package main

    import "fmt"

    func main() {

    slice_1 := []int{1, 2, 3, 4, 5}
    fmt.Printf("main-->data:\t%#v\n", slice_1)
    fmt.Printf("main-->len:\t%#v\n", len(slice_1))
    fmt.Printf("main-->cap:\t%#v\n", cap(slice_1))
    test1(slice_1)
    fmt.Printf("main-->data:\t%#v\n", slice_1)

    test2(&slice_1)
    fmt.Printf("main-->data:\t%#v\n", slice_1)

    }

    func test1(slice_2 []int) {
    slice_2[1] = 6666 // 函数外的slice确实有被修改
    slice_2 = append(slice_2, 8888) // 函数外的不变
    fmt.Printf("test1-->data:\t%#v\n", slice_2)
    fmt.Printf("test1-->len:\t%#v\n", len(slice_2))
    fmt.Printf("test1-->cap:\t%#v\n", cap(slice_2))
    }

    func test2(slice_2 *[]int) { // 这样才能修改函数外的slice
    *slice_2 = append(*slice_2, 6666)
    }

    结果:


    main-->data:    []int{1, 2, 3, 4, 5}
    main-->len: 5
    main-->cap: 5
    test1-->data: []int{1, 6666, 3, 4, 5, 8888}
    test1-->len: 6
    test1-->cap: 12
    main-->data: []int{1, 6666, 3, 4, 5}
    main-->data: []int{1, 6666, 3, 4, 5, 6666}

    这里要注意注释的地方,为何slice作为值传递参数,函数外的slice也被更改了?为何在函数内append不能改变函数外的slice?要回da这些问题就得了解slice内部结构,详细请看下面.




slice的内部结构


其实slice在Go的运行时库中就是一个C语言动态数组的实现,在$GOROOT/src/pkg/runtime/runtime.h中可以看到它的定义:


struct    Slice
{ // must not move anything
byte* array; // actual data
uintgo len; // number of elements
uintgo cap; // allocated number of elements
};

这个结构有3个字段,第一个字段表示array的指针,就是真实数据的指针(这个一定要注意),所以才经常说slice是数组的引用,第二个是表示slice的长度,第三个是表示slice的容量,注意:len和cap都不是指针


现在就可以解释前面的例子slice作为函数参数提出的问题:
函数外的slice叫slice_1,函数的参数叫slice_2,当函数传递slice_1的时候,其实传入的确实是slice_1参数的复制,所以slice_2复制了slise_1,但要注意的是slice_2里存储的数组的指针,所以当在函数内更改数组内容时,函数外的slice_1的内容也改变了。在函数内用append时,append会自动以倍增的方式扩展slice_2的容量,但是扩展也仅仅是函数内slice_2的长度和容量,slice_1的长度和容量是没变的,所以在函数外打印时看起来就是没变。


append的运作机制


在对slice进行append等操作时,可能会造成slice的自动扩容。其扩容时的大小增长规则是:



  • 如果新的slice大小是当前大小2倍以上,则大小增长为新大小

  • 否则循环以下操作:如果当前slice大小小于1024,按每次2倍增长,否则每次按当前大小1/4增长。直到增长的大小超过或等于新大小。

  • append的实现只是简单的在内存中将旧slice复制给新slice


至于为何会这样,你要看一下golang的源码就知道了:
https://github.com/golang/go/blob/master/src/runtime/slice.go


    newcap := old.cap
if newcap+newcap < cap {
newcap = cap
} else {
for {
if old.len < 1024 {
newcap += newcap
} else {
newcap += newcap / 4
}
if newcap >= cap {
break
}
}
}

为何不用动态链表实现slice?



  • 首先拷贝一断连续的内存是很快的,假如不想发生拷贝,也就是用动态链表,那你就没有连续内存。此时随机访问开销会是:链表 O(N), 2倍增长块链 O(LogN),二级表一个常数很大的O(1)。问题不仅是算法上开销,还有内存位置分散而对缓存高度不友好,这些问题i在连续内存方案里都是不存在的。除非你的应用是狂append然后只顺序读一次,否则优化写而牺牲读都完全不 make sense. 而就算你的应用是严格顺序读,缓存命中率也通常会让你的综合效率比拷贝换连续内存低。

  • 对小 slice 来说,连续 append 的开销更多的不是在 memmove, 而是在分配一块新空间的 memory allocator 和之后的 gc 压力(这方面对链表更是不利)。所以,当你能大致知道所需的最大空间(在大部分时候都是的)时,在make的时候预留相应的 cap 就好。如果所需的最大空间很大而每次使用的空间量分布不确定,那你就要在浪费内存和耗 CPU 在 allocator + gc 上做权衡。

  • Go 在 append 和 copy 方面的开销是可预知+可控的,应用上简单的调优有很好的效果。这个世界上没有免费的动态增长内存,各种实现方案都有设计权衡。


什么时候该用slice?


在go语言中slice是很灵活的,大部分情况都能表现的很好,但也有特殊情况。
当程序要求slice的容量超大并且需要频繁的更改slice的内容时,就不应该用slice,改用list更合适。

for j:=0;j<4 ;j++ { } 与for _,v :=range persons {} 区别

有问必答sheepbao 回复了问题 • 4 人关注 • 3 个回复 • 1111 次浏览 • 2016-10-12 11:44 • 来自相关话题

Beego能否在静态文件的header上动态增加no cache?

有问必答astaxie 回复了问题 • 2 人关注 • 1 个回复 • 948 次浏览 • 2016-10-12 10:20 • 来自相关话题

beego框架 个人博客系统

有问必答朋也 回复了问题 • 6 人关注 • 3 个回复 • 1905 次浏览 • 2016-10-12 09:56 • 来自相关话题

如果用go重构samba为分布式的软件,会有前景吗?

有问必答leoliu 回复了问题 • 2 人关注 • 1 个回复 • 801 次浏览 • 2016-10-12 09:52 • 来自相关话题

请问go的windows gui库walk中提及的syso文件是否哪位兄弟有过比较深入的研究?

技术讨论astaxie 回复了问题 • 3 人关注 • 1 个回复 • 1119 次浏览 • 2016-10-12 09:45 • 来自相关话题

10/12 每日早报

文章分享astaxie 发表了文章 • 0 个评论 • 494 次浏览 • 2016-10-12 08:06 • 来自相关话题

10.12 每日早报

新闻:

1.百度云计算品牌升级,面向企业正式启用“百度云”品牌

2.FreeBSD 11.0正式发布,支持RISC-V指令集和NUMA内存调度

3.三菱汽车正式并入雷诺日产联盟... 查看全部

10.12 每日早报


新闻:


1.百度云计算品牌升级,面向企业正式启用“百度云”品牌


2.FreeBSD 11.0正式发布,支持RISC-V指令集和NUMA内存调度


3.三菱汽车正式并入雷诺日产联盟,所有业务将由后者接管


4.中通快递在美提交招股书,拟最高融资15亿美元


5.伊朗打车软件Snapp完成2000万欧元A轮融资,南非手机企业MTN独家领投


6.空间再造平台共享际获A轮超4亿元融资,主打空间运营+内容运营


7.美国梅西百货计划在2017年在中国上线独立电商网站


资源:


15个开源的顶级人工智能工具
https://news.cnblogs.com/n/554933/


二手车行业用户搜索报告
http://www.goerxon.com/media/report-1.pdf


注:上述内容来源于互联网,由EGO整理

杭州/物联网门锁公司招聘Golang工程师

招聘应聘astaxie 回复了问题 • 5 人关注 • 1 个回复 • 1084 次浏览 • 2016-10-11 23:59 • 来自相关话题

bee run时可以配置排除某些目录吗

有问必答astaxie 回复了问题 • 2 人关注 • 1 个回复 • 741 次浏览 • 2016-10-11 23:37 • 来自相关话题

go怎么基于http显示上传和下载进度?

有问必答philosophia14 回复了问题 • 5 人关注 • 3 个回复 • 1721 次浏览 • 2016-10-11 22:34 • 来自相关话题

[译] fasthttp 文档手册

文章分享davidcai1993 发表了文章 • 2 个评论 • 1519 次浏览 • 2016-10-11 22:03 • 来自相关话题

fasthttp 文档手册

貌似文章有最大长度限制,完整全文地址:https://github.com/DavidC... 查看全部

fasthttp 文档手册


貌似文章有最大长度限制,完整全文地址:https://github.com/DavidCai1993/my-blog/issues/35


常量


const (
CompressNoCompression = flate.NoCompression
CompressBestSpeed = flate.BestSpeed
CompressBestCompression = flate.BestCompression
CompressDefaultCompression = flate.DefaultCompression
)

所支持的压缩级别。


const (
StatusContinue = 100 // RFC 7231, 6.2.1
StatusSwitchingProtocols = 101 // RFC 7231, 6.2.2
StatusProcessing = 102 // RFC 2518, 10.1

StatusOK = 200 // RFC 7231, 6.3.1
StatusCreated = 201 // RFC 7231, 6.3.2
StatusAccepted = 202 // RFC 7231, 6.3.3
StatusNonAuthoritativeInfo = 203 // RFC 7231, 6.3.4
StatusNoContent = 204 // RFC 7231, 6.3.5
StatusResetContent = 205 // RFC 7231, 6.3.6
StatusPartialContent = 206 // RFC 7233, 4.1
StatusMultiStatus = 207 // RFC 4918, 11.1
StatusAlreadyReported = 208 // RFC 5842, 7.1
StatusIMUsed = 226 // RFC 3229, 10.4.1

StatusMultipleChoices = 300 // RFC 7231, 6.4.1
StatusMovedPermanently = 301 // RFC 7231, 6.4.2
StatusFound = 302 // RFC 7231, 6.4.3
StatusSeeOther = 303 // RFC 7231, 6.4.4
StatusNotModified = 304 // RFC 7232, 4.1
StatusUseProxy = 305 // RFC 7231, 6.4.5

StatusTemporaryRedirect = 307 // RFC 7231, 6.4.7
StatusPermanentRedirect = 308 // RFC 7538, 3

StatusBadRequest = 400 // RFC 7231, 6.5.1
StatusUnauthorized = 401 // RFC 7235, 3.1
StatusPaymentRequired = 402 // RFC 7231, 6.5.2
StatusForbidden = 403 // RFC 7231, 6.5.3
StatusNotFound = 404 // RFC 7231, 6.5.4
StatusMethodNotAllowed = 405 // RFC 7231, 6.5.5
StatusNotAcceptable = 406 // RFC 7231, 6.5.6
StatusProxyAuthRequired = 407 // RFC 7235, 3.2
StatusRequestTimeout = 408 // RFC 7231, 6.5.7
StatusConflict = 409 // RFC 7231, 6.5.8
StatusGone = 410 // RFC 7231, 6.5.9
StatusLengthRequired = 411 // RFC 7231, 6.5.10
StatusPreconditionFailed = 412 // RFC 7232, 4.2
StatusRequestEntityTooLarge = 413 // RFC 7231, 6.5.11
StatusRequestURITooLong = 414 // RFC 7231, 6.5.12
StatusUnsupportedMediaType = 415 // RFC 7231, 6.5.13
StatusRequestedRangeNotSatisfiable = 416 // RFC 7233, 4.4
StatusExpectationFailed = 417 // RFC 7231, 6.5.14
StatusTeapot = 418 // RFC 7168, 2.3.3
StatusUnprocessableEntity = 422 // RFC 4918, 11.2
StatusLocked = 423 // RFC 4918, 11.3
StatusFailedDependency = 424 // RFC 4918, 11.4
StatusUpgradeRequired = 426 // RFC 7231, 6.5.15
StatusPreconditionRequired = 428 // RFC 6585, 3
StatusTooManyRequests = 429 // RFC 6585, 4
StatusRequestHeaderFieldsTooLarge = 431 // RFC 6585, 5
StatusUnavailableForLegalReasons = 451 // RFC 7725, 3

StatusInternalServerError = 500 // RFC 7231, 6.6.1
StatusNotImplemented = 501 // RFC 7231, 6.6.2
StatusBadGateway = 502 // RFC 7231, 6.6.3
StatusServiceUnavailable = 503 // RFC 7231, 6.6.4
StatusGatewayTimeout = 504 // RFC 7231, 6.6.5
StatusHTTPVersionNotSupported = 505 // RFC 7231, 6.6.6
StatusVariantAlsoNegotiates = 506 // RFC 2295, 8.1
StatusInsufficientStorage = 507 // RFC 4918, 11.5
StatusLoopDetected = 508 // RFC 5842, 7.2
StatusNotExtended = 510 // RFC 2774, 7
StatusNetworkAuthenticationRequired = 511 // RFC 6585, 6
)

与 net/http 相同的 HTTP 状态吗。


const DefaultConcurrency = 256 * 1024

DefaultConcurrency 为默认情况下(没有设置 Server.Concurrency 时)服务器可以接受的最大并发请求数。


const DefaultDNSCacheDuration = time.Minute

DefaultDNSCacheDuration 是由 Dial* 函数族缓存处理过的 TCP 地址的持续时间。


const DefaultDialTimeout = 3 * time.Second

DefaultDialTimeout 是由 DialDialDualStack 使用的用于建立 TCP 连接的超时时间。


const DefaultMaxConnsPerHost = 512

DefaultMaxConnsPerHost 是 http 客户端在默认情况下(如果没有设置 Client.MaxConnsPerHost)单个 host 可以建立的最大并发连接数。


const DefaultMaxIdleConnDuration = 10 * time.Second

DefaultMaxIdleConnDuration 是在空闲的 keep-alive 连接被关闭前默认的持续时间。


const DefaultMaxPendingRequests = 1024

DefaultMaxPendingRequestsPipelineClient.MaxPendingRequests 的默认值。


const DefaultMaxRequestBodySize = 4 * 1024 * 1024

DefaultMaxRequestBodySize 是服务器默认可读的最大请求体大小。


更多详情请参阅 Server.MaxRequestBodySize


const FSCompressedFileSuffix = ".fasthttp.gz"

FSCompressedFileSuffix 是当需要使用新文件名存储被压缩后的文件时, FS 在原始文件名上添加的前缀。更多详情请参阅 FS.Compress


const FSHandlerCacheDuration = 10 * time.Second

FSHandlerCacheDuration 是由 FS 所打开的非活跃文件句柄的默认失效时间。


变量


var (
// ErrNoFreeConns 在当特定的 host 没有可用的连接时返回。
//
// 如果你看到了这个错误,你可以选择调高每个 host 可用的连接数。
ErrNoFreeConns = errors.New("no free connections available to host")

// ErrTimeout 在调用超时时返回。
ErrTimeout = errors.New("timeout")

// ErrConnectionClosed 会在当服务端在返回第一个相应字节前被关闭时,
// 于客户端方法中返回。
//
// 如果你看到了这个错误,你可以在服务端关闭连接前通过 `'Connection: close'` 相应头
// 来修复这个错误,或者在客户端发送请求前添加 `'Connection: close'` 请求头。
ErrConnectionClosed = errors.New("the server closed connection before returning the first response byte. " +
"Make sure the server returns 'Connection: close' response header before closing the connection")
)

var (
// CookieExpireDelete 可以会被支持于 `Cookie.Expire` 中,用于为指定
// cookie 添加过期。
CookieExpireDelete = time.Date(2009, time.November, 10, 23, 0, 0, 0, time.UTC)

// CookieExpireUnlimited 用于表明该 cookie 不会过期。
CookieExpireUnlimited = zeroTime
)

var (
// ErrPerIPConnLimit 会在任一 ip 连接数超过 Server.MaxConnsPerIP 时
// 由 ServeConn 返回。
ErrPerIPConnLimit = errors.New("too many connections per ip")

// ErrConcurrencyLimit 会在并发连接数超过 Server.Concurrency 时由
// ServeConn 返回。
ErrConcurrencyLimit = errors.New("canot serve the connection because Server.Concurrency concurrent connections are served")

// ErrKeepaliveTimeout 会在连接的时长超过 MaxKeepaliveDuration 时
// 由 ServeConn 返回。
ErrKeepaliveTimeout = errors.New("exceeded MaxKeepaliveDuration")
)

var ErrBodyTooLarge = errors.New("body size exceeds the given limit")

ErrBodyTooLarge 会在请求体或者响应体超过指定限制时返回。


var ErrDialTimeout = errors.New("dialing to the given TCP address timed out")

ErrDialTimeout 会在 TCP 握手超时时触发。


var ErrMissingFile = errors.New("there is no uploaded file associated with the given key")

ErrMissingFile 会在没有与指定的 multipart 表单键相关联的被上传文件时由 FormFile 返回。


var ErrNoArgValue = errors.New("no Args value for the given key")

ErrNoArgValue 会在指定 Args 键缺少值时返回。


var ErrNoMultipartForm = errors.New("request has no multipart/form-data Content-Type")

ErrNoMultipartForm 意味着请求的 Content-Type 不是 'multipart/form-data'


var ErrPipelineOverflow = errors.New("pipelined requests' queue has been overflown. Increase MaxConns and/or MaxPendingRequests")

ErrPipelineOverflow 会在请求的队列溢出时,由 PipelineClient.Do* 函数族返回。


func AppendBytesStr


func AppendBytesStr(dst []byte, src string) []byte

AppendBytesStrdst 追加 src ,并且返回追加后的 dst


这个函数与 append(dst, src...) 的性能没有差别。目前它仅用于向后兼容。


这个函数已经弃用并且可能很快被移除。


func AppendGunzipBytes


func AppendGunzipBytes(dst, src []byte) ([]byte, error)

AppendGunzipBytesdst 追加 gunzip 压缩后的 src ,并且返回追加后的 dst


func AppendGzipBytes


func AppendGzipBytes(dst, src []byte) []byte

AppendGzipBytesdst 追加 gzip 压缩后的 src ,并且返回追加后的 dst


func AppendGzipBytesLevel


func AppendGzipBytesLevel(dst, src []byte, level int) []byte

AppendGzipBytesLeveldst 追加指定级别的 gzip 压缩后的 src ,并且返回追加后的 dst


支持的压缩级别有:



  • CompressNoCompression

  • CompressBestSpeed

  • CompressBestCompression

  • CompressDefaultCompression


func AppendHTMLEscape


func AppendHTMLEscape(dst []byte, s string) []byte

AppendHTMLEscapedst 追加 HTML 转义后的 src ,并且返回追加后的 dst


func AppendHTMLEscapeBytes


func AppendHTMLEscapeBytes(dst, s []byte) []byte

AppendHTMLEscapeBytesdst 追加 HTML 转义后的 src ,并且返回追加后的 dst


func AppendHTTPDate


func AppendHTTPDate(dst []byte, date time.Time) []byte

AppendHTTPDatedst 追加符合 HTTP-compliant (RFC1123) 表示的时间 ,并且返回追加后的 dst


func AppendIPv4


func AppendIPv4(dst []byte, ip net.IP) []byte

AppendIPv4dst 追加表示 ip v4 的字符串 ,并且返回追加后的 dst


func AppendNormalizedHeaderKey


func AppendNormalizedHeaderKey(dst []byte, key string) []byte

AppendNormalizedHeaderKeydst 追加标准化后的 HTTP 头键(名),并且返回追加后的 dst


标准化后的头键由一个大写字母开头。在 - 后的第一个字母也为大写。其他的所有字母则都为小写。例子:



  • coNTENT-TYPe -> Content-Type

  • HOST -> Host

  • foo-bar-baz -> Foo-Bar-Baz


func AppendNormalizedHeaderKeyBytes


func AppendNormalizedHeaderKeyBytes(dst, key []byte) []byte

AppendNormalizedHeaderKeyBytesdst 追加标准化后的 HTTP 头键(名),并且返回追加后的 dst


标准化后的头键由一个大写字母开头。在 - 后的第一个字母也为大写。其他的所有字母则都为小写。例子:



  • coNTENT-TYPe -> Content-Type

  • HOST -> Host

  • foo-bar-baz -> Foo-Bar-Baz


func AppendQuotedArg


func AppendQuotedArg(dst, src []byte) []byte

AppendQuotedArgdst 追加经过 url 加密的 src ,并且返回追加后的 dst


func AppendUint


func AppendUint(dst []byte, n int) []byte

AppendUintdst 追加 n,并且返回追加后的 dst


func Dial


func Dial(addr string) (net.Conn, error)

Dial 使用 tcp4 连接指定的 TCP 地址 addr


net.Dial 相比,该函数有以下这些额外的特性:



  • 它通过以 DefaultDNSCacheDuration 持续时间缓存解析后的 TCP 地址来减少 DNS 解析器的负载。

  • 它通过轮询来连接所有被解析后的 TCP 连接,直至第一个连接被建立。这在当其中的某一个 TCP 地址临时性不可用时相当有用。

  • DefaultDialTimeout 秒之后若连接还没有被建立,它会返回 ErrDialTimeout ,可以使用 DialTimeout 来自定义这个超时。


addr 参数必须包含端口,例如:



  • foobar.baz:443

  • foo.bar:80

  • aaa.com:8080


func DialDualStack


func DialDualStack(addr string) (net.Conn, error)

DialDualStack 使用 tcp4 和 tcp6 连接指定的 TCP 地址 addr


net.Dial 相比,该函数有以下这些额外的特性:



  • 它通过以 DefaultDNSCacheDuration 持续时间缓存解析后的 TCP 地址来减少 DNS 解析器的负载。

  • 它通过轮询来连接所有被解析后的 TCP 连接,直至第一个连接被建立。这在当其中的某一个 TCP 地址临时性不可用时相当有用。

  • DefaultDialTimeout 秒之后若连接还没有被建立,它会返回 ErrDialTimeout ,可以使用 DialTimeout 来自定义这个超时。


addr 参数必须包含端口,例如:



  • foobar.baz:443

  • foo.bar:80

  • aaa.com:8080


func DialDualStackTimeout


func DialDualStackTimeout(addr string, timeout time.Duration) (net.Conn, error)

DialDualStackTimeout 使用 tcp4 和 tcp6 连接指定的 TCP 地址 addr ,并且会在指定时间后超时。


net.Dial 相比,该函数有以下这些额外的特性:



  • 它通过以 DefaultDNSCacheDuration 持续时间缓存解析后的 TCP 地址来减少 DNS 解析器的负载。

  • 它通过轮询来连接所有被解析后的 TCP 连接,直至第一个连接被建立。这在当其中的某一个 TCP 地址临时性不可用时相当有用。

  • DefaultDialTimeout 秒之后若连接还没有被建立,它会返回 ErrDialTimeout ,可以使用 DialTimeout 来自定义这个超时。


addr 参数必须包含端口,例如:



  • foobar.baz:443

  • foo.bar:80

  • aaa.com:8080


func DialTimeout


func DialTimeout(addr string, timeout time.Duration) (net.Conn, error)

DialTimeout 使用 tcp4 和 tcp6 连接指定的 TCP 地址 addr ,并且会在指定时间后超时。


net.Dial 相比,该函数有以下这些额外的特性:



  • 它通过以 DefaultDNSCacheDuration 持续时间缓存解析后的 TCP 地址来减少 DNS 解析器的负载。

  • 它通过轮询来连接所有被解析后的 TCP 连接,直至第一个连接被建立。这在当其中的某一个 TCP 地址临时性不可用时相当有用。

  • DefaultDialTimeout 秒之后若连接还没有被建立,它会返回 ErrDialTimeout ,可以使用 DialTimeout 来自定义这个超时。


addr 参数必须包含端口,例如:



  • foobar.baz:443

  • foo.bar:80

  • aaa.com:8080


func Do


func Do(req *Request, resp *Response) error

Do 发出指定的 http 请求,在得到响应后并且填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func DoDeadline


func DoDeadline(req *Request, resp *Response, deadline time.Time) error

DoDeadline 发出指定的 http 请求,并且在指定的 deadline 之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func DoTimeout


func DoTimeout(req *Request, resp *Response, timeout time.Duration) error

DoTimeout 发出指定的 http 请求,并且在指定的超时之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func EqualBytesStr


func EqualBytesStr(b []byte, s string) bool

EqualBytesStr,在 string(b) == s 时返回 true


这个函数与 string(b) == s 的性能没有差别。目前它仅用于向后兼容。


这个函数已经弃用并且可能很快被移除。


func FileLastModified


func FileLastModified(path string) (time.Time, error)

FileLastModified 返回文件的最后修改时间。


func Get


func Get(dst []byte, url string) (statusCode int, body []byte, err error)

Getdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


func GetDeadline


func GetDeadline(dst []byte, url string, deadline time.Time) (statusCode int, body []byte, err error)

GetDeadlinedst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的 deadline 之前没能获取到响应,那么会返回 ErrTimeout


func GetTimeout


func GetTimeout(dst []byte, url string, timeout time.Duration) (statusCode int, body []byte, err error)

GetTimeoutdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的超时之前没能获取到响应,那么会返回 ErrTimeout


func ListenAndServe


func ListenAndServe(addr string, handler RequestHandler) error

ListenAndServe 使用指定的 handler 处理来自指定 TCP 地址 addr 的 HTTP 请求。


例子:


// 这个服务器会监听所有来自该地址的请求
listenAddr := "127.0.0.1:80"

// 当每个请求到来时,这个函数都将被调用。
// RequestCtx 提供了很多有用的处理 http 请求的方法。更多详情请参阅 RequestCtx 说明。
requestHandler := func(ctx *fasthttp.RequestCtx) {
fmt.Fprintf(ctx, "Hello, world! Requested path is %q", ctx.Path())
}

// 使用默认设置启动服务器。
// 创建服务器实例。
//
// ListenAndServe 只返回一个错误,所以它通常是永久阻塞的。
if err := fasthttp.ListenAndServe(listenAddr, requestHandler); err != nil {
log.Fatalf("error in ListenAndServe: %s", err)
}

func ListenAndServeTLS


func ListenAndServeTLS(addr, certFile, keyFile string, handler RequestHandler) error

ListenAndServeTLS 使用指定的 handler 处理来自指定 TCP 地址 addr 的 HTTPS 请求。


certFilekeyFile 是 TLS 证书和密钥文件的路径。


func ListenAndServeTLSEmbed


func ListenAndServeTLSEmbed(addr string, certData, keyData []byte, handler RequestHandler) error

ListenAndServeTLSEmbed 使用指定的 handler 处理来自指定 TCP 地址 addr 的 HTTPS 请求。


certDatakeyData 必须包含合法的 TLS 证书和密钥数据。


func ListenAndServeUNIX


func ListenAndServeUNIX(addr string, mode os.FileMode, handler RequestHandler) error

ListenAndServeUNIX 使用指定的 handler 处理来自指定 UNIX 地址 addr 的 HTTP 请求。


这个函数会在开始接受请求前删除所有 addr 下的文件。


该函数会为制定 UNIX 地址 addr 设置参数中指定的 mode


func NewStreamReader


func NewStreamReader(sw StreamWriter) io.ReadCloser

NewStreamReader 返回一个 reader ,用于获取所有由 sw 生成的数据。


返回的 reader 可以被传递至 Response.SetBodyStream


在返回的 reader 中所有的数据都被读取完毕之后,必须调用 Close 。否则可能会造成 goroutine 泄露。


更多详情可参阅 Response.SetBodyStreamWriter


func ParseByteRange


func ParseByteRange(byteRange []byte, contentLength int) (startPos, endPos int, err error)

ParseByteRange 用于解释 'Range: bytes=...' 头的值。


依据的规范是 https://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.35


func ParseHTTPDate


func ParseHTTPDate(date []byte) (time.Time, error)

ParseHTTPDate 用于解释符合 HTTP-compliant (RFC1123) 规范的时间。


func ParseIPv4


func ParseIPv4(dst net.IP, ipStr []byte) (net.IP, error)

ParseIPv4 解释 ipStr 提供的 ip 地址,并填充 dst ,然后返回填充后的 dst


func ParseUfloat


func ParseUfloat(buf []byte) (float64, error)

ParseUfloat 解释 buf 提供的无符号浮点数。


func ParseUint


func ParseUint(buf []byte) (int, error)

ParseUint 解释 buf 提供的无符号整型数。


func Post


func Post(dst []byte, url string, postArgs *Args) (statusCode int, body []byte, err error)

Post 使用指定 POST 参数向指定 url 发出 POST 请求。


请求体会追加值 dst ,并且通过 body 返回。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


dstnil ,那么新的 body 缓冲会被分配。


如果 postArgsnil ,则发送空 POST 请求体。


func ReleaseArgs


func ReleaseArgs(a *Args)

ReleaseArgs 向池中释放通过 AquireArgs 取得的对象。


不要试图访问释放的 Args 对象,可能会产生数据竞争。


func ReleaseByteBuffer


func ReleaseByteBuffer(b *ByteBuffer)

ReleaseByteBuffer 返回池中释放指定字节缓冲。


在释放回池之后, ByteBuffer.B 不能再被访问,可能会产生数据竞争。


func ReleaseCookie


func ReleaseCookie(c *Cookie)

ReleaseCookie 向池中释放由 AcquireCookie 返回的对象。


不要试图访问释放的 Cookie 对象,可能会产生数据竞争。


func ReleaseRequest


func ReleaseRequest(req *Request)

ReleaseRequest 向池中释放由 AcquireRequest 返回的对象。


在释放回池之后,禁止再访问 req 对象以及它的任何成员。


func ReleaseResponse


func ReleaseResponse(resp *Response)

ReleaseResponse 向池中释放由 AcquireResponse 返回的对象。


在释放回池之后,禁止再访问 resp 对象以及它的任何成员。


func ReleaseURI


func ReleaseURI(u *URI)

ReleaseURI 向池中释放由 AcquireURI 返回的对象。


不要试图访问释放的 URI 对象,可能会产生数据竞争。


func SaveMultipartFile


func SaveMultipartFile(fh *multipart.FileHeader, path string) error

SaveMultipartFile 在指定的 path 下保存文件 fh


func Serve


func Serve(ln net.Listener, handler RequestHandler) error

Serve 使用指定的 handler 来处理来自 listener 的连接。


listener 返回永久性的错误之前, Serve 都会一直保持阻塞。


例子:


// 创建一个接受请求的 listener
//
// 你不仅可以创建 TCP listener - 任意的 net.Listener 都可以。
// 例如 UNIX Socket 或 TLS listener 。

ln, err := net.Listen("tcp4", "127.0.0.1:8080")
if err != nil {
log.Fatalf("error in net.Listen: %s", err)
}

// 当每个请求到来时,这个函数都将被调用。
// RequestCtx 提供了很多有用的处理 http 请求的方法。更多详情请参阅 RequestCtx 说明。
requestHandler := func(ctx *fasthttp.RequestCtx) {
fmt.Fprintf(ctx, "Hello, world! Requested path is %q", ctx.Path())
}

// 使用默认设置启动服务器。
// 创建服务器实例。
//
// Serve 在 ln.Close() 或发生错误时返回,所以它通常是永久阻塞的。
if err := fasthttp.Serve(ln, requestHandler); err != nil {
log.Fatalf("error in Serve: %s", err)
}

func ServeConn


func ServeConn(c net.Conn, handler RequestHandler) error

ServeConn 使用指定的 handler 处理来自指定连接的 HTTP 请求。


如果所有来自 c 的请求都被成功处理,ServeConn 会返回 nil 。否则返回一个非空错误。


连接 c 必须立刻将所有数据通过 Write() 发送至客户端,否则请求的处理可能会被挂起。


ServeConn 在返回之前会关闭 c


func ServeFile


func ServeFile(ctx *RequestCtx, path string)

ServeFile 返回来自指定 path 的压缩后文件内容的 HTTP 响应。


在以下情况下,HTTP 响应可能会包含未压缩文件内容:



  • 缺少 'Accept-Encoding: gzip' 请求头。

  • 没有对文件目录的写权限。


如果 path 指向一个目录,那么目录的内容会被返回。


如果你不需要响应压缩后的文件内容,请使用 ServeFileUncompressed


更多详情可参阅 RequestCtx.SendFile


func ServeFileBytes


func ServeFileBytes(ctx *RequestCtx, path []byte)

ServeFileBytes 返回来自指定 path 的压缩后文件内容的 HTTP 响应。


在以下情况下,HTTP 响应可能会包含未压缩文件内容:



  • 缺少 'Accept-Encoding: gzip' 请求头。

  • 没有对文件目录的写权限。


如果 path 指向一个目录,那么目录的内容会被返回。


如果你不需要响应压缩后的文件内容,请使用 ServeFileUncompressed


更多详情可参阅 RequestCtx.SendFile


func ServeFileBytesUncompressed


func ServeFileBytesUncompressed(ctx *RequestCtx, path []byte)

ServeFileBytesUncompressed 返回来自指定 path 文件内容的 HTTP 响应。


如果 path 指向一个目录,那么目录的内容会被返回。


若需要处理压缩后的文件,请使用 ServeFileBytes


更多详情可参阅 RequestCtx.SendFileBytes


func ServeFileUncompressed


func ServeFileUncompressed(ctx *RequestCtx, path string)

ServeFileUncompressed 返回来自指定 path 文件内容的 HTTP 响应。


如果 path 指向一个目录,那么目录的内容会被返回。


若需要处理压缩后的文件,请使用 ServeFile


更多详情可参阅 RequestCtx.SendFile


func ServeTLS


func ServeTLS(ln net.Listener, certFile, keyFile string, handler RequestHandler) error

ServeTLS 使用指定的 handler 来处理来自指定 net.Listener 的 HTTPS 请求。


certFilekeyFile 是 TLS 证书和密钥文件的路径。


func ServeTLSEmbed


func ServeTLSEmbed(ln net.Listener, certData, keyData []byte, handler RequestHandler) error

ServeTLSEmbed 使用指定的 handler 来处理来自指定 net.Listener 的 HTTPS 请求。


certDatakeyData 必须包含合法的 TLS 证书和密钥数据。


func StatusMessage


func StatusMessage(statusCode int) string

StatusMessage 根据指定的状态码返回 HTTP 状态信息。


func WriteGunzip


func WriteGunzip(w io.Writer, p []byte) (int, error)

WriteGunzipw 写入经 gunzip 压缩的 p ,并且返回未压缩的字节数。


func WriteGzip


func WriteGzip(w io.Writer, p []byte) (int, error)

WriteGunzipw 写入经 gzip 压缩的 p ,并且返回未压缩的字节数。


func WriteGzipLevel


func WriteGzipLevel(w io.Writer, p []byte, level int) (int, error)

WriteGunzipw 写入经指定级别 gzip 压缩的 p ,并且返回未压缩的字节数。


支持的压缩级别有:



  • CompressNoCompression

  • CompressBestSpeed

  • CompressBestCompression

  • CompressDefaultCompression


func WriteInflate


func WriteInflate(w io.Writer, p []byte) (int, error)

WriteGunzipw 写入压缩后的 p ,并且返回未压缩的字节数。


func WriteMultipartForm


func WriteMultipartForm(w io.Writer, f *multipart.Form, boundary string) error

WriteMultipartForm 使用指定的 w 写入指定的表单 f


type Args


type Args struct {
// 包含被过滤或未导出的属性
}

Args 代表查询字符串参数。


拷贝 Args 实例是禁止的。你需要使用 CopyTo() 函数或创建一个新实例。


Args 实例必须不能在并发执行的 goroutine 间使用。


func AcquireArgs


func AcquireArgs() *Args

AcquireArgs 从池中返回一个空的 Args 对象。


返回的 Args 实例在不再需要时可以通过 ReleaseArgs 释放回池。这可以降低垃圾回收负载。


func (*Args) Add


func (a *Args) Add(key, value string)

Add 添加 'key=value' 参数。


同一个 key 可以添加多个值。


func (*Args) AddBytesK


func (a *Args) AddBytesK(key []byte, value string)

AddBytesK 添加 'key=value' 参数。


同一个 key 可以添加多个值。


func (*Args) AddBytesKV


func (a *Args) AddBytesKV(key, value []byte)

AddBytesKV 添加 'key=value' 参数。


同一个 key 可以添加多个值。


func (*Args) AddBytesV


func (a *Args) AddBytesV(key string, value []byte)

AddBytesV 添加 'key=value' 参数。


同一个 key 可以添加多个值。


func (*Args) AppendBytes


func (a *Args) AppendBytes(dst []byte) []byte

AppendBytesdst 追加查询字符串,并返回 dst


func (*Args) CopyTo


func (a *Args) CopyTo(dst *Args)

CopyTo 将所有的参数复制至 dst


func (*Args) Del


func (a *Args) Del(key string)

Del 删除键为指定 key 的参数。


func (*Args) DelBytes


func (a *Args) DelBytes(key []byte)

Del 删除键为指定 key 的参数。


func (*Args) GetUfloat


func (a *Args) GetUfloat(key string) (float64, error)

GetUfloat 返回指定 key 的无符号浮点数值。


func (*Args) GetUfloatOrZero


func (a *Args) GetUfloatOrZero(key string) float64

GetUfloatOrZero 返回指定 key 的无符号浮点数值。


当出错时返回 0


func (*Args) GetUint


func (a *Args) GetUint(key string) (int, error)

GetUint 返回指定 key 的无符号整型数值。


func (*Args) GetUintOrZero


func (a *Args) GetUintOrZero(key string) int

GetUintOrZero 返回指定 key 的无符号整型数值。


当出错时返回 0


func (*Args) Has


func (a *Args) Has(key string) bool

Has 在当 Args 中存在指定 key 时返回 true


func (*Args) HasBytes


func (a *Args) HasBytes(key []byte) bool

HasBytes 在当 Args 中存在指定 key 时返回 true


func (*Args) Len


func (a *Args) Len() int

Len 查询参数的数量。


func (*Args) Parse


func (a *Args) Parse(s string)

Parse 解析包含查询参数的字符串。


func (*Args) ParseBytes


func (a *Args) ParseBytes(b []byte)

ParseBytes 解析包含查询参数的 b


func (*Args) Peek


func (a *Args) Peek(key string) []byte

Peek 返回查询参数中指定 key 的值。


func (*Args) PeekBytes


func (a *Args) PeekBytes(key []byte) []byte

PeekBytes 返回查询参数中指定 key 的值。


func (*Args) PeekMulti


func (a *Args) PeekMulti(key string) [][]byte

PeekMulti 返回查询参数中指定 key 的所有值。


func (*Args) PeekMultiBytes


func (a *Args) PeekMultiBytes(key []byte) [][]byte

PeekMultiBytes 返回查询参数中指定 key 的所有值。


func (*Args) QueryString


func (a *Args) QueryString() []byte

QueryString 返回查询参数的字符串表示。


在下个 Args 方法调用之前,返回值都是合法的。


func (*Args) Reset


func (a *Args) Reset()

Reset 清除所有查询参数。


func (*Args) Set


func (a *Args) Set(key, value string)

Set 设置 'key=value' 参数。


func (*Args) SetBytesK


func (a *Args) SetBytesK(key []byte, value string)

SetBytesK 设置 'key=value' 参数。


func (*Args) SetBytesKV


func (a *Args) SetBytesKV(key, value []byte)

SetBytesKV 设置 'key=value' 参数。


func (*Args) SetBytesV


func (a *Args) SetBytesV(key string, value []byte)

SetBytesV 设置 'key=value' 参数。


func (*Args) SetUint


func (a *Args) SetUint(key string, value int)

SetUint 为指定 key 设置无符号整数值。


func (*Args) SetUintBytes


func (a *Args) SetUintBytes(key []byte, value int)

SetUintBytes 为指定 key 设置无符号整数值。


func (*Args) String


func (a *Args) String() string

String 返回查询参数的字符串表示。


func (*Args) VisitAll


func (a *Args) VisitAll(f func(key, value []byte))

VisitAll 对每一个存在的参数调用 f


f 在返回后必须不能保留对键和值的引用。若要在返回后扔需要存储它们,请存储它们的副本。


func (*Args) WriteTo


func (a *Args) WriteTo(w io.Writer) (int64, error)

WriteTow 写入查询字符串。


WriteTo 实现了 io.WriterTo 接口。


type Client


type Client struct {

// 客户端名字。在 User-Agent 请求头中会被使用到。
//
// 如果未被设置,则会使用默认客户端名。
Name string

// 建立到指定 host 的新连接后的回调函数。
//
// 如果未被设置,则会使用默认 Dial 函数。
Dial DialFunc

// 若被设为 true ,则会试图连接 ipv4 和 ipv6 的地址。
//
// 这个选项仅在使用默认 TCP dialer 时有效,
// 例如:Dial 为空。
//
// 默认情况下客户端仅会连接 ipv4 地址,
// 因为 ipv6 在世界上的大多数网络中都仍然不可用 :)
DialDualStack bool

// HTTPS 连接的 TLS 配置。
// 如果未被设置,则使用默认的 TLS 配置。
TLSConfig *tls.Config

// 每个 host 可以被建立的最大连接数。
//
// 如果未被设置,则使用默认的 DefaultMaxConnsPerHost 。
MaxConnsPerHost int

// 在这个时间间隔后,空闲的 keep-alive 连接会被关闭。
// 默认值为 DefaultMaxIdleConnDuration 。
MaxIdleConnDuration time.Duration

// 每个连接响应读取时的缓冲大小。
// 这个值也限制了最大头大小。
//
// 默认值为 0 。
ReadBufferSize int

// 每个连接请求写入时的缓冲大小。
//
// 默认值为 0 。
WriteBufferSize int

// 完整的响应读取(包含响应体)可用的最大时间。
//
// 默认为无限制。
ReadTimeout time.Duration

// 完整的请求写入(包含请求体)可用的最大时间。
//
// 默认为无限制。
WriteTimeout time.Duration

// 相应体的最大大小。
//
// 当该值大于 0 ,且相应体超过它时,客户端返回 ErrBodyTooLarge 。
// 默认为无限制。
MaxResponseBodySize int

DisableHeaderNamesNormalizing bool

// 包含被过滤或未导出的属性
}

Client 实现了 HTTP 客户端。


不允许按值拷贝 Client ,应该创建一个新的实例。


在多个运行的 goroutine 间调用 Client 方法是安全的。


func (*Client) Do


func (c *Client) Do(req *Request, resp *Response) error

Do 发出指定的 http 请求,在得到响应后并且填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


如果 respnil ,那么响应会被忽略。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*Client) DoDeadline


func (c *Client) DoDeadline(req *Request, resp *Response, deadline time.Time) error

DoDeadline 发出指定的 http 请求,并且在指定的 deadline 之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*Client) DoTimeout


func (c *Client) DoTimeout(req *Request, resp *Response, timeout time.Duration) error

DoTimeout 发出指定的 http 请求,并且在指定的超时之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*Client) Get


func (c *Client) Get(dst []byte, url string) (statusCode int, body []byte, err error)

Getdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


func (*Client) GetDeadline


func (c *Client) GetDeadline(dst []byte, url string, deadline time.Time) (statusCode int, body []byte, err error)

GetDeadlinedst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的 deadline 之前没能获取到响应,那么会返回 ErrTimeout


func (*Client) GetTimeout


func (c *Client) GetTimeout(dst []byte, url string, timeout time.Duration) (statusCode int, body []byte, err error)

GetTimeoutdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的超时之前没能获取到响应,那么会返回 ErrTimeout


func (*Client) Post


func (c *Client) Post(dst []byte, url string, postArgs *Args) (statusCode int, body []byte, err error)

Post 使用指定 POST 参数向指定 url 发出 POST 请求。


请求体会追加值 dst ,并且通过 body 返回。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


dstnil ,那么新的 body 缓冲会被分配。


如果 postArgsnil ,则发送空 POST 请求体。


type Cookie


type Cookie struct {
// 包含被过滤或未导出的属性
}

Cookie 代表 HTTP 相应的 cookie 。


不允许按值拷贝 Cookie ,应该创建一个新的实例。


在多个运行的 goroutine 间使用 Cookie 实例是禁止的。


func AcquireCookie


func AcquireCookie() *Cookie

AcquireCookie 从池中返回一个空的 Cookie 对象。


返回的 Cookie 实例在不再需要时可以通过 ReleaseCookie 释放回池。这可以降低垃圾回收负载。


func (*Cookie) AppendBytes


func (c *Cookie) AppendBytes(dst []byte) []byte

AppendBytesdst 追加 cookie ,并且返回追加后的 dst


func (*Cookie) Cookie


func (c *Cookie) Cookie() []byte

Cookie 返回 cookie 的表示。


直到下次调用 Cookie 方法前,返回值都是合法的。


func (*Cookie) CopyTo


func (c *Cookie) CopyTo(src *Cookie)

CopyTo 拷贝 src cookie 至 c


func (*Cookie) Domain


func (c *Cookie) Domain() []byte

Domain 返回 cookie 的 domain 值。


直到下次调用会改变 Cookie 的方法前,返回值都是合法的。


func (*Cookie) Expire


func (c *Cookie) Expire() time.Time

Expire 返回 cookie 的过期时间。


若没设置过期,则返回 CookieExpireUnlimited


func (*Cookie) HTTPOnly


func (c *Cookie) HTTPOnly() bool

HTTPOnly 在 cookie 为 http only 时返回 true


func (*Cookie) Key


func (c *Cookie) Key() []byte

Key 返回 cookie 名字。


直到下次调用会改变 Cookie 的方法前,返回值都是合法的。


func (*Cookie) Parse


func (c *Cookie) Parse(src string) error

Parse 解析 Set-Cookie 头。


func (*Cookie) ParseBytes


func (c *Cookie) ParseBytes(src []byte) error

ParseBytes 解析 Set-Cookie 头。


func (*Cookie) Path


func (c *Cookie) Path() []byte

Path 返回 cookie path 。


func (*Cookie) Reset


func (c *Cookie) Reset()

Reset 清空该 cookie 。


func (*Cookie) Secure


func (c *Cookie) Secure() bool

Secure 在当 cookie 为 secure 时返回 true


func (*Cookie) SetDomain


func (c *Cookie) SetDomain(domain string)

SetDomain 设置 cookie 的 domain 。


func (*Cookie) SetDomainBytes


func (c *Cookie) SetDomainBytes(domain []byte)

SetDomainBytes 设置 cookie 的 domain 。


func (*Cookie) SetExpire


func (c *Cookie) SetExpire(expire time.Time)

SetExpire 设置 cookie 的过期时间。


若要使该 cookie 在客户端过期,则将值设置为 CookieExpireDelete


默认情况下 cookie 的寿命由浏览器会话限制。


func (*Cookie) SetHTTPOnly


func (c *Cookie) SetHTTPOnly(httpOnly bool)

SetHTTPOnly 将 cookie 的 httpOnly 标识设置为指定值。


func (*Cookie) SetKey


func (c *Cookie) SetKey(key string)

SetKey 设置 cookie 名。


func (*Cookie) SetKeyBytes


func (c *Cookie) SetKeyBytes(key []byte)

SetKeyBytes 设置 cookie 名。


func (*Cookie) SetPath


func (c *Cookie) SetPath(path string)

SetPath 设置 cookie 路径。


func (*Cookie) SetPathBytes


func (c *Cookie) SetPathBytes(path []byte)

SetPathBytes 设置 cookie 路径。


func (*Cookie) SetSecure


func (c *Cookie) SetSecure(secure bool)

SetSecure 将 cookie 的 secure 标识设置为指定值。


func (*Cookie) SetValue


func (c *Cookie) SetValue(value string)

SetValue 设置 cookie 的值。


func (*Cookie) SetValueBytes


func (c *Cookie) SetValueBytes(value []byte)

SetValueBytes 设置 cookie 的值。


func (*Cookie) String


func (c *Cookie) String() string

String 返回 cookie 的字符串表示。


func (*Cookie) Value


func (c *Cookie) Value() []byte

Value 返回 cookie 的值。


直到下次调用会改变 Cookie 的方法前,返回值都是合法的。


func (*Cookie) WriteTo


func (c *Cookie) WriteTo(w io.Writer) (int64, error)

WriteTo 将 cookie 的字符串表示写入 w


WriteTo 实现了 io.WriterTo 接口。


type DialFunc


type DialFunc func(addr string) (net.Conn, error)

DialFunc 必须建立到 addr 的连接。


没有必要为 HTTPS 建立到 TLS(SSL)的连接。若 HostClient.IsTLS 被设置,则客户端会自动转换连接至 TLS 。


TCP address passed to DialFunc always contains host and port. Example TCP addr values:
传递至 DialFunc 的 TCP 地址总是包含 host 和端口。例子:



  • foobar.com:80

  • foobar.com:443

  • foobar.com:8080


type FS


type FS struct {

// 用于响应文件的根目录
Root string

// 目录中的索引文件名。
//
// 例子:
//
// * index.html
// * index.htm
// * my-super-index.xml
//
// 默认为空。
IndexNames []string

GenerateIndexPages bool

// 若设为 true ,则压缩响应。
//
// 服务器会通过缓存来最小化 CPU 的使用。
// 新的缓存文件名字会添加 `CompressedFileSuffix` 前缀。
// 所以建议使服务器对 Root 目录以及子目录有写权限。
Compress bool

// 若被设为 true ,则启用字节范围请求
//
// 默认为 false 。
AcceptByteRange bool

// 重写路径函数。
//
// 默认为不改变请求路径。
PathRewrite PathRewriteFunc

// 非活跃的文件句柄的过期时间间隔。
//
// 默认为 `FSHandlerCacheDuration` 。
CacheDuration time.Duration

// 为缓存的压缩文件添加的前缀。
//
// 这个值仅在 Compress 被设置时才有效。
//
// 默认为 FSCompressedFileSuffix 。
CompressedFileSuffix string

// 包含被过滤或未导出的属性
}

FS 代表了通过本地文件系统来响应静态文件 HTTP 请求的设置。


不允许复制 FS 值,应该创建新的 FS 值。


例子:


fs := &fasthttp.FS{
// 响应静态文件请求的目录
Root: "/var/www/static-site",

// 生成索引
GenerateIndexPages: true,

// 开启压缩,用于节省带宽
Compress: true,
}

// 创建响应静态文件的 handler
h := fs.NewRequestHandler()

// 启动服务器
if err := fasthttp.ListenAndServe(":8080", h); err != nil {
log.Fatalf("error in ListenAndServe: %s", err)
}

func (*FS) NewRequestHandler


func (fs *FS) NewRequestHandler() RequestHandler

NewRequestHandler 通过指定的 FS 设置返回新的请求 handler 。


返回的 handler 根据 FS.CacheDuration 来缓存请求的文件句柄。若 FS.Root 目录包含大量文件,请确保你的程序通过 'ulimit -n' 来保证有足够的“可打开文件”。


不需要对单个 FS 实例创建多个请求 handler ,只需重用即可。


type HijackHandler


type HijackHandler func(c net.Conn)

HijackHandler 必须处理拦截的连接 c


HijackHandler 返回后连接 c 会被自动关闭。


HijackHandler 返回后连接 c 必须不可再被使用。


type HostClient


type HostClient struct {

// 以逗号分隔的上游 HTTP 服务器 host 地址列表,通过轮询传递给 Dial
//
// 如果默认的 dialer 被使用,每一个地址都需要包含端口。
// 例子:
//
// - foobar.com:80
// - foobar.com:443
// - foobar.com:8080
Addr string

// 客户端名,用于 User-Agent 请求头。
Name string

// 建立到指定 host 的新连接后的回调函数。
//
// 如果未被设置,则会使用默认 Dial 函数。
Dial DialFunc

// 若被设为 true ,则会试图连接 ipv4 和 ipv6 的地址。
//
// 这个选项仅在使用默认 TCP dialer 时有效,
// 例如:Dial 为空。
//
// 默认情况下客户端仅会连接 ipv4 地址,
// 因为 ipv6 在世界上的大多数网络中都仍然不可用 :)
DialDualStack bool

// 是否使用 TLS 。
IsTLS bool

// 可选的 TLS 配置。
TLSConfig *tls.Config

// 每个 host 可以被建立的最大连接数。
//
// 如果未被设置,则使用默认的 DefaultMaxConnsPerHost 。
MaxConns int

// 在这个时间间隔后, keep-alive 连接会被关闭。
// 默认值为无限制。
MaxConnDuration time.Duration

// 在这个时间间隔后,空闲的 keep-alive 连接会被关闭。
// 默认值为 DefaultMaxIdleConnDuration 。
MaxIdleConnDuration time.Duration

// 每个连接响应读取时的缓冲大小。
// 这个值也限制了最大头大小。
//
// 默认值为 0 。
ReadBufferSize int

// 每个连接请求写入时的缓冲大小。
//
// 默认值为 0 。
WriteBufferSize int

// 完整的响应读取(包含响应体)可用的最大时间。
//
// 默认为无限制。
ReadTimeout time.Duration

// 完整的请求写入(包含请求体)可用的最大时间。
//
// 默认为无限制。
WriteTimeout time.Duration

// 相应体的最大大小。
//
// 当该值大于 0 ,且相应体超过它时,客户端返回 ErrBodyTooLarge 。
// 默认为无限制。
MaxResponseBodySize int

DisableHeaderNamesNormalizing bool

// 包含被过滤或未导出的属性
}

HostClient 均衡地向列于 Addr 中的 host 发起请求。


禁止拷贝 HostClient 实例。应使用创建新的实例。


在多个运行的 goroutine 间执行 HostClient 方法是安全的。


例子:


package main

import (
"log"

"github.com/valyala/fasthttp"
)

func main() {
// 准备一个客户端,用于通过监听于 localhost:8080 的 HTTP 代理获取网页
c := &fasthttp.HostClient{
Addr: "localhost:8080",
}

// 使用本地代理获取谷歌页面。
statusCode, body, err := c.Get(nil, "http://google.com/foo/bar")
if err != nil {
log.Fatalf("Error when loading google page through local proxy: %s", err)
}
if statusCode != fasthttp.StatusOK {
log.Fatalf("Unexpected status code: %d. Expecting %d", statusCode, fasthttp.StatusOK)
}
useResponseBody(body)

// 通过本地代理获取 foobar 页面。重用 body 缓冲。
statusCode, body, err = c.Get(body, "http://foobar.com/google/com")
if err != nil {
log.Fatalf("Error when loading foobar page through local proxy: %s", err)
}
if statusCode != fasthttp.StatusOK {
log.Fatalf("Unexpected status code: %d. Expecting %d", statusCode, fasthttp.StatusOK)
}
useResponseBody(body)
}

func useResponseBody(body []byte) {
// 处理 body
}

func (*HostClient) Do


func (c *HostClient) Do(req *Request, resp *Response) error

Do 发出指定的 http 请求,在得到响应后并且填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*HostClient) DoDeadline


func (c *HostClient) DoDeadline(req *Request, resp *Response, deadline time.Time) error

DoDeadline 发出指定的 http 请求,并且在指定的 deadline 之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*HostClient) DoTimeout


func (c *HostClient) DoTimeout(req *Request, resp *Response, timeout time.Duration) error

DoTimeout 发出指定的 http 请求,并且在指定的超时之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*HostClient) Get


func (c *HostClient) Get(dst []byte, url string) (statusCode int, body []byte, err error)

Getdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


func (*HostClient) GetDeadline


func (c *HostClient) GetDeadline(dst []byte, url string, deadline time.Time) (statusCode int, body []byte, err error)

GetDeadlinedst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的 deadline 之前没能获取到响应,那么会返回 ErrTimeout


func (*HostClient) GetTimeout


func (c *HostClient) GetTimeout(dst []byte, url string, timeout time.Duration) (statusCode int, body []byte, err error)

GetTimeoutdst 追加 url 信息,并且通过 body 返回它。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


如果 dstnil ,那么则会分配一个新的 body 缓冲。


若在指定的超时之前没能获取到响应,那么会返回 ErrTimeout


func (*HostClient) LastUseTime


func (c *HostClient) LastUseTime() time.Time

LastUseTime 返回客户端最后被使用的时间。


func (*HostClient) PendingRequests


func (c *HostClient) PendingRequests() int

PendingRequests 返回正在执行的请求数。


func (*HostClient) Post


func (c *HostClient) Post(dst []byte, url string, postArgs *Args) (statusCode int, body []byte, err error)

Post 使用指定 POST 参数向指定 url 发出 POST 请求。


请求体会追加值 dst ,并且通过 body 返回。


这个函数会跟随重定向。若要手动操作重定向,请使用 Do*


dstnil ,那么新的 body 缓冲会被分配。


如果 postArgsnil ,则发送空 POST 请求体。


type Logger


type Logger interface {
// Printf 必须与 log.Printf 有相同的语义。
Printf(format string, args ...interface{})
}

Logger 被用于记录格式化信息日志。


type PathRewriteFunc


type PathRewriteFunc func(ctx *RequestCtx) []byte

PathRewriteFunc 必须返回基于 ctx.Path() 的新请求路径。


该函数用于在 FS 中转义当前请求路径至相对于 FS.Root 的相对路径。


处于安全原因,返回的路径中不允许包含 '/../' 子字符串。


func NewPathPrefixStripper


func NewPathPrefixStripper(prefixSize int) PathRewriteFunc

NewPathPrefixStripper 返回重写路径函数,返回移除的前缀大小。


例子:



  • prefixSize = 0, 原路径: "/foo/bar", 结果: "/foo/bar"

  • prefixSize = 3, 原路径: "/foo/bar", 结果: "o/bar"

  • prefixSize = 7, 原路径: "/foo/bar", 结果: "r"


返回的路径重写函数可能会被 FS.PathRewrite 使用。


func NewPathSlashesStripper


func NewPathSlashesStripper(slashesCount int) PathRewriteFunc

NewPathSlashesStripper 返回重写路径函数,返回移除的路径分隔符数量。


例子:



  • slashesCount = 0, 原路径: "/foo/bar", 结果: "/foo/bar"

  • slashesCount = 1, 原路径: "/foo/bar", 结果: "/bar"

  • slashesCount = 2, 原路径: "/foo/bar", 结果: ""


返回的路径重写函数可能会被 FS.PathRewrite 使用。


type PipelineClient


type PipelineClient struct {

// 连接的 host 的地址
Addr string

// 连接至 Addr 的最大并发数。
//
// 默认为单连接。
MaxConns int

// 单个连接至 Addr 的最大等待管道请求数量。
//
// 默认为 DefaultMaxPendingRequests 。
MaxPendingRequests int

// 在批量发送管道请求至服务器前的最大延时。
//
// 默认为无延时。
MaxBatchDelay time.Duration

/// 建立到指定 host 的新连接后的回调函数。
//
// 如果未被设置,则会使用默认 Dial 函数。
Dial DialFunc

// 若被设为 true ,则会试图连接 ipv4 和 ipv6 的地址。
//
// 这个选项仅在使用默认 TCP dialer 时有效,
// 例如:Dial 为空。
//
// 默认情况下客户端仅会连接 ipv4 地址,
// 因为 ipv6 在世界上的大多数网络中都仍然不可用 :)
DialDualStack bool

// 是否使用 TLS 。
IsTLS bool

// 可选的 TLS 配置。
TLSConfig *tls.Config

// 在这个时间间隔后,空闲的 keep-alive 连接会被关闭。
// 默认值为 DefaultMaxIdleConnDuration 。
MaxIdleConnDuration time.Duration

// 每个连接响应读取时的缓冲大小。
// 这个值也限制了最大头大小。
//
// 默认值为 0 。
ReadBufferSize int

// 每个连接请求写入时的缓冲大小。
//
// 默认值为 0 。
WriteBufferSize int

// 完整的响应读取(包含响应体)可用的最大时间。
//
// 默认为无限制。
ReadTimeout time.Duration

// 完整的请求写入(包含请求体)可用的最大时间。
//
// 默认为无限制。
WriteTimeout time.Duration

// 用于记录客户端错误的日志记录器。
//
// 默认为标准 log 库。
Logger Logger

// 包含被过滤或未导出的属性
}

PipelineClient 通过一个指定的并发连接限制数,来发送请求。


这个客户端可能被用于高负载的 RPC 系统。更多详情参阅 https://en.wikipedia.org/wiki/HTTP_pipelining


禁止拷贝 PipelineClient 实例。应该创建新实例。


在运行的 goroutine 间调用 PipelineClient 方法是安全的。


func (*PipelineClient) Do


func (c *PipelineClient) Do(req *Request, resp *Response) error

Do 发出指定的 http 请求,在得到响应后并且填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*PipelineClient) DoDeadline


func (c *PipelineClient) DoDeadline(req *Request, resp *Response, deadline time.Time) error

DoDeadline 发出指定的 http 请求,并且在指定的 deadline 之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*PipelineClient) DoTimeout


func (c *PipelineClient) DoTimeout(req *Request, resp *Response, timeout time.Duration) error

DoTimeout 发出指定的 http 请求,并且在指定的超时之前得到响应后填充指定的 http 响应对象。


请求必须至少包含一个非空的 RequestURI (包含协议和 host)或非空的 Host 头 + RequestURI。


客户端以以下顺序确定待请求的服务端:



  • 如果 RequestURI 包含完整的带有协议和 host 的 url ,则从 RequestURI 中取得。

  • 否则就从 Host 头中取得。


这个函数不会跟随重定向。若要跟随重定向,请使用 Get*


如果 respnil ,那么响应会被忽略。


如果向指定请求 host 的所有 DefaultMaxConnsPerHost 数量的连接都被占用,那么会返回 ErrNoFreeConns


在有性能要求的代码中,推荐通过 AcquireRequestAcquireResponse 来获取 reqresp


func (*PipelineClient) PendingRequests


func (c *PipelineClient) PendingRequests() int

PendingRequests 返回正在执行的请求数。


type Request


type Request struct {

// 请求头
//
// 按值拷贝 Header 是禁止的。应使用指针。
Header RequestHeader

// 包含被过滤或未导出的属性
}

Request 代表一个 HTTP 请求。


禁止拷贝 Request 实例。应该创建新实例或使用 CopyTo


Request 实例必须不能再多个运行的 goroutine 间使用。


func AcquireRequest


func AcquireRequest() *Request

AcquireRequest 从请求池中返回一个空的 Request 实例。


返回的 Request 实例在不再需要时可以通过 ReleaseRequest 释放回池。这可以降低垃圾回收负载。


func (*Request) AppendBody


func (req *Request) AppendBody(p []byte)

AppendBody 追加 p 至请求体。


在函数返回后重用 p 是安全的。


func (*Request) AppendBodyString

Golang In PingCAP

文章分享qiuyesuifeng 发表了文章 • 3 个评论 • 796 次浏览 • 2016-10-11 17:15 • 来自相关话题

随着 Golang 在后端领域越来越流行,有越来越多的公司选择 Golang 作为主力开发语言。本次 GopherChina Beijing 2016 大会上,看到 Golang 在各家公司从人工智能到自动运维,从 Web 应用到基础架构都发挥着越来越多... 查看全部

随着 Golang 在后端领域越来越流行,有越来越多的公司选择 Golang 作为主力开发语言。本次 GopherChina Beijing 2016 大会上,看到 Golang 在各家公司从人工智能到自动运维,从 Web 应用到基础架构都发挥着越来越多的作用。可以说 Golang 在这几年间,获得了长足的进步。
PingCAP 是一家由几名 Golang 粉丝创建的数据库公司。在我们的日常工作中,除了对性能有苛刻要求的最底层存储引擎外,大部分都是使用 Golang,算是 Golang 的重度用户。我们从 Golang 语言以及社区中收益颇多,TiDB 在短短半年的时间内,从无到有,从默默无闻到广泛关注,已经成长为 Golang 社区的明星项目。我们在这个过程中也积累了不少工程实践经验,这里想和大家分享一下。


Why Golang?


网上已经有无数的文章描述 Golang 的优点,所以没有必要一一列举。我们选择 Golang 并不是因为跟风或者是我们是 Golang 的粉丝,而是经过理性的分析和讨论,认为 Golang 最适合我们的业务场景。


开发效率高


作为技术创业公司,我们期望维护一个精英技术团队,人数不多,但是交付速度快、代码质量高。这样我们需要一门高效的语言,Golang 在这方面令我们非常满意。Golang 易于上手,有过其他语言经验的人,很容易转到 Golang。超强的表达能力、完备的标准库以及大量成熟的第三方库,使得我们可以专心于核心业务。自动内存管理,避免了 c/c++ 中的指针乱飞的情况,易于写出正确的程序。从15年6月写下第一行代码开始,到15年9月我们已经完成第一版的产品,并且达到可开源的要求。开源后我们从社区中获得了不少有价值的反馈以及大量的第三方 Contributor。从 GopherChina 大会上,我们注意到除了大公司处理海量并发时会采用 Golang 外,越来越多的创业型公司也在使用 Golang,我想这和 Golang 的易于上手、开发效率高有很大关系。


并发友好


对于一个分布式数据库,相比较延迟而言吞吐量是一个更关键指标。当然这里并不是说延迟可以无限大,而是在保证延迟相对较低的情况下,尽可能的提高吞吐。TiDB 的设计目标是能响应海量的用户请求,我们期望有一种低成本的方式同时处理多个用户连接。同时数据库内部的一些逻辑也要求在处理用户请求的同时,还有大量的后台线程在做自己的工作。
Golang 在这方面有天然的优势,甚至可以说 Golang 就是一门为了并发而生语言。goroutine 和 channel 使得编写并发的程序变得相当容易且自然,很多情况下完全不需要考虑锁机制以及由此带来的各种问题。单个 Go 应用也能有效的利用多个 CPU 核,并行执行的性能好。与此同时,Golang 运行的性能虽然不如 C/C++,但是还没有数量级的差别,可以满足对延迟的要求。


部署简单


我们把系统部署简单易用作为 TiDB 的一个重要的设计目标。我想部署和维护过其他分布式系统(比如 Hbase)的同学,对这一点一定深有感触。
Golang 编译生成的是一个静态链接的可执行文件,除了 glibc 外没有其他外部依赖。这让部署变得很方便。目标机器上只需要一个基础的系统和必要的管理、监控工具,完全不需要操心应用所需的各种包、库的依赖关系,大大减轻了维护的负担。


Good Practice


在使用 Golang 的过程中,我们也获得了一些很好的实践经验,包括语言使用上的,以及工程上的经验。


重视单元测试


Golang 带有一个简单好用的单元测试框架,包括功能测试和性能测试。每个模块都能以非常简单的方式进行测试,以验证功能的正确性,并且避免后续被别人改错。在做 Code Review 时,我们强制要求所有的改动必须有 test case,否则 PR 会被拒绝。对于性能关键的模块,我们会加上 bench test,每次改动后会观察性能的变化。


重视 CI


数据库是一个复杂的系统,单靠单元测试无法保证系统的正确性,我们需要大量的集成测试。受益于 MySQL 的生态,我们可以获得大量可以直接用的测试资源,包括各种 ORM 自带的测试、MySQL 自带的测试、各种 MySQL 应用的测试。
TiDB 除了在提交 PR 时会做最基本的测试之外,还有十几个集成测试随时待命。我们在内部搭建了 jenkins 系统,每次代码有变动,都会自动构建这十几个测试集。如果有任何一个 Fail 了,相关人员必须停下手中的工作,马上去 Fix。另外 jenkins 也可以作为性能监测工具,每次提交后都会记录下运行时间,可以和历史记录中的时间作比较,如果运行时间突然变长,需要立即解决。


重视代码质量


代码是技术型公司最重要的产品,而且我们又是一家以开源方式运作的技术公司,代码的质量相当于公司的招牌,我们在这方面花了很大的力气。
我们制定了严格的 Code Review 制度。任何 PR 都需要有至少两个maintainer 看过,并且认为改动 OK,给出 LGTM 后,才能合并进主干。这两个做 review 工作的人要保证看过、理解每一行代码,并且要到能独立修改。否则提交 PR 的人需要给 reviewer 进行详细的介绍,直到讲懂为止。
另外我们还利用一些第三方工具来检测代码质量。比如 GoReportCard,这个工具会分析代码中的潜在问题,如赋值过的变量在作用域内没有被使用、函数过长、switch 分支过长、typo。项目在这里面的排名在一定程度上反映了代码的质量。目前 TiDB 的代码质量被评为A+级别。


一切自动化


Go 自带完善的工具链,大大提高了团队协作的一致性。比如 gofmt 自动排版 Go 代码,很大程度上杜绝了不同人写的代码排版风格不一致的问题。把编辑器配置成在编辑存档的时候自动运行 gofmt,这样在编写代码的时候可以随意摆放位置,存档的时候自动变成正确排版的代码。此外还有 golint, govet 等非常有用的工具。TiDB 将 golint、govet 的检查加入 Makefile,每次构建时,都会自动测试,这样可以防止一些低级的错误被提交。


善于利用 Pprof


在系统性能调优或者是死锁监测方面,一个 Inspector 机制能极大的提高效率。幸运的是 Golang 自带 profile 工具,简单的几行代码就能方便地提供一个 HTTP 界面,展现当前系统的所有状态。目前在开发过程中,我们会默认打开 pprof,这个机制也不止一次地帮助我们发现系统中的问题。


那些年我们踩过的坑


Golang 是一门很好的语言,但并不是一门完美无缺的语言,我们在实践中也踩过不少坑。


interface{} 的性能问题


数据库中有大量的数据类型,所以我们需要一个统一的结构来处理所有的类型。我们最初的方案是选择 interface{},这也是 Golang 中比较自由的选择。所有的数据类型都可以赋值给 interface{},所有的数据类型相关的函数也都以 interface{} 作为参数,然后在内部用 switch 语句判断类型,这样程序写起来比较简单。但是很快我们发现大量的 type assert 拖慢了我们的程序,比如下面这段代码:
var val interface{}
val = int64(100)
经过我们测试,把一个整数赋值给一个 interface{} 类型的变量,会触发一次内存分配,通常要耗时几十到上百纳秒。在运行 SQL 语句时,会有大量的类似操作,对性能的损耗严重。为了解决这个问题,我们调研了其他数据库的解决方案,最终采用自定的数据包装类型 Datum 取代 interface{},这个 Datum 需要能存放各种类型, 实现 value 对 value 赋值。同时为了减少空间占用, Datum 内部的属性会在多种数据类型之间重用。上面的代码重构后变成:
var d Datum
d.SetInt64(100)
重构后,在我们的 bench 结果中,表达式计算相关操作的性能,提升 10 倍以上。


包依赖问题


Golang 的包依赖问题一直被人诟病,可以说到目前为止,也没有完美的解决方案。


Golang 中隐藏的一些 Bug


相比 C/C++/Java/Python 等语言,Golang 算是一门年轻的语言,还是存在一些 bug。上周我们遇到一个诡异的问题,调用 atomic.AddInt64 时,在64位系统上 OK, 但是在 i386 系统上,会导致 crash。我们通过内部的 CI 发现问题后,经过研究发现这是 Golang 的一个 bug,对于 32 位系统,需要自己来保证内存对齐。


Conclusion


相比 C++/Java/Python 等语言,Golang 不支持许多高级的语言特性,但从工程的角度讲,Go 的设计是非常优秀的:规范足够简单灵活,有其他语言基础的程序员都能迅速上手。
TiDB 设计之初,我们定了一个原则: Make it run. Make it right. Make it fast. Golang 很好的满足了我们的原则。高效的开发使得我们很快能做出能 run 的产品,自动的 GC 以及内置的测试框架有利于我们写出正确的程序,方便的 Profile 工具帮助我们进行系统调优。
除此之外,Golang 还有一个成熟友好的社区,Gopher 们在从社区获得收益的同时,很愿意向社区做贡献,大量高质量的第三方库就是最明显的体现。在平时开发遇到 Golang 相关的问题时,很容易借鉴到别人的经验,节省了我们大量的时间。


最近整个 TiDB 团队都在做稳定性和性能相关的事情,也在积极地和国外优秀的开源团队交流协作,在工程和实践方面,有蛮多可以借鉴的经验,等我们11月份忙完 GA 版本的发布之后,会和大家进一步分享。另外非常感谢谢大对整个 golang 社区的贡献,让 PingCAP 从社区中汲取了很多的养分和鼓励,希望大家一起加油,共同推动社区的发展。

【译】优化Go的模式

文章分享mnhkahn 发表了文章 • 2 个评论 • 610 次浏览 • 2016-10-11 17:07 • 来自相关话题

之前写过一篇文章《为什么SignalFx metric proxy通过Go语言开发》,这篇文章将会关注以我们的ingest服务为例,来讲述我们是如何优化Go代码的。

SingalFx基于流分析和时间报警序列,例如应用程序指标,可以为时间序列... 查看全部

之前写过一篇文章《为什么SignalFx metric proxy通过Go语言开发》,这篇文章将会关注以我们的ingest服务为例,来讲述我们是如何优化Go代码的。


SingalFx基于流分析和时间报警序列,例如应用程序指标,可以为时间序列数据的现代应用开发的高级监控平台(“我的应用程序收到了多少请求?”),还有系统级指标(“我的Linux服务器使用了多少网络流量?”)。我们用户流量很大并且粒度很高,每次用户的流量都要先通过我们的ingest服务才能访问其它的SignalFx服务。


第一步:启用pprof


啥是pprof?


pprof是Go语言内置的标准方法用来调试Go程序性能。可以通过HTTP的方式调用pprof包,它能提取出来应用程序的CPU和内存数据,此外还有运行的代码行数和内容信息。


如何启用pprof?


你可以通过在你的应用增加一行代码 import _ "net/http/pprof",然后启动你的应用服务器,pprof就算是启动了。还有一种方式,就是我们在做SignalFx的时候,为了在外部控制pprof,我们附加了一些处理程序,可以用过路由设置暴露出去,代码如下:


import "github.com/gorilla/mux"
import "net/http/pprof"
var handler *mux.Router
// ...
handler.PathPrefix("/debug/pprof/profile").HandlerFunc(pprof.Profile)
handler.PathPrefix("/debug/pprof/heap").HandlerFunc(pprof.Heap)

第二步:找到可以优化的代码


要执行什么?


curl http://ingest58:6060/debug/pprof/profile > /tmp/ingest.profile
go tool pprof ingest /tmp/ingest.profile
(pprof) top7

这是干嘛的?


Go语言包含了一个本地的pprof工具来可视化输出pprof的结果。我们配置的路由/debug/pprof/profile可以收集30秒数据。我上面的操作,第一步是保存输出到本地文件,然后运行保存后的文件。值得一提的是,最后一个参数可以直接输入一个URL来取代文件(译者注:go tool pprof ingest http://ingest58:6060/debug/pprof/profile)。 命令top7可以展示消耗CPU最好的7个函数。


结果


12910ms of 24020ms total (53.75%)
Dropped 481 nodes (cum <= 120.10ms)
Showing top 30 nodes out of 275 (cum >= 160ms)
flat flat% sum% cum cum%
1110ms 4.62% 4.62% 2360ms 9.83% runtime.mallocgc
940ms 3.91% 8.53% 1450ms 6.04% runtime.scanobject
830ms 3.46% 11.99% 830ms 3.46% runtime.futex
800ms 3.33% 15.32% 800ms 3.33% runtime.mSpan_Sweep.func1
750ms 3.12% 18.44% 750ms 3.12% runtime.cmpbody
720ms 3.00% 21.44% 720ms 3.00% runtime.xchg
580ms 2.41% 23.86% 580ms 2.41% runtime._ExternalCode

为啥是这个结果


我们可以发现,这些函数我们都没有直接调用过。然而,mallocgcsacnobject还有mSpan_Sweep全部都会导致是垃圾回收的时候CPU占用高。我们可以深入了解这些函数,而不是去优化Go语言的垃圾回收器本身,更好的优化办法是我们来优化我们代码里面使用Go语言的垃圾回收器的方法。在这个例子中,我们可以优化的是减少在堆上面创建对象。


第三步:探究GC的原因


执行啥?


curl http://ingest58:6060/debug/pprof/heap > /tmp/heap.profile
go tool pprof -alloc_objects /tmp/ingest /tmp/heap.profile
(pprof) top3

做了啥?


可以注意到这次下载的URL和之前的有点像,但是是以/heap结尾的。这个将会给我们提供机器上面堆的使用总结的数据。我再一次保存成文件用户后面的比较。参数-alloc_objects将会可视化应用程序在执行过程中分配的对象数量。


结果


4964437929 of 7534904879 total (65.89%)
Dropped 541 nodes (cum <= 37674524)
Showing top 10 nodes out of 133 (cum >= 321426216)
flat flat% sum% cum cum%
853721355 11.33% 11.33% 859078341 11.40% github.com/signalfuse/sfxgo/ingest/tsidcache/tsiddiskcache.(*DiskKey).EncodeOld
702927011 9.33% 20.66% 702927011 9.33% reflect.unsafe_New
624715067 8.29% 28.95% 624715067 8.29% github.com/signalfuse/sfxgo/ingest/bus/rawbus.(*Partitioner).Partition

啥意思?


可以看出,11.33%的对象分配都发生在对象DiskKey的函数EncodeOld里面,我们预期也是这个结果。然而,没有料到的是Partition函数占用了全部内存分配的8.29%,因为这个函数只是一些基本的计算,我得着重研究一下这个问题。


第四步:找到为什么partitioner使用如此多内存的原因


执行啥?


(pprof) list Partitioner.*Partition

做了啥?


这个命令可以打印出来我关注的源代码行,还有就是函数内部哪些代码引起了堆的内存申请。这是pprof里面许多命令的其中一个。另一个非常有用的是查看调用方和被调用方。可以通过help命令查看完整的帮助并且都试一试。


结果


Total: 11323262665
ROUTINE ======================== github.com/signalfuse/sfxgo/ingest/bus/rawbus.(*Partitioner).Partition in /opt/jenkins/workspace/ingest/gopath/src/github.com/signalfuse/sfxgo/ingest/bus/rawbus/partitioner.go
927405893 927405893 (flat, cum) 8.19% of Total
. . 64: if ringSize == 0 {
. . 65: return 0, ErrUnsetRingSize
. . 66: }
. . 67: var b [8]byte
. . 68: binary.LittleEndian.PutUint64(b[:], uint64(message.Key.(*partitionPickingKey).tsid))
239971917 239971917 69: logherd.Debug2(log, "key", message.Key, "numP", numPartitions, "Partitioning")
. . 70: murmHash := murmur3.Sum32(b[:])
. . 71:
. . 72: // 34026 => 66
. . 73: setBits := uint(16)
. . 74: setSize := uint32(1 << setBits)
. . 75: shortHash := murmHash & (setSize - 1)
. . 76: smallIndex := int32(shortHash) * int32(k.ringSize) / int32(setSize)
687433976 687433976 77: logherd.Debug3(log, "smallIndex", smallIndex, "murmHash", murmHash, "shortHash", shortHash, "Sending to partition")
. . 78: return smallIndex, nil
. . 79:}
. . 80:

啥意思?


这个可以表示debug日志是引起变量从栈逃逸到堆的原因。因为调试日志并不是直接需要的,我能够直接删掉这些行。但是首先,还是让我们来确认这个假设。logherd.Debug2函数看起来封装了如下所示,如果日志级别debug没有符合条件,WithField对象并不会调用。


// Debug2 to logger 2 key/value pairs and message.  Intended to save the mem alloc that WithField creates
func Debug2(l *logrus.Logger, key string, val interface{}, key2 string, val2 interface{}, msg string) {
if l.Level >= logrus.DebugLevel {
l.WithField(key, val).WithField(key2, val2).Debug(msg)
}
}

从pprof检测看起来是传递整数到Debug2函数引起的内存分配,让我们进一步确认。


第五步:找到日志语句引起内存分配的原因


执行什么:


go build -gcflags='-m' . 2>&1 | grep partitioner.go

这个用来干啥?


通过-m参数编译可以让编译器打印内容到stderr。这包括编译器是否能够在栈上面分配内存还是一定得将变量放到堆上面申请。如果编译器不能决定一个变量是否在外部继续被调用,他会被Go语言放到堆上面。


结果


./partitioner.go:63: &k.ringSize escapes to heap
./partitioner.go:62: leaking param: k
./partitioner.go:70: message.Key escapes to heap
./partitioner.go:62: leaking param content: message
./partitioner.go:70: numPartitions escapes to heap
./partitioner.go:77: smallIndex escapes to heap
./partitioner.go:77: murmHash escapes to heap
./partitioner.go:77: shortHash escapes to heap
./partitioner.go:68: (*Partitioner).Partition b does not escape
./partitioner.go:71: (*Partitioner).Partition b does not escape

注意第77行,smallIndexmurmHash还有shortHash全部逃逸到了堆上面。编译器为短生命周期的变量在堆上面申请了空间,导致我们在对上创建了很多我们并不需要的对象。


第六步:对partition函数压测


写什么?


func BenchmarkPartition(b *testing.B) {

r := rand.New(rand.NewSource(0))

k := partitionPickingKey{}

msg := sarama.ProducerMessage {

Key: &k,

}

p := Partitioner{

ringSize: 1024,

ringName: "quantizer.ring",

}

num_partitions := int32(1024)

for i := 0; i < b.N; i++ {

k.tsid = r.Int63()

part, err := p.Partition(&msg, num_partitions)

if err != nil {

panic("Error benchmarking")

}

if part < 0 || part >= num_partitions {

panic("Bench failure")

}

}

}

压测只是简单的创建了B.N个对象,并且在返回的时候做了一个基本的检查来确认对象不会被简单的优化掉。我们推荐当程序员在优化代码之前编写压测代码来确保你在朝着正确的方向进行。


第七步:对partition函数压测内存分配


执行啥?


go test -v -bench . -run=_NONE_ -benchmem BenchmarkPartition

做了啥?


压测会按照正则匹配符合“.”条件的函数,-benchmen将会追踪每次循环的堆使用平均情况。通过传递参数-run=_NONE_,我可以节约一些时间,这样测试只会运行有“NONE”字符串的单元测试。换句话说,不下运行任何一个单元测试,只运行全部的压力测试。


结果


PASS

BenchmarkPartition-8 10000000 202 ns/op 64 B/op 4 allocs/op

意味着啥?


每一次循环消耗平均202ns,最重要的是,每个操作有4次对象分配。


第八步:删掉日志语句


咋写?


@@ -66,7 +65,6 @@ func (k *Partitioner) Partition(message *sarama.ProducerMessage, numPartitions i

}

var b [8]byte

binary.LittleEndian.PutUint64(b[:], uint64(message.Key.(*partitionPickingKey).tsid))

- logherd.Debug2(log, "key", message.Key, "numP", numPartitions, "Partitioning")

murmHash := murmur3.Sum32(b[:])

// 34026 => 66

@@ -74,7 +72,6 @@ func (k *Partitioner) Partition(message *sarama.ProducerMessage, numPartitions i

setSize := uint32(1 << setBits)

shortHash := murmHash & (setSize - 1)

smallIndex := int32(shortHash) * int32(k.ringSize) / int32(setSize)

- logherd.Debug3(log, "smallIndex", smallIndex, "murmHash", murmHash, "shortHash", shortHash, "Sending to partition")

return smallIndex, nil

}

干了什么?


我的修复方式是删除日志代码。测试期间/调试期间,我增加了这些调试代码,但是一直没有删掉它们。这种情况下,删掉这些代码最简单。


第九步:重新编译评估是否变量逃逸到了堆


如何执行?


go build -gcflags='-m' . 2>&1 | grep partitioner.go

结果


./partitioner.go:62: &k.ringSize escapes to heap

./partitioner.go:61: leaking param: k

./partitioner.go:61: (*Partitioner).Partition message does not escape

./partitioner.go:67: (*Partitioner).Partition b does not escape

./partitioner.go:68: (*Partitioner).Partition b does not escape

意味着什么?


可以发现smallIndexmurmHashshortHash变量不在有逃逸到堆的消息。


第十步:重新压测评估每个操作的内存分配情况


如何执行?


go test -v -bench . -run=_NONE_ -benchmem BenchmarkPartition

结果


PASS

BenchmarkPartition-8 30000000 40.5 ns/op 0 B/op 0 allocs/op

ok github.com/signalfuse/sfxgo/ingest/bus/rawbus 1.267s

啥意思?


注意到每个操作只消耗40ns,更重要的是,每个操作不再有内存分配。因为我是准备来优化堆,这对我来说很重要。


结束语


pprof是非常有用的工具来剖析Go代码的性能问题。通过结合Go语言内置的压测工具,你能够得到关于代码改变引起的变化的真正的数字。不幸的是,性能衰退会随着时间而攀升。下一步,读者可以练习,保存benchmark的结果到数据库,这样你可以在每一次代码提交之后查看代码的性能。

Excelize - Golang 操作 Office Excel 文档类库

开源程序astaxie 发表了文章 • 5 个评论 • 1367 次浏览 • 2016-10-11 16:13 • 来自相关话题


Excelize 是 Golang 编写的一个用来操作 Office Excel 文档类库,基于微软的 Office Open XML 标准。可以使用它来读取、写入 XLSX 文件。相比较其他的开源类库,Excelize 支持写入带有图表的文档,并且在保存后不会丢失图表样式。


安装


go get github.com/Luxurioust/excelize

创建 XLSX


package main

import (
"fmt"
"github.com/Luxurioust/excelize"
)

func main() {
xlsx, err := excelize.CreateFile()
if err != nil {
fmt.Println(err)
}
xlsx.NewSheet(2, "Sheet2")
xlsx.NewSheet(3, "Sheet3")
xlsx.SetCellInt("Sheet2", "A23", 10)
xlsx.SetCellStr("Sheet3", "B20", "Hello")
err = xlsx.WriteTo("/home/Workbook.xlsx")
if err != nil {
fmt.Println(err)
}
}

修改已有文档


package main

import (
"fmt"
"github.com/Luxurioust/excelize"
)

func main() {
xlsx, err := excelize.OpenFile("/home/Workbook.xlsx")
if err != nil {
fmt.Println(err)
}
xlsx.SetCellInt("Sheet2", "B2", 100)
xlsx.SetCellStr("Sheet2", "C11", "Hello")
xlsx.NewSheet(3, "TestSheet")
xlsx.SetCellInt("Sheet3", "A23", 10)
xlsx.SetCellStr("Sheet3", "b230", "World")
xlsx.SetActiveSheet(2)
err = xlsx.Save()
if err != nil {
fmt.Println(err)
}
}

读取 XLSX 单元格


package main

import (
"fmt"
"github.com/Luxurioust/excelize"
)

func main() {
xlsx, err := excelize.OpenFile("/home/Workbook.xlsx")
if err != nil {
fmt.Println(err)
}
cell := xlsx.GetCellValue("Sheet2", "D11")
fmt.Println(cell)
}

aurora - 基于 Web UI 的 Beanstalk 消息队列服务器管理工具

开源程序astaxie 发表了文章 • 1 个评论 • 636 次浏览 • 2016-10-11 16:11 • 来自相关话题

GitHub: github.com/Luxurioust... 查看全部


GitHub: github.com/Luxurioust/aurora


aurora 是一个 Golang 编写的基于 Web 的 Beanstalk 消息队列服务器管理工具,单文件无需依赖其他组件,支持管理本地和远程多个队列服务器。


特点



  • 跨平台支持 macOS/Linux/Windows 32/64-bit

  • 单文件简单易部署

  • 不依赖其他组件

  • 支持读取配置文件方式启动 + 登陆用户认证

  • 定时刷新 Beanstalk 队列服务器状态

  • 对每个 Tube 的 ready/delayed/buried 状态进行管理

  • 支持批量清空 Tube 中的 Job

  • 支持 Job 文本高亮显示

  • 支持 Job 模糊搜索

  • 自定义队列服务器状态监控项