加入收藏 | 设为首页 | 会员中心 | 我要投稿 南通站长网 (https://www.0513zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

详解内存管理机制的变更

发布时间:2021-04-12 15:23:16 所属栏目:外闻 来源:互联网
导读:好,我是正在学习如何蒸鱼的煎鱼。 在上一篇 Go1.16 特性介绍的文章中我们有提到,从 v1.16 起,Go 在 Linux 下的默认内存管理策略会从MADV_FREE 改回 MADV_DONTNEED 策略。 这时候可能至少分两拨小伙伴,分别是: 知道是什么,被这个问题 折磨 过的,瞬间眼

好,我是正在学习如何蒸鱼的煎鱼。

在上一篇 Go1.16 特性介绍的文章中我们有提到,从 v1.16 起,Go 在 Linux 下的默认内存管理策略会从MADV_FREE 改回 MADV_DONTNEED 策略。

这时候可能至少分两拨小伙伴,分别是:

  • 知道是什么,被这个问题 “折磨“ 过的,瞬间眼前一亮。
  • 不知道是什么,出现了各种疑惑了,这说的都是些什么。

灵魂拷问

你有没有以下的疑问,或者是否清楚:

  • 文中所说的 MADV_FREE 是什么?
  • 文中所说的 MADV_DONTNEED 是什么?
  • 为什么特指 Go 语言的 Linux 环境?
  • 为什么是说从 MADV_FREE改回 MADV_DONTNEED?

在今天这篇文章中我们都将进一步的展开和说明,让我们一同来了解这个改来改去的内存机制到底是何物。

madvise 爱与恨

在 Linux 系统中,在 Go Runtime 中通过系统调用 madvise(addr, length, advise) 方法,能够告诉内核如何处理从 addr 开始的 length 字节。

重点之一就是 ”如何处理“,在 Linux 下 Go 语言中目前支持两种策略,分别是(via @felix021):

  • MADV_FREE:内核会在进程的页表中将这些页标记为 “未分配”,从而进程的 RSS 就会变小。OS 后续可以将对应的物理页分配给其他进程。
  • MADV_DONTNEED:内核只会在页表中将这些进程页面标记为可回收,在需要的时候才回收这些页面。

所带来的影响

Go 语言官方恰好就在 2019 年的 Go1.12 做了如下调整。

  • Go1.12 以前。
  • Go.12-Go1.15.

Go1.12 以前

Go Runtime 在 Linux 上默认使用的是 MADV_DONTNEED 策略。

社区里所遇到的案例可得知,该次调整带来了许多问题:

  • 引发用户体验的问题:Go issues 上总是出现以为内存泄露,但其实只是未满足条件,内存没有马上释放的案例。
  • 混淆统计信息和监控工具的情况:在 Grafana 等监控上,发现容器进程内存较高,释放很慢,告警了,很慌。
  • 导致与内存使用有关联的个别管理系统集成不良:例如 Kubernetes HPA ,或者自定义了扩缩容策略这类模式,难以评估。
  • 挤压同主机上的其他应用资源:并不是所有的 Go 程序都一定独立跑在单一主机中,自然就会导致同一台主机上的其他应用受到挤压,这是难以评估的。

从社区反馈来看是问题多多,弊大于利。

官方本想着想着性能更好一些,但是在现实场景中引发了不少的新问题,甚至有提到和 Android 流程管理不兼容的情况。

有种 “捡了芝麻,丢了西瓜” 的感觉。

Go1.16:峰回路转

既然社区反馈的问题何其多,有没有人提呢?有,超级多。

(编辑:南通站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读