Spark 优化

==spark任务监控==

image

==序列化优化==

  1. java的序列化(默认)
  2. Kryo序列化(内存小/速度快)
    需要将自定义的类先注册
    image

==内存管理优化==

==广播变量优化==

广播变量每一个机器一个

普通变量每一个task一个

将变量尽量转换为广播变量

==数据本地化优化==

数据与程序的距离优化

尽量在同一个节点

打赏
  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!
  • Copyrights © 2018-2020 丁振莹
  • 访问人数: | 浏览次数:

你的每一分支持,是我努力下去的最大的力量 ٩(๑❛ᴗ❛๑)۶

支付宝
微信