但是最近在测试spark on k8s的时候,遇到了一些性能问题,于是记录一下排查过程,做一下案例的复盘。
如何从零开始搭建生产系统
搭环境,其实是很多人学习的第一步,因为只有搭好了基础环境,才能使用各种工具。在自己的电脑搭一个私人的环境就非常简单,什么都不用思考,按照教程达到工具能跑通的程度就可以了,后面就可以自己去随心所以的使用工具。但是,如果我不只是想要自己捣鼓几个轻量的小工具,而是想把整套系统应用到生产环境,就没有那么简单。
正巧最近工作在调研技术升级,需要将一些传统技术上云,相当于需要从零搭建一个全新的生产可用的系统。今天就来聊聊一些心得。
一些小工具分享...
最近工作的时候接触了一些有意思的东西,这里记录一下,以后或许能用得到。
jd-gui
这是java反编译工具,拥有ui界面,非常方便 这是下载地址
arthas
一个可用于线上诊断的集成工具 ,可以分析类的记载包,反编译代码等等。注意使用的时候一定要在和java进程同权限用户下
这是下载地址
这是快速入门
工具入口界面:
1 | [INFO] Try to attach process 71560 |
docusaurus
最近发现的一个轻量化静态博客,使用较新版本的node js开发,整体风格还是比较活泼亮丽的。
这是他们的官网
同时这里还有很多用户案例
后面如果有空可以整一个
给Spark添加自定义的metric信息
最近因为一些工作场景需要获取spark 任务的更多信息,所以要修改spark 源码添加新的metric。顺便串一下整个metric体系,形成整体认知。
以下讨论基于spark3.1.2,让我们开始吧
一些感想
今天理发的时候看到两个初高中生,过来问理发师傅:两个十块够不够?理发的价格是20元一位,理发师很自然的笑了笑,摇了摇头,我也心里暗暗吐槽,现在什么时代,剪头发还有十元的。结果一位女生显得很疑惑,又问:一位多少钱?理发师答:二十。结果女生显得更加疑惑了,说:一位二十,两个十块怎么不行?我当时就纳闷了,这女生的算数怎么学的?一位二十,两位十元,四位难不成5元?真是有够好笑的。理发师显然也觉得好笑,但因为专注着理发,就假装不理睬女生的疑惑。只见两位女生又是困惑又是不解,相互嘟囔了几句:明明二十一位,两个十块怎么不行?过了许久才恍然大悟,对理发师说:就她剪,我不剪。理发师也就瞬间明白了她们的意思。但是我依然还蒙在鼓里:一个人剪,也要二十一位啊?又怎么能分成两次十块,难不成还能今天剪一半,明天剪一半?
想了好久,突然看到其中一位女生掏出一张十元的纸钞,塞进自动取号机,我这才恍然大悟:原来她们说的两个十块,指的是两张十元纸钞。这样我觉得又是好笑又是有趣,好笑在于自己居然被这样的文字游戏给绊住,半天没转过弯,有趣的是,我竟然从来没有想过有十元纸钞这种可能,仿佛二十元在我心中就是不可拆分的,时光流转,很多以前常见的事物慢慢变得不再常见,我们是否还会对他们保有记忆?换一个角度,我们专注于数字时代的产物,对虚拟世界的概念有着很强的接受能力,但同时我们也可能在慢慢不习惯现实世界中的种种操作,例如用纸币付钱,用笔写日记,渐渐的,我们变得只会依赖电子产品和虚拟软件,却不擅长现实中的种种人情世故,这是否可以称得上是一种赛博迂腐?