PySpark自定义Transformer 使用python实现自定义Transformer以对pyspark的pipeline进行增强 2022-03-16 机器学习 #pyspark #transformer
PySpark学习笔记 pyspark使用笔记,含1.jupyter-docker环境搭建 2.dataframe2jdbc,jdbc2dataframe 3.模型训练及保存 4.模型导入及使用 等。 2022-03-16 机器学习 #笔记 #pyspark #jupyter
vbs实现wincc或mysql数据导出成csv 工作要求,需要编写vbs实现将wincc数据导出,估计以后也没机会再接触这门古董语言了,所以就记录一下。因为wincc用得太少了,测试中会使用mysql代替。 2022-01-19 后端开发 #vbs #wincc #mysql #csv
基于hdfs的ftp服务器的设计与实现 本文主要记录hdfs-ftp-server的设计思路、实现过程,使用的话直接看github项目文档即可。项目地址:https://github.com/linshenkx/hdfs-ftp-server 2022-01-17 后端开发 #ftp #hdfs
基于kube-prometheus的大数据平台监控系统设计 本文介绍了如何基于kube-prometheus设计一个监控系统, 以灵活简单的方式对kubernetes上的应用进行指标采集,并实现监控报警功能。本文提供了作者的应用示例,另外还记录了作者在学习、使用Prometheus过程中的一些笔记,如arm版镜像获取、一些工具的使用等。 2021-12-28 Kubernetes #kubernetes #prometheus #bigdata
基于k8s的家用大数据集群设计与实现 使用3台废旧笔记本搭建k8s集群,部署大数据组件,利用路由器进行异地组网,配合wsl作为管理和客户端,实现随时随地,在工作笔记本上以本地访问的体验使用自建家庭大数据平台进行学习、开发、测试。 2021-10-24 大数据 #生产力 #大数据 #WSL
个人博客系统设计(支持hexo和halo同步) 本文主要介绍自己的博客系统是如何设计的,并使用Halo博客同步器 将hexo(git pages: https://linshenkx.github.io )文章自动同步到halo( http://linshenkx.cn )。实现一次编写、两套博客系统并存、多个网址访问的效果。2022.11 更新:因其审核问题删除gitee个人主页(无标准无原因,你永远不知道为什么无法发布) 2021-09-13 程序员杂记 #生产力 #博客 #hexo #halo