GoForum🌐 V2EX

要不要开一个新的开源小项目(已有劣质实现)支持细分场景, 10TB+ 级 SQL Server 传统数仓迁移上云,这种需求还多吗

nofishing · 2026-06-01 08:53 · 0 次点赞 · 0 条回复

回想起来已将近四年过去了,那时我刚出互联网,还没被外包抹去棱角,第一次知道到 Consulting Company ,一切都很新奇。

初入咨询(外包)行业,我被分配的第一个任务是把 SQL Server 上 10 TB 数据每天全量迁移一份到 AWS Redshift 数仓,很有挑战,很有意思。

我用一个多月时间写出了第一版,速度差了点,又花半个月优化出第二版,速度可以了,关键是 PIPE 。

那还是手搓代码的时候,我用 Python 将几个工具粘合成一条管道线,对于无法输出 stream 的,我加了 FIFO 。很有意思,不过没人懂一个 10 年 UNIX 爱好者的快乐。后来我把核心的部分独立出来一个很粗糙的小工具。

一晃竟四年了,现在是 Vibe Coding 的时代,以前我不会写前端,现在我写了很多很多前端。以前我不会写 C 、写 Rust 、写 .Net ,现在我有 AI 了。

过去了那么久,现在又有了同样的需求,要把 SQL Server 迁移上云,只是不再是 Redshift ,换成了 Snowflake ,好像一下子所有人都要迁 Snowflake 。可是我已经没有任何兴趣了,这是很无聊的事。可是我已经要离开这个项目了,这是很恶心的地方。

一切都与我无关,看戏的同时,我又在想,要不要弥补当初胶水男孩的遗憾,再来一次,可以从底层开始设计,我有 AI 。

0 条回复
添加回复
你还需要 登录 后发表回复

登录后可发帖和回复

登录 注册
主题信息
作者: nofishing
发布: 2026-06-01
点赞: 0
回复: 0