来源:公司资讯 | 2021.09.02
最近 IT 行业 有三个 事件 特别 值得 观察 ,首先 是《北京市 外来 新生代 农民工 监测 报告 》,在这个报告 中官方 首次 将从事 软件 和信息技术 服务行业 的人员 列入 农民工 范畴 ,这种 说法 虽然 得到 广大 程序员 们的广泛 认同 ,不过 为什么 软件开发 与传统 的农业生产 越来越 像,也值得 深思 。
其二 ,OpenAI发布 了自动编码 系统 ,这是 一款 可以 将英文 需求 描述 直接 转换 为代码 的神奇 工具 。
虽然 Codex首发 版本 的表现 还不能 完全 尽如人意 ,但AI 编码 技术 的发展 却给开发者 们敲响 了警钟 ,未来 只要 有创意和算力 ,也许 真的 就就万事俱备 了,程序员 也许 并不是 一个 必选项 。
其三 ,国际 IT 咨询机构 Forrest发布 了《云原生开发者 洞察 白皮书 》,对于 云原生时代 对于 开发者 的机遇 、挑战 、升级 路径 等等 问题 进行 了探讨 ,对于 《开发者 白皮书 》中的观点 笔者 深表 赞同 ,云原生到底 会如何 影响 未来 的开发模式 ,对于 这个问题,每一个开发者 应该 都会 有自己 的思考 。
笔者 认为 云原生时代 ,开发者 要学着利用 Codex这样 的新工具 ,在云原生的大农场 上进行 编程 ,而云原生则提供 了一个 真正 能屏蔽 底层 的开发平台 。
云原生时代 的开发 最重要的是「人」「云」合一 ,而「人」「云」合一 的关键 则在于 全栈 ,只有 真正 做到 全栈 融合 才能 将各技术领域内坑洼 不平 的丘陵 ,变成 真正 肥力 十足 的平原 ,挖掘出 工具 的潜力 ,发挥 云原生的价值 。
云原生想建 黄金农场 不容易
无论是 K8s、容器 还是 最近 火爆 全网 的Serverless、Dubbo,云原生相较 于传统 技术 其最大 的优势 在于 能够 充分利用 云原生平台 的组件 及工具 链,屏蔽 底层 技术 ,使开发者 耕耘 的土地 更像是 一片 广袤 的农场 ,帮助 开发者 节省时间 ,但是 想屏蔽 底层 光凭嘴说远远不够 ,尤其是在大数据 及AI 领域 更是如此。
根据 IDC 定义 ,大数据 是指 现有 技术 难以 处理 的数据 。
从历史 来看 ,在谷歌 提出 大数据 三驾马车 的论文 时,当时 的关系 型数据库技术 的确 难以 处理 大规模 的数据 。
传统 SQL 在谷歌 海量 的查询 记录 面前 ,根本 跑不出 结果 。
也正是 由于 数据 越来越大,人们 对于 数据库 的看法 开始 转变 ,从一开始 单纯 认为 数据库 是加工 车间 ,转变 为数据库 也需要 是储存 仓库 ,而数据 已经 是加工 完成 的成品 ,没有 被重塑 修改 回滚 的需求 。
而随着 大数据应用 的进一步 拓展 ,业界 发现 价值 密度 更低的非结构化数据 也有 储存 及挖掘 的必要 。
比如 客服 的对话 可能是语音 、文字 甚至 是图像 、视频 ,这都不是 传统意义 上数据库 、数仓可以 处理 的结构化数据 ,因此 用于 储存 非结构化 的数据湖出现 了。
在了解 数据存储 模型 的演进 过程 后,我们可以看出 关系 型数据库 、数据仓库 与数据湖的底层 构建 模型 并不相同,大数据 领域 各个 技术栈几乎 全部 是由开源社区 推动 的,数据 技术 的快速 发展 却也带来 了领域 内部 的无尽 割裂 。
数据 是AI 乃至 整个 IT 行业 的血液 ,是业务 开发 链条 上的重要一环,但各环节 的兼容性 不佳也引发 了很多 衍生 问题 。
这其中 最严重 的是数据处理 的时效性 问题 ,大数据工程师 往往 需要 在T+1日以后 才能 给出 报表 ,但是 产品经理 却永远 需要 实时 的用户画像 ,对于 时效性 的要求 成为 了技术 与业务 之间 永远 无法 达成 的协议 。
当前 ,科技企业要处理 的数据量 还在 迅速 增长 ,从笔者 了解 到的情况 ,各大厂 的数据 量级 正在 以年化 80 %左右 的速度 增长 ,如果 按照 现在 的迭代 速度 ,大数据技术 栈继续 分化 ,那么 云厂商 如果 拿不出 全栈 大数据 解决方案 ,开发者 的云原生开发 也就根本 无从谈起 。
因此 只有 提供 包括 数据采集 、数据 规范 、数据开发、数据服务 、数据治理 、数据可视化 在内 的全栈 式大数据工具,将数据集成开发平台 与应用 云平台 与容器 大数据平台 打包 交付 ,才是 有竞争力 的云原生产品 。
AI 落地 ,必走全栈 之路
如果说 大数据 需要 全栈 解决方案 是个锦上添花 的选项 ,那么 AI 对全栈 的需求 则是必选项 。
从目前 AI 的发展趋势 来看 ,最新 的人工智能 模型 对于 算力 的要求 往往 都是 非常 高的,比如 谷歌 的T5 ,其整个 模型 的参数 数量 达到 了惊人 的110 亿,甚至 谷歌 科学家 直接 在T5 的论文 指出 :“越大的模型 往往 表现 更好 。
这表现 扩大 规模 可能 仍然 是实现 更好 性能 的方式 。“
不过 一般 的创业公司 如果没有 雄厚 的资金 实力 是不可能 搭建 这种 级别 的AI 训练 平台 。
像去年 火爆 一时 的GPT -3的出现 充分证明 了大力 就是 能够 出奇迹 ,这个 训练集45 TB ,参数 规模 1750 亿,预训练 结果 700 G的AI 模型 一经 问世 就成为 了大众 瞩目 的焦点 。
一时之间 用GPT -3作诗 、作曲 乃至 画画 的应用 层出不穷 ,不过 GPT -3的训练 成本高 达上千万美元 ,这也进一步 提升 了AI 领域 的入门 门槛 ,只有 巨头 才能 玩得起AI 。
不过 另一个 角度 讲这样 的趋势 也推进 了AI 全栈 技术 与云的结合 ,只有 将云、人与 智能终端 结合 到一起 ,才能 降低 门槛 ,促进 AI 行业 创新发展 。
而这种 结合实际 与全场景 全栈 AI 是同一 概念 ,只有 算力 不行 ,只有 框架 不行 ,只擅长 训练 集群 也不行 ,只有 把这些 方面 结合 到一起 ,做到 没有 短板 才能 做好 AI 云,才能 让AI 充分发挥 威力 ,体现 价值 。
云原生呼唤 程序员 的创造性
从OpenAI官方 的说法 来看 ,Codex试图 理解 需求 描述 中的逻辑 ,并尽可能 生成 最好 的代码 。
与其 同门 师兄 Copilot一样 ,Codex也是基于 GPT -3构建 的。
不过 目前 GPT -3的工作原理 也就决定 了Codex、Copilot等辅助工具 本质 上还是 播种机 和收割机 ,只能 高效率 的模仿 ,却很难 进行 创造性 的自主 、独立 工作 ,也就是说 目前 AI 在编程 领域 远未 达到 AlphaGo时刻 ,因此 在这个编程工具辅助 能力 极大 发展 ,基础 底座 被云原生打造成 一片 坦途 的情况 下,复制粘贴 式的开发 将逐渐 失去 价值 ,但对于 程序员 创造力 与整合 能力 却要求 更高 了。
在云原生时代 ,有两种 开发 方向 ,一是 云原生的底层 基础 开发 ,这点 在上文的大数据 和AI 部分 已经 详细介绍 过了 ,底层 技术 关键在于 整合 与打通 ,性能 与资源 的开销 是最需要 考虑 的方面 。
二是基于 云原生的开发 ,这需要 对于 云原生各模块 的进行 创造 式的组合 ,从而 形成 新的生产力 。
由于 辅助工具 最擅长 的就是 模仿 与简单 的修补 ,这方面 AI 很可能比人类 程序员 强很多 ,因此 无论是 哪种 开发 方向 ,有创造力 的大神 级程序员 都会 比以往 更加 紧俏 。
人云 合一 ,方显 原生 本色
去年 哈佛大学 孵化 的脑机接口创业 企业 BrainCo也发布 了其最新产品 BrainOS,其主要 的创新点在于 脑机协同 的操作系统 ;年初 华为发布了HarmonyOS2.0 操作系统 ,主打 是端端 协作 的分布式 操作系统 ;Codex、Copilot更是 将程序员 与AI 工具 结合 的大幕 正在 开启 。
未来 ,人云 协同 将成为 云原生领域 的核心 ,而人云 协同 将推动 各行各业 的智能化 升级 。
不同于 数字化转型 ,智能化 是以人为 中心 ,智能 需要 和人 协同工作 。
因此 ,也许 智能机器永远 都无法 取代 人,但人与 云达到 最完善 、最完美 的共融 共创 的云原生,终将 改变 每个 领域 、每个 行业 以及 每个人 的生活方式 。
作者 :马超 ,CSDN 博客 专家 ,阿里云 MVP 、华为云 MVP ,华为 2020 年技术社区 开发者 之星 。