职位描述:
岗位职责 一云计算架构与基础设施 1.云平台设计与部署 基于 AWS/Aliyun/Azure 等公有云搭建高可用可扩展的物联网云平台支持海量设备接入如百万级陪护机器人 设计 VPC 网络架构安全组策略实现设备-云端安全通信TLS/DTLS 构建混合云方案边缘节点 + 中心云优化数据本地化处理与云端协同 2.容器化与微服务治理 使用 Kubernetes/ECS 管理容器化服务如设备管理微服务数据分析API 实现服务自动扩缩容HPA灰度发布与故障自愈Service Mesh 3.资源成本优化 分析云资源使用率如 EC2 负载峰值S3 存储冷热数据分布制定成本优化策略预留实例/Spot 实例混用 设计自动化资源回收机制如闲置 EKS 集群夜间关闭 二数据工程与处理 1.数据管道构建 开发端到端数据流水线 设备端定义数据采集规范如 RK3588S 传感器数据格式实现边缘计算Apache Edgent预处理 传输层通过 Kafka/Pulsar 实现设备数据异步传输保障高吞吐与低延迟 存储层设计时序数据库InfluxDB/TDengine存储传感器数据关系型数据库PostgreSQL存储业务元数据 2.大数据处理与分析 使用 Spark/Flink 处理实时流数据如机器人运动轨迹异常检测离线批处理生成报表用户行为分析 构建数据湖Delta Lake/Iceberg支持多模态数据日志视频片段音频的统一存储与查询 3.数据治理与质量 实现数据血缘追踪Apache Atlas元数据管理保障数据一致性 开发数据质量监控规则如传感器数据缺失率报警自动触发数据修复流程 三物联网场景专项能力 1.设备管理与协议适配 对接嵌入式团队定义设备通信协议MQTT/CoAP开发设备影子Device Shadow服务支持设备状态同步与指令下发 实现 OTA 升级服务管理固件版本灰度发布与回滚策略 2.边缘计算协同 部署 AWS Greengrass/Aliyun Link IoT Edge实现边缘节点 AI 模型推理如 RK3588S 人脸识别结果过滤后上报 设计边缘-云数据同步策略如仅上传异常事件数据降低带宽成本 3.安全与合规 实施数据加密KMS 管理密钥设备身份认证X.509 证书满足 GDPR/HIPAA 等合规要求 构建审计日志系统记录数据访问与操作痕迹 任职资格 1.计算机科学数据科学相关专业本科及以上学历 2.熟悉MySQL/MongoDB等数据库技术 3.有大数据处理经验Spark/Flink者优先 熟悉云平台AWS/Azure及DevOps工具链者优先
举报
岗位职责 一云计算架构与基础设施 1.云平台设计与部署 基于 AWS/Aliyun/Azure 等公有云搭建高可用可扩展的物联网云平台支持海量设备接入如百万级陪护机器人 设计 VPC 网络架构安全组策略实现设备-云端安全通信TLS/DTLS 构建混合云方案边缘节点 + 中心云优化数据本地化处理与云端协同 2.容器化与微服务治理 使用 Kubernetes/ECS 管理容器化服务如设备管理微服务数据分析API 实现服务自动扩缩容HPA灰度发布与故障自愈Service Mesh 3.资源成本优化 分析云资源使用率如 EC2 负载峰值S3 存储冷热数据分布制定成本优化策略预留实例/Spot 实例混用 设计自动化资源回收机制如闲置 EKS 集群夜间关闭 二数据工程与处理 1.数据管道构建 开发端到端数据流水线 设备端定义数据采集规范如 RK3588S 传感器数据格式实现边缘计算Apache Edgent预处理 传输层通过 Kafka/Pulsar 实现设备数据异步传输保障高吞吐与低延迟 存储层设计时序数据库InfluxDB/TDengine存储传感器数据关系型数据库PostgreSQL存储业务元数据 2.大数据处理与分析 使用 Spark/Flink 处理实时流数据如机器人运动轨迹异常检测离线批处理生成报表用户行为分析 构建数据湖Delta Lake/Iceberg支持多模态数据日志视频片段音频的统一存储与查询 3.数据治理与质量 实现数据血缘追踪Apache Atlas元数据管理保障数据一致性 开发数据质量监控规则如传感器数据缺失率报警自动触发数据修复流程 三物联网场景专项能力 1.设备管理与协议适配 对接嵌入式团队定义设备通信协议MQTT/CoAP开发设备影子Device Shadow服务支持设备状态同步与指令下发 实现 OTA 升级服务管理固件版本灰度发布与回滚策略 2.边缘计算协同 部署 AWS Greengrass/Aliyun Link IoT Edge实现边缘节点 AI 模型推理如 RK3588S 人脸识别结果过滤后上报 设计边缘-云数据同步策略如仅上传异常事件数据降低带宽成本 3.安全与合规 实施数据加密KMS 管理密钥设备身份认证X.509 证书满足 GDPR/HIPAA 等合规要求 构建审计日志系统记录数据访问与操作痕迹 任职资格 1.计算机科学数据科学相关专业本科及以上学历 2.熟悉MySQL/MongoDB等数据库技术 3.有大数据处理经验Spark/Flink者优先 熟悉云平台AWS/Azure及DevOps工具链者优先
举报
大数据开发工程师职业大全:
- 你可能感兴趣的职位
- 最近浏览记录
-
0.8-1.4万/月
-
0.8-1.6万/月
-
0.8-1.5万/月
-
0.8-1.4万/月
-
5.5-8千/月
-
5-6千/月
-
6-7千/月
-
0.6-1万/月
-
¥6-6.5千/月
- 公司规模:50 - 99人
联系方式
- 联系人:殷燕
- 手机:会员登录后才可查看
- 邮箱:会员登录后才可查看
- 邮政编码:
工作地址
- 地址:深圳市南山区桃源街道大学城社区笃学路9号国家超级计算深圳中心科研楼七楼