岗位职责: 1、负责公司互联网数据ETL数据清洗工作; 2、负责在分布式离线/在线/实时计算平台上的设计和研发; 3、负责Hadoop平台数据仓库、数据集成、数据管理的整体架构设计工作。 4、负责服务器端的逻辑编写和优化。 职位要求: 1、有数据库/hive两年以上使用经验,参与过数据仓库的开发与维护工作,有独立建设和维护数据仓库经验者优先 2、熟练掌握Java 程序开发语言; 3、熟悉大数据处理平台 Hadoop、Hive、MR、Spark; 4、了解缓存、队列等技术,熟悉 Redis、Kafka 等消息中间件; 5、熟悉scala语言,熟悉spark streaming 和spark sql 6、熟悉主流的云计算、大数据产品(hadoop、spark、flume等)和数据分析技术(机器学习)并具有相关项目经验