×
简答题
某省自建网管系统每天产生大量网元级日志记录，省公司相关专业同事希望针对网元日志进行数据挖掘和在线分析，以优化网络运行状态，并且提前预测故障风险等。但是受限于投资规划和集团集约化运营要求，省内继续投入成本新建大数据系统周期长、见效慢。省公司领导希望借助中国联通网络数据平台能力实现省内业务场景需求。请基于你对网络数据加工处理的理解，为该省同事设计一套数据加工方案。
答案解析
正确答案：1，采集数据：省内做通网管系统日志存储单元和网络数据平台采集系统网络。通过ESB文件传输或Kafka实时消息系统将原始日志传送到总部；
2，清洗回填：利用Spark、Flink等计算框架运行数据入库任务。对原始日志进行清洗、回填等操作后入库到Hive数仓；
3，离线加工：根据省内实际业务场景设计数据加工算法，利用Spark等计算任务对清洗后数据进行进一步汇聚计算；
4，数据同步：利用网络数据平台数据同步工具将Hive数仓中的数据加工结果同步到ClickHouse等OLAP数据库；
5，在线分析：使用网络数据平台交互分析OBI工具或研发环境ODV工具连接ClickHouse数据库进行日常分析和数据挖掘。
2，清洗回填：利用Spark、Flink等计算框架运行数据入库任务。对原始日志进行清洗、回填等操作后入库到Hive数仓；
3，离线加工：根据省内实际业务场景设计数据加工算法，利用Spark等计算任务对清洗后数据进行进一步汇聚计算；
4，数据同步：利用网络数据平台数据同步工具将Hive数仓中的数据加工结果同步到ClickHouse等OLAP数据库；
5，在线分析：使用网络数据平台交互分析OBI工具或研发环境ODV工具连接ClickHouse数据库进行日常分析和数据挖掘。
题目纠错
新题新题新题新题2022.9.9
相关题目
单选题
基于当前战略渠道面临的趋势与挑战，以“（）”为目标，开展战略渠道数字化赋能规划，支撑营销模式创新升级，强化渠道终端一体化，实现轻成本、轻载化运营，通过数字化，提升战略渠道业务发展能力和渠道效能。
单选题
终端振兴计划中，锻造提升终端连锁化、集约化操盘能力的任务有
单选题
终端振兴计划中，建立泛智联盟，打造终端产业链新生态的任务有
单选题
终端振兴计划中，深化渠道终端一体化运营，实现渠道营销畅通的任务有
单选题
终端振兴计划中，着力解决上游产品供给，实现终端产品贯通的任务有
单选题
终端振兴计划中，着力解决上游产品供给，实现终端产品贯通的任务有
单选题
终端振兴计划中，坚持终端业务全融合，实现重点领域终端发展上规模的任务有
单选题
提升集团公司终端连锁化、集约化操盘能力，加快推进（ ）重点任务。
单选题
深化终端渠道一体化运营，重点抓实（ ）等渠道触点产能提升。
单选题
集约化资源运营，主要是聚合（ ）等全集团各类资源，形成差异化资源体系。
