×
简答题
某省自建网管系统每天产生大量网元级日志记录，省公司相关专业同事希望针对网元日志进行数据挖掘和在线分析，以优化网络运行状态，并且提前预测故障风险等。但是受限于投资规划和集团集约化运营要求，省内继续投入成本新建大数据系统周期长、见效慢。省公司领导希望借助中国联通网络数据平台能力实现省内业务场景需求。请基于你对网络数据加工处理的理解，为该省同事设计一套数据加工方案。
答案解析
正确答案：1，采集数据：省内做通网管系统日志存储单元和网络数据平台采集系统网络。通过ESB文件传输或Kafka实时消息系统将原始日志传送到总部；
2，清洗回填：利用Spark、Flink等计算框架运行数据入库任务。对原始日志进行清洗、回填等操作后入库到Hive数仓；
3，离线加工：根据省内实际业务场景设计数据加工算法，利用Spark等计算任务对清洗后数据进行进一步汇聚计算；
4，数据同步：利用网络数据平台数据同步工具将Hive数仓中的数据加工结果同步到ClickHouse等OLAP数据库；
5，在线分析：使用网络数据平台交互分析OBI工具或研发环境ODV工具连接ClickHouse数据库进行日常分析和数据挖掘。
2，清洗回填：利用Spark、Flink等计算框架运行数据入库任务。对原始日志进行清洗、回填等操作后入库到Hive数仓；
3，离线加工：根据省内实际业务场景设计数据加工算法，利用Spark等计算任务对清洗后数据进行进一步汇聚计算；
4，数据同步：利用网络数据平台数据同步工具将Hive数仓中的数据加工结果同步到ClickHouse等OLAP数据库；
5，在线分析：使用网络数据平台交互分析OBI工具或研发环境ODV工具连接ClickHouse数据库进行日常分析和数据挖掘。
相关题目
单选题
以下哪项为注册联通公众时的非必填项？
单选题
以下对联通公众登录方式说法错误的是：
单选题
携号转网操作过程：选择号码，点击携号转网，输入携转号码，____，有效期，点击确定
单选题
申请成为能人经理需经过几级审核？
单选题
发展授权菜单的功能：
单选题
成为能人需绑定____.
单选题
能人经理审核能人的菜单叫___；能人经理管理员审核能人的菜单叫___；___菜单是能人经理管理员审核能人经理的
单选题
能人操作绑定能人经理，能人经理点了不确认，如果要继续后边的流程需要怎么操作（）
单选题
如果有一个已审核的能人账号不想用了，需要删除，需要在下列哪个菜单操作（）
单选题
在web页面对能人工号进行赋权时，需要在下列哪个菜单操作（）
