相关题目
MapReduce过程中,默认情况下一个分片就是一个块,也是一个mapTask。
Kettle中有两种脚本文件transformation(转换ktr结尾)和job(任务kjb结尾)
kafka中的Broker在收到新消息后会立到存入磁盘?
Kafka中Partition replication之间同步数据,从partition的leader复制数据到follower需要线程(replicationFetcherThread),Follower主动从Leader批量拉取消息的,极大地提高了吞吐量。
Kafka可以同时解决在线应用消息和离线应用日志的数据处理问题。
Kafka Producer读数据流程是,Producer连接任意存活的Broker,请求指定的Topic、Partition的Lader元数据信息,然后直接与对应的Broker直接连接,发布数据。
Kafka Consumer写数据的总体流程是,Consumer连接指定的Topic Partition所在的LeaderBroker,用主动的方式从Kafka中获取消息。
Kafak所有消息都会被持久化到硬盘中,同时Kafka通过对Topic Partition设置 Replication来保障数据的可靠性。
ISA类数据采集的数据源是textfile。
INSERT语句在数据导入时效率比较低,因此不要使用INSERT的方式来对数据表的写入。
