scala - Spark Streaming 中的批处理大小

Question

我是 Spark 和 Spark Streaming 的新手。我正在处理 Twitter 流数据。我的任务涉及独立处理每条推文，例如计算每条推文中的字数。据我所知， Spark Streaming 中 RDD 上的每个输入批处理形式 .因此，如果我给出 2 秒的批处理间隔，那么新的 RDD 包含两秒内的所有推文，并且应用的任何转换都将应用于整个两秒数据，并且无法在那两秒内处理单个推文。我的理解正确吗？或者每条推文形成一个新的RDD？我有点困惑...

Answer 1

在一批中，您有一个 RDD，其中包含以 2 秒间隔出现的所有状态。然后您可以单独处理这些状态。这是一个简短的例子:

 JavaDStream<Status> inputDStream = TwitterUtils.createStream(ctx, new OAuthAuthorization(builder.build()), filters);

      inputDStream.foreach(new Function2<JavaRDD<Status>,Time,Void>(){
            @Override
            public Void call(JavaRDD<Status> status, Time time) throws Exception {
                List<Status> statuses=status.collect();
                for(Status st:statuses){
                     System.out.println("STATUS:"+st.getText()+" user:"+st.getUser().getId());                      
                //Process and store status somewhere
                }
                return null;
            }});         
     ctx.start();
        ctx.awaitTermination();      
}

我希望我没有误解你的问题。

卓然