信息输出器

信息输出器的作用是将 内容解析器 解析出来的数据输出到指定的目标当中。

信息输出器的定义如下:

/**
 * 信息输出器
 * 
 * @author yishui
 * @date 2019年11月20日
 * @version 1.0.0
 */
public interface Pipeline {
	/**
	 * 输出解析出来的数据
	 * 
	 * @param crawlerData 风铃虫的输出数据
	 */
	void recieve(final CrawlerData crawlerData);
}

用户可以根据此接口实现自定的信息输出器，将信息输出到自定义目标当中。

实例代码如下：

1 先实现一个爬虫信息输出器

/**
 * 默认实现的信息输出器<br/>
 * 输出信息到日志
 * 
 * @author yishui
 * @date 2019年11月28日
 * @version 1.0.0
 */
@Slf4j
public class SimplePipeline implements Pipeline {

	@Override
	public void recieve(CrawlerData crawlerData) {



		log.debug(SEPARATOR);
		log.info("{} request : {} , out data : {} {}", SEPARATOR, crawlerData.getRequest(), crawlerData.getData(),
				SEPARATOR);

	
	}

}

2 将信息输出器配置到风铃虫中

Crawler crawler = ....

crawler.setPipeline(new SimplePipeline())