        长距离旅行或者出差，飞机一定是出行的必备方式。对于旅行达人或者出差人员而言，登机牌也是随身之物。还记得我第一次坐飞机出行的时候，相当激动，第一次在飞机上看祖国的大好河山，有一种豪迈的既视感。有点扯远了，不知道大家出行的时候有没有认真的研究一下登机牌。登机牌上都有什么信息呢。这里从网上贴一张别人的登机牌，我们来看一下。

 在上面这张机票包含了一些重要的信息，以大木航为例，承运人：MU，航班：MU。这个MU表示的是什么呢？MU是航空公司的二字码，官方名字IATA，国际航空运输协会 (International Air Transport Association，IATA) 是一个由世界各国航空公司所组成的大型国际组织，其前身是1919年在海牙成立并在二战时解体的国际航空业务协会。MU是这个协会给中国东方航空的一个唯一身份码。

        就像我们的身份证一样，与IATA码有一点区别的是ICAO码。相对于IATA码，ICAO一般老百姓接触的比较少。因为ICAO是国际民航组织（International Civil Aviation Organization，缩写为ICAO，是协调世界各国政府在民用航空领域内各种经济和法律事务、制定航空技术国际标准的重要组织。ICAO主要用于安全保卫或空防安全活动，实施国际民航组织通信、导航、监视/空中交通管制系统，简化手续、统计、技术合作、培训等。简单一点说，就是航空管控、导航方面，一般通用的是ICAO码。而MU对应的ICAO码是CES。这个信息可以从东航官网上可以查到。

那么全球有哪些航空公司，他们的ICAO码又是什么呢？本文通过从航班追踪网站

，获取实时的航班对应的航空公司信息。本文介绍一种基于XxlCrawler的信息抓取技术，自动从网站上获取全球的航空公司信息，同时分享两种不同的数据解析方式，最后将获取的信息保存为Excel，通过本文不仅可以获取ICAO的数据，同时掌握两种数据解决方法。如果您当前对数据处理有需求，可以看看本文是否有帮助。

        当然，想获取ICAO数据不一定要从飞行跟踪网站上获取，这里只提供一种数据源。某度和某哥都可以拿到完整的ICAO数据。本节将对飞行网站上的数据进行简单说明，为下一步我们来进行数据抓取奠定基础。

        在个人浏览器中打开目标网站的地址，查看实时航班。然后点击航空公司列表，可以看到下面的页面：

在上面的页面中其实就包含了我们需要的航空公司ICAO码，以及对应航空公司的英文名称。比如CES China Eastern "China Eastern" (China) 就表示中国东方航空。

        在获取了网站展示页面之后，我们可以来看看具体的数据，打开网页的调试功能，可以看到如下的信息：

请注意图中红色框标记的地方，从最顶层的pageContainer，到下级prettyTable，然后是表格中的tbody再到tr，最后是td没一行。通过遍历td即是我们需要的数据。因此我们要解析的就是获取tr的集合，然后遍历下面的td，第一个td的文本值是航班数，第二个就是ICAO代码，第三个是航空公司的英文名称。 

        上面的知识一定要了解，这是下面章节的前提条件。

        在了解了信息渲染的对象和网页层次之后，我们就可以采用熟悉的XxlCrawler来进行全球航空公司列表及ICAO代码获取实战。本节主要讲述如何进行代码开发，同时讲述两种页面解析模式，实际生产中，可以按照自己的需要进行灵活处理。

        在进行信息抓取前，需要定义抓取对象，这里分享其代码：

private static final String GET_ICAO_URL = "https://zh.flightaware.com/live/fleet/";
	
private static final String USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36";

// 构造爬虫

XxlCrawler crawler = new XxlCrawler.Builder()
			.setUrls(GET_ICAO_URL)
            // 允许扩散爬取，将会以现有URL为起点扩散爬取整站,这里爬一个页面，不允许扩散
			.setAllowSpread(false)
			.setThreadCount(3)
			.setPauseMillis(2000)
			.setUserAgent(USER_AGENT)//设置user_agent
			.setIfPost(false)
			.setFailRetryCount(3)// 重试三次
			.setPageParser(new PageParser<PageVo>() {
			@Override
			public void parse(Document html, Element pageVoElement, PageVo pageVo) {
					// 解析封装 PageVo 对象
					// String pageUrl = html.baseUri();
					//第一种方式：使用自助解析，实现更加灵活的模式
					// printElementVo(pageVoElement);
					//第二种方式：使用pageVO的方式解析
					printVo(pageVo);
					// System.out.println(pageUrl + "：" + pageVo.toString());

			}
}).build();

需要说明的是，这里只需要对目标页面爬取一次，因此不需要进行扩散抓起，否则速度会很慢，相当于自我发现地址，同时还要实现抓取。这里通过.setAllowSpread(false) 就可以防止这种操作。

        pageVo对象用于网页数据的解析，这里我们可以将数据过滤到tbody，然后剩下的解析到属性中，这是一种防范，另一种方法是通过自定义解析。不管用那种解析，都需要对数据进行第一次解析，也就是pageVO的定义。下面来看一下PageVo对象怎么定义:

@PageSelect(cssQuery = ".pageContainer .prettyTable >tbody")

@Data
public static class PageVo {
	/**
	 * 实时航班数
	*/
	@PageFieldSelect(cssQuery = ">tr >td:eq(0)")
	private List<String> flightsNum;
	/**
	* ICAO代号
	*/
	@PageFieldSelect(cssQuery = ">tr >td:eq(1)")
	private List<String> icaoCode;
	/**
	* 航空公司(英文)
	*/
	@PageFieldSelect(cssQuery = ">tr >td:eq(2)")
	private List<String> airline;
}

 这里为了解析方便，同时在解析时，自动创建三个数组，分别用来保存第一个到最后一个td中的值。前文提过，三个值分别代表航班数、icao代码、航空公司英文名称。使用这种直接解析成数组的方式呢，优缺点都有。优点就是不需要再进行第二次解析，缺点就是，如果有多个td就得定义多个数组去接收，比较繁琐。这里暂时不提自定义解析，先把这种固定模板的解析模式讲解完。

        通过定义PageVO对象，同时给VO对象配置@PageFieldSelect(cssQuery = ">tr >td:eq(1)")，就可以实现属性的自助解析。这里新增一个方法，把解析之后的数据打印输出，方便观察调试结果。

protected void printVo(PageVo pageVo) {
	System.out.println(pageVo);
	System.out.println(pageVo.getFlightsNum().size());
	System.out.println(pageVo.getFlightsNum());
	System.out.println(pageVo.getAirline().size());
	System.out.println(pageVo.getAirline());
	System.out.println(pageVo.getIcaoCode().size());
	System.out.println(pageVo.getIcaoCode());
	for (int i = 0; i < pageVo.getFlightsNum().size(); i++) {
		System.out.println("航班数:" + pageVo.getFlightsNum().get(i) + "\t ICAO代码：" + pageVo.getIcaoCode().get(i)
				+ "\t 航空英文名称:" + pageVo.getAirline().get(i));
	}
}

运行以上代码可以看到以下结果：

 通过观察控制台输出可以看到，相关信息已经被成功爬取了。 

        如果要解析的网页信息量不是很大，以表格为例，其单元格也不是很多，可以使用上面的这种注解式的解析模式，但是如果单元格比较多，我们在pageVo中需要定义多个list，这样也是比较麻烦的。这里分享一种自定义解析模式，自己根据xpath去解析网页，获取数据。

        与注解解析模式原理差不多，自定义解析是根据网页的变化，自动根据网页结构解析内容，保存到相关集合中。

protected void printElementVo(Element pageVoElement) {
	System.out.println(pageVoElement);
	System.out.println(pageVoElement.childrenSize());
	List<AirlineVo> airlineList = new ArrayList<TestZhFlightawareCase.AirlineVo>();
	for (int i = 0; i < pageVoElement.childrenSize(); i++) {
		Element childElement = pageVoElement.child(i);
		// System.out.println(childElement.childrenSize());

		int childrenSize = childElement.childrenSize();
		System.out.println(childrenSize);

		String flightsNum = childElement.child(0).text();

		String icao = childElement.child(1).text();
		String airline = childElement.child(2).text();
		System.out.println("航班数:" + flightsNum + "\t ICAO代码：" + icao + "\t 航空英文名称:" + airline);
		airlineList.add(new AirlineVo(flightsNum, icao, airline));
	}
	// excel工具包
	ExcelUtil<AirlineVo> util = new ExcelUtil<AirlineVo>(AirlineVo.class);
	util.exportExcel(airlineList, "全球航空公司ICAO代码表-20240514");
}

@Data

@AllArgsConstructor
@NoArgsConstructor
public class AirlineVo {

	@Excel(name = "航班数")
	private String flightsNum;

	@Excel(name = "icao代码")

	private String icaoCode;

	@Excel(name = "航空公司英文名称")
	private String airlineEn;
}

代码的最后，我们实现了将抓取的信息列表保存到excel表格中。当然，您也可以根据需要，把数据保存到业务数据库中，这里暂且不表。

在数据解析之前，可以先拿到抓取的tbody信息，然后再来解析到具体的数据存储对象中。最后是解析的数据打印信息：

航班数:413	 ICAO代码：AAL	 航空英文名称:American Airlines "American"
航班数:409	 ICAO代码：DAL	 航空英文名称:Delta "Delta"
航班数:387	 ICAO代码：UAL	 航空英文名称:United "United"
航班数:309	 ICAO代码：SWA	 航空英文名称:Southwest "Southwest" (Dallas, TX)
航班数:290	 ICAO代码：CSN	 航空英文名称:China Southern Airlines "China Southern" (China)
航班数:272	 ICAO代码：RYR	 航空英文名称:Ryanair "Ryanair" (Ireland)
航班数:236	 ICAO代码：CES	 航空英文名称:China Eastern "China Eastern" (China)
航班数:213	 ICAO代码：CCA	 航空英文名称:Air China "Air China" (China)
航班数:156	 ICAO代码：IGO	 航空英文名称:IndiGO "IFLY" (New Delhi)

最后到工程文件中看一下是否成功生成了excel文件，在工程目录下有一个download目录，在这个目录中可以看到已经生成了对应的excel文件。

 打开Excel看看是不是我们想要的数据， 

通过上图可以看到，与我们的预期是一致的，已经成功的全球航空公司的名称、航班数、ICAO代码都保存到了Excel中。 

        以上就是本文的主要内容，本文介绍一种基于XxlCrawler的信息抓取技术，自动从网站上获取全球的航空公司信息，同时分享两种不同的数据解析方式，最后将获取的信息保存为Excel，通过本文不仅可以获取ICAO的数据，同时掌握两种数据解决方法。如果您当前对数据处理有需求，可以看看本文是否有帮助。全球航空公司ICAO数据可以在评论区留言获取哦。以后有机会可以把航空公司跟国家等关联起来，就可以知道哪个是航空大国。行文仓促，定有不足之处，欢迎各位朋友在评论区批评指正，万分感谢。

使用XxlCrawler抓取全球航空公司ICAO三字码

本文介绍一种基于XxlCrawler的信息抓取技术，自动从网站上获取全球的航空公司信息，同时分享两种不同的数据解析方式，最后将获取的信息保存为Excel，通过本文不仅可以获取ICAO的数据，同时掌握两种数据解决方法。如果您当前对数据处理有需求，可以看看本文是否有帮助。

软件工程师

编程语言

开发工具

后端

"本文介绍如何使用XxlCrawler抓取全球航空公司ICAO代码数据，详细解析两种网页数据提取方法，并将结果导出为Excel。包含航空公司二字码、航班数等关键信息，适合需要航空数据处理的开发者参考。提供完整代码实现和实战演示。"

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

使用XxlCrawler抓取全球航空公司ICAO三字码

使用XxlCrawler抓取全球航空公司ICAO三字码

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐