2025年6月6日,大数据与计算机学院举办了第十届网络爬虫竞赛,该活动也是第二课堂项目之一。在大数据浪潮中,最有价值的就是数据,网络爬虫是一种有效的获取数据的方式。此次竞赛旨在培养学生运用Python等软件进行数据采集、分析、处理的能力,利用网络爬虫技术,可实现基于Internet的大数据信息的获取,实现各类数据信息应用,提高学生专业技术应用能力。

学生作品一

学生作品二
本次竞赛要求参赛选手对主流二手车网站进行数据爬取,并围绕车价趋势、品牌分布、地域差异、车况分析等维度展开深入研究。参赛队伍需在限定时间内完成数据采集、存储、清洗、建模及可视化展示的全流程任务,最终提交分析报告与代码。如图1和图2为部分学生提交的作品。
参与竞赛学生包括数据科学与大数据技术、物联网工程、软件工程等专业学生。此次竞赛从12月开始,大数据与计算机学院与曙光瑞翼教育共同制定竞赛方案,并进行竞赛宣讲,组织学生准备和报名参赛,并在赛前对参赛选手进行了专业指导。
经过赛前准备、提交作品、综合评审等环节,最后经赛事评委组的评审,评审出一、二、三等奖。代子俊团队获一等奖;练柏成等名同学分获其它奖项。
我校“数据中国、百校工程”项目开展加强了校企资源的融合,为学生的大数据技术能力培养提供了更多的展示与锻炼平台,学生基于工程实践项目的能力培养初显成效。通过此次竞赛,调动了学生学习积极性,提升了学生的网络爬虫技术能力,激发了学生对大数据技术的学习热情,达到较好的宣传效果与示范作用。(图文/大数据与计算机学院汤海林、徐传想)