本课程掌握数据采集的方法和工具,包括网络爬虫、API调用等,以及数据预处理和数据转换技术。 通过本课程的学习,学生将能够从各种数据源采集数据,并进行有效的数据预处理。
数据采集的概念、重要性、方法和工具,以及数据源的分类和特点。
网络爬虫的基本原理、常用库和框架,以及爬取策略和反爬措施。
API的概念、类型、认证方式,以及使用Python进行API调用的方法。
数据预处理的重要性、方法和技术,包括数据清洗、数据集成、数据变换等。
数据格式转换、数据类型转换、数据标准化和归一化等技术。
数据质量的评估指标、方法和工具,以及数据质量改进的策略。