慕课实战——移动端Python爬虫实战:数据抓取+数据可视化是一门以Python移动端数据采集为核心的实战课程,课程围绕当前热门的移动互联网数据抓取技术展开,帮助学员掌握移动App数据分析、接口抓包、数据清洗以及数据可视化等核心技能。课程采用理论与实践相结合的教学方式,通过多个真实项目案例,带领学员深入了解移动端数据获取的完整流程,适合Python开发者、数据分析师、爬虫工程师以及希望进入大数据行业的学习者。

课程首先介绍Python爬虫开发环境的搭建,包括Python基础知识、常用开发工具、第三方库安装以及网络请求原理等内容。随后重点讲解Requests、BeautifulSoup、lxml等常见数据抓取工具,并逐步引入移动端抓包技术,详细讲解Fiddler、Charles、Mitmproxy等抓包工具的使用方法,使学员能够分析App与服务器之间的数据交互过程。

在移动端数据采集部分,课程重点讲解Android和iOS应用接口分析方法,包括HTTP、HTTPS请求解析、JSON数据处理、接口参数分析、Token验证、Cookie管理以及常见反爬机制应对思路。通过多个真实案例,学员能够掌握如何定位数据接口、模拟请求、批量采集数据,并学习分页抓取、异步请求、代理IP等提升采集效率的方法。

为了提高数据处理能力,课程还系统介绍Python数据分析相关库,包括Pandas、NumPy等工具,帮助学员完成数据清洗、格式转换、数据统计和异常值处理等工作。针对采集到的大量数据,课程还安排数据库存储实践,包括MySQL、SQLite等数据库操作,实现数据的持久化管理。

数据可视化是本课程的重要组成部分。课程详细讲解Matplotlib、Pyecharts等可视化工具的应用,通过柱状图、折线图、饼图、词云图、地图、热力图等多种图表,将复杂的数据直观展示出来。同时结合真实业务案例,实现销售分析、用户画像、评论情感分析、热门排行榜等可视化项目,提高数据分析能力和报告展示水平。

此外,课程还介绍多线程、异步协程等Python高性能爬虫技术,帮助学员提升数据抓取效率,并讲解日志记录、异常处理、项目结构优化等工程化开发经验,使整个项目更加规范、稳定和易于维护。

通过本课程的学习,学员不仅能够熟练掌握移动端Python爬虫开发流程,还能够独立完成接口分析、数据采集、数据处理、数据库存储以及数据可视化分析等完整项目开发,为从事数据采集、大数据分析、商业数据研究及人工智能数据准备等相关工作打下坚实基础,是一门兼具实用性和项目实战价值的Python开发课程。

课程目录:

——/mksz283-移动端Python爬虫实战 数据抓取+数据可视化/
├──1  
|   └──1-1 移动端python爬虫进阶实战-2020版导学_.mp4  17.41M
├──11  
|   └──11-1 python爬虫工程师必备技能–App数据抓取实战课程导学_.mp4  21.22M
├──12  
|   ├──12-1 夜神模拟器安装&介绍_.mp4  46.97M
|   ├──12-2 夜神模拟器设置介绍&在夜神模拟器内部安装App_.mp4  73.62M
|   ├──12-3 介绍genymotion和模拟器的安装(选择观看)_.mp4  35.53M
|   ├──12-4 fiddler软件介绍&下载&安装&软件设置_.mp4  89.16M
|   ├──12-5 mitmproxy介绍&安装&如何在linux操作系统中安装_.mp4  51.91M
|   ├──12-6 mitmproxy在Linux操作系统中的使用_.mp4  104.78M
|   ├──12-7 packet capture开头,抓包工具介绍,安装,使用_.mp4  119.50M
|   ├──12-8 介绍appium环境搭建的两种方法_.mp4  66.25M
|   └──12-9 安装docker以及docker运行ubuntu以及简单命令维护_.mp4  56.72M
├──13  
|   ├──13-1 fiddler抓包工具介绍,file&&edit功能使用_.mp4  159.25M
|   ├──13-2 tooles功能使用_.mp4  173.41M
|   ├──13-3 rules功能使用&工具栏详讲_.mp4  226.19M
|   ├──13-4 会话列表-请求头、响应头介绍_.mp4  144.12M
|   ├──13-5 请求前断点设置,响应后断点,命令行请求前后断点设置,网页重定向_.mp4  95.97M
|   ├──13-6 手机安装证书,设置fiddler抓取移动端数据包_.mp4  109.47M
|   ├──13-7 mitmproxy软件移动设备安装证书、移动设备抓包_.mp4  62.97M
|   ├──13-8 mitmproxy数据包过滤_.mp4  61.88M
|   └──13-9 mitmdump详讲_.mp4  205.69M
├──14  
|   ├──14-1 抓取前设置,启动豆果美食app并抓包_.mp4  94.44M
|   ├──14-10 本章爬虫总结_.mp4  77.03M
|   ├──14-2 分析fiddler抓取到的豆果美食数据包_.mp4  178.34M
|   ├──14-3 编写爬虫脚本1-项目需求、请求函数编写、请求头伪造_.mp4  79.88M
|   ├──14-4 编写爬虫脚本2-食材页面解析、队列逻辑编写_.mp4  97.44M
|   ├──14-5 编写爬虫脚本3-获取菜谱列表数据逻辑编写_.mp4  188.72M
|   ├──14-6 编写爬虫脚本4-详情页数据抓取逻辑编写_.mp4  141.00M
|   ├──14-7 编写爬虫脚本5-数据入库逻辑编写_.mp4  64.31M
|   ├──14-8 编写爬虫脚本6-多线程逻辑编写_.mp4  47.59M
|   └──14-9 编写爬虫脚本7-伪装爬虫-编写代理逻辑_.mp4  31.97M
├──15  
|   ├──15-1 安装JDK环境_.mp4  44.44M
|   ├──15-10 登录考研帮app并实现模拟滑动操作_.mp4  198.12M
|   ├──15-2 安装sdk工具包_.mp4  52.78M
|   ├──15-3 adb工具详讲1_.mp4  56.12M
|   ├──15-4 adb工具详讲2_.mp4  39.34M
|   ├──15-5 adb工具详讲3_.mp4  66.88M
|   ├──15-6 sdk下uiautomatorviewer工具使用_.mp4  46.19M
|   ├──15-7 appium介绍_.mp4  16.84M
|   ├──15-8 inspector介绍_.mp4  26.50M
|   └──15-9 inspector录制功能_.mp4  149.03M
├──16  
|   ├──16-1 短视频网站数据抓取实战介绍_.mp4  27.03M
|   ├──16-10 短视频网站appium模拟滑动操作2_.mp4  139.03M
|   ├──16-11 多设备端并发抓取短视频网站粉丝数据_.mp4  216.06M
|   ├──16-12 短视频网站视频抓取&signarure加密字段破解-1_.mp4  129.34M
|   ├──16-13 短视频网站视频抓取&signarure加密字段破解-2_.mp4  117.38M
|   ├──16-14 短视频网站视频抓取&signarure加密字段破解-3_.mp4  140.94M
|   ├──16-15 第六章总结_.mp4  48.06M
|   ├──16-2 解析短视频网站分享页面数据1_.mp4  77.38M
|   ├──16-3 解析短视频网站分享页面数据2_.mp4  47.06M
|   ├──16-4 解析短视频网站分享页面数据3_.mp4  95.44M
|   ├──16-5 短视频网站分享id存储数据库逻辑代码编写1_.mp4  39.81M
|   ├──16-6 短视频网站分享id存储数据库逻辑代码编写2_.mp4  44.22M
|   ├──16-7 ssl pining技术分析与xponsed框架安装_.mp4  25.06M
|   ├──16-8 短视频网站分析接口数据分析_.mp4  198.59M
|   └──16-9 短视频网站appium模拟滑动操作1_.mp4  152.16M
├──17  
|   ├──17-1 打造多任务端app应用数据抓取系统-系统介绍_.mp4  6.19M
|   ├──17-10 打造多任务端app应用数据抓取系统-2_.mp4  44.19M
|   ├──17-11 打造多任务端app应用数据抓取系统-3_.mp4  54.12M
|   ├──17-12 打造多任务端app应用数据抓取系统-4_.mp4  89.72M
|   ├──17-13 第七章小结_.mp4  6.00M
|   ├──17-2 docker系统管理-基础概念_.mp4  65.47M
|   ├──17-3 docker系统管理-基础命令-1_.mp4  46.44M
|   ├──17-4 docker系统管理-基础命令-2_.mp4  39.12M
|   ├──17-5 docker系统管理-基础命令以及docker-appium镜像下载_.mp4  30.91M
|   ├──17-6 创建appium容器以及设置appium容器连接安卓模拟器_.mp4  70.66M
|   ├──17-7 docker镜像的创建使用docker commit命令_.mp4  28.53M
|   ├──17-8 docker镜像的创建使用dockerfile_.mp4  23.28M
|   └──17-9 打造多任务端app应用数据抓取系统-1_.mp4  49.59M
├──18  
|   └──18-1 第八章总结_.mp4  3.38M
├──2  
|   ├──2-1 u2自动化抓取工具介绍_.mp4  19.25M
|   ├──2-10 如何连接真实移动设备并安装apk-ubuntu环境_.mp4  33.12M
|   ├──2-11 u2项目初始化_.mp4  35.59M
|   ├──2-12 u2连接移动设备的三种方式-1_.mp4  21.34M
|   ├──2-13 u2连接移动设备的三种方式-2_.mp4  114.94M
|   ├──2-2 u2通信流程介绍_.mp4  30.59M
|   ├──2-3 u2自动化抓取开发环境搭建-1_.mp4  52.56M
|   ├──2-4 u2自动化抓取开发环境搭建-2_.mp4  62.56M
|   ├──2-5 u2自动化抓取开发环境搭建-3_.mp4  66.53M
|   ├──2-6 u2自动化抓取开发环境搭建-4_.mp4  53.16M
|   ├──2-7 u2自动化抓取开发环境知识点回顾_.mp4  12.56M
|   ├──2-8 如何连接真实移动设备并安装apk-windows环境-1_.mp4  33.81M
|   └──2-9 如何连接真实移动设备并安装apk-windows环境-2_.mp4  8.28M
├──3  
|   ├──3-1 u2自动化工具基本操作-操作设备_.mp4  53.75M
|   ├──3-10 UiSelector resourceId定位方式_.mp4  52.16M
|   ├──3-11 UiSelector混合定位方式-1_.mp4  31.78M
|   ├──3-12 UiSelector混合定位方式-2_.mp4  48.78M
|   ├──3-13 UiSelector 坐标定位方式_.mp4  15.50M
|   ├──3-14 控件操作和操作超时_.mp4  68.56M
|   ├──3-15 通过U2实现移动设备九宫格解锁_.mp4  63.62M
|   ├──3-16 xpath定位方式_.mp4  122.75M
|   ├──3-17 实现自动化登录考研帮app并滑动资讯信息-1_.mp4  67.28M
|   ├──3-18 实现自动化登录考研帮app并滑动资讯信息-2_.mp4  87.78M
|   ├──3-19 实现自动化登录考研帮app并滑动资讯信息-3_.mp4  113.81M
|   ├──3-2 u2自动化工具基本操作-操作app_.mp4  108.16M
|   ├──3-3 APP activity和控件,weditor工具的安装_.mp4  23.78M
|   ├──3-4 weditor工具介绍和常见问题-1_.mp4  41.88M
|   ├──3-5 weditor工具介绍和常见问题-2_.mp4  23.06M
|   ├──3-6 UiSelector和控件定位介绍_.mp4  17.53M
|   ├──3-7 UiSelector文本定位方式_.mp4  53.09M
|   ├──3-8 UiSelector class定位方式-1_.mp4  9.69M
|   └──3-9 UiSelector class定位方式-2_.mp4  37.31M
├──4  
|   ├──4-1 fiddler抓包工具介绍,file&&edit功能使用_.mp4  158.78M
|   ├──4-10 app无法抓包探秘-1_.mp4  67.25M
|   ├──4-11 app无法抓包探秘-2_.mp4  23.25M
|   ├──4-12 app无法抓包探秘-3_.mp4  4.22M
|   ├──4-2 tooles功能使用_.mp4  174.31M
|   ├──4-3 rules功能使用&工具栏详讲_.mp4  227.41M
|   ├──4-4 会话列表-请求头、响应头介绍_.mp4  145.56M
|   ├──4-5 请求前断点设置,响应后断点,命令行请求前后断点设置,网页重定向_.mp4  96.56M
|   ├──4-6 手机安装证书,设置fiddler抓取移动端数据包_.mp4  110.41M
|   ├──4-7 mitmproxy软件移动设备安装证书、移动设备抓包_.mp4  63.34M
|   ├──4-8 mitmproxy数据包过滤_.mp4  61.72M
|   └──4-9 mitmdump详讲。_.mp4  204.72M
├──5  
|   ├──5-1 短视频抓取需求分析_.mp4  38.16M
|   ├──5-2 安装vmware tools_.mp4  36.47M
|   ├──5-3 通过U2实现滑动抖音短视频-1_.mp4  38.25M
|   ├──5-4 通过U2实现滑动抖音短视频-2_.mp4  66.62M
|   ├──5-5 通过U2实现滑动抖音短视频-3_.mp4  56.22M
|   ├──5-6 通过mitmproxy解析短视频App返回数据-接口分析_.mp4  118.50M
|   ├──5-7 通过mitmproxy解析短视频App返回数据-编写mitmdump解析文件_.mp4  93.34M
|   └──5-8 通过mitmproxy解析短视频App返回数据-运行并查看_.mp4  58.31M
├──6  
|   ├──6-1 atxserver2库介绍_.mp4  10.12M
|   ├──6-2 atxserver2通过pip安装部署_.mp4  96.03M
|   ├──6-3 atxserver2多设备管理库的使用_.mp4  91.34M
|   └──6-4 实现多任务端app应用数据抓取系统_.mp4  99.84M
├──7  
|   ├──7-1 elasticsearch介绍和安装_.mp4  77.78M
|   ├──7-10 分组查询_.mp4  27.62M
|   ├──7-11 _doc是用来做什么的_.mp4  8.22M
|   ├──7-12 elasticsearch mappings的三种模式_.mp4  55.00M
|   ├──7-2 数据可视化组件kibana的安装和在elasticsearch基本的增删改查_.mp4  92.88M
|   ├──7-3 elasticsearch查询进阶_.mp4  30.16M
|   ├──7-4 elasticsearch查询排序_.mp4  10.41M
|   ├──7-5 elasticsearch分页查询_.mp4  9.53M
|   ├──7-6 布尔查询_.mp4  42.44M
|   ├──7-7 结果过滤_.mp4  11.72M
|   ├──7-8 高亮显示_.mp4  23.62M
|   └──7-9 聚合函数查询_.mp4  26.94M
└──资料  
|   └──资料.zip  7.11G

声明:本站所发布的一切视频课程仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站所有课程来自网络,版权争议与本站无关。如有侵权请联系客服QQ:1960026872或登录本站账号进入个人中心提交工单留言反馈,我们将第一时间处理!
侵权联系与免责声明: 1、本站资源所有内容均收集于网络,与本网站立场无关 2、本站所有资源收集于互联网,由用户分享,该帖子作者与IT课程网不享有任何版权,如有侵权请联系本站删除 3、本站部分内容转载自其它网站,但并不代表本站赞同其观点和对其真实性负责 4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意。如有侵权请联系联系客服QQ:1960026872或登录本站账号进入个人中心提交工单留言反馈,我们将第一时间处理!