Python网络爬虫与信息提取-北京理工大学-嵩天

软考考证

课程简介

《Python网络爬虫与信息提取-北京理工大学-嵩天》Python网络爬虫与信息提取-北京理工大学-嵩天【技能收获】学完可掌握：Python 编程、Vue / 前端工程化。课程以实战为导向，覆盖从基础概念到完整项目落地的关键步骤，配套章节笔记便于课后复盘与面试前快速回顾。【学习建议】建议按目录顺序学习，先打基础再进入综合实战章节；每完成 2～3 节可结合笔记整理一份学习小结，最终尝试独立复现一套完整 Demo 写入个人作品集。【就业发展】可面向岗位：Linux 运维工程师、SRE、云计算工程师、DevOps 工程师。云原生与自动化运维仍是企业 IT 刚需方向，认证 + 实战项目组合能显著提升面

已有 0 人浏览发布 2026-09-15 更新 2026-09-15

嵩天这套爬虫课在国内 Python 教学里算是被引用得比较多的一个版本，北理工的MOOC底子，结构上比市面上那种"三天速成"的视频要规矩得多。但要说明白：它的定位是"网络爬虫与信息提取"入门，不是教你写分布式爬虫框架，也不是对抗反爬的实战课。搞清楚这一点，才知道哪些章节该精看、哪些可以快进。

课纲的含金量在哪

整门课的主线其实就三块：Requests 抓页面、BeautifulSoup 解析、正则做补充提取。这个组合是爬虫教学里最经典的"三件套"，好处是概念干净、不依赖重型框架，学完能独立写出抓取—解析—存储的完整小流程。嵩天的讲法偏"先规则后动手"，每个库都先讲设计逻辑和常用接口，再落到具体例子，对没接触过 HTTP 的新手比较友好。

同时也要看清它的边界：课程重点在"信息提取"而非"工程化爬虫"。像并发调度、代理池、验证码、JS 动态渲染这些真实项目里绕不开的坑，课程覆盖有限。这不是缺点，是课程定位——它先把"一个网页怎么被拆成结构化数据"这件事讲透，这部分反而比堆框架更有长期价值。

哪些章节值得精看

Requests 库那一块：请求头、参数、编码处理是后面所有代码的地基，嵩天对 response 对象各个属性的拆解值得反复看，很多人后来抓中文乱码，根源就在这段没吃透。
BeautifulSoup 的遍历方法：downward / upward / 平行遍历这几组，是课程里最需要动笔的部分。建议对着一个真实页面手画一遍标签树，比看视频有用。
正则表达式小节：可以当作速查用，不必一次背完，但 re 的贪婪匹配和分组提取要能自己写出来。
综合实例部分：这是全课含金量最高的地方，把一个具体网站的抓取流程从头走一遍，能串起前面所有零散知识，建议先自己动手再对照。

资料包怎么拆开用

配套的课件和源码不要当电子书存着。合理拆法是：课件用来课前扫一遍关键词，知道自己要学什么；源码用来课后对着改参数、改目标网站，看行为怎么变；笔记性质的资料留到复习阶段，用来快速回忆接口而不是重新学。视频本身建议 1.25 倍速过一遍即可，难点章节再按 1 倍速回看。

适合谁，不适合谁

如果你完全没写过 Python，建议先补基础语法再来，否则 BeautifulSoup 那段会卡在列表和字典操作上。如果你已经有其他语言基础，想快速上手爬虫入门，这门课的视频部分可以压缩着看，重点放在自己动手复现例子上。但如果你目标是直接做大规模数据采集或者绕过复杂反爬，这门课只是个起点，后面还得自己补并发、动态渲染和工程化那一层。把它当作建立"抓取—解析—提取"心智模型的入门课，预期就对了。

Python网络爬虫与信息提取-北京理工大学-嵩天

课程推荐

视频目录（64 节）

* │  │      0 Python语言开发工具选择.mp4

* │          0 全课程内容导学.mp4

* │  │      0 Requests库的安装.mp4

* │  │      1 Requests库的get()方法.mp4

* │  │      2 爬取网页的通用代码框架.mp4

* │  │      3 HTTP协议及Requests库方法.mp4

* │  │      4 Requests库主要方法解析.mp4

* │  │      5 单元小结.mp4

* │  │      0 网络爬虫引发的问题.mp4

* │  │      1 Robots协议.mp4

* │  │      2 Robots协议的遵守方式.mp4

* │  │      3 单元小结.mp4

* │  │      0 实例1：京东商品页面的爬取.mp4

* │  │      1 实例2：亚马逊商品页面的爬取.mp4

* │  │      2 实例3：百度360搜索关键词提交.mp4

* │  │      3 实例4：网络图片的爬取和存储.mp4

* │  │      4 实例5：IP地址归属地的自动查询.mp4

* │  │      5 单元小结.mp4

* │          0 第一周内容导学.mp4

* │  │      0 正则表达式的概念.mp4

* │  │      1 正则表达式的语法.mp4

* │  │      2 Re库的基本使用.mp4

* │  │      3 Re库的match对象.mp4

* │  │      4 Re库的贪婪匹配和最小匹配.mp4

* │  │      5 单元小结.mp4

* │  │      0 “淘宝商品信息定向爬虫”实例介绍.mp4

* │  │      1 “淘宝商品信息定向爬虫”实例编写.mp4

* │  │      2 单元小结.mp4

* │  │      0 “股票数据定向爬虫”实例介绍.mp4

* │  │      1 “股票数据定向爬虫”实例编写.mp4

* │  │      2 “股票数据定向爬虫”实例优化.mp4

* │  │      3 单元小结.mp4

* │          0 第三周内容导学.mp4

* │  │      0 Beautiful Soup库的安装.mp4

* │  │      1 Beautiful Soup库的基本元素.mp4

* │  │      2 基于bs4库的HTML内容遍历方法.mp4

* │  │      3 基于bs4库的HTML格式化和编码.mp4

* │  │      4 单元小结.mp4

* │  │      0 信息标记的三种形式.mp4

* │  │      1 三种信息标记形式的比较.mp4

* │  │      2 信息提取的一般方法.mp4

* │  │      3 基于bs4库的HTML内容查找方法.mp4

* │  │      4 单元小结.mp4

* │  │      0 “中国大学排名定向爬虫”实例介绍.mp4

* │  │      1 “中国大学排名定向爬虫”实例编写.mp4

* │  │      2 “中国大学排名定向爬虫”实例优化.mp4

* │  │      3 单元小结.mp4

* │          0 第二周内容导学.mp4

* │  │      0 网络爬虫课程回顾和总结.mp4

* │          0 网络爬虫课程的未完待续.mp4

*     │      0 Scrapy爬虫框架介绍.mp4

*     │      1 Scrapy爬虫框架解析.mp4

*     │      2 requests库和Scarpy爬虫的比较.mp4

*     │      3 Scrapy爬虫的常用命令.mp4

*     │      4 单元小结.mp4

*     │      0 Scrapy爬虫的第一个实例.mp4

*     │      1 yield关键字的使用.mp4

*     │      2 Scrapy爬虫的基本使用.mp4

*     │      3 单元小结.mp4

*     │      0 “股票数据Scrapy爬虫”实例介绍.mp4

*     │      1 “股票数据Scrapy爬虫”实例编写.mp4

*     │      2 “股票数据定向Scrapy爬虫”实例优化.mp4

*     │      3 单元小结.mp4

*             0 第四周内容导学.mp4