Python网页抓取三步：发请求（requests带headers）、取内容（检查status_code）、提数据（BeautifulSoup用select找标签，get_text清洗）；保存用CSV或JSON，每页print进度。

用Python做网页抓取，核心就三步：发请求、取内容、提数据。不写花哨框架，从真实网页出发，把每一步踩实。

选对工具：requests + BeautifulSoup 是新手黄金组合

requests 负责“敲门”，拿到网页源码；BeautifulSoup 负责“读纸条”，从 HTML 里精准找出你要的信息。不用 Selenium，除非页面靠 JS 渲染且没提供 API。

• 安装命令：pip install requests beautifulsoup4
• 加 headers 模拟浏览器访问，避免被封（User-Agent 必填）
• 检查 response.status_code == 200 再解析，否则先看错在哪

定位目标：用浏览器开发者工具找真实数据位置

右键网页 → “检查” → 切到 Elements 标签，鼠标悬停看结构。别信网页显示的样子，要看 HTML 源码里怎么写的。

• 标题可能是
  ，也可能是 —— 以实际标签为准
• 用 Ctrl+F 在 Elements 面板里搜关键词（比如“价格”、“作者”），快速定位
• 优先用 class、id 等稳定属性；避免依赖嵌套层数（如 div > div > ul > li:nth-child(2)），容易失效

提取数据：用 select() 或 find_all() 抓准节点，再用 .get_text() 或 .get() 清洗

BeautifulSoup 的 select() 支持 CSS 选择器，比 find_all 好写易读；.get_text() 自动去空格换行，.get('href') 提链接属性。

• 例：提取所有书名 soup.select('div.book-item h2') → 循环调用 .get_text(strip=True)
• 提取图片地址：img = soup.select_one('img.cover'); url = img.get('data-src') or img.get('src')（兼容不同字段）
• 遇到空值加判断：if title_tag: title = title_tag.get_text(strip=True)

保存结果：CSV 最简够用，JSON 更适合结构化数据

别一上来就存数据库。先输出到 CSV，能打开、能验数，再升级。

• CSV：用 csv.writer 写入，注意用 newline='' 防空行
• JSON：用 json.dump(..., indent=2, ensure_ascii=False)，中文不乱码、格式清晰
• 每爬一页，print 一下当前页数或条目数，方便中断后续爬