.NET怎么解析HTML文档(如使用HtmlAgilityPack)_HTML文档解析方法

HtmlAgilityPack是.NET平台常用HTML解析库,支持从字符串、文件或网络加载HTML,使用XPath查询节点,遍历DOM并修改内容,适用于爬虫和内容提取,但不解析JavaScript,需配合其他工具处理动态内容。

HtmlAgilityPack 是 .NET 平台中解析 HTML 文档最常用的开源库之一,尤其适合处理结构不规范的 HTML(比如网页抓取场景)。它允许你像操作 XML 一样通过 DOM 模型访问和修改 HTML 内容。

安装 HtmlAgilityPack

在项目中使用 NuGet 安装 HtmlAgilityPack:

Install-Package HtmlAgilityPack

支持 .NET Framework、.NET Core 和 .NET 5+ 等所有主流版本。

加载 HTML 文档

你可以从字符串、本地文件或网络响应中加载 HTML:

  • 从字符串加载:
  • var htmlDoc = new HtmlDocument();
    htmlDoc.LoadHtml("

    标题

    ");
  • 从文件加载:
  • var htmlDoc = new HtmlDocument();
    htmlDoc.Load("example.html");
  • 从网络加载(配合 HttpClient):
  • using var client = new HttpClient();
    var html = await client.GetStringAsync("https://example.com");
    var htmlDoc = new HtmlDocument();
    htmlDoc.LoadHtml(html);

使用 XPath 查询元素

HtmlAgilityPack 支持 XPath 语法来定位节点。例如:

  • 获取所有 h1 标签:
  • var h1Nodes = htmlDoc.DocumentNode.SelectNodes("//h1");
    foreach (var node in h1Nodes)
      Console.WriteLine(node.InnerText);
  • 获取特定 class 的 div:
  • var divs = htmlDoc.DocumentNode.SelectNodes("//div[@class='content']");
  • 获取链接的 href 属性:
  • var links = htmlDoc.DocumentNode.SelectNodes("//a[@href]");
    foreach (var link in links)
      Console.WriteLine(link.GetAttributeValue("href", ""));

遍历和操作节点

除了 XPath,也可以通过属性和方法遍历 DOM:

  • 访问子节点: node.ChildNodes
  • 获取父节点: node.ParentNode
  • 读取文本内容: node.InnerText
  • 读取原始 HTML: node.InnerHtml
  • 修改节点内容:
  • var titleNode = htmlDoc.DocumentNode.SelectSingleNode("//title");
    if (titleNode != null)
      titleNode.InnerHtml = "新页面标题";

修改后可保存回文件:

htmlDoc.Save("modified.html");

基本上就这些。HtmlAgilityPack 对于爬虫、内容提取、HTML 清理等任务非常实用,API 简单且稳定。注意:它不渲染 JavaScript,只解析静态 HTML。需要动态内容时需结合 PuppeteerSharp 等工具。