Library Search
结果页

Scrapy 爬虫从入门到反爬对抗

在 技术栈 中找到 8 个匹配结果。

返回文档库
技术栈

技术栈

8 个
查看全部
Scrapy # Scrapy 爬虫从入门到反爬对抗 ## 背景 互联网数据是新时代的石油。Scrapy 让你用几十行 Python 代码就能构建一个工业级爬虫,自动处理请求调度、重试、限速和数据存储。 --- ## 第 1 章:Scrapy 架构 ``` [Spider] → [Engine] → [Scheduler] → [Downloader] → [Spider] → [Item Pipel… 3% Go (Golang) # Go 并发爬虫 — goroutine + channel 实战 ## 目标 演示 Go 核心卖点:goroutine 轻量并发 + channel 通信。编写一个并发检查多个 URL 响应状态的工具。 ## 完整代码 ```go package main import ( "fmt" "net/http" "sync" "time" ) // URLResult 封装单个… 2% PyTorch 1. 动态计算图相比静态图,性能上有损失吗?PyTorch 2.0 的 `torch.compile` 如何解决? 2. `optimizer.zero_grad()` 如果忘记调用会怎样? 3. `model.train()` 和 `model.eval()` 具体影响了哪些层的行为? 4. 为什么 `CrossEntropyLoss` 的输入不能经过 softmax? # PyTorch 进… 1% Remix return ( <Form method="post"> <input name="title" placeholder="标题" /> {actionData?.error && <p style={{color:'red'}}>{actionData.error}</p>} <textarea name="content" placeholder=… 1% Bootstrap # Bootstrap 安装指南 ## 1. 环境准备 - **无硬性依赖**:Bootstrap 只需 HTML + CSS + JS 即可使用 - **Node.js(可选)**:如需定制 Sass 或使用构建工具 - **IDE**:任意代码编辑器(VSCode / WebStorm 等) ## 2. 安装命令 ### 方式一:CDN(最简单) ```html <!DOCTYPE… 1% Docker ``` 镜像大小对比: 单阶段镜像:823 MB 多阶段镜像:8.5 MB ← 减少 ~99% docker history 输出: IMAGE CREATED SIZE <missing> 1 min ago 8.5MB ← 最终只有二进制 ``` ## 关键点 - `FROM scratch` 是空镜像,不含任何… 1% Scikit-learn # Scikit-learn 机器学习入门实战 ## 背景 Scikit-learn 提供了「瑞士军刀」式的机器学习工具箱。无论你是做表格数据的分类、用户分群还是异常检测,掌握它能让你在几分钟内完成从数据处理到模型评估的完整流程。 --- ## 第 1 章:理解 API 设计哲学 Scikit-learn 所有模型遵循统一接口: | 模式 | 伪代码 | |------|-------… 1% Node.js ``` my-api/ ├── package.json ├── src/ │ ├── app.js # Express 应用入口 │ ├── db.js # 数据库连接 │ ├── routes/ │ │ └── users.js # 用户路由 │ ├── controllers/ │ │ └── usersContro… 1%