Library Search
结果页Scrapy 爬虫从入门到反爬对抗
在 元器件 / 技术栈 / 知识库 中找到 14 个匹配结果。
技术栈
技术栈
7 个 Scrapy # Scrapy 爬虫从入门到反爬对抗
## 背景
互联网数据是新时代的石油。Scrapy 让你用几十行 Python 代码就能构建一个工业级爬虫，自动处理请求调度、重试、限速和数据存储。
---
## 第 1 章：Scrapy 架构
```
[Spider] → [Engine] → [Scheduler] → [Downloader] → [Spider] → [Item Pipel… 3% Go (Golang) # Go 并发爬虫 — goroutine + channel 实战
## 目标
演示 Go 核心卖点：goroutine 轻量并发 + channel 通信。编写一个并发检查多个 URL 响应状态的工具。
## 完整代码
```go
package main
import (
"fmt"
"net/http"
"sync"
"time"
)
// URLResult 封装单个… 1% PyTorch 1. 动态计算图相比静态图，性能上有损失吗？PyTorch 2.0 的 `torch.compile` 如何解决？
2. `optimizer.zero_grad()` 如果忘记调用会怎样？
3. `model.train()` 和 `model.eval()` 具体影响了哪些层的行为？
4. 为什么 `CrossEntropyLoss` 的输入不能经过 softmax？
# PyTorch 进… 1% Remix return (
<Form method="post">
<input name="title" placeholder="标题" />
{actionData?.error && <p style={{color:'red'}}>{actionData.error}</p>}
<textarea name="content" placeholder=… 1% Bootstrap # Bootstrap 安装指南
## 1. 环境准备
- **无硬性依赖**：Bootstrap 只需 HTML + CSS + JS 即可使用
- **Node.js（可选）**：如需定制 Sass 或使用构建工具
- **IDE**：任意代码编辑器（VSCode / WebStorm 等）
## 2. 安装命令
### 方式一：CDN（最简单）
```html
<!DOCTYPE… 1% Docker ```
镜像大小对比：
单阶段镜像：823 MB
多阶段镜像：8.5 MB ← 减少 ~99%
docker history 输出：
IMAGE CREATED SIZE
<missing> 1 min ago 8.5MB ← 最终只有二进制
```
## 关键点
- `FROM scratch` 是空镜像，不含任何… 1% Scikit-learn # Scikit-learn 机器学习入门实战
## 背景
Scikit-learn 提供了「瑞士军刀」式的机器学习工具箱。无论你是做表格数据的分类、用户分群还是异常检测，掌握它能让你在几分钟内完成从数据处理到模型评估的完整流程。
---
## 第 1 章：理解 API 设计哲学
Scikit-learn 所有模型遵循统一接口：
| 模式 | 伪代码 |
|------|-------… 1%
知识库
知识库
7 个 Scrapy 爬虫从入门到反爬对抗 # Scrapy 爬虫从入门到反爬对抗
## 背景
互联网数据是新时代的石油。Scrapy 让你用几十行 Python 代码就能构建一个工业级爬虫，自动处理请求调度、重试、限速和数据存储。
---
## 第 1 章：Scrapy 架构
```
[Spider] → [Engine] → [Scheduler] → [Downloader] → [Spider] → [Item Pipel… 3% Hello World — 爬取图书信息 # Scrapy Hello World：爬取图书信息
## 目标
爬取 [books.toscrape.com](http://books.toscrape.com) 上的图书标题、价格、评级，并保存为 JSON。
## 完整代码
### 1. 创建项目
```bash
scrapy startproject bookscraper
cd bookscraper
scrapy gensp… 3% Go 并发爬虫 — goroutine + channel 实战 # Go 并发爬虫 — goroutine + channel 实战
## 目标
演示 Go 核心卖点：goroutine 轻量并发 + channel 通信。编写一个并发检查多个 URL 响应状态的工具。
## 完整代码
```go
package main
import (
"fmt"
"net/http"
"sync"
"time"
)
// URLResult 封装单个… 1% 02-进阶实战-迁移学习与部署 # PyTorch 进阶实战 —— 迁移学习、混合精度与模型部署
## 本章目标
- 使用预训练模型进行迁移学习（Fine-tuning）
- 掌握混合精度训练（AMP）加速
- 模型导出：TorchScript → ONNX
- 模型量化与推理优化
## 1. 迁移学习（Fine-tuning）
### 1.1 使用 torchvision 预训练模型
```python
import… 1% 入门教程 - 全栈 Web 应用开发 return (
<Form method="post">
<input name="title" placeholder="标题" />
{actionData?.error && <p style={{color:'red'}}>{actionData.error}</p>}
<textarea name="content" placeholder=… 1% 01-从零入门教程 # PyTorch 入门教程 —— 从线性回归到神经网络
## 本章目标
- 理解动态计算图与自动微分
- 手写梯度下降 → 使用 PyTorch 的 optimizer
- 掌握 nn.Module 的模块化设计思想
- 理解损失函数与优化器的选择
## 1. 动态计算图：为什么 PyTorch 如此灵活？
**静态图（TensorFlow 1.x）：** 先定义完整图 → 编译 → 运… 1% Scikit-learn 机器学习入门实战 # Scikit-learn 机器学习入门实战
## 背景
Scikit-learn 提供了「瑞士军刀」式的机器学习工具箱。无论你是做表格数据的分类、用户分群还是异常检测，掌握它能让你在几分钟内完成从数据处理到模型评估的完整流程。
---
## 第 1 章：理解 API 设计哲学
Scikit-learn 所有模型遵循统一接口：
| 模式 | 伪代码 |
|------|-------… 1%