Library Search
结果页

经典 NLP Pipeline:分词 → POS → NER → 词频

在 元器件 / 技术栈 / 知识库 中找到 15 个匹配结果。

返回文档库
技术栈

技术栈

7 个
查看全部
spaCy # spaCy 入门教程:Pipeline 组件与自定义 NER ## 1. spaCy 的 Pipeline 架构 spaCy 采用**模块化 Pipeline** 设计,每个组件有确定的输入和输出: ``` Text → tokenizer → tagger → parser → ner → ... → Doc ``` 查看当前 Pipeline: ```python import… 3% NLTK # ─── 2. 去停用词 + 保留字母词 ─── stop_words = set(stopwords.words("english")) clean_tokens = [w.lower() for w in tokens if w.isalpha() and w.lower() not in stop_words] print(f"\n清洗后: {clean_tokens}") # ───… 2% PyTorch ``` 训练集大小: 60000, 测试集大小: 10000 模型参数量: 118,474 Epoch 5/5 Train Loss: 0.0123 | Train Acc: 99.52% Test Loss: 0.0214 | Test Acc: 99.31% ✅ 训练完成!最终测试准确率: 99.31% ``` ## 训练 Pipeline 图解 ``` for epoch in… 2% Astro const posts = await getCollection("blog", ({ data }) => !data.draft); const sortedPosts = posts.sort( (a, b) => b.data.date.getTime() - a.data.date.getTime() ); --- <ul> {sortedPosts.map((post) =… 1% C# <h1>🏗 Alpine.js Demo</h1> <p style="color: #666;">纯 HTML 属性驱动的交互 —— 零 JS 代码</p> <!-- 标签页组件 --> <div x-data="{ activeTab: 'vue' }"> <div class="tabs"> <button class="tab-btn" :class="… 1% Laminas (Zend Framework) ## 1. 环境准备 - **OS**:Linux / macOS / Windows - **PHP**:>= 8.1 - **PHP 扩展**:json, mbstring, PDO, reflection, intl - **Composer**:最新稳定版 - **数据库**:MySQL 5.7+ / PostgreSQL 10+ / SQLite - **可选**:Apache/ngi… 1% Gin // 关键词搜索(多字段 LIKE) if query.Keyword != "" { keyword := "%" + query.Keyword + "%" conditions := make([]string, len(searchFields)) args := make([]interface{}, len(searchFields)) for i, field :=… 1%
知识库

知识库

8 个
从 Pipeline 组件到自定义 NER 训练 # spaCy 入门教程:Pipeline 组件与自定义 NER ## 1. spaCy 的 Pipeline 架构 spaCy 采用**模块化 Pipeline** 设计,每个组件有确定的输入和输出: ``` Text → tokenizer → tagger → parser → ner → ... → Doc ``` 查看当前 Pipeline: ```python import… 3% pipeline 万物皆可 one-liner # HuggingFace pipeline:一行代码搞定 6 大任务 ## 目标 展示 `pipeline()` 的「瑞士军刀」能力:一个 API 覆盖情感分析、命名实体识别、文本生成、翻译、文生图、语音识别。 ## 完整代码 ```python from transformers import pipeline from PIL import Image # ─── 1. 情感分析… 3% 经典 NLP Pipeline:分词 → POS → NER → 词频 # NLTK 经典 NLP Pipeline ## 目标 展示 NLTK 的标准 NLP 处理流程:分词 → 词性标注 → 命名实体识别 → 词干提取 → 词频统计。 ## 完整代码 ```python import nltk import ssl # 首次运行取消注释: # try: _create_unverified_https_context = ssl._create_unve… 3% 入门教程 - Grok 解析与管道架构 | 插件 | 功能 | 示例 | |------|------|------| | **grok** | 正则解析 | `%{COMBINEDAPACHELOG}` | | **mutate** | 字段操作 | rename / convert / add_field / remove | | **date** | 时间解析 | `match => ["ts", "ISO8601"]` | |… 2% DataBlock 声明式数据管道与学习率调参 ```python learn = vision_learner(dls, resnet34, metrics=accuracy) lr_min, lr_steep = learn.lr_find(suggest_funcs=(minimum, steep)) print(f"建议 lr: {lr_steep:.2e}") ``` 规则:选择 loss 曲线最陡下降点,或 loss 最小点 ÷… 2% 02-进阶实战-测试-安全-部署 # Django 进阶实战 —— 测试、安全与部署 ## 本章目标 - 编写单元测试与集成测试 - 理解 Django 安全机制与最佳实践 - 使用 PostgreSQL + Gunicorn + Nginx 生产部署 - 掌握 Django 性能优化技巧 ## 1. 测试体系 ### 1.1 单元测试 ```python # blog/tests/test_models.py from… 2% 10 行代码完成 NER + 依存句法分析 # spaCy 10 行代码:NER + 依存句法 + 可视化 ## 目标 用 spaCy 一条 Pipeline 完成:分词、词性标注、命名实体识别 (NER)、依存句法分析,并用 displaCy 可视化。 ## 完整代码 ```python import spacy from spacy import displacy # ─── 1. 加载模型 ─── nlp = spacy.l… 2% TypeORM CRUD + Swagger — 博客文章管理 @ApiProperty({ description: '文章内容', minLength: 10 }) @IsString() @MinLength(10) content: string; @ApiProperty({ description: '作者名', maxLength: 50 }) @IsString() @MaxLength(50) author: s… 2%