自然语言处理
-
【代码笔记】Transformer代码详细解读
Transformer代码详细解读 文章目录 Transformer代码详细解读 简介 1. 数据准备 1.1 词表构建 1.2 数据构建 2. 模型整体架构 2.1 超参数设置 …
-
Pytorch transformers tokenizer 分词器词汇表添加新的词语和embedding
目标: 在NLP领域,基于公开语料的预训练模型,在专业领域迁移时,会遇到专业领域词汇不在词汇表的问题,本文介绍如何添加专有名词到预训练模型。 例如,在bert预训练模型中,并不包含…
-
从 GPU 到 ChatGPT,一文带你理清GPU/CPU/AI/NLP/GPT之间的千丝万缕【建议收藏】
目录 福利:文末有chat-gpt纯分享,无魔法,无限制 硬件 “没有硬件支持,你破解个屁” GPU 什么是 GPU? GPU 是 Graphics Processing Unit…
-
推荐系统[一]:超详细知识介绍,一份完整的入门指南,解答推荐系统相关算法流程、衡量指标和应用,以及如何使用jieba分词库进行相似推荐,业界广告推荐技术最新进展
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排)、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战(含码源) 专栏详细介绍:搜索推荐系统专栏简介:搜索推荐…
-
FastText:高效的文本分类工具
❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博相关…
-
人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法
人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法 1.SFT 监督微调 1.1 SFT 监督微调基本概…
-
OpenAI——CLIPs(代码使用示例)
OpenAI——CLIPs(打通NLP与CV) Open AI在2021年1月份发布Contrastive Language-Image Pre-training(CLIP),基于…
-
[AI]如何让语言模型LLMs流式输出:HuggingFace Transformers实现
HugginFace Transforms是一个非常方便的库,集成了非常多SOTA的模型,包含:LLAMA, GPT, ChatGLM Moss,等。目前基本上主流的方案都是基于H…
-
【AI赋能】人工智能在自动驾驶时代的应用
自我介绍 我是秋说,研究 人工智能、大数据 等前沿技术,传递 Java、Python 等语言知识。 💬主页链接:秋说的博客 📆 学习专栏推荐: 人工智能:创新无限💫 MySQL进阶…
-
AI:ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略
AI:ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略 导读:ModelScope旨在打造下一代开源的模型即服务共享平台,汇集了行业领先的预训…