自然语言处理
-
LLaMA在Windows环境下的安装部署教程
LLaMA的安装过程其实非常简单,只需要几条CMD命令行即可完成。其实个人感觉效果不如ChatGPT,而且对硬件要求较高,本站并不推荐个人部署。 介绍 关于什么是LLaMa,详细情…
-
毕业论文案例-LDA主题模型实现文本聚类
本文结构框架 引言 LDA主题模型的预备知识 (1)多项式分布 Multinomial Distribution (2)狄利克雷分布 Dirichlet Distribution …
-
ChatGPT重磅升级!集简云支持GPT4 Turbo Vision, GPT4 Turbo, Dall.E 3,Whisper等最新模型
在11月7日凌晨,OpenAI全球开发者大会宣布了 GPT-4的一次大升级,推出了 GPT-4 Turbo号称为迄今为止最强的大模型。 此次GPT-4的更新和升级在多个方面显示出强…
-
大模型微调踩坑记录 – 基于Alpaca-LLaMa+Lora
前言 为了使用开放权重的LLM(大语言模型),基于自己的训练集,微调模型,会涉及到如下一些技术要点: 配置运行环境 下载、加载基础模型 收集语料、微调训练 检验训练效果 在实施过程…
-
详细介绍NLP中文分词原理及分词工具
基于词表的分词方法 正向最大匹配算法FMM 从左到右扫描文本,得到词的最大匹配。 案例分析: 用正向最大匹配法对“秦皇岛今天晴空万里”进行中文分词,见下表。 词典 :“秦皇岛”“岛…
-
【云上探索实验室】编程范式变革进行时——CodeWhisperer实践全流程及测评分析报告
目录 一、基于LLM的辅助编程——编程范式变革进行时 二、CodeWhisperer + VS Code 安装与配置 2.1、扩展安装 2.2、配置 三、CodeWhisperer…
-
大模型入局传统算法,LLMZip基于LLaMA-7B实现1MB文本压缩率90%!
论文链接: https://arxiv.org/abs/2306.04050 随着以ChatGPT、GPT-4为代表的AI大模型逐渐爆火进入公众视野,各行各业都开始思考如何更好的使…
-
NLP(六十四)使用FastChat计算LLaMA-2模型的token长度
LLaMA-2模型部署 在文章NLP(五十九)使用FastChat部署百川大模型中,笔者介绍了FastChat框架,以及如何使用FastChat来部署百川模型。 本文将会部…
-
Midjourney如何集成到自己(个人/企业)的平台(一)
背景概述 目前Midjourney没有对外开放Api,想体验他们的服务只能在discord中进入他们的频道进行体验或者把他们的机器人拉入自己创建的服务器中;目前免费的已经无法体验了…
-
LLMs之LLaMA-2:基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同
LLMs之LLaMA-2:基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动…