NLP
-
ChatGPT模型大战:讯飞星火认知大模型、百度文心一言能否击败GPT-4(含个人内测体验测试邀请码获取方法,2小时申请成功,亲测有效)
目录 前言 讯飞星火内测申请 申请方式 内测体验 登录界面 百度内测申请 内测对比 基本问答 事实性问答 科普文写作 小红书文案 项目计划撰写 古文理解 模型的常识能力和反事实推理…
-
Llama模型结构解析(源码阅读)
目录 1. LlamaModel整体结构流程图 2. LlamaRMSNorm 3. LlamaMLP 4. LlamaRotaryEmbedding 参考资料: https://…
-
在英特尔做了一年 AI 研发,真的很香
大家好,我是对白。 很多小伙伴都对外企的工作生活很好奇,包括工作内容、加班情况和公司福利等等,今天就给大家分享一位博主在Intel的工作经历,965的生活以及公司的人文关怀都很棒,…
-
llama.cpp一种在本地CPU上部署的量化模型(超低配推理llama)
0x00 背景 前不久,Meta前脚发布完开源大语言模型LLaMA, 随后就被网友“泄漏”,直接放了一个磁力链接下载链接。 然而那些手头没有顶级显卡的朋友们,就只能看看而已了 但是…
-
一文带你UI界面玩转ChatGLM以及Llama的微调
Lora微调的概念: lora是Low-Rank Adaptation的缩写,是微软的Hu等人于2021年挂在ArXiv上(后又发表在ICLR2022上)的一篇论文…
-
LLaMA中ROPE位置编码实现源码解析
1、Attention中q,经下式,生成新的q。m为句长length,d为embedding_dim/head 2、LLaMA中RoPE源码 import torch def pr…
-
NLP词向量技术
什么是词向量: 词向量(Word Vector)是对词语义或含义的数值向量表示,包括字面意义和隐含意义。 词向量可以捕捉到词的内涵,将这些含义结合起来构成一个稠密的浮点数向量,这个…
-
模型运行报 RuntimeError: CUDA out of memory. Tried to allocate 384.00 MiB (GPU 0; 31.75 GiB
最近在做一个多分类模型时,遇到一个下面bug,明明服务器多块GPU上有空闲GPU,却无法运行模型。 RuntimeError: CUDA out of memory. Tried …
-
百度智能云正式上线Python SDK版本并全面开源!
文章目录 1. SDK的优势 2. 千帆SDK:快速落地LLM应用 3. 如何快速上手千帆SDK 3.1 SDK快速启动 3.2 SDK进阶指引 3.3 通过Langchain接入…
-
国产AI大模型:智谱清言 vs. 文心一言
今年以来,国产AI大模型如雨后春笋般涌现,呈现出“百模齐出”的盛况。其中智谱清言在百模大战中脱颖而出。智谱清言基于智谱AI自主研发的中英双语对话模型ChatGLM2,通过万亿字符的…