顾文强 系统架构设计师,AI算法工程师

NCCL 介绍

NCCL(NVIDIA Collective Communications Library)是英伟达(NVIDIA)专门为GPU设计的一个高效通信库,你可以把它理解为“多张GPU之间的高速公路”,专门用来加速它们在分布式训练中的数据传输,让多个GPU能像团队一样紧密协作。 通俗解释 假设你有一个超大

顾文强 Published on 2025-03-01

大模型最常使用的5大向量数据库:Chroma、Pinecone、Weaviate、Milvus和Faiss介绍

以下是大型模型(如LLM)最常使用的五大向量数据库的详细介绍,结合其核心特性、适用场景及优缺点分析: 1. Chroma 核心特性 Chroma 是一个轻量级、开源的向量数据库,专注于快速搭建语义搜索原型。它支持近似最近邻搜索(ANN),提供简单的API,适合本地开发和小型项目。与LangChain

顾文强 Published on 2025-02-11

基于llm大语言模型生成ai导游App

如何实现一个基于LLM大语言模型的AI导游应用。首先,我得弄清楚用户的需求到底是什么。他们可能想要一个能够提供实时导游服务的应用,可能包括景点讲解、路线规划、问答互动这些功能。但可能用户自己对这些功能的细节还不清楚,需要我来帮他们梳理。 首先,我得考虑技术选型。LLM方面,可能的选择有GPT-4、C

顾文强 Published on 2025-02-11

LlamaIndex的组成以及Embeddings 和 LLM的关系

LlamaIndex( "Llama Hub")是一个AI的Agent框架,用于将数据连接到语言模型(LLMs),如 OpenAI GPT-4 或其他 Transformer 模型。这个框架包括两个关键组件:Embeddings 和 LLM。 定义 1. Embeddings Embeddings

顾文强 Published on 2025-01-23

Rembg 去除背景工具介绍

Rembg 是一个用于去除图像背景的工具,支持多种模型,包括通用模型和针对特定场景(如人类和服装)的模型。Rembg 提供了命令行接口(CLI)和库接口,方便用户在不同的环境中使用。以下是Rembg库的基本使用方法和一些注意事项: 基本使用方法 1. 安装Rembg Rembg支持CPU和GPU两种

顾文强 Published on 2025-01-23

ONNX Runtime 介绍

ONNX Runtime(简称 ORT)是一个高性能的推理引擎,专为开放神经网络交换(Open Neural Network Exchange,简称ONNX)格式的模型设计。参考网站: https://onnxruntime.ai/ 以下是对ONNX Runtime的详细解释: ‌定义和用途‌:

顾文强 Published on 2025-01-23

Ollama 介绍

Ollama是一个基于Go语言开发的本地大模型运行框架,旨在简化大型语言模型的本地部署、管理和推理工作流‌。 Ollama允许用户在本地机器上拉取、管理、运行大模型,并提供多种访问方式,包括本地CLI、HTTP接口以及通过OpenAI客户端的集成。其核心功能包括: ‌本地模型管理‌:Ollama支持

顾文强 Published on 2025-01-23

LlameIndex 介绍

LlamaIndex(GPT Index)是您的LLM(大型语言模型)应用的数据框架。使用LlamaIndex进行构建通常涉及与LlamaIndex核心以及所选的一组集成(或插件)一起工作。在Python中,有两种方法可以开始使用LlamaIndex进行构建。 Starter(初学者包):llama

顾文强 Published on 2025-01-23

HuggingFace 的镜像站

Hugging Face的镜像网站主要有以下几个: ‌官方推荐的镜像站‌:Hugging Face官方提供了一个国内镜像网站,地址为:https://hf-mirror.com/‌。这个镜像站可以用于下载各种大模型的权重以及复现代码,是官方推荐的一个可靠来源。 ModelScope: ‌https:

顾文强 Published on 2025-01-21

HuggingFace 模型离线下载

1 直接从官网下载 打开 HuggingFace官网地址为 https://huggingface.co 选择要下载的模型 在Files and versions 标签下进行逐项下载

顾文强 Published on 2025-01-20
Previous Next