基础设施：70 个词条

💻 AI PC AI PC 内置 NPU 等 AI 加速单元、能在本地直接运行模型的个人电脑，无需联网即可使用端侧模型与桌面 AI 功能，是端侧 AI 的重要载体。 基础设施 端侧AI硬件 ⚙️ 算力（Computing Power） AI Computing Power AI 训练与推理所需的计算能力，以每秒浮点运算次数衡量。它是 AI 三大支柱之首，被类比为这一时代的石油。 基础设施 硬件基础算力 🧩 CUDA并行计算平台 CUDA / Compute Unified Device Architecture NVIDIA 的并行计算平台与编程模型，主流深度学习框架的加速路径几乎都建立在它之上，构成 AI 硬件生态中最深的护城河。 基础设施 硬件开发NVIDIA 📦 GGUF模型格式 GGUF Model Format 由 llama.cpp 项目定义的二进制模型文件格式，专为 CPU 推理与量化设计，把权重、分词器和元数据打包成单一文件。 基础设施 推理优化部署格式 🖥️ 图形处理器（GPU） Graphics Processing Unit AI训练与推理的核心硬件。原本为图形渲染设计，因大规模并行计算契合矩阵运算而成为算力主角，供给与成本几乎决定大模型的规模与速度。 基础设施 硬件算力并行计算 🤗 HuggingFace（抱抱脸） Hugging Face AI领域的“GitHub”。把模型、数据集、演示应用与训练工具链集中在一处，是全球最大的开源AI模型与数据集仓库，也是开源工作流的默认枢纽。 基础设施 平台开源模型仓库 🕸️ 知识图谱（Knowledge Graph） Knowledge Graph 把知识组织成“实体—关系—实体”网络的技术。它让机器直接命中答案而非堆砌文本，与大模型结合后催生了 GraphRAG，成为多跳推理的重要底座。 基础设施 知识表示GraphRAG图数据库 📱 神经网络处理器（NPU） Neural Processing Unit 专为AI推理设计的低功耗处理器，集成在手机与PC芯片中。它让模型在设备本地运行，带来隐私、低延迟、离线可用与零调用成本的端侧AI能力。 基础设施 硬件端侧AI推理 🦙 Ollama（本地大模型运行框架） Ollama 最流行的本地LLM一键部署工具。一条命令下载并运行开源模型，自动处理量化与硬件加速，支持 macOS、Linux 与 Windows，被视为AI民主化的推手。 基础设施 部署开源工具 🔥 PyTorch（深度学习框架） PyTorch Meta 开发的开源深度学习框架，已成为AI开发的事实标准。动态计算图、贴近 Python 的接口与庞大生态，让研究与工业落地共用同一套工具。 基础设施 框架开源开发 🏗️ 超节点（Supernode） Supernode 把成百上千颗AI芯片通过高速互联深度整合成一台巨型超级计算机的算力架构，用“数量加互联”弥补单卡差距，是算力底座竞争的关键方向。 基础设施 算力AI芯片集群 🔺 张量处理器（TPU） Tensor Processing Unit Google 自研的AI专用加速芯片，围绕矩阵乘法做硬件定制，在自家云上提供训练与推理算力，是与通用GPU路线并行的另一种选择。 基础设施 硬件Google算力 🗂️ 向量数据库（Vector Database） Vector Database 专门存储与检索向量的数据库，是语义搜索与RAG的核心基础设施。它用近似最近邻算法在亿级向量中毫秒级找出“最相似的内容”。 基础设施 数据库RAG语义检索 ⚡ vLLM推理引擎 vLLM Inference Engine 高性能大模型推理引擎。以 PagedAttention 分页管理 KV 缓存，配合连续批处理与多卡并行，把显存利用率与并发吞吐提升数倍，是自建服务的默认选择。 基础设施 推理优化部署开源 ☁️ 模型即服务（MaaS） MaaS 云厂商把训练好的大模型封装成标准接口对外提供，按用量计费；用户无需自建集群，通过密钥即可获得推理能力。 基础设施 云服务接口托管 📦 模型格式（Model Format） safetensors / ONNX 模型权重的存储与加载方式，决定文件能否被推理框架直接读取，也影响加载速度、体积与安全风险，如 safetensors 与 ONNX。 基础设施 权重序列化部署 🛠️ 训练框架（Training Framework） DeepSpeed / Megatron-LM 支撑大模型分布式训练的工具链，把参数、梯度与优化器状态切分到大量加速卡上，协调通信，代表如 DeepSpeed、Megatron-LM。 基础设施 分布式训练并行显存优化 ⚡ 推理引擎（TensorRT-LLM） TensorRT-LLM 面向英伟达加速卡的推理引擎，把模型编译成硬件优化执行计划，内置连续批处理、分页注意力与量化，追求低时延高吞吐。 基础设施 推理加速编译优化量化 ⚡ SGLang 推理框架（SGLang） SGLang 面向大模型服务的高吞吐推理框架，用前端语言描述多轮对话与结构化输出，后端复用重复的前缀计算，减少多轮会话中的算力浪费。 基础设施 推理框架前缀缓存结构化输出 💻 llama.cpp 本地推理引擎（llama.cpp） llama.cpp 用 C/C++ 编写的本地推理引擎，配合 GGUF 单文件格式与多档量化方案，让模型在普通电脑、手机等设备上离线运行，是本地跑模型的事实标准。 基础设施 本地推理量化离线 🔌 OpenAI 兼容接口（OpenAI-Compatible API） OpenAI-Compatible API 各家模型服务沿用同一套请求与响应约定的调用方式，替换接口地址与密钥即可切换模型，大幅降低多模型接入时的适配成本。 基础设施 接口协议事实标准多模型 🧰 魔搭社区（ModelScope） ModelScope 国内面向 AI 开发者的模型与数据集开放平台，提供模型托管、在线体验与云端开发环境，针对国内网络与合规要求做了适配。 基础设施 模型社区开源数据集 🔀 OpenRouter 多模型聚合平台（OpenRouter） OpenRouter 多模型聚合 API 平台，用一个密钥统一访问多家厂商的模型并按用量计费，省去反复注册与对接，便于横向对比与容灾切换。 基础设施 聚合平台多模型统一接口 ☁️ 无服务器推理（Serverless Inference） Serverless Inference 按需拉起、用完即停的模型部署方式：无请求时缩容到零，请求到来自动扩容，适合流量波动大、峰值难以预估的场景。 基础设施 弹性伸缩按量计费冷启动 📈 实验追踪（Experiment Tracking） MLflow / W&B 系统记录每次训练与评测的配置、指标曲线和产出模型，形成可检索可对比的实验档案，解决成绩无法复现与无法追溯的问题。 基础设施 实验管理可复现指标记录 🗄️ 特征存储（Feature Store） Feature Store 把加工好的特征集中登记、版本化并统一供给训练与线上推理的一层基础设施，解决特征口径不一与训练推理不一致的问题。 基础设施 特征工程一致性版本管理 ☁️ 云厂商AI平台（Bedrock / Vertex AI / Azure AI） Bedrock / Vertex AI / Azure AI 主流公有云提供的一站式模型服务，聚合多家模型并附带托管、权限、审计与配额能力，适合企业快速上线 AI 应用。 基础设施 云服务模型托管企业级 🏮 国内云AI平台（百炼 / 火山方舟 / 千帆） 百炼 / 火山方舟 / 千帆 国内云厂商的模型服务平台，提供国产模型调用、微调与智能体编排，并内置内容安全审核，便于本地化合规落地。 基础设施 云服务国产模型合规 ⚙️ Triton推理服务器（Triton Inference Server） Triton Inference Server 支持多框架、多模型的推理服务框架，提供动态批处理与并发调度，帮助提升显卡利用率并统一运维方式。 基础设施 推理服务模型部署批处理 ⚡ 文本生成推理服务（TGI） TGI 面向大语言模型的开源推理服务，内置连续批处理与流式输出，配置简单，便于把模型快速部署上线。 基础设施 推理服务开源工具部署 🧩 Ray Serve（分布式模型服务） Ray Serve 建立在分布式计算框架之上的模型服务库，便于组合多个模型与业务逻辑，并按副本数弹性伸缩。 基础设施 分布式模型服务编排 🖥️ GPU集群调度（Slurm / K8s） Slurm / K8s 在共享显卡资源池上分配训练与推理任务，决定排队时长与整体利用率，常用 Slurm 与 Kubernetes 两类工具。 基础设施 集群调度资源管理 🗄️ 并行文件系统（Lustre / GPFS） Lustre / GPFS 面向大规模集群的高吞吐共享存储，解决训练时多节点同时读取数据集造成的吞吐瓶颈，让显卡不因数据等待而空转。 基础设施 存储高吞吐训练 🧱 低代码智能体平台（Coze / 扣子） Coze / 扣子 用可视化编排搭建对话机器人与智能体的平台，无需从零写代码即可接入模型、插件与知识库并发布到多个渠道。 基础设施 低代码智能体应用搭建 ☸️ 容器编排（Kubernetes） Kubernetes Kubernetes 是容器编排系统，负责把推理服务与训练任务调度到集群上，并处理扩缩容、故障重启与滚动升级。 基础设施 部署容器集群 🪣 对象存储（Object Storage） Object Storage 对象存储用键值方式保存海量文件，是数据集、模型权重与训练产物的默认落脚点，容量可弹性扩展、按实际用量计费。 基础设施 存储数据工程部署 🔀 数据管道（ETL / ELT） Data Pipeline 数据管道负责把原始数据抽取、清洗、转换后送入训练与检索系统，是模型效果能否复现的工程底座。 基础设施 数据工程数据清洗工程实践 🏭 算力租赁（GPU Cloud） GPU Cloud 算力租赁按小时或按卡租用云端 GPU，让团队不必自建机房就能训练与推理，灵活但要算清网络与存储成本。 基础设施 算力成本优化云服务 🗄️ 模型仓库（Model Registry） Model Registry 模型仓库集中管理模型版本、权重文件与配套元数据，让「线上跑的是哪一版、用什么数据训的」随时可查。 基础设施 模型部署版本管理工程实践 🌊 数据湖（Data Lake） Data Lake 数据湖用对象存储承载原始多模态语料，读时再定义结构，是训练数据落地与回溯重放的底座。 基础设施 数据存储训练数据对象存储 🐳 Docker（容器与镜像） Docker Docker 把应用与依赖打包成镜像，以容器方式隔离运行，是训练环境与模型服务交付的起点。 基础设施 容器部署环境隔离 📨 Kafka（消息队列） Kafka / Message Queue Kafka 以分区日志承接埋点、日志与样本回流，靠消费位点实现高吞吐采集与历史重放。 基础设施 消息队列数据采集实时链路 ⚖️ 负载均衡（Load Balancing） Load Balancing 负载均衡把请求分发到多台后端并自动摘除故障实例，是推理服务横向扩展与会话保持的流量入口。 基础设施 流量分发高可用推理服务 🔄 ONNX（开放神经网络交换格式） ONNX ONNX 用统一的图表示与算子集描述模型，让训练框架与推理后端解耦，便于跨平台部署。 基础设施 模型格式模型部署推理 🔺 TensorFlow（深度学习框架） TensorFlow TensorFlow 以图执行与完整部署工具链见长，统一的模型序列化格式让模型从训练走到线上更顺畅。 基础设施 深度学习框架模型训练模型部署 🕸️ Airflow（数据编排） Airflow Airflow 用有向无环图描述任务依赖并按时调度，负责补数回填与失败重跑，是数据链路的调度中枢。 基础设施 任务调度数据管道编排 📈 弹性伸缩（Autoscaling） Autoscaling 弹性伸缩按负载指标自动增减实例，是平衡推理成本与流量波动的核心手段，难点在缩容判断。 基础设施 资源调度成本优化推理服务 💾 训练检查点（Checkpoint） Checkpointing 检查点把权重与优化器状态定期落盘，用于断点续训与回滚，是长周期训练任务的容错保险。 基础设施 模型训练容错模型保存 🚀 DeepSpeed（分布式训练优化库） DeepSpeed DeepSpeed 把状态分片、卸载与混合精度等分布式训练技术封装成配置，让大模型训练改动最小地跑起来。 基础设施 分布式训练显存优化训练框架 📡 边缘计算（Edge Computing） Edge Computing 边缘计算把推理放到离用户更近的节点上，换取低延迟与更少回传，代价是运维分散、算力受限。 基础设施 边缘部署推理服务云边协同 🔍 Elasticsearch（全文检索引擎） Elasticsearch Elasticsearch 基于倒排索引提供关键词检索与聚合分析，是关键词召回、混合检索与日志查询的常见选择。 基础设施 全文检索倒排索引搜索 🗄️ 分布式文件系统（HDFS） HDFS HDFS 用分块多副本把大文件铺到多台机器上，为批处理与离线分析提供高吞吐的顺序读写能力。 基础设施 分布式存储大数据文件系统 🧭 向量索引（HNSW / IVF） Vector Index (HNSW / IVF) 向量索引用近似的图或聚类结构加速近邻查找，在召回率、延迟与内存之间取舍，是检索性能的主要杠杆。 基础设施 向量检索索引近似最近邻 🖥️ 高性能计算（HPC） High-Performance Computing 高性能计算用作业调度与高速互连把大量节点组成一台机器，是科学计算与大规模训练的硬件传统。 基础设施 超算作业调度并行计算 ⚡ JAX（函数式深度学习框架） JAX JAX 用函数式变换把自动微分、向量化与即时编译组合起来，在研究型训练与加速器生态中常用。 基础设施 深度学习框架函数式编程即时编译 ☸️ KServe（模型服务框架） KServe KServe 把模型服务抽象成声明式资源，自动完成部署、扩缩容与灰度发布，是集群上的模型服务规范。 基础设施 模型服务推理部署集群 🧠 昇思（MindSpore） MindSpore MindSpore 是国产深度学习框架，图与即时执行统一，与国产加速器生态适配较深，覆盖训练到部署。 基础设施 深度学习框架国产化模型训练 🔧 机器学习运维（MLOps） MLOps MLOps 把数据、代码与模型纳入同一套版本与流水线，让模型从实验到上线可复现、可回滚、可监控。 基础设施 工程体系模型上线可复现 🔗 集合通信库（NCCL） NCCL NCCL 为多卡多机提供集合通信原语，靠拓扑感知与算法选择尽量把梯度同步的带宽用足。 基础设施 分布式训练通信加速卡 🛶 飞桨（PaddlePaddle） PaddlePaddle 飞桨是国产深度学习框架，训练与推理一体，配套产业模型库与部署工具，在工业场景中较常见。 基础设施 深度学习框架国产化产业落地