胡伟煌

个人博客

置顶 kube-controller-manager源码分析(三)之 Informer机制

以下代码分析基于 kubernetes v1.12.0 版本。 本文主要分析k8s中各个核心组件经常使用到的Informer机制(即List-Watch)。该部分的代码主要位于client-go这个第三方包中。 此部分的逻辑主要位于/vendor/k8s.io/client-go/tools/cache包中,代码目录结构如下: 123456789101112131415161718192......

置顶 kubelet源码分析(五)之 syncPod

以下代码分析基于 kubernetes v1.12.0 版本。 本文主要分析kubelet中syncPod的部分。 1. managePodLoop managePodLoop通过读取podUpdateschannel的信息,执行syncPodFn函数,而syncPodFn函数在newPodWorkers的时候赋值了,即kubelet.syncPod。 managePodLoop完整代码......

大模型agent概述

1. 为什么需要agent 如果希望答疑机器人能具备这样一种功能:只需说出“帮我请明天的假”,机器人便能自动提交请假申请单。那么就需要让大模型理解用户的意图,并且可以调用相应的API来实现。通过任务分解和自动化执行,就可以高效的完成复杂的动作,即智能体(Agent)。 2. 如何构建agent 构建一个agent的步骤: 明确目标 定义工具函数 将工具函数集成到agent ......

大模型原理

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. 大模型是如何工作的 1.1. 大模型的问答工作流程 大模型问答工作流程主要有以下五个阶段 1.1.1. 输入文本分词化 分词(Token)是大模型处理文本的基本单元,通常是词语、词组或者符号。我们需要将“ACP is a very”这个句子分割成更小且具有独立语义的词语(......

大模型微调

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. 模型如何学习 1.1. 机器学习-通过数据寻找规律 假设有个规则编写成函数的形式,例如:f(x)=ax。机器学习的目标就是帮助你通过数据(训练集)来尝试找到 a 这些参数值,这一过程被称为训练模型。 1.2. Loss Function & Cost Functio......

RAG工程

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. RAG(检索增强生成) RAG(Retrieval-Augmented Generation,检索增强生成) 就是实现上下文工程的强大技术方案。 核心思想: 检索:检索与私域知识相关的知识片段。 增强:与用户的问题合并喂给大模型。 生成:生成大模型返回的回答。 ......

Cgroup v2和v1的区别

本文主要介绍cgroup v2和v1的区别。 Cgroups(Control Groups)是 Linux 内核提供的一种资源限制、审计与隔离机制。它允许 将进程分组,并对这些组应用资源限制(如 CPU、内存、IO 等)。目前存在两个主要版本:cgroup v1 和 cgroup v2。 1. cgroup v1 和 v2 的主要区别 1.1. 层级结构设计 cgroup v1: 每......

博客问题记录

本文主要介绍博客相关问题 1. 安装nodejs 参考官方文档:Node.js — Download Node.js®,通过nvm管理node的不同版本。 123456789101112131415# Download and install nvm:curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.3/install......

Volcano的使用

本文主要介绍volcano的使用,内容由官网文档进行整理。 1. Volcano介绍 Volcano作为一个通用批处理平台,Volcano与几乎所有的主流计算框 架无缝对接,如Spark 、TensorFlow 、PyTorch 、 Flink 、Argo 、MindSpore 、 PaddlePaddle,Ray等。还提供了包括异构设备调度,网络拓扑感知调度,多集群调度,在离线混部调度......

Volcano GPU虚拟化

本文主要描述如何通过volcano实现GPU资源的虚拟化。基于volcano官方文档整理。 1. 背景 随着大模型和AI的发展,GPU算力的需求越来越高,但是GPU成本高昂,对于小型工作负载,单个GPU可能造成资源浪费;而对于大型工作负载,单个GPU的算力又可能未被充分挖掘。因此需要通过GPU虚拟化的技术来提高GPU的利用率。 2. Volcano虚拟化方式 Volcano主要支持硬件和......
GPU