胡伟煌

个人博客

置顶 kube-controller-manager源码分析（三）之 Informer机制

以下代码分析基于 kubernetes v1.12.0 版本。本文主要分析k8s中各个核心组件经常使用到的Informer机制(即List-Watch)。该部分的代码主要位于client-go这个第三方包中。此部分的逻辑主要位于/vendor/k8s.io/client-go/tools/cache包中，代码目录结构如下： 123456789101112131415161718192......

Posted by 胡伟煌 on 2018-10-03

源码分析

置顶 kubelet源码分析（五）之 syncPod

以下代码分析基于 kubernetes v1.12.0 版本。本文主要分析kubelet中syncPod的部分。 1. managePodLoop managePodLoop通过读取podUpdateschannel的信息，执行syncPodFn函数，而syncPodFn函数在newPodWorkers的时候赋值了，即kubelet.syncPod。 managePodLoop完整代码......

Posted by 胡伟煌 on 2018-10-03

源码分析

大模型agent概述

1. 为什么需要agent 如果希望答疑机器人能具备这样一种功能：只需说出“帮我请明天的假”，机器人便能自动提交请假申请单。那么就需要让大模型理解用户的意图，并且可以调用相应的API来实现。通过任务分解和自动化执行，就可以高效的完成复杂的动作，即智能体（Agent）。 2. 如何构建agent 构建一个agent的步骤：明确目标定义工具函数将工具函数集成到agent ......

Posted by 胡伟煌 on 2025-10-17

大模型

大模型原理

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. 大模型是如何工作的 1.1. 大模型的问答工作流程大模型问答工作流程主要有以下五个阶段 1.1.1. 输入文本分词化分词（Token）是大模型处理文本的基本单元，通常是词语、词组或者符号。我们需要将“ACP is a very”这个句子分割成更小且具有独立语义的词语（......

Posted by 胡伟煌 on 2025-09-13

大模型

大模型微调

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. 模型如何学习 1.1. 机器学习-通过数据寻找规律假设有个规则编写成函数的形式，例如：f(x)=ax。机器学习的目标就是帮助你通过数据（训练集）来尝试找到 a 这些参数值，这一过程被称为训练模型。 1.2. Loss Function & Cost Functio......

Posted by 胡伟煌 on 2025-09-13

大模型

RAG工程

本文基于GitHub - AlibabaCloudDocs/aliyun_acp_learning内容整理。 1. RAG（检索增强生成） RAG（Retrieval-Augmented Generation，检索增强生成）就是实现上下文工程的强大技术方案。核心思想：检索：检索与私域知识相关的知识片段。增强：与用户的问题合并喂给大模型。生成：生成大模型返回的回答。 ......

Posted by 胡伟煌 on 2025-09-13

大模型

Cgroup v2和v1的区别

本文主要介绍cgroup v2和v1的区别。 Cgroups（Control Groups）是 Linux 内核提供的一种资源限制、审计与隔离机制。它允许将进程分组，并对这些组应用资源限制（如 CPU、内存、IO 等）。目前存在两个主要版本：cgroup v1 和 cgroup v2。 1. cgroup v1 和 v2 的主要区别 1.1. 层级结构设计 cgroup v1：每......

Posted by 胡伟煌 on 2025-07-11

Runtime Cgroup

博客问题记录

本文主要介绍博客相关问题 1. 安装nodejs 参考官方文档：Node.js — Download Node.js®，通过nvm管理node的不同版本。 123456789101112131415# Download and install nvm:curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.3/install......

Posted by 胡伟煌 on 2025-07-01

Blog

Volcano的使用

本文主要介绍volcano的使用，内容由官网文档进行整理。 1. Volcano介绍 Volcano作为一个通用批处理平台，Volcano与几乎所有的主流计算框架无缝对接，如Spark 、TensorFlow 、PyTorch 、 Flink 、Argo 、MindSpore 、 PaddlePaddle，Ray等。还提供了包括异构设备调度，网络拓扑感知调度，多集群调度，在离线混部调度......

Posted by 胡伟煌 on 2025-06-27

Kubernetes Scheduler

Volcano GPU虚拟化

本文主要描述如何通过volcano实现GPU资源的虚拟化。基于volcano官方文档整理。 1. 背景随着大模型和AI的发展，GPU算力的需求越来越高，但是GPU成本高昂，对于小型工作负载，单个GPU可能造成资源浪费；而对于大型工作负载，单个GPU的算力又可能未被充分挖掘。因此需要通过GPU虚拟化的技术来提高GPU的利用率。 2. Volcano虚拟化方式 Volcano主要支持硬件和......

Posted by 胡伟煌 on 2025-06-23

GPU