一叶知秋

微积分梯度算法

Thu, 26 Feb 2026 17:10:59 +0800

import numpy as np
# 损失函数：均方误差(MSE)
def mse_loss(y_true, y_pred):
    return np.mean((y_true - y_pred) ** 2)

# 梯度计算：损失函数对参数w的偏导数
def compute_gradient(X, y, w):
    # L = (1/n) * Σ(y - wX)²
    # dL/dw = -(2/n) * Σ(y - wX) * X
    n = len(y)
    # 计算样板在向量方向的预估值，w是X的同列数的一维数组
    predictions = X.dot(w)
    # 计算实际值y和预测值的差值，并计算出X每列特在在本次计算时的损失量，即X的行列转行并进行差值进行点积
    gradient = -(2/n) * X.T.dot(y - predictions)
    return gradient

# 参数更新：沿梯度反方向移动，y是实际值，X是样本，w是向量即预测的评分体系，learning_rate是学习率，iterations是迭代次数
def gradient_descent(X, y, w, learning_rate, iterations):
    for i in range(iterations):
        # 计算本地迭代的梯度情况
        grad = compute_gradient(X, y, w)
        # 根据梯度情况调整向量值，每次调整的比例是学习度
        w = w - learning_rate * grad
        if i % 100 == 0:
        # 计算函数损失，也就是向量调整到什么情况，方差越小向量越准确，即按照向量方向进行预测越贴近实际值
            loss = mse_loss(y, X.dot(w))
            print(f"Iteration {i}: loss = {loss:.4f}")
    return w

uv 的使用

Mon, 14 Jul 2025 18:28:14 +0800

安装

pip install uv

uv init：创建新的 Python 项目。    
uv add：向项目添加依赖项。    
uv remove：从项目中删除依赖项。    
uv sync：将项目的依赖项与环境同步。    
uv lock：为项目的依赖项创建一个 lockfile。    
uv run：在项目环境中执行命令。    
uv tree：查看项目的依赖关系树。    
uv build：将项目构建到分发存档中。    
uv publish：将项目发布到包索引。

uv python install：安装 Python 版本。
uv python list：查看可用的 Python 版本。
uv python find：查找已安装的 Python 版本。
uv python pin：固定当前项目以使用特定的 Python 版本。
uv python uninstall：卸载 Python 版本。

uv run：运行脚本。    
uv add --script：向脚本添加依赖项。 
uv remove --script：从脚本中删除依赖项。

信创麒麟主机下py服务import git时卡死问题

Thu, 26 Dec 2024 16:48:44 +0800

操作系统信息如下

Kylin操作系统，版本略低。

python服务启动时一直处于卡住的状态
定位到服务代码 import git 的地方

看看git 这个依赖包有什么神奇之处

通过调试程序卡到了git 包的使用Popen的地方了

有问题的参数close_fds的值is_posix 这个测试是Ture

这个也是import 过来的

close_fds=True，此时除了文件描述符为0 , 1 and 2，其他子进程都要被杀掉。 1、kylin操作系统在python句柄继承应该是有问题的或者操作系统的接口不符合POSIX标准但python程序中被告知符合

流水线构建镜像，已安装却不见的依赖包 jemalloc

Wed, 11 Sep 2024 16:29:36 +0800

记录问题和处理过程已经解决的方式，非最佳解决方案

前言：

在Dockerfile 中已经执行apt-get install -y libjemalloc-dev ，但是在后续执行命令：./configure --prefix=/usr/local/ruby --with-jemalloc 是提示没jemalloc.h登相关内容

猜测安装失败。单独一步一步的执行Dockefile中的内容，无问题。

然后在Dockerfile中执行完apt-get install 后增加执行 source /etc/profile 、export、 ldconfig等命令

发现未生效。

继续测试。单独安装 libjemalloc-dev ，发现可以了。

numpy学习地址

Thu, 18 Jul 2024 16:29:22 +0800

numpy 学习

Jenkins启动服务时环境变量的缺失问题

Mon, 15 Jul 2024 16:03:01 +0800

k8s部署的服务

背景：Jenkins启动的服务在获取指定环境变量时出现非预想结果

不是环境变量确实，是Jenkins在对环境变量为空的内容，不作为环境变量。

当获取时，结果是None

虽然在pod中手动获取环境变量是空字符串，echo $test 环境变量也是存在且为空字符串。
但是Jenkins启动的py程序在获取环境变量

os.environ.get('test', 'qwer')

发现并不是空字符串，而是qwer，即test环境变量在启动时是不存在的 Node

修改为

os.environ.get('test')

并调整判断条件。

k8s 服务流量流转

Mon, 15 Jul 2024 15:33:28 +0800

1、首先是域名解析，解析到指定服务器ip，即k8s的mater的节点；

2、k8s 会通过 gateway 来解析流量

查看gateway（kubectl.exe get gateway -n test）

例如域名是test.zhiqiu.top

端口默认是80，当然48080端口也是可以过来的（业务逻辑不同）

通过k8s 的gateway，即统一入口后流量打入到当前ns中

3、然后k8s 通过vs 解析路由并分发到指定的service中

查看vs(kubectl.exe get vs -n test)

查看vs详细内容 kubectl.exe edit vs zhiqiu-vs -n test

满足要求的路径将会被转发到front-new.test.svc.cluster.local 及 ns=test的svc为front-new的服务中

4、我这边的front-new是一个前端服务，是一个nginx服务，对于来的流量进行再次路由解析转发到指定的服务中。
因为我这边是多个服务，前端有多个。这里的nginx服务解析完毕后会把流量转发给我们的统一鉴权服务。

5、统一鉴权服务根据鉴权结果，转发或者转登录。正常转发到路由对应的服务中（ps：当前我们所有的服务启动时都会请求统计鉴权服务进行注册服务路由，即我们自己的gateway服务）根据注册的路由信息进行转发到指定的服务中。
6、svc将流量给到pod（这个就是k8s自己的分流策略了，这里没研究不在说了。一般是均分流量到多个pod）

spring boot 删除kafka没有消费者的消费组

Thu, 21 Mar 2024 09:42:32 +0800

背景：服务使用k8s 部署，服务逻辑是广播消费，即每个服务（pod）都会起一个消费组
因为每个pod都是一样的，无法固定消费组。同时每次更新或者重启pod时消费组就会增多。
时间旧了消费组就会消息堆积，消费组也会越来越多。

在项目中启动一个定时任务删除无消费者的消费组

直接看代码

package org.osc.scan.codesearch.service.impl;

import lombok.extern.slf4j.Slf4j;
import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.ConsumerGroupListing;
import org.apache.kafka.clients.admin.ListConsumerGroupsResult;
import org.apache.kafka.common.KafkaFuture;
import org.apache.kafka.common.config.SaslConfigs;
import org.osc.scan.codesearch.service.DeleteKafkaGroups;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

import java.util.Arrays;
import java.util.Collection;
import java.util.HashMap;
import java.util.Map;

@Slf4j
@Service
public class DeleteKafkaGroupsImpl implements DeleteKafkaGroups {

    @Value("${spring.kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Value("${spring.kafka.properties.security.protocol}")
    private String protocol;

    @Value("${spring.kafka.properties.sasl.mechanism}")
    private String saslMechanism;

    @Value("${spring.kafka.properties.sasl.jaas.config}")
    private String jaasConfig;

    @Override
    public void deleteGroupIds() {

        Map<String, Object> props = new HashMap<>(1);
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG,bootstrapServers);
        props.put(AdminClientConfig.SECURITY_PROTOCOL_CONFIG, protocol);
        props.put(SaslConfigs.SASL_MECHANISM, saslMechanism);
        props.put(SaslConfigs.SASL_JAAS_CONFIG, jaasConfig);
        // 创建一个kafka的admin客户端，执行高级操作
        AdminClient adminClient = AdminClient.create(props);
        // 获取消费组
        ListConsumerGroupsResult listConsumerGroupsResult = adminClient.listConsumerGroups();
        try {
            // 获取所有消费组
            Collection<ConsumerGroupListing> consumerGroupListings = listConsumerGroupsResult.all().get();
            // 遍历消费组
            for (ConsumerGroupListing consumerGroupListing : consumerGroupListings) {
                String groupId = consumerGroupListing.groupId();
                // 根据消费组的前缀(避免删除其他服务正在使用的消费组) 和 消费组没有消费者
                if (groupId.contains("LatchGroup-") && adminClient.describeConsumerGroups(Arrays.asList(groupId)).all().get().get(groupId).members().size() == 0){
                    log.info("找到要删除的groupID:{}", groupId);
                    // 执行删除操作
                    KafkaFuture<Void> resultFuture = adminClient.deleteConsumerGroups(Arrays.asList(groupId)).all();
                    try {
                    // 执行
                        resultFuture.get();
                        log.info("成功删除groupID:{}", groupId);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        adminClient.close();


    }
}

go启动时遇见的问题和操作

Thu, 22 Feb 2024 11:22:02 +0800

go env -w GOARCH=amd64

设置环境为amd64

go env == go environment

查询环境变量

go get -u github.com/gin-gonic/gin

安装gin框架

go help environment

go 帮助文档环境变量

go proxy

go代码，很多包需要代理下载

go mod vendor

通过modues.txt 下载依赖到本地的vendor文件夹中

java pom 引入的依赖中标签

Mon, 29 Jan 2024 13:49:14 +0800

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
</dependency>

表示这个包只在test中生效