temperature为0为什么会输出不同的结果今天遇到一个有意思的问题，大模型的temperature=0，为什么会有不同的结果？ 理论上，温度为0时，大模型会进入“贪婪搜索”模式，只选取概率最高的那个token。当输入完全相同时，输出应当也完全相同，但是经过实践，发现结果往往有区别。 一、浮点数计算的非确定性首先要知道，浮点数计算不符合结合律： $$(a+b)+c \neq a+(b+c)$$ 举个例子$(1+10^{16})-10^{16}=0$，而$1+(10^{16}-10^{16})=1$ 由于Attention涉及矩阵计算，而显卡对矩阵计算做了很多算子优化，这些计算往往是并行的，这导致成千上万个线程同时计算，计算的顺序无法保证一致性。在浮点数相加时，由于精度限制，精度之外的数字会被抹零。虽然一次计算看不出什么，但是经过上万次放大后会突破阈值，产生微妙的变化，使两个token的概率排序发现改变。 如果要保证确定性，需要在代码中进行特别处理才行，但代价是模型推理速度明显下降。 二、模型架构（MoE）MoE(Mixture of Experts)混 ...
本地部署 Qwen2.5-Omniqwen2.5-omni-7b使用官方提供的transformers演示demo，在不做任何优化（如禁用视觉）的情况下需要26g左右的显存，qwen2.5-omni-3b加载大概需要12g，生成一段22s音频增加至15g 环境5090，cuda12.8，ubuntu22，由于时间隔得比较久，vllm和transformers的部署方式使用了不同的pytorch版本。可以去这里的地址下载 torch和flash_attn 一、使用vllm部署依赖：torch2.9.1、torchvision0.24.1、torchaudio2.9.1从pip安装，python3.12，vllm0.12.0和vllm-omni从源码编译 1export MAX_JOBS=4 # 这个参数非常重要 12345678# 从源码编译vllmgit clone https://github.com/vllm-project/vllm.gitcd vllmgit checkout v0.12.0python use_existing_torch.pypip install -r ...
label studio导入标注通过一个json文件，在label studio当中同时导入本地样本和标注 关键字：label-studio 标注 我在使用label studio标注的时候，需要修改一些已经标注好的样本，这就需要从本地导入带标注的样本。我使用的是 label-studio==1.21.0。 一、从json导入样本和标注 首先需要添加环境变量 12345678# linuxexport LABEL_STUDIO_LOCAL_FILES_SERVING_ENABLED=trueexport LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=你的数据集根目录# 比如我的# LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=/mnt/datasets# windows使用下面的# LABEL_STUDIO_LOCAL_FILES_DOCUMENT_ROOT=C:\\data\\media 理论上也可以用http，但我没试 首先创建一个项目，data import不用管， labeling setup选择你的任务 ...
泡泡玛特永生花圣诞节快到了，还在发愁送给喜欢的人什么礼物？不如试试亲自做一个泡泡玛特永生花： 注意：通过我的方式做出来的礼物不能倒置和摇晃！不能快递！只能拎在手上运输，不建议异地情侣用这种方式做，因为这玩意很脆弱，就算拿手上也不建议长途运输！建议先看完这篇攻略再决定要不要动手 原料： 一个泡泡玛特，建议直接选款式，不要开盲盒，因为有些款式不适合做成礼物 53元 永生花，颜色和泡泡玛特自行搭配 10元 玻璃罩展示盒（我选的是12*18）15元 圆形亚克力收纳盒（10*5.3cm） 5元 亚克力小展台（3.5cm高） 6元 无痕双面胶贴 3元 干燥花泥 1元 干燥剂（可选） 4元 泡泡玛特和花是tb买的，其他pdd，所有东西加起来 成本共90多 ，一个晚上基本能做完。 其他工具：镊子、剪刀、小刀等 购买原料时候的注意点： 玻璃罩的内直径和收纳盒的外直径，最好是相差2厘米左右，因为这里还需要加入一些装饰藤蔓。另外注意高度，泡泡玛特+小展台<玻璃罩才行，不然玻璃罩盖不上就尴尬了。 虽然买的是10*5.3cm的收纳盒，但是我用到是收纳盒的盖子，而不是这个收纳盒的盒身。盖子大概是1- ...
安装Kimi-Audio docker镜像在本地部署Kimi-Audio时，需要下载docker镜像，但是安装失败，以下是我遇到的问题 https://www.modelscope.cn/models/moonshotai/Kimi-Audio-7B-Instruct 问题3 torch版本官方提供的依赖是torch2.6的，注意torch版本是否匹配你的显卡，我用的5090算力是sm_120，至少需要torch2.7才行。 解决方案在这个网站上找你的cuda版本、python版本并下载对应的安装包https://download.pytorch.org/whl，将以下代码写入dockerfile，主要要写在RUN pip install -r requirements.txt之前，并且将requirements.txt里的torch和torchaudio删除 123456# 安装本地 PyTorch wheel 文件COPY torch-2.7.1+cu128-cp310-cp310-manylinux_2_28_x86_64.whl /tmp/COPY torchaudio-2.7 ...
连续批处理策略（Continuous Batching）在调用本地昇腾部署的大模型时，观察到一个很有意思的现象：在执行高并发问答时，所有的回答都趋于同一个短暂的时间窗口完成，即使有不同的首字延迟时间。 关键词： 批处理、大语言模型、本地部署 12342025-10-10 11:04:08 [INFO] LLM图像分析455成功响应，用时 86.08秒 | 首字延迟: 63.554秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tokens/秒: 0.092025-10-10 11:04:08 [INFO] LLM图像分析471成功响应，用时 85.91秒 | 首字延迟: 26.541秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tokens/秒: 0.092025-10-10 11:04:08 [INFO] LLM图像分析263成功响应，用时 88.34秒 | 首字延迟: 7.496秒 | 输入tokens: 872 | 输出tokens: 8 | 总tokens: 880 | tok ...
safebrowsing.googleapis.com: 443 偷跑流量的问题（和谐版）摘要最近发现某软件的流量用起来很快，一看后台才发现是safebrowsing.googleapis.com:443一直在下载，导致几十个G的流量被用掉了。这个端口是谷歌和腾讯用来更新一些欺骗性网站的内容，用于安全目的，但是偷跑几十G流量就有点夸张了。我的系统是macOS10.15。 关键词：safebrowsing googleapis 某软件 流量 macOS 方法1.设置某软件的配置文件'DOMAIN-SUFFIX,safebrowsing.googleapis.com,DIRECT''DOMAIN-SUFFIX,safebrowsing.urlsec.qq.com,DIRECT' 设置为DIRECT，在设置的时候要注意规则匹配原则，是不是从上往下的，如果你把这两条规则放在了一些更宽泛的规则后面，可能会失效。 2.设置Safari打开Safari，偏好设置-安全性，取消勾选欺骗性站点。但这个方法好像没用，我取消勾选后还是会偷跑流量。 结语设置Safari ...
技术人生
未读解决pycharm打字卡顿，性能低下问题摘要：不知道何时起，我的pycharm就打字很卡，粘贴很卡，卡个一两秒钟，卡的没有规律，但单纯地看代码不卡，最后发现原来是远程解释器的问题 关键词： pycharm macos remote python 一、删除你的远程解释器打开你的偏好设置-全部显示，然后直接删除不用的远程解释器，删到只剩5个就差不多不卡了。这个操作只会删除你的设置，不会删除远程服务器上的python环境。 lag when typing in PyCharm with a remote interpreterUI lags and freezes when there are a lot of outdated interpreters in configs 二、增加内存帮助-编辑自定义虚拟机选项，修改内存高一点可以，但我感觉效果不明显。我以前512m和现在2048m用起来没啥区别。 结语善用谷歌，如果你发现百度不到什么东西的话。这个问题百度千篇一律，就是加虚拟内存，然而并没有什么卵用。也正因如此，写此博客，希望对你有用:)
使用figlet、lolcat和oh-my-zsh美化Mac终端摘要：实现开启动画和自定义ohmyzsh主题，需要一定基础 关键词： figlet lolcat ohmyzsh macos 我使用的终端shell是zsh，如果你使用其他shell（如bash），只需要将下文中的zshrc替换成bashrc，依旧可以定义你的欢迎页，但是无法使用oh-my-zsh。 一、欢迎页使用figlet和lolcat figlet可以将普通终端文本转换为大字母 http://www.figlet.org/examples.html 可查看所有字体样式 安装命令 brew install figlet lolcat可以为输出的文本添加彩虹般的色彩，我们可以通过管道将这两个命令联合起来 安装命令 gem install lolcat (可能需要更新ruby) 12# welcome wordsfiglet -f isometric3 helloworld | lolcat -a -d 1 可以在终端中先试试效果，然后再在 .zshrc 文件中加入 -f 表示要选择的字体（见上面连接）， he ...
技术人生
未读自定义oh-my-zsh主题风格，代码和语法的解释摘要：简要介绍.zsh-theme的代码（不涉及函数） 关键词：ohmyzsh zsh-theme语法 https://github.com/ohmyzsh/ohmyzsh/wiki/Themes 官方的主题库 我们可以在~/.oh-my-zsh/themes下面找到对应的主题代码，和官方的主题风格对照着看 https://zsh.sourceforge.io/Intro/intro_14.html#SEC14 部分提示词语法 一、语法介绍下面解释一下robbyrussell.zsh-theme这个主题的代码 1234567PROMPT="%(?:%{$fg_bold[green]%}➜ :%{$fg_bold[red]%}➜ ) %{$fg[cyan]%}%c%{$reset_color%}"PROMPT+=' $(git_prompt_info)'ZSH_THEME_GIT_PROMPT_PREFIX=&quo ...
