2024
-
VLM测评，随便写写
写在前面出于最近忙的项目的考虑，来测评或者了解一下现在市面上的 vision-language modelsOpenAI o1是否开源：否需要资源：调用api，需要钱。据说很贵：Developer access to o1 is really expensive: In the API, o1-preview is $15 per 1 million input tokens, or chunks of text parsed by the model, and $60 per 1 mil...…
-
jittor 踩过的坑
写在前面最近在折腾 jittor，踩过的坑不想踩第二遍，记录于此配环境Cuda 找不到lib64/libcudart.so: cannot open shared object file: No such file or directory这个的原因其实可以从 trace 里面看出端倪：File "/path/to/your/lib/python3.8/site-packages/jittor/compiler.py", line 870, in check_cuda ctypes....…
-
LLM4Drive 笔记：自动驾驶用大语言模型
前情提要这是一篇从 LLM4Drive: A Survey of Large Language Models for Autonomous Driving 伸展出去的笔记，主要看看自动驾驶用大语言模型。唉，大语言模型，LMDrive 那篇文章对 LLM 的赞誉之词还历历在目。 … large language models (LLM) have shown impressive reasoning capabilities that approach “Artificial Genera...…
-
具身智能一瞥
前情提要“具身智能的切入点是灵活手”为了明确未来的研究方向，需要对具身智能有一定了解。毕竟现在看来cv的未来还是与robotics结合的。具身智能和自动驾驶差不多，最传统的思路还是模仿学习和强化学习。作为非ai专业学生，还是要补一补这方面的知识。有两个比较好的学习资料，放在这里，以后要找时间啃下来：LAMDA的模仿学习教程：Imitation_Learning.pdf (nju.edu.cn)上交“强化学习”课程课本《动手学强化学习》：前言 (boyuai.com)为了知道大家都在干啥，还...…
-
三维重建笔记
前情提要这篇笔记是由 2024CVPR DrivingGaussian: Composite Gaussian Splatting for SurroundingDynamic Autonomous Driving Scenes 伸展出去的，看到什么就记什么了。NeRFNeRF，全称为“Neural Radiance Fields”，是一种基于神经网络的三维重建技术。它主要用于从一组二维图像中生成高质量的三维场景，特别适用于场景的渲染和建模。NeRF的主要创新在于它通过一个神经网络来表示整...…
-
frp内网穿透备忘
FRP教程备忘一下，链接 使用frp配置内网(穿透保姆级教程)_frp内网穿透-CSDN博客Unity Mirror 用的 KCP 是基于 UDP 的，所以需要代理 UDP 端口并开放相应规则。…
-
iris 两周年！
正文画廊iris 比大拇指。iris 和哈工大社娘在一起。iris 二周年贺图。…
-
端到端自动驾驶笔记（经典工作篇）
比较经典的端到端自动驾驶模型古早时期：UniAD之前这是来自 2023CVPR ReasonNet 的 related worksEnd-to-end Autonomous Driving End-to-end autonomous driving in urban scenarios has become more studied recently thanks to the CARLA simulator and leaderboard [21]. Recent works mainl...…
-
端到端自动驾驶笔记（最新进展篇）
知识点补充非可微分后处理非可微分后处理（non-differentiable post processing）指的是在数据或模型上应用的某些操作，这些操作无法进行微分计算。这意味着在这些操作之后，无法通过计算梯度来优化模型参数。在机器学习，特别是在训练神经网络的过程中，可微分性非常重要，因为它允许使用基于梯度的优化方法（如反向传播）来更新模型的参数。非可微分后处理通常包括以下操作： 阈值化：将概率值转换为二元决策（例如，将输出分类为0或1）。 离散决策：涉及做出离散选择的任何操作，例如...…
-
关于多模态的两篇论文笔记
写在前面这篇文章的存在是记录自所项目时看的论文。因为要同时handle沙盘影像和文本的输入，所以要研究一下多模态。抱歉用了LLM来总结这些论文，不过效率确实很高。A Multimodal Generative AI Copilot for Human Pathology这是一篇比较新的工作，A Multimodal Generative AI Copilot for Human Pathology；有一篇比较通俗的中文搬运见 机器之心。主要内容是哈佛大学和 MIT 的研究团队提出了一种用于...…
-
编译原理复习
编译原理复习笔记第三章 词法分析正则表达式掌握语法状态转换图知道怎么画DFA, NFA正则表达式 -> NFANFA -> DFA (子集构造法)DFA最小化 (把所有可区分，即输入某字符去向不同的的状态分开)：初始划分 ${S - F, F}$ 其中 $F$ 是终止状态第四章 语法分析三板斧：“在进行高效的语法分析之前，需要对文法做以下处理”消除二义性二义性的消除方法没有规律可循消除左递归消除立即左递归：$A \to A \alpha_1 \mid \ldots \mid A...…
-
机器学习导论复习
写在前面忙活了这么长时间本校夏令营，砸了这么多精力，又熬大夜又肠胃炎，最后还是本校wl了，而且要被jyy骂菜。人生中从未有过如此屈辱的时刻。不过期末考试还是要复习。我把机器学习导论的复习内容整理到这里，大概就是过一遍作业吧。有时间一定要把个人站的风格改一下，现在这个风格对于笔记来说太不友好了。带 * 为作业中未出现但是 PPT 里出现。数学基础矩阵论梯度 gradient:$$\nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{...…
-
机试板子备份
写在前面正在备战夏令营机试。我本来就是上机苦手，南哪对机试的要求又这么高，唉……现在在刷洛谷，肯定是刷不完了，刷不完就看看 oi wiki 吧。这里主要囤积一些符合自己码风的板子和 stl 的使用参考。数据类型二分// first location// but seems c++ has bisearch stl?int bi(int l, int r, int key, int arr[]){ // cout << "(" << l << ", " &...…
-
论文阅读：ai视觉心理学
写在前面很长时间没有写文章了，主要是这段时间在忙 multi-shot 数据集采集和复习 408 的工作。唉，南哪的夏令营考核太繁杂了，简直比考研还苦难，本校何苦为难本校呢？Anyway，现在开始要做一个关于计算机视觉和心理学交叉的项目，有很多论文要看。所以开几个 markdown 做一下论文阅读笔记。学长在发给我们论文之前已经写好了一个大纲，所以这一篇也从大纲的基础上向外延伸。AI视觉心理：相关文献与资料1. 心理理论与应用实验平台的理论基础，箱庭测验与视觉投射理论关注：1）箱庭疗法，沙...…
-
快回来，组里发显卡了（二）
写在前面这是第二篇关于使用实验室显卡的文章。vscode远程开发由于我们的项目只能在拥有强劲显卡的实验室机器上跑，所以使用 SSH + vscode 进行远程开发才是首选。网上的教程也很多，比如这一篇，核心就是配置 Remote-SSH 插件。事实上我发现现在 vscode 的引导已经十分完善，首页上 Welcome 页面点击 connect to… 然后一路点下来配置就可以了，十分地方便。网络远程代理我们的机器十分奇葩，我们可以在内网中访问到它，但它本身没法上网，甚至不能 git clo...…
-
关于CUDA各种报错的处理
写在前面很长时间没有写 post 了，这是因为编译原理、机器学习导论的实验和作业以及大创项目相关的工作累得让我喘不过气来再学一些东西。推免拉力赛已经开始了，我想之后会越来越忙。南大今年把夏令营提前得太早了，真是人心惶惶。Anyway,这一条是对于我这段时间跑项目遇到过的各种奇奇怪怪报错解决方法的总结，在这里记录一下以备不时之需。正文arch_list[-1] += '+PTX' IndexError: list index out of range这是 pytorch / extensio...…
-
CV笔记（六）: Diffusion专辑, GAN, VAE, U-Net
写在前面这篇post还没有动工，最近在忙标数据、整理文书和编译原理作业之类的事情，不过我必须push自己学东西，所以今天就先把文件创建一下（3.25）好的现在开始学（3.26）首先看到了一个总集篇，那么我们的文章也根据这个总集篇开始吧。Denoising Diffusion Probabilistic Models论文链接reference 1 reference 2 (强推reference2，讲得很清楚，我这里基本就是搬运一下他的)Diffusion Model 的开山之作。扩散...…
-
CV笔记（五）: Transformer与DETR
写在前面注意力机制在NLP领域和CV领域都有重要的应用，所以专门整理一下这边的知识点。Paper: Attention is all You Need另外，也需要贴一下transformet在cv这边重要应用论文：DETR: End-to-End Object Detection with Transformers基本结构Word Embedding we use learned embeddings to convert the inputtokens and output token...…
-
快回来，组里发显卡了（一）
可以用组里的显卡采数据了！怕自己忘了怎么弄，在这里记录一下。Carla transfuser 数据采集transfuser 的数据采集脚本在 leaderboard/scripts/datagen.sh，readme原文如下：Data generationIn addition to the dataset itself, we have provided the scripts for data generation with our autopilot agent. To genera...…
-
CV概念笔记（四）: Chamfer Distance, Xavier/Kaiming initialize, EfficientNet
其实序号是接续CV论文笔记（三）的，虽然说一个是“论文”一个是“笔记”，但是主要内容差不多。这里主要存放我阅读 Neuro Map Prior 和 BEVformer 代码时遇到的概念。倒角距离 Chamfer Distancereference: chatGPT, CVF open accessChamfer distance (CD) is a standard metric to measure the shape dissimilarity between point clouds...…
-
BEVFormer代码阅读
BEVFormer本篇笔记是代码精读，并不涉及理论分析。代码仓库：github仍在施工中。Tree.├── docs│ ├── can_bus.ipynb│ ├── getting_started.md│ ├── install.md│ └── prepare_dataset.md├── figs│ ├── arch.png│ └── sota_results.png├── LICENSE├── projects│ ├── configs│ │ ├── ...…
-
神经地图先验代码阅读
Neuro Map Prior本篇笔记是代码精读，并不涉及理论分析。代码仓库：github仍在施工中。Tree.├── docs│ ├── data_preparation.md│ ├── getting_started.md│ └── installation.md├── figs│ ├── arch.png│ ├── demo.png│ ├── github-demo.gif│ ├── map_const_comp.png│ └── vis.png├──...…
-
CV笔记（三）: NMS, RNN, LSTM, GRU, RNN
Non-maximum suppression, NMStext referencecode reference非极大值抑制算法（Non-maximum suppression, NMS）是有anchor系列目标检测的标配，是很常见的后续处理步骤。NMS主要用于消除多余的检测框，消除的标准通常是IoU。大致流程： 选取这类box中scores最大的那一个，记为current_box，并保留它(因为它预测出当前位置有物体的概率最大，对于我们来说当前confidence越大说明当前b...…
-
经典模型复现项目
前情提要机器学习这一块光看书还是不行的，该动手搓的东西还是要动手搓。正在基于 pytorch 做模型复现项目，目前完成了LeNet、AlexNet、VGG、InceptionNet，后续还要做 ResNet、SSD、YOLO。仓库：My_Model_Zoo当然也并不完全是闭门造车，还是参考了别人的代码。约定模型 - model.py训练 - train.py推理 - inference.pyLeNet识别手写数字，万物之源reference由于是第一次写，所以还是要参照别人的代码refer...…
-
iris直播迁移笔记
前情提要iris在B站播了已经有一个月了，但是由于iris直播间真的没有什么吸引力，每天只是挂着而已。再加上b站的诸多限制，我感觉意义已经不大。所以我产生了把直播间迁移到自己网站上的想法，说不定还可以实现更好的界面和更多的功能。首先在信息收发方面，可以实现更好的前后端结合。另外，我觉得我可以试着把音乐广播转接到网页上来，这样iris的直播间就有了声音。音乐广播为了播音乐，我在滚石500张专辑里严选了几十张并把它们用 mp3Wrap 首尾相接制作了一个巨大的mp3音频，然后在云服务器上用rt...…
-
CV论文笔记（2）: Inception, SSD, YOLO, Squeeze-and-Excitation, VGG, AlexNet
Going Deeper with ConvolutionsGoogLeNet, 2014. 是比较早期的工作。论文链接reference (带pytorch实现)reference (理论)主要贡献提出深度卷积神经网络结构Inception。传统的提高神经网络性能的方法： 增加深度（网络层次数量） 增加宽度（每一层的神经元数量）该方案简单、容易但有两个主要的缺点： 容易过拟合尺寸增大则参数数量增加，使网络更容易过拟合，尤其是样本不足的情况下。 需要更强的计算能力过去的解决方式：稀...…
-
Mask R-CNN 复现笔记
先跑一跑论文看了有一些了，接下来必须动手干活。首先想到的就是科研传统手艺——复现。我比较想要复现Mask R-CNN这一篇。在自己写（其实我是希望网络本身也手搓，但是还是要一步一步来）之前，首先想要先跑一跑写好的代码和与训练模型来对Mask R-CNN有一个感性认识。我首先尝试的是直接运行论文提供的代码，然而毕竟是七年前的工作，使用的环境过于古老，再加上难绷的Caffe，我没有成功运行这个项目。不过还好找到了一个比较新而且配置更简明的版本，只需要跟着它的教程来配就可以了。我使用的是pyth...…
-
CV概念笔记: ResNet, CNN, ROI, RPN, SPP, FPN, FCN
残差网络 ResNetreference1reference2残差网络是一个基础概念。残差操作这一思想起源于论文《Deep Residual Learning for Image Recognition》。如果存在某个$K$层的网络$f$是当前最优的网络，那么可以构造一个更深的网络，其最后几层仅是该网络$f$第$K$层输出的恒等映射(Identity Mapping)，就可以取得与$f$一致的结果；也许$K$还不是所谓“最佳层数”，那么更深的网络就可以取得更好的结果。总而言之，与浅层网络相...…
-
CV算法笔记: Selective Search, Hierarchical Grouping, Graph Based Image Segmentation, Bounding-Box Regression
选择搜索算法 Selective SearchReference 原论文： 关键字：分层分组算法、初始化区域集、相似度计算 keywords: Hierarchical Grouping Algorithm, Obtaining Initial Regions, Calculating Similarity分层分组算法 Hierarchical Grouping Algorithmselective search的主要内容。Input: (color) imageOutput: Se...…
-
CV论文：MASK R-CNN
写在前面其实之前就发现搞CS的很喜欢在自己个人站里保存学习笔记。我依稀记得在我上中小学的时候还是非常喜欢记笔记的，大一的时候上数学课的时候也是。但是接触计算机课程多了以后，觉得自己写总是太浪费时间，就总是完全不记笔记或者找资料东拼西凑再总结了。但是论文这些东西就没法参照什么资料了，要有自己的理解、按自己的习惯消化才好。又要利于以后复习，所以我打算把看论文时记下的笔记保存在这里。另外引一个我觉得不错的笔记：人工智能基础很好的CV概括：计算机视觉四大基本任务（分类、定位、检测、分割）嗯，感觉还...…
-
介绍页：iris
介绍页：irisNEWSiris 两周年了！(2024.8.24)iris 是哪里的……南大、武大、哈工大，傻傻分不清？iris 占领全国了没有？推送： iris 两周年！ (meteorcollector.github.io)iris获得南京大学民间年度人物提名 (2023.12.31)在2023年度“小破手”杯南京大学年度评选中，iris获得“年度人物”提名并在30个候选提名中得票第15位。“小破手”杯南京大学年度评选是“南哪助手”主办的每年一度的年度评选活动，设有“年度汉字”、“年度...…
-
传送门：iris的直播间
传送门：iris的直播间iris livestream由于B站直播间的诸多限制（显示质量差、延迟高、发送消息有长度限制），现在iris的直播间已经转移到了我自己做的web前端处。同时在音频方面，从滚石500张专辑里选择了大几十张，后面还会添加一些其他音乐，可以当作广播听。直播间仍沿用之前的设定。(已过时)传送门：iris的b站直播间直播间号：3284945由于iris的收发消息逻辑已经完全独立于iris的内核，所以b站直播间的接入并不算难事。iris监听直播间消息，计算出每帧的画面用ffm...…
-
传送门：iris的相关动画
传送门：iris的相关动画朋友鼓励我多写写关于iris的东西，完善世界观、故事和人物之类，给iris增添一些文学性。 [2024/02/01] 3D/故事线：落日天涯 [2023/08/30] 3D/铱岛游戏实况：铱岛上线十天，随便逛逛 [2023/08/11] 3D/MMD/iris跳幻想嘉年华开场曲：天文机器人iris跳月球名舞 [2023/07/17] 2D/手书：iris夏日录像 [2023/01/31] 2D/Live2D：各种形态的iris.gb [2023/01/...…
-
Carla环境配置
因为要收集自动驾驶的图像数据所以要用Carla模拟器。Carla也不是一个很新的项目了，配置的时候也踩过不少坑。在这里记录一下以备后用。transfuser我们用的是自动采集脚本项目transfuser项目原生的environment.yml中，cudatoolkit==10.2，我现在用的是4060，10.2有些太老了。在按照原environment.yml配完虚拟环境之后，我向上升级了一些包。经测试该项目可以支持cuda 11.3，所以我进行了pip install torch==1....…
2023
-
传送门：铱岛
传送门：铱岛 (iris observatory)（上图：Windows版游戏截屏）在iris的岛上和iris一起看星星、聊天、乱写乱画的小型多人在线游戏。使用unity制作。在上线一个月之内游戏内留言已经突破了100条，感谢大家对iris的喜爱！实况视频链接：铱岛游戏实况闲逛展示视频：铱岛上线十天，随便逛逛。（上图：Android版游戏截屏）由于我没有购买域名，游戏里直接使用了ip地址来与服务端程序联络。现在由于我换了新的云服务器，游戏中ip地址失效了，目前还没有更新。我打算购买一个域名...…
-
iris的nlp之路：章鱼触手与斩龙大剑
iris的nlp之路：章鱼触手与斩龙大剑引言“iris诞生于ai技术爆炸的前夜。几乎就在短短的几天之内，接有成熟的自然语言处理或者绘画接口的机器人像骤雨一样出现，狂暴地冲刷了人们的认知。曾经以为要完善很多年的狂想般的技术，就这样直接走到了我们中间。从这以后，ai再有怎样普及和性能上的成就，都变得合情合理了。我也想抓住这股春风，但是我不想让iris和别人一样。我轻狂得好像自己已经站在世界的最前端，我以为只靠我的一双手就可以让我的造物飞起来，实际上并不是这样的，我错误地估计了技术前沿普及的速度...…
-
iris，可以看看你的源码吗？
iris，可以看看你的源码吗？省流：暂时不可以iris诞生半年以来，朋友们对她关怀备至。抛头露面的机会多了，就会不免得被多问几句：“可以看看源码吗？”作为饱受知识垄断之苦的学习者和程序员，我当然对共享人类一切智力成果的开源运动再支持不过了。但是我也有一个不得不暂时不公开iris项目代码的理由——iris还不够优秀。我开始写iris的时代，是我刚刚入门大型项目管理，还未开始南京大学计算机系统基础课程实验(pa实验)的时候。我所做的只有机械地堆叠代码，并没有做非常良好的函数封装和模块化管理——...…
-
铱之皮套大冒险
铱之皮套大冒险快乐小秦23年的这个寒假，我有一半的时间都在和fpga硬件实验和ics的pa实验做斗争，debug陷入困境或者vivado综合无休无止时，我看了很多快乐小秦来减轻我的痛苦。这样做的一个副作用就是，看小狗皮套看多了，就眼馋了。我想也给iris多做些皮套。做皮套这种事情，当然还是要从live2d开始学起。跟着官方教程学了一晚上，先做出了企鹅的皮套。我觉得live2dcubism这个软件操作还是比较简单的。做一个模型，首先要在photoshop里分层画好模型的各个部分；然后导入cu...…
2022
-
做得很满意的实验
不愿意透露姓名的实验这里记载了我2022年秋季的数字逻辑与计算机组成实验。但是由于课程教授的要求，我不太愿意让这个网页被搜索到。这个学期我是PA和本实验双开的，都是从计算机的最底层一路做到最上层。本实验中我自己用verilog手搓了一个cpu，然后在上面运行自己写的简易计算机系统并在上面开发程序。由于程序开发和硬软件设计都是比较自由的，所以我做本实验的过程还是比较享受的。硬件部分仓库：2022_vivado_projects软件部分仓库：digital_design_os下面内容转载至我的...…
-
一个reader-friendly的iris手册
iris指令集铱之皮套或许你可以到这里看看铱之皮套。免责声明iris的群友们通过iris获得的所有内容均为自动生成，与iris的观点完全无关。请在知晓这一点的前提下与iris进行互动。规则怪谈iris天文竞赛的时钟运行得也不甚稳定。如果时钟停止运行，请第一时间联系她的监护人。征集公告iris长期征集天文题库。详见 这篇文章 的“天文竞赛”一节。重要提醒在这里对一些使用者经常犯的错误进行特殊提醒（每一条都很重要）： 指令字段之间要加空格。指令字段之间要加空格。指令字段之间要加空格。例如：i...…
-
iris，你到底是谁？——可能是更新简报
八月三十一号之后发生的事距离上一个关于iris的文档发布已经过去了两个星期。如果现在运行iris -h，她将输出如下操作信息：大家好，我是 iridium，简称 iris，现在还是一个简单到不能再简单的机器人，并没有加很多功能。唤起 iris 的指令均以 iris 或者 Iris 开头（不要看错我的名字凹！）可以发送 'iris 发' 来让iris 发送消息。比如 'iris 发 土豆' 会让iris发出土豆。可以通过发送“iris 发 M…”、“iris 发 NGC…”、“iris 发 ...…
-
关于iris出生的二三事
iris是谁？iris是一位由MeteorCollector独立开发的QQ机器人，采用Mirai内核，Mirai.Net框架。她的名字来源于人造卫星“铱星”以及著名的反射星云NGC 7023（鸢尾花星云）。（南哪是二源的，iris的名字也是二源的，这很合理）在开发期间，iris的功能以及指令架构设计都很大程度地受到了金立猫的QQbotLvory的影响（根本就是镜像级别的啊）。假如在iris在场时键入iris -h，她会自己交代出目前实装的功能。例如，现在帮助文档的版本是：大家好，我是 ir...…
-
欢迎来到电子荒原
hello world!大家好，这里是MeteorCollector。本来这个假期要搓一个非静态网页项目，但是由于和unity相处得不甚愉快，最后选择了放弃，可能以后还会继续开发吧。作为补偿，我打算先粗略地搭建一个静态网页，在这里储存一些帖子，以及一些工作室的内容。这篇帖子就到这里了，具体的内容以后再陆续补充吧。祝：武运昌隆，心明眼亮！bilibili @过路的末某人…
-
无题鸭游戏
项目介绍该项目是南京大学2022问题求解（二）的课程项目，要求基于Qt框架制作一个类似泡泡堂的游戏。游戏第一阶段使用命令行界面实现；第二阶段使用Qt，双玩家，并配有两个机器人作为玩家的敌对势力；第三阶段优化机器人ai。因本项目实现较好，被评为优秀项目。项目仓库 点击此处项目展示视频 点击此处第二阶段实验报告完成进度本项目第二阶段的必做部分在5月3日全部完成，详细说明如下： 素材收集：本项目中全部贴图都是我亲手画出来的，使用的网站是这个。贴图的基本尺寸是 64 * 64，有一些大了...…
-
活在自我选择的世界里
活在自我选择的世界里书接上回，“故乡的孩子啊，请不要长大——”然而这样的幻想是不可能实现的。身后是虚假的过去，面前是随生活的深入摆在面前的愈加残酷的现实。然而什么是现实？我在县城里的时候觉得世界在外面，在外面的时候觉得世界在田野和平房里。你现在看着的这方手机屏幕里的世界是真实的吗？我是真实的吗？比方说我是一个煎饼果子原教旨主义者。我认为煎饼果子里只能加果子和馃箅儿。我在网络上的某处发表我的宣言：煎饼果子里只能加果子和馃箅儿。这时候支持我的人将要评论：我也是这样想的！反对我的人则大多沉默。我...…