论文分享 - 热门的文章

论文分享—Overlap Communication with Dependent Computation via Decomposition in Large Deep Learning Models

本文提出了一种新的技术，通过与计算方法之间的重叠通信来有效地减少其数据通信开销。利用该技术，将一个识别出的原始通信群与依赖的计算操作一起分解为一系列细粒度的操作序列。通过创造更多重叠的机会和执行新创建的、更细粒度的通信和并行计算操作，有效地隐藏了数据传输延迟，实现了更好的系统利用率。

0
0
庞博文
发布于 2024-06-17 16:52
阅读 ( 1567 )

文章分享——Kolmogorov–Arnold Network

在MLP中，每层都进行线性变换后跟非线性操作。这种层级结构允许模型学习数据的多层次特征表示。随着层数的增加，模型的表示能力也随之增强为什么要用MLP？ •普适近似理论：...

0
0
刘士琦
发布于 2024-06-18 15:52
阅读 ( 1385 )

论文分享-Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Tree of Thoughts: Deliberate Problem Solving with Large Language Models 论文链接：Tree of Thoughts: Deliberate Problem Solving with Large Language Models 发表会议：NeurlPS 2023...

0
0
cc_test_01
发布于 2024-06-17 19:10
阅读 ( 1235 )

论文分享——MemoryBank: Enhancing Large Language Models with Long-Term Memory

大语言模型的革命性进步彻底重塑了人类与人工智能系统的交互，在广泛的任务中展示令人印象深刻表现。尽管如此，仍然存在一个明显的问题，长期记忆机制的缺失。在持续互动的需求下，这个缺点变得越来越明显，比如个人伴侣制度、心理咨询和秘书协助等领域。了解了长期记忆的必要性，本文提出创建记忆存储，为大模型定制的一种新的存储机制。记忆存储使模型能够召回相关的记忆，通过不断的记忆更新、理解来变化，随着时间的变化，通过综合历史互动信息来使用用户的个性化特征。

0
0
赵倩
发布于 2024-05-08 23:00
阅读 ( 1215 )

论文分享：Large Language Model based Multi-Agents: A Survey of Progress and Challenges

大模型驱动的多智能体综述，2024年1月发布于ArXiv，专知推文报道。

0
0
小方
发布于 2024-06-18 19:51
阅读 ( 1195 )

论文分享-EgoEnv:Human-centric environment representations from egocentric video

研究背景第一视角视频通常是由头戴设备或身体装备的摄像机拍摄，提供从佩戴者视角出发的视觉信息。这种视频与传统第三人称视角视频相比，具有更高的个人化和动态性，但同时也由于视角的限制和信...

0
1
zbq
发布于 2024-06-17 22:52
阅读 ( 1109 )

论文分享——动态神经网络

动态神经网络的发展总结，截至2021年

0
0
宋戈扬
发布于 2024-05-09 11:40
阅读 ( 1079 )

论文分享-SocialGFs: Learning Social Gradient Fields for Adaptive Multi-Agent Systems

1.相关工作在探索多智能体系统（MAS）的研究领域中，强化学习（RL）技术的应用已经取得了显著的进展。现有的多智能体强化学习方法主要集中在如何通过交互学习来协调智能体的行为，以实现共...

1
2
高元
发布于 2024-06-18 00:37
阅读 ( 1051 )

论文分享：More or Less: When and How to Build Convolutional Neural Network Ensembles

研究背景？扩展卷积神经网络模型随着数据集和任务复杂性的增加，卷积神经网络模型需要更多的参数来提升表示能力单一模型与集成模型的选择设计CNN时，需要在扩展单个网络模型和增加网络数量以形...

0
0
旺仔牛奶opo
发布于 2024-06-18 16:39
阅读 ( 1020 )

论文分享——Is a Modular Architecture Enough?

机器学习系统正逐渐显露出更稀疏、更模块化架构的优势，模块化架构不仅具有良好的泛化性能，而且还能带来更好的分布外(OoD) 泛化、可扩展性、学习速度和可解释性。此类系统成功的一个关键是，用于真实世界设置的数据生成系统被认为由稀疏交互部分组成，赋予模型类似的归纳偏置将是有帮助的。然而，由于这些真实世界的数据分布是复杂和未知的，该领域一直缺乏对这些系统进行严格的定量评估。

0
0
刘飞扬
发布于 2024-05-08 11:59
阅读 ( 966 )

论文分享——Have we built machines that think like people? (Visual cognition in multimodal large language models)

鉴于LLMs在模仿人类认知能力方面的潜力，一个深入的问题是：我们是否已经制造出了能够像人类一样思考的机器？这个问题需要结合认知科学对模型进行评估进行回答

0
0
ytzeng
发布于 2024-06-17 16:46
阅读 ( 926 )

学习笔记——《人机物融合群智计算》

以思维导图的方式制作了一份学习笔记，主要内容是各部分工作的目的、主要解决方案、以及部分方法的主要思想以及优缺点正文附上两张内容预览以及思维导图APP下载链接

0
0
Lucien
发布于 2024-07-18 13:49
阅读 ( 600 )

学习笔记——《人机物融合群智计算》

以思维导图的方式制作了一份学习笔记，主要内容是各部分工作的目的、主要解决方案、以及部分方法的主要思想以及优缺点正文附上两张内容预览以及思维导图APP下载链接

0
0
Lucien
发布于 2024-07-25 11:56
阅读 ( 591 )

AdaSpring: Context-adaptive and Runtime-evolutionary Deep Model Compression for Mobile Applications

深度学习驱动的移动应用通过模型压缩在资源有限的设备上本地部署，以实现稳健且私密的环境感知。然而，现有的DNN压缩技术要么手工设计以优化模型性能，要么按需压缩以优化硬件指标，但都无法在线运行且未考虑动态部署环境。为此，我们提出了AdaSpring，一个上下文自适应、自进化的DNN压缩框架，实现本地在线的自适应压缩。

0
0
罗诗妍
发布于 2024-08-24 20:41
阅读 ( 511 )

论文分享——Space-Efficient TREC for Enabling Deep Learning on Microcontrollers

在资源有限的环境中部署深度神经网络（DNN）并获得令人满意的性能是一项挑战。尤其是在微控制器上，因为其空间和计算能力非常有限。TREC 是最近为在 DNN 中实现计算重用而提出的一种优化方法，本文的重点是如何在微控制器上实现空间和时间的节约。该解决方案在保持 DNN 精度稳定的同时，最大限度地提高了性能。实验表明，该解决方案消除了 DNN 中 96% 以上的计算，使其能够很好地融入微控制器，在仅有微小精度损失的情况下提高了 3.4-5x速度。

0
1
罗诗妍
发布于 2024-09-18 20:45
阅读 ( 428 )

Enabling Resource-efficient AIoT System with Cross-level Optimization: A survey

随着深度学习在物联网智能基础设施中的广泛应用，各种AIoT（人工智能物联网）应用成为可能。然而，基础设备有限的资源限制了深度计算任务的执行效率。如何提高这些任务的部署效率，成为一个涉及多层优化的问题，包括上层模型结构、底层系统调度，以及它们之间的相互影响。为扩展物联网中深度学习部署和优化的研究范围，我们深入调研了现有的优化技术，涵盖了本地和分布式计算中的深度学习模型、计算图、运算符、内存调度和硬件指令。