原作者带队，LSTM卷土重来之Vision-LSTM出世
原作者带队，LSTM卷土重来之Vision-LSTM出世与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。
来自主题: AI技术研报
11029 点击 2024-06-08 15:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。
Stability AI前CEO的新公司，终于浮出水面：Schelling AI，就如他当初辞职跑路时所说，致力于“去中心化人工智能系统”。
G-Assist存在的意义，就在于可借助AI实现“千人千面”的效果。
在脑机接口领域取得突破性进展的公司不止Neuralink一家。Precision Neuroscience发布公告称，他们采用与Neuralink不同的技术路径，在人脑上成功放置了4096个电极，打破了去年2048个电极的最高纪录。
OpenAI、苹果被曝牵手成功，iPhone要变AiPhone了！
刚刚，苹果和OpenAI曝出价值数十亿美元的合作，这也让微软CEO纳德拉直接急眼了！根据内部消息，纳德拉已经紧急约谈了Altman，对新合作可能对微软业务产生的影响表示了担忧。好在，据悉苹果AI Siri跳票至2025年，纳德拉可以暂时先别急。
比斯坦福DPO（直接偏好优化）更简单的RLHF平替来了，来自陈丹琦团队。 该方式在多项测试中性能都远超DPO，还能让8B模型战胜Claude 3的超大杯Opus。 而且与DPO相比，训练时间和GPU消耗也都大幅减少。
TinyLLaVA 项目由清华大学电子系多媒体信号与智能信息处理实验室 (MSIIP) 吴及教授团队和北京航空航天大学人工智能学院黄雷老师团队联袂打造。清华大学 MSIIP 实验室长期致力于智慧医疗、自然语言处理与知识发现、多模态等研究领域。北航团队长期致力于深度学习、多模态、计算机视觉等研究领域。
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些优化难题，其中涉及到训练一个奖励模型，然后优化一个策略模型来最大化该奖励。
大模型公司洗牌期开始了。 突然之间，几家明星初创纷纷传出消息，寻求收购。都是大家熟悉的名字、过往战绩也都不错：Adept，估值超10亿美元，由Transformer作者创立；Humane，估值7.5-10亿美元，打造出爆火AI新硬件AI Pin；Stability AI，Stable Diffusion打造者，最早一批AI独角兽。