时序信息的处理可以采用3D卷积，Transformer或者RNN。FSD的方案中采用的是RNN，以我个人的经验来看，这确实也是目前在准确度和计算量之间平衡度最好的方案。 通过以上这些算法上的改进，FSD在向量空间中的输出质量有了很大的提升。在下面的对比图中，下方 ...

人类有记忆，神经网络当然也需要记忆。不过，我们通常所指的前馈神经网络难以模拟记忆功能。前馈神经网络（图2a）是应用最广泛、发展最迅速的人工神经网络结构，在深度学习时代的各个应用领域，都发挥了重要作用。

此外，基于多模态大模型强大的数据汇聚与语义理解能力，该行还打通了原本割裂的各类监控数据。目前正着手建设一套覆盖全行的“AI中台”，可灵活调度跨网点、跨系统的数据和算力，快速响应总分支的各种临时需求。

首先测试的是纯Mamba模型，结果在2.8B和7B的模型上，相比原来的解码方式，推理速度提升了1.7-2.6倍。

在深度学习领域，Transformer的成功在很大程度上依赖于其注意力机制。然而，这种机制带来的计算开销使得Transformer在处理超长文本时遇到了瓶颈。然而，最近由Mamba团队发布的一项新研究展示了一种革命性的方法，他们将Llama3模型蒸馏成混合线性RNN，不仅保持了模型的生成质量，还显著提高了处理效率。

谷歌实验室在邀请用户尝试「前沿技术」方面有着悠久的历史。Illuminate 最早在今年五月的 Google I/O 大会上亮相，当时谷歌重点强调了自身大模型的多模态和长文本能力。但那时 Illuminate 只是一个私人测试版本。

8 月，在一项新的研究中，由加州大学戴维斯分校健康中心研究团队及其合作者开发的一种由 AI 驱动的大脑植入物，成功将大脑信号转换为语音，让失语患者重新开口说话，准确率高达 97.5%。

这边 OpenAI 刚发了又一个引爆 AI 圈的大模型 o1，那边谷歌 DeepMind 高级 AI 总监 Nando de Freitas 宣布了自己离职的消息。 9 月 13 日，Nando de Freitas 发推表示自己要离开工作 10 ...

吸引子网络是一种使用交互式反馈的递归神经网络(RNN)模型，其中 Hopfield 网络是典型的代表，它与生物神经回路和记忆机制有很强的联系，并在联想记忆和组合优化中得到应用。 目前，已有一系列基于忆阻器阵列实现的 Hopfield 网络硬件研究。在这些工作中 ...

智联招聘数据显示，2024年上半年，招聘职位数同比增速前五的人工智能职业，包括大语言模型方面的自然语言处理（111%）、深度学习（61%）岗位，机器人方面的机器人算法岗位（76%），自动驾驶方面的智能驾驶系统工程师（49%）、导航算法（47%）。

9月10号苹果如约召开发布会，本以为会带来一些惊喜，但冲上热搜的却是“国行版暂不支持苹果AI”“标准版配色像垃圾袋”，如果你说苹果这次只是一次常规升级，恐怕并不客观，苹果全系AI软硬件都充分支持，还是历史上第一次。

“基于物流数据要素驱动的民生多场景数智服务AI模型库”现已在广泛的行业应用实践中，为政府和企业用户带来业务层面的提质增效，增强了人民群众的获得感、幸福感和安全感，同时更显现出物流数据要素在社会民生领域的巨大应用潜力和价值。