橘子汽水铺

技术的涟漪效应:RAG与Long Context的认知冲突

Google前阵子发布的Gemini 1.5 Pro,是一个具有1M上下文窗口的LLM,它在处理大量信息时表现出色,尤其是在“大海捞针”实验中达到了99.7%的召回率。 在科技的浪潮中,每一项新兴技术都似乎预示着旧技术的终结。然而,当我们观察 RAG 和 long context,一个有趣的现象出现了:被大模型厂商认为即将被淘汰的技术 RAG,却被企业客户视为好用的新技术,其应用非常扎实也越来越广泛。 这种认知上的巨大差异非常有趣,本文将深入探讨RAG与Long Context之间的这场认知冲突,并试图揭示背后的深层次原因。
技术的涟漪效应:RAG与Long Context的认知冲突

MBTI 理论新手入门,2个人生的指南针

MBTI理论是一个关于人格类型识别和潜能开发的指导书,它可以帮助我们更好地了解自己和他人,实现个人和人际关系的和谐。通过了解MBTI的四个维度和16种人格类型,我们可以解答生活中的一些难题和认识到阴影区对人格的影响。
MBTI 理论新手入门,2个人生的指南针

Scaling Law 的方法论

Scaling Law是OpenAI提出的概念,适用于技术、商业和个人。Transformer和Scaling Law的特性使其成为强大的算法。Scaling Law适用于解决所有问题。规模化是商业世界的第一性原理,规模效益决定了商业的成败。
Scaling Law 的方法论

Sora - 创造物理世界模拟器的希望之路

OpenAI发布了Sora,一个革命性的视频生成模型,通过扩散模型和Transformer架构,能训练并生成高质量、不同尺寸的视频,具有多样化的时长、分辨率和宽高比,具备语言理解能力,可以将图片和视频作为输入。Sora具有模拟能力,能模拟三
Sora - 创造物理世界模拟器的希望之路

Gemini 1.5 Pro 发布,具备 10M 上下文,解锁全新能力

谷歌推出了 Gemini 1.5 Pro,具备1M的上下文,学习和理解能力强大。G1.5P可以学习并翻译罕见语言Kalamang,质量与人类翻译相当。它可以处理大量代码、文字和视频,提供精确信息和时间轴。性能比之前的版本更好,接近于Gemini Ultra水平。
Gemini 1.5 Pro 发布,具备 10M 上下文,解锁全新能力

2024年AI赛道观察总结

看到 a16z 的 AI 赛道观察总结,认知进步,值得参考。 「分类是个工具而不是现实」 不过这样分类确实能帮助理解。
2024年AI赛道观察总结

用最简单方法提升模型能力

这是一个朴素的方法。 简单但是行之有效,是经过理论和实践的双重检验。 不管是产品、运营还是大学生实习,都一学就会,用过之后甚至会觉得比预期的还要简单。 为了简单,也不引用各种概念(RLHF、PPO、DPO、RHAIF、Self-Reward什么的)。 只写每个人都一看就懂,每个人都轻松上手的方法。
用最简单方法提升模型能力

《鬼谷子》到底在讲什么?

鬼谷子作为一本古代名书,知道的人却很少,原因是从小学到大学的课本里都把它忽略了。 此书讲述了战国思想家的为人处事之道,游说权谋之术。 相比孔孟老庄这样的哲学层面的书,鬼谷子从人心出发,给出了可执行性较强的方法论。 这个方法论强调忠信仁义,内心结交,顺应人性。 但其目标又非常现实,为了达成目标,也需要使用说服和阴谋。 所谓「圣人之道阴,愚人之道阳。」
《鬼谷子》到底在讲什么?

Agent 到底是什么?

从今年4月出现 AutoGPT 以来,AI 行业就开始把注意力聚焦在 Agent 上,并试图让它产生一些实际的用途。 虽然创业者和投资人当时都还无法给出 Agent 确切的定义,只知道 Agent 应该是规划+记忆+工具组合在一起的东西。 直到11月 OpenAI 发布 GPTs 和 Assistants API,把 Agent 最核心的定义补完。 为什么聊天机器人不是 Agent? 为什么 New Bing 不是 Agent? 为什么 GPTs 和 Assistants API 是 Agent?
Agent 到底是什么?

山西大同,两顿饭,两处景,两个人

10月之末,去了一次山西大同。 比想象中还要朴素的城市,也比想象中还要冷清。 城市里的年轻人在外流,城市的街道上几乎没什么人。 但这个城市的食物、古迹、故事让人难以忘记。
山西大同,两顿饭,两处景,两个人

《孙子兵法》不胜不战,一战而定

在东京回北京的飞机上,实在无聊,打开了微信读书翻书,翻到一本讲《华杉讲透孙子兵法》的书 ,一看就看了一小时。原来孙子兵法一上来讲的是非常朴素的竞争的道理。大到一个国家,一场战争,小到一个公司,一场营销,都有值得参考的地方。
《孙子兵法》不胜不战,一战而定

《GPT-4V,多模态大模型的黎明》论文内容精选与翻译

GPT-4V 是 GPT-4 的多模态版本,也就是 LMM,与GPT-4一样,GPT-4V的训练于2022年完成,其训练过程相同。预训练模型首先通过使用来自互联网以及经授权数据源的大量文本和图像数据集来预测下一个单词。然后使用强化学习(RLHF)算法进行微调,让模型输出更符合人类偏好。 在非多模态版本中,GPT-4 就表现出了惊人的多模态能力(详见前文 [《**GPT-4 ,**通用人工智能的火花》论文内容精选与翻译]),在多模态实装之后的 GPT-4V 里,模型的能力更是超乎想象。
《GPT-4V,多模态大模型的黎明》论文内容精选与翻译

解决问题的最好方法

「我认为解决问题最弱的方法是解决它;那是在小学里教的方法。在一些数学和科学课程中,他们经常告诉你,最好的方法是改变问题。我认为最好的方法是改变问题陈述的背景。几年前,马文·明斯基说,“你只有通过多种视角才能理解一件事。」——Alan Kay (1989)
解决问题的最好方法

创业公司里的社会心理学

## 引言 《围城》里有句话「有群众生活的地方全有政治」,创业公司虽小也不例外。 一个创业型的组织通常包含以下几个层级:决策层(C层)、管理层(中层)、员工层(底层)。 在创业公司快速发展的过程中,会从一个小组织变为一个包含很多小组织的大组织,员工逐渐形成不同的有一定利益冲突的群体,中层和底层员工的目标也逐渐和C层不一致。 这不是一个少见的现象,而是一个非常普遍的现象,经常发生在创业公司成立的第二年。 Paul Graham:当我与成立超过一年或两年的初创公司交谈时,值得注意的是,最大的问题来源始终不是竞争对手,而是他们自己的员工和投资者。处理内部的问题,要比对付竞争对手要难得多。 本文将从社会心理学的角度分析为什么会发生这些事情,以及是否可能防止这些事情的发生。
创业公司里的社会心理学

AI 、陪伴、性需求

推友 @GlocelTerapy 研究了十年的两性交友,目前在做游戏周边的服务,在社交和游戏方面颇有心得,这篇源于向她的一次请教。她向我这个现充科普了很多知识,经过其授权,分享给大家。
AI 、陪伴、性需求

Patagonia 创始人在公司破产之后的反思

Patagonia是乔伊纳德在美国创建的户外品牌公司,但在早期的公司里,其实不叫Patagonia,而是乔伊纳德设备公司。乔伊纳德本身是个户外迷,他进行户外运动需要一些装备,市面上的装备不够好,就开始自己做,并靠着独树一帜的品质获得了业界最佳的口碑。在公司破产之后,乔伊纳德对这个过程进行了反思,并最终把自己所领悟到的东西,灌输到了新的公司,铸就了这个独一无二的品牌Patagonia。
Patagonia 创始人在公司破产之后的反思

ChatGPT 之后增长最快的 AI 网站

近期看的最神奇的网站。 ChatGPT 从0到一百万用户只用了5天。 这个网站从0到一百万用户只用了11天。 这个网站有什么核心技术吗? 似乎并没有,它只是用了 ChatGPT API,支持用户自己编写 Prompt。 甚至和套壳App一样,需要用户自带 API。
ChatGPT 之后增长最快的 AI 网站

ChatGPT 越过山丘之后,再来谈谈 LLM 应用方向

ChatGPT 从去年11月以来,一直在野蛮增长,终于在6月达到了一亿总用户,同时增长也见顶了。 半年以来有海量的关于AI的想法,中量的试验性产品,以及少量的让人记住的每天使用的产品,以及独一无二的爆款 ChatGPT API。 现在爆款已经越过山丘,生态的每个人都在疑惑: - 半年了为什么再没有其他爆款产品出来? - 是不是当前技术遇到了无法不可逾越的鸿沟? - 作为现在有些迷茫的开发者,之后的方向应该是什么? 这篇文章会通过这半年来多的持续关注的信息思考和一线开发的经验,试图回答这些问题。
ChatGPT  越过山丘之后,再来谈谈 LLM 应用方向

俞敏洪和新东方的一些早期趣闻

俞敏洪在1989年准备去美国留学,但由于六四事件失去了兴致。随后,在国内机缘巧合地创立了新东方。本文收录了一些早期的趣闻,老俞的讲述有趣且坦诚。
俞敏洪和新东方的一些早期趣闻

从微信的产品观里看到了什么

上次阅读《微信背后的产品观》是在去年。最近收藏了实体版本,索性再读一遍,里面有很多很好的 Prompt。 这次试图从书里总结出一些普遍使用的原则或者说经验或者说Prompt
从微信的产品观里看到了什么