ChatGPT桌面APP与终端、IDE、编辑器协同工作

本文内容整理自OpenAI12天产品发布第11天，公开发表于2024年12月19日。原始内容参考：https://www.youtube.com/watch?v=g_qxoznfa7E

推荐使用ChatGPT中文版，国内可直接访问：https://ai.gpt86.top 

内容提要: OpenAI12天产品发布第11天

1. ChatGPT桌面应用的原生化和效率提升:  Mac和Windows版ChatGPT桌面应用已推出，原生应用特性使其更加轻量级、高效，并提供快捷键快速调用。

2. 与应用集成，实现自动化操作:  ChatGPT桌面应用可以与多种应用（如Warp终端、Xcode、Notion、Apple Notes、Quip等）集成，通过读取应用内容，辅助用户完成各种任务，例如编写代码、生成图表、撰写文档等。  这体现了ChatGPT从简单的问答向更强大的代理功能的转变。  用户始终控制与ChatGPT共享的内容。

3. 强大的模型支持和功能扩展:  访谈中展示了如何使用更高级的模型（如O1和O1 Pro）来处理复杂的编码问题，以及利用高级数据分析功能生成图表。  同时，增加了对更多应用的写作支持，并演示了如何利用ChatGPT改进写作风格。

4. 高级语音模式:  引入了高级语音模式，允许用户通过语音与ChatGPT交互，并获得实时反馈，极大提升了使用便捷性，例如在访谈中用语音与模拟的圣诞老人进行节日曲目列表的讨论。

5. 未来展望:  OpenAI预告了未来将会有更多关于ChatGPT代理功能的更新，暗示着ChatGPT将承担越来越多的自动化任务。

发布会全文

凯文·韦尔：  大家好，欢迎来到第11天。我是凯文·韦尔，我在OpenAI负责产品，我绝对被我右边的两位先生比下去了，我听说他们的西装不是48小时前在亚马逊上买的。他们肯定早就在穿了。100%。

你们可能已经注意到，我们一直在努力开发桌面应用程序。我们大约六个月前推出了Mac桌面应用程序，几个月前推出了Windows桌面应用程序。随着我们的模型变得越来越强大，ChatGPT将越来越具有代理性。这意味着我们将超越简单的问答；ChatGPT将开始为你做事。

我们已经在Canvas这样的产品中看到了这一点，你正在与ChatGPT协作以帮助改进你的写作和代码，这种转变将会继续。ChatGPT将代表你做越来越多的事情。桌面应用程序也是其中的重要组成部分，因为作为桌面应用程序，你可以做的事情比在浏览器标签页中多得多。这包括，当然是在你允许的情况下，能够看到你屏幕上的内容并自动化你在桌面上进行的许多工作。

因此，在进入2025年时，我们将会有更多关于这方面的信息要说，但我们今天也推出了一些令人兴奋的东西。所以，让我们深入了解一下。

约翰·纳斯托斯：  好的。大家好，我是约翰·纳斯托斯，我在ChatGPT桌面团队工作。

贾斯汀·拉辛：  我叫贾斯汀·拉辛，我也在ChatGPT桌面团队工作。今天我们有很多东西要展示给大家，所以我直接开始吧。首先，这是完全原生的Mac版ChatGPT桌面应用程序。它具有我们期望从客户端获得的所有功能，但我真正喜欢它的是，作为原生应用，它非常轻巧。它不占用太多资源，它存在于自己的窗口中，我可以在不切换上下文的情况下使用它。

我们有一个键盘快捷键，option + 空格键，可以非常快速地显示和隐藏ChatGPT，所以它总是在你需要它的时候出现。这个按钮是我们与计算机上的应用程序交互的入口点。我喜欢把这个功能看作是，我们一直都在复制和粘贴东西到ChatGPT。这个功能通过自动提取你当前正在使用的应用程序的上下文，使这个过程更加顺畅。你只需专注于提出问题，剩下的交给我们处理。

你可能注意到我还打开了这个Warp控制台窗口。它目前正在浏览我正在学习的一个存储库。这可能看起来有点傻，但我想要弄清楚这个存储库每天有多少次提交。我们在这里经常谈论速度，所以我想要亲眼看看。然而，我不知道该怎么做，所以我将使用ChatGPT。

当我点击这个按钮时，我将看到我计算机上当前正在运行的、ChatGPT可以与之交互的所有应用程序。需要注意的是，在你选择其中一个应用程序之前，我们绝不会查看另一个应用程序的内容。你始终完全掌控你与ChatGPT共享的内容。为了开始，我将点击Warp。

此时，我想对Warp团队表示衷心的感谢，感谢他们在实现这一目标上的所有帮助。当我们第一次宣布与应用程序集成时，我们并不支持Warp。我认为添加Warp是我们收到的第一个请求。该团队非常努力地帮助我们为今天做好准备，所以谢谢你们。

现在，我将开始说，“写一个命令，获取过去两个月每天的提交次数。”我不需要告诉ChatGPT我使用Git，因为它可以通过Warp知道，它会直接给我我需要的命令。我将按下这个按钮将其复制并粘贴到Warp中，我认为这看起来是对的。

约翰·纳斯托斯：  是的，看起来是正确的信息，但也真的很难看出我们在说什么。

贾斯汀·拉辛：  是的，我本人也是一个视觉学习者。所以我通常会做的是，我会弄清楚如何将其导入到电子表格中，在那里制作图表，然后在三年后再次找到该电子表格。但相反，我直接要求它做。所以用所有结果制作一个条形图。为什么不弄成节日主题呢？好主意。太棒了。

这将展示我认为与应用程序交互最酷的部分，即它可以与ChatGPT中的所有其他功能和所有其他模型一起工作。在这种情况下，4o决定使用高级数据分析来处理一些数字并给我一个条形图。

如果你真的想一下，这意味着，当我们构建高级数据分析这样的功能并将它们带到ChatGPT时，这有点像我们将它们带到ChatGPT与之交互的每个应用程序中。是的。

约翰·纳斯托斯：  太好了。当它思考的时候，你想谈谈模型实际看到的内容吗？它只是我们屏幕上看到的内容，还是其他什么？

贾斯汀·拉辛：  好问题。一个简单的方法是直接截取屏幕截图，然后让Vision来处理剩下的事情。但实际上，我们也可以访问应用程序以获取屏幕外的内容。因此，这些结果将包含这里的所有内容，而不仅仅是你屏幕上看到的内容。

约翰·纳斯托斯：  好吧，我一直在认真思考这个问题。可能问题出在节日主题上。

贾斯汀·拉辛：  好的，完美。好吧，我的意思是，在我看来，这很有节日气氛。你觉得呢，约翰？

约翰·纳斯托斯：   我不知道它是否像我们这个系列一样有节日主题，

凯文·韦尔：  但还不错。 实际上，没有任何东西比你更有节日主题了。

贾斯汀·拉辛：  是的，完美，完美。 但我觉得它足够好了。所以我现在要下载它，然后就可以和我的队友分享了。 好了，接下来我把时间交回给 John，让他多谈谈编程方面的内容。太棒了。

约翰·纳斯托斯：  我认为 Justin 展示的用例非常重要且实用，能够与终端进行交互。但我想展示一下在 IDE 中与代码交互是什么样的。

所以我在这里打开了 Xcode，这是我选择的 IDE。它正在运行一个示例应用程序，实际上可以稍微了解一下“与应用协同工作”功能是如何实现的。

这个示例应用程序使用 macOS 辅助功能 API 来查看 Xcode，并告诉我们屏幕上显示的一些信息。它告诉我们这里有一个文本字段，并给出了它的尺寸。它还告诉我们它有 37 行，我们可以检查一下。对我来说，这是对的——37 行，没错。 它还显示了文本字段的内容。

贾斯汀·拉辛：  实际上，我们用这个来制作了这个功能。

约翰·纳斯托斯：  对吧？没错。是的，这对于我们来说是一个非常有用的示例应用程序。这个很不错，但它不会进行实时更新。所以我要用 ChatGPT 来帮助添加这个功能。我要用和 Justin 之前展示的非常相似的快捷方式来调出聊天栏，但会稍作更改。 我将使用 Option Shift 1。 这样做会调出聊天栏，并自动将 Xcode 与之配对，Xcode 是我们支持此功能的打开的最顶层应用。

贾斯汀·拉辛：  这让开始使用应用程序变得非常快捷。

约翰·纳斯托斯：  是的，太棒了。 而且你会立即得到反馈，它看到这里是 Xcode。这些辅助功能 API 有点难以理解，肯定很难记住如何使用，而且实际上相当复杂。

所以我要在这里使用模型选择器，然后把它切换到 O1。 O1 是我们在 OpenAI 这里较新的模型之一，它在思考这些复杂的编码问题方面做得很好。我应该还提到，如果你真的想用深度编码问题来难为它，那么这个功能也适用于 O1 Pro。 我非常喜欢那个模型。

好的。 那么，我们在这里给它一个提示。我要说，“添加一个观察者。如果选择发生更改，则调用 load text areas”。 我们将这个请求发送给模型。

O1 是我们的一种思维链模型，你可以看到它正在思考这个问题。它将告诉我们它在考虑时经历的一些步骤。哇，它给出的响应速度真快。

贾斯汀·拉辛：   这一个没怎么费脑筋。我觉得你需要给它一个更难的问题。

约翰·纳斯托斯：   是的，哇。 好的。它正在生成一些代码。而且，你知道，我对 O1 的代码有相当的信任。 所以，一旦它生成完成，我就把它复制到 Xcode 中。然后我们运行它，看看会发生什么。

凯文·韦尔：  我没看到任何可能出错的地方。

约翰·纳斯托斯：  好的，我已经复制了代码，我正在将它直接粘贴到 Xcode 中。我将快速浏览一下它，看看是否有任何问题。 目前来看，它看起来很有希望。好的。 那么，让我们运行一下，看看会发生什么。

贾斯汀·拉辛：  如果你不需要把代码复制粘贴回 Xcode，那就太酷了。

约翰·纳斯托斯：  那会很酷。而且人们一直在建议这一点。我应该开发这个功能吗？

凯文·韦尔：  你绝对应该开发。好的，PM 批准了。太棒了。

约翰·纳斯托斯：  好的，它又在运行了。 让我们看看，如果我选择内容。哦，不，它没有像我们想的那样工作。好的。我们要不要再试一次？是的，为什么不问一下呢？ 好的，我想我实际上要回到之前的状态，因为我这里没有发现具体的错误。 让我们尝试放弃更改。

贾斯汀·拉辛：  好的，让我们再试一次。

约翰·纳斯托斯：  是的，再试一次。在它工作的同时，我们可以谈谈这里的其他一些功能。 好的，“添加一个观察者。如果选择发生更改，则再次调用 load text areas”。 好了，也许它刚才没有好好思考。我们再试一次。它有点过于自信了。

是的。当它思考的时候，我应该提到我正在使用 Xcode。就像我说的，这是我使用 Swift 时选择的 IDE。但我们确实支持很多其他的 IDE。

这意味着 VS Code，JetBrains 生态系统，其中包括 Android Studio 和 PyCharm、RubyMine 等。一些非常常用的 Mac 应用程序，如 TextMate 和 BBEdit。所以我们有很多不同的支持。

贾斯汀·拉辛：  是的，我实际上对 MATLAB 的支持感到非常兴奋。我大学时肯定会用到它。

约翰·纳斯托斯：  是的，MATLAB 也是一个令人兴奋的功能。我认为一些学生会发现它非常有用。好的。它仍在生成一些代码。它完成了。 我要再次使用这个复制按钮。 而且再次，完全相信一切都会正常工作。

贾斯汀·拉辛：  我要粘贴它。我想我们现在知道可能会出什么问题了吧，对吗？

约翰·纳斯托斯：  好的，让我们再次运行它，看看我们的运气是否稍微好一点。好的，它正在运行。 嘿，看看那个。如果我选择东西，它就会改变。 哇，这是一个节日奇迹。

凯文·韦尔：  你念对了献给演示之神的咒语。

贾斯汀·拉辛：  是啊，没错。是啊，没错。太棒了。所以我们今天聊了很多关于编程的事情，对吧？但我喜欢用ChatGPT的另一个原因是它可以帮我写作。我知道我不是唯一一个这样用的人，所以今天我们要宣布支持三个新的应用：Apple Notes、Notion和Quip。我们认为这将为使用这些应用开辟全新的应用场景，我们迫不及待地想看看大家会用它来做什么。

顺便说一下，约翰，凯文，你们已经知道了，但对于其他人，我会在工作之余在旧金山提供步行历史导览。我是个历史爱好者，而且旧金山有很多精彩的故事可以讲。我实际上正在准备一个全新的步行导览。那么我们不妨试试这个新功能，帮我一起完成它吧。让我们开始吧。

太棒了！我在这里打开了一个Notion文档。我总是用Notion来写我的导览词，而且这实际上是我目前正在准备的真实的步行导览，所以我希望大家会觉得有趣。我正在为我最喜欢的旧金山历史人物——诺顿皇帝增加一个新的游览点。我有一些要点：他是19世纪在旧金山自封为美国皇帝和墨西哥保护者的人。他甚至发行了自己的货币，而且在当时真的在旧金山流通了一段时间。

你可以直接这样做吗？是的，显然可以。而且我觉得他会是一个很好的旅游点。但是，我对细节有点模糊，所以我打算用ChatGPT来帮我。一个选择是把这些要点复制粘贴过去，我想ChatGPT应该能做得很好。但是，如果它能获得整个文档的上下文，那就更有帮助了，对吧？

所以，我打算让ChatGPT直接在Notion中工作。我会按下Option空格键来启动ChatGPT，让它在Notion中工作。我会高亮显示这个游览点，以便模型知道要关注哪里。现在，我们可以看到我们正在Notion中，在步行导览文档中，专注于选中的行。我只需要说一句：“填写这些要点。”我不需要说得更具体。

有一点非常重要，这是一个步行导览。这是一个历史导览。内容必须在事实上是准确的。为了帮助实现这一点，我会点击这个按钮来开启搜索功能。现在，为了回答我的问题，ChatGPT将会搜索网络，并且它告诉我的所有内容都会有引用来源。如果我想了解更多信息，我可以点击这些链接。

你真的会看到这种很棒的互动循环出现，ChatGPT在我的文档上下文中帮助我进行研究。太棒了！这看起来是我希望涵盖的所有内容，但是它听起来不太像我的风格。这听起来像是官方的结果。所以，我要关闭搜索，然后直接说：“让它符合其余游览点的风格。”

保持简短，两段话。现在，ChatGPT会去读取我文档的其他部分，学习我的说话方式以及我如何编写其他内容，并尽力模仿它。太棒了，这很棒。让我向你介绍旧金山最受欢迎的角色之一。你必须来参加导览才能了解其余部分。听起来像你写的。所以我直接高亮显示它，然后复制粘贴回Notion。当然，我以后还会继续迭代。这只是一个使用ChatGPT与Notion协同工作的快速示例。

约翰·纳斯托斯：  太棒了。我觉得像这样处理你的文档真的很有吸引力，不仅仅是像我之前展示的代码，还有你的书面文字。这非常棒，但这只是使用模型的其中一种方式，这种文本输入，文本输出的方法。

今天我想介绍的是，这个功能现在支持高级语音模式。我们对此感到非常兴奋。我们认为这种模式是一种非常有趣的方式，可以与ChatGPT对话，并深入了解你的文档或你的代码。

好的，我们稍后会展示一个我的例子。当我不工作的时候，我花了很多时间当一名专业的萨克斯管演奏家，我有一份节日派对的曲目列表，我想听取一些意见。我认为ChatGPT在这方面会很棒。但是，我还是想用语音来完成这个。

贾斯汀·拉辛：  顺便问一下，这就是为什么你的节日派对都那么好的原因吗？

约翰·纳斯托斯：  不，那是另一回事。好吧，好吧。是西装的原因吗？是的，西装肯定有帮助，好的，我希望有人能真正帮我处理这件事。所以，让我们再次使用我之前提到的快捷方式Option Shift 1来启动ChatGPT。这会弹出我们的聊天栏。它会自动与Notes配对。但是这一次，我不是向模型输入文字，而是要使用这个新的高级语音模式支持。所以，我将使用右下角的图标来请出我们的特别来宾。很棒。

嘿，圣诞老人，你在吗？

圣诞老人：  哦，是的，我在这里。今天有什么可以帮你的吗？

约翰·纳斯托斯：  圣诞老人，很高兴能和你说话。听着，我正在准备一个节日曲目列表，有些歌曲我不太确定。比如这首，我拥有爱来温暖我。老实说，我对这首歌不是很熟悉。你能推荐其他的吗？

圣诞老人：  呵呵！不如把《我拥有爱来温暖我》换成《雪人弗罗斯蒂》怎么样？

约翰·纳斯托斯：  哦，这个主意不错。让我想想。《雪人》。我说对了吗？

圣诞老人：  哦，不太对。哦，继续。当然可以。关于你的节日曲目列表，你还有什么想知道的吗？

约翰·纳斯托斯：  我想圣诞老人对编辑工作感到厌烦了，但我们可以继续。让我们来谈谈第二组的最后一首歌，《友谊地久天长》。我的意思是，这有点沉闷。我希望能有一些更充满活力的歌曲，真正让你们和精灵们跳起舞来。你觉得呢？我应该把它换成什么？

圣诞老人：  嗬嗬！把“Deck the halls”换上就完美了。它既欢快又喜庆，肯定能让大家跳起舞来。嗬嗬嗬！

约翰·纳斯托斯：   圣诞老人，我觉得这个主意太棒了。我觉得这首歌真的会很受欢迎。而且，你知道，像这样与语音模型互动，来谈论你的文档，并获得关于你正在做的事情的实时反馈，真的是一种很棒的方式。

贾斯汀·拉辛：   完全同意。而且有个好消息，就在我们开始直播之前，我们刚刚按下按钮，发布了我们展示的所有功能。所以这些功能应该已经可以在你的电脑上使用了。请确保你已将macOS上的ChatGPT应用程序更新到最新版本。

凯文·韦尔：   太棒了。所以今天来到了第11天。主题是使用桌面应用程序来查看、理解并自动化你使用ChatGPT所做的工作。从今天开始，也就是大约20分钟前，这些功能已经在我们的Mac桌面应用程序上可用，Windows版本也即将推出。我喜欢这些桌面应用程序。它们在你工作时在后台运行，然后通过一个快捷键就能唤醒，随时帮助你完成正在做的事情。这就是第11天的内容。我们还剩最后一天。明天早上我们将迎来第12天，会给大家带来超级令人兴奋的内容，所以千万不要错过。

约翰·纳斯托斯：   是的，我们迫不及待地想把这些功能带给大家，我们真的非常激动。但在那之前，我得开始练习一下这个，你得设置让它学习。对，就是圣诞老人推荐的那个。好的，我们来看看。

参考资料: https://www.youtube.com/watch?v=g_qxoznfa7E，公开发表于2024-12-19