基于意图预测的智能化设计与新交互设计范式变化

基于意图预测的智能化设计与新交互设计范式变化

基于意图预测的智能化设计与新交互设计范式变化

所谓智能化设计

在2020年苹果WWDC大会上,苹果的设计师是如此定义智能化设计的“操作系统如何与人们每天使用的应用程序一起工作,让人们的“日常生活”变得更轻松”,在IOS当中是应用,在安卓当中就包含着各种系统应用、系统服务、快应用、第三方应用等等

在苹果,设计师们将智能与功能图标一样视为规范

当使用应用程序的人想要分享某些内容时,如何将内容传达给其他人?自然是通过使用“分享”的符号。就 iOS 而言,人们可以轻松识别此符号,因为它在系统中始终保持一样。智能也是一种平台惯例,但与其他形式的设计不同,智能并不是像“共享”按钮那样的静态字形或图标。它是具有生命力的,它通过适应系统、平台和人们,使用设备的方式来体现自己。

智能的目标是让产品/系统感觉像是了解你一样

他们了解你、你的目标、你的意图、你的习惯、你的偏好、你的兴趣,甚至是你的人际关系。他们可以利用这种理解来帮助用户实现目标,实现更多。在恰当的时间为提供有意义的内容、人、地点和应用程序。减少用户的重复操作,从而节省点击或轻击所需的时间,并减少由于专注于最重要的事物而产生的干扰。

以用户为中心的智能化设计

WWDC 2020中苹果在 iOS 14首次展示了对于人工智能的愿景:将整个人工智能技术与操作系统和应用程序深度融合。这次苹果在 Design for Intelligence(智能化设计) 论坛中提出了两个非常重要的设计理念,真正做到以用户为中心的智能化设计。

第一个设计理念是借助 Intelligence 帮助用户简化不同任务的交互路径,让用户用最少的步骤完成最重要的事情

第二个设计理念是通过 Intelligence 以用户一天的时间来组织系统和应用的交互行为,让用户的各种日常互动尽可能顺畅。Intelligence 能让用户感觉自己拥有超能力一样,让用户抽出时间专注于自己的生活,让日常生活变得更轻松。

在 WWDC 2020的 Design for Intelligence 中,苹果的设计师列举了很多例子来说明iOS 14中人工智能是如何帮助用户解决问题的。

  1. 当用户预订了一间餐厅,日历会自动将这个预订事件记录下来,Sini 建议会根据时间和交通情况将信息推送到用户的多个设备上。

  2. 当用户赶飞机时,Siri Suggestion 会在地图首页展示机场和航班的相关信息,用户只需操作一步即可非常方便地获得前往机场的路线。当用户需要值机时,Siri会建议将值机信息显示在用户的锁屏页上,方便用户一步直达。

  3. 当 Siri 发现用户在看电影的时候会推荐用户开启“勿扰模式”。

  4. 当用户收到朋友发来的健身房地址短信时,Siri Suggestion 会在地图上显示相关的地址信息,用户只要点击一下即可获取到达该健身房的行车路线。

  5. 在健身房,即使用户没有下载相应的App,也可以将手机靠近接待台的NFC 标签获取当天的课程表。

  6. 当下载健身房的App 后,用户会发现这个 App 和 Siri Suggestion 可以帮自己养成健康的习惯。例如,当用户在主页通过下拉搜索应用时,Siri 能根据用户使用手机的习惯来学习和预测用户即将要启动的App,所以即使用户还没开始打字,健身房 App 也会直接显示在用户的 Siri Suggestion上。如果用户喜欢上了瑜伽运动,Siri Suggestion 还能显示瑜伽运动的时间表。

在最新的iOS17上,你在搜索栏输入日期+内容可以直接建立日程。搜索图库它甚至会预测你要查看的相册是哪些。你搜索计时器的时候,它直接将功能开启按钮露出,让你可以直接点击,你甚至不需要进入应用就可以完成任务。

苹果的 Intellignce 和 Donate

为了实现上述的案例,苹果推出了Lnteligenee 和意图框架两个定义。

在苹果的定义中,Intelligence 是平台约定

什么是 Intelligence ?Intelligence 是操作系统和应用程序之间的协作。Intelligence 包含三个因素:系统、应用和用户。三者之间的关系如下:系统与用户每天使用的应用一起工作,从而使用户的日常工作变得更加轻松。

Intelligence 的目标是使用户手机中的产品更懂用户,包括用户的目标、意图、习惯、偏好、兴趣,甚至用户的人际关系。Intelligence 利用这种理解及用户己实现的目标来帮助用户实现更多的目标,并通过在正确的时间交付给用户有意义的内容、人员、地点和应用程序来丰富用户的生活,从而发现更多内容。简单来说Intelligence 是一个管理员,负责在特定的时间和场景把应用推到用户面前,减少用户的操作。Intelligence可以帮助用户减少获得内容所需的点击次数,以及烦琐的工作和干扰,使用户专注于最重要的事务。

为了实现以上目标,只有苹果公司自己是做不到的,它需要更多的伙伴来实现这个目标,因此在iOS 14及后续版本中,所有的应用功能将会集成到系统里,并得到更多的展示入口,包括 Siri、Shortcuts、Suggestion 和 Widgets,而在IOS 17的beta版本中,全局搜索也成为其入口之一。应用可以选择适合自己且有意义的入口。

意图框架有三个关键概念,分别是“定义”“学习”和“执行”
首先了解一下“定义”是什么意思。

读者应该问一下自己,用户希望通过你的应用做什么?他们的目标是什么?切记,目标是用户想通过使用你的产品获取内容或者达成某些目的,其中的关键操作可以由 Intent(意图)来定义。那么打开界面、跳转界面算是关键操作吗?答案是不是,这只是获取内容和达成目的的路径,它们无须成为Intent 的一部分。我们应该关注用户打开应用执行的任务和目的是什么,实施它们时需要的相关属性是什么。例如,跟踪记录自己的饮水量意味着什么?下单一杯咖啡意味着什么?以下单咖啡为例,每位用户喜欢的咖啡品种和需要的容量都不同,这些细节正是每位用户下单咖啡时的动作,也是咖啡的属性,这些被称为 Intent 的参数。

然后,我们再看一下“学习”是什么意思。

Inteligence 的关键是学习用户会做什么,以便预测他们在未来即将做什么。这一点怎么做到呢?这里有一个名叫Donation(捐赠)的概念。当用户使用应用时,Donation 会向系统提供一些可以用来学习的信号,而这些积极的信号有助于应用在未来做出更好的预测,并在合适的时机将内容展示给用户,例如买咖啡的案例中,系统会基于 Donated Shortcuts 将不同的Shortcuts显示在相应的区域。那么,可以将用户没有的习惯捐赠给系统吗?苹果表示不应该向系统捐赠用户从来没做过的捷径,例如用户下载了星巴克应用但从没下过单。

苹果在 WWDC 提及用户每个执行动作都应该进行不止一次,这可以帮助系统更准确地预测提供捷径的最好时间和地点。仍以买一杯咖啡为例。Donation 可以帮助用户解决几时以及在哪里下单的问题,但是时间和位置只是理解上下文信号中的一个部分。Donation是一种记录,是实际执行 Intent 时的快照,系统做出预测时,会从用户应用的 Donation 中收集信息并重建相应的 Intent。举个例子:

一天早上用户订了一杯大杯拿铁咖啡,因为这是用户开始新的一天所需要的;

中午,用户点了一杯更清爽的柠檬水。第二天,用户又点了一杯大杯拿铁开始新一天的工作。随着用户继续使用该应用,这些信号会随着时间累积,虽然中途用户的某些行为会发生变化,但系统仍然会学到用户的一些固定模式。当系统学习到这些模式后,就会做出预测,同时会尝试将正确的任务与用户的情况相匹配。

如果应用尚未运行也要做好相应的准备,因为系统做出正确的预测或者用户在 Widgets 或者 Siri Suggestion 点击后,系统会将基本 Intent 传递给应用,这时候该Intent能在应用中立刻被执行。还是以刚才的下单咖啡为例,这时系统会在 Siri Suggestion 显示一条下单咖啡的推送信息,目的是让用户在下订单之前确认订单是否正确。当用户点击后,系统应该带用户跳转到订单确认的界面。

意图框架除了打通应用程序内部和 Widget,还支持 Siri 和 Shortcuts,产品可以 Shortcuts 的形式向 Siri 添加自定义Intent。仍以下单咖啡为例,用户可以通过Shortcuts 的方式进行。如果用户每次都想点一杯不同类型的咖啡,可以将“咖啡种类”这个参数置空,这时每次用Siri 下单时 Siri 都会问用户想点什么类型的咖啡。

总的来说,Intent 是每一项任务抽象后的语句,最重要的参数是 When/Where/Who/How/What,而 Donatior即是用户每天每项任务的执行情况,它会根据 When/Where/Who/How/What 多个维度来预测用户在某个时间段/某个地点做什么,当用户的固定模式被 Donatiot发现,那么 Intent 的准确率会增加,所以 Intent 和 Donation 是相辅相成的。通过Intent 和 Donation,Intelligence 将苹果成熟的人工智能能力及系统能力赋予每应用程序,同时基于应用收集来的用户信息和用户习惯反哺自己,让自己变得厚懂用户。因此,Intelligence 将成为操作系统和应用程序之间的桥梁,也是苹果在构建的重要能力之一。

如果我们的工作做得好,用户甚至可能不知道我们正在幕后进行所有这些智能计算,他们只会看到他们想要的信息就在那里,然后继续他们的一天。

所需的努力越少,我们就越成功

相关案例

华为 Mate 40 曾推出“智感支付”,支付时无需打开支付软件,其通过前置摄像头识别扫码盒,预测用户需进行,自动弹出支付页面。

魅族纵览中会学习你的地点信息和时间信息,智能判断你的家和公司分别在什么地方,以及你的上下班时间,然后在指定的时间给你推送上下班的通勤建议

荣耀的YOYO建议,场景非常丰富,建议的内容也非常多。

蔚来新推出的NIO Phone中有一个车控卡片,它能够根据手机的位置和其他条件综合判断使用手机的人是谁,从而判断当前调节的是副驾还是主驾的空调温度/座椅通风等等

可以看到无论表现形式如何,都是为用户提供了更快捷的操作路径或者缩短了用户的必要交互路径。

大语言模型出现后新的可能

尼尔森集团在去年6月18号发了一篇文章《AI: First New UI Paradigm in 60 Years》,文章中非常看好GPT发展推动交互范式变化的能力。人工智能正在引入计算机历史上的第三代用户界面范式,并转向一种新的交互机制:用户直接告诉计算机他们想要什么,而不是如何去做,从而彻底改变了控制点。

前两代范式

第一代用户界面范式是批处理,用户提交一批处理指令到数据中心,然后等待处理结果。用户界面只是通过打孔卡片的方式与计算机交互,可用性差,需要花费多天时间来微调批处理。

第二代用户界面范式是基于命令的交互设计,用户和计算机轮流处理一个指令,这种范式在计算机领域持续了60多年。从命令行到全屏文本终端,再到图形用户界面,这一范式一直是用户界面技术的基本方法。

图形用户界面是第二代用户界面范式中的一个重要部分,它的美妙之处在于每个命令之后都会显示系统的状态。图形用户界面主导了用户体验领域40年左右,直到可能被下一代用户界面技术所取代。

新一代范式:基于意图的结果指定

在新的AI系统中,用户不再告诉计算机该做什么,而是告诉计算机他们想要的结果。因此,由目前生成型AI所代表的第三代用户界面范式,是基于意图的结果指定(Intent-based outcome specification)。

在这个由当前生成型AI所代表的、全新的用户界面范式中,用户告诉计算机期望的结果,但不具体指定如何实现这个结果。与传统的基于命令的交互相比,这个范式完全颠覆了控制点。

"做我所想,而非按我所说"是一种诱人的用户界面范式——因为用户常常命令计算机做错误的事情。另一方面,将控制点完全交给计算机也有其缺陷,特别是在目前的AI容易在结果中包含错误信息的情况下。当用户不知道某个结果的生成过程时,他们可能更难发现或纠正问题。

基于意图的范式并未达到诺曼在1993年所介绍的非命令系统的水平。真正的非命令系统不需要用户明确指定意图,因为在这种系统中,计算机的行动应是用户正常操作的副产物。

举个例子,通过拉门把手来解锁汽车:这是一个非命令解锁,因为无论汽车是锁上还是未锁上的状态,用户都会用同样的操作来打开车门;用户的本意是打开车门,而解锁汽车只是在汽车上锁时,拉开车门的副产物。(相比之下,如果是通过语音识别来解锁车门的汽车,用户需要说出"我要解锁汽车"这样的话来实现解锁,这就属于基于意图的结果指定。而老式的汽车则需要通过明确的命令来交互并解锁车门,比如插入并扭动钥匙。)

关于AI系统是否能在该基于意图的结果指定范式中实现高可用性,目前尚不清楚。视觉信息通常比文本更容易理解,在交互速度上也更快。你能通过与聊天机器人(即使是像新的生成型AI工具这样智能的机器人)交谈来填写一份长表格(如申请银行账户或预订酒店)吗?!

在屏幕上点击或轻触目标是用户交互的一个直观、重要的方面,不应该为我们所忽视。因此,尽管第二代用户界面范式可能不会再占据当前的主导地位,它仍将继续存在。未来的AI系统可能会拥有混合型用户界面:它会结合基于意图和基于命令两种界面范式上的元素,同时仍保留许多GUI元素。

最后

实际上 GPT 与以前的人工智能并不相同也不冲突,以前的那种更偏向通用智能也就是AGI,而GPT更专注于语言理解与生成,是让计算机能够理解人的语言,而一旦计算机能够相对准确的理解人的语言,那么后续的命令执行也就不是什么难题了。

另外大多数的人们并不如我们想的那么会用AI,实际上大多数人并不认为自己很会用AI,这一点希望在做GPT相关设计的设计师注意。AI的概念并不新鲜,而在大预言模型概念出现之前,苹果已经大量使用AGI技术在手机中,正如上方所提到的,智能化设计。

对AI而言,拥有更好的可用性应该是一个重要的竞争优势。当前基于聊天的交互方式也存在问题,因为它需要用户将问题写成平实的文本。根据最近的读写能力研究,即使是在富裕国家,也约有一半人口的表达能力不够清晰,无法从与当前的AI机器人的聊天交互中获取好的结果。


© 与有意思的人,做有意义的事儿.

Design by

LIGO

© 与有意思的人,做有意义的事儿.

Design by

LIGO

© 与有意思的人,做有意义的事儿.

Design by

LIGO