< 上一个 | 内容 | 下一个 >

2.7.2 AI 交互装置案例研究

交互艺术强调观众的参与,与传统艺术相比更鼓励观众与作品进行实时的交互和反馈。观众往往可以通过触摸、倾听、行走等形式与作品进行互动。随着信息技术的进步,人机交互的界面也由最开始的命令界面、图形界面、多媒体界面朝着更智能、更复杂的混合形式发展。人工智能为主的交互作品,也由简单的线性互动逐渐发展为多维度,多结果的综合感官交互。

AI 交互装置中观众可通过自身参与直接影响作品呈现的结果,但此类作品交互模式相对线性和简单,观众只能按照预定的流程进行操作,每个步骤只有几个特定选项,呈现结果相对单一,这是种可参与的艺术装置,但并不能称之为真正意义上的交互。在作品《As We Are(如我们所是)》中,艺术家 Matthew Mohr 在装置作品内设置了 29 台摄像机,从不同角度拍摄参观者的面部,系统会自动合成拍摄到的图片生成三维模型,并对五官进行修整后将图像拼接到电子屏幕上。在这件作品中每个观众根据特定的流程,进行相应操作后都可以形成专属的面部图像,但这背后互动的逻辑是相对流程化的,呈现的结果也趋向同质化。


image


image


2-79、图 2-80 As We Are(如我们所是).Matthew Mohr.2017——至今82


Not The Only One (N'TOO) 是一项正在进行的实验。它试图从 “智力”不断发展的人工智能(AI)的角度讲述一个美国黑人家庭多代人的回忆录。它是一个语音交互人工智能实体,其针对的是在科技领域易遭受忽视的群体的担忧和理想。

在这件作品中,人工智能实体接受来自单一家庭的三代女性提供的口述历史(数据)的训练。额外的文化协调数据提供了背景和极大的叙述范围。N'TOO 使用此信息作为回答问题的基础。值得注意的是,人工智能以独特的角色进行交流,并从第一人称的角度提供答案。


82 https://matthew-mohr-studios.squarespace.com/


N'TOO 基于深度学习算法。它存储在计算机上以保护社区数据,并且在不断发展。当艺术家开始这个项目时,她希望创建一个能够有逻辑地回答提出的问题的实体。在制作过程中,她发现了对一个更加动态、自由流动的实体的追求,它可以分析数据,并提出自己有限的、古怪的、有时富有洞察力的更有生成性的答案。与 N'TOO 交谈就像与两岁的孩子交谈一样。艺术家正在做的工作揭示了公众目前交互系统的一些局限性。

在这里,讲故事、艺术、技术和社会参与相结合,创造了一种新型的人工智能叙事形式。该项目致力于创建特定文化下、基于自然语言的人工智能,反映制作它们的社区的目标。通过以口述历史和创造性地讲故事,该项目希望引发有关人工智能及其对现在和未来社会影响的重要对话。83


image


2-81 Not the Only One.Stephanie Dinkins.201884


Please Feed The Lions(请喂狮子)》是特拉法加广场上的一座互动雕塑,由多学科艺术家兼设计师 Es Devlin 设计。艺术家将一个红狮子雕塑安置在广场上,并邀请观众通过雕塑前面的Google


83 https://www.stephaniedinkins.com/ntoo.html


84 https://www.stephaniedinkins.com/ntoo.html


Pixelbook 来“喂”狮子一个词,每个词都会触发一对诗的生成,伴随着雕塑内置的发生系统狮子会大吼一声并将生成的诗句投射在嘴里。诗歌的生成算法语料均来自 19 世纪的诗,也是这四头狮子制作的时期。观众通过词汇生成诗歌参与到作品中,让作品有了更多的互动性和趣味感。



image

2-82、图 2-83 Please Feed The Lions(请喂食狮子).Es Devlin.201985


作品灵感源自于中国古琴音乐及其特有的记谱法——减字谱。自唐代以来,古琴正是依靠减字谱流传至今,并且在时代的潮流中不断发展。作品利用人工智能图像识别算法,通过多媒体交互的方式,邀请观众参与到从古琴减字谱到古琴音乐的转化过程当中来。参与者可以依照指引或是自己的喜好不断尝试、解读、再尝试,由此体验由于


85 https://esdevlin.com/work/mask-somerset-house


交互的不同所产生琴曲的不同。作品所呈现的琴与人之间交互结果的多样性,具有包容性、可解释性和一定程度的随机性,并从音乐的角度启发探讨人与人之间的多样性问题。



image


2-84 琴与人的交互 1 .魏冰.2021


Al 应用程序被认为应该是完美无瑕的中立系统,但实际应用中它却经常表现出歧视行为,因为它们所依赖的数据集反映了人类程序员的偏见。艺术家杰克-埃尔维斯(Jake Elwes)注意到计算机系统很难识别变性人、同性恋和其他边缘化身份者,在作品《The Zizi Show

2023)中,艺术家利用变装、性别、身份等形式来揭露和颠覆这种偏见。杰克-埃尔维斯(Jake Elwes)与一群变装艺术家合作,制作了他们身体的照片数据集。然后利用机器学习系统模仿表演者的口型动作合成新的虚拟变装舞者。视频中不断变化的身体均由神经网络生成,观众可以点击按钮选择喜欢的表演者和曲目,当 AI 试图呈现高难度的表演姿势或将多种不同身份相结合时身体会变得模糊、扭曲。在这件作品中观众通过简单的选择,影响作品的呈现,以此实现互动。


image


2-85 the Zizi Show.Jake Elwes.202386

image

2-86 the Zizi Show.Jake Elwes.202387


随着技术发展,沉浸式艺术装置开始出现在大众视野,“沉浸式”理念最早被运用在戏剧领域,在沉浸式艺术装置中作品多构建一个独立空间将感官与外界阻隔,以身体作为感知的媒介,通过声音、光、传感器等引导观众与作品互动,沉浸式艺术作品多具有很强的观赏性和参与性,作品《Archive Dreaming》是土耳其多媒体艺术家 Refik Anadol Google 联手打造的实时音乐与视觉特效相结合的沉浸式艺术装置。该装置作品以艺术馆的 170 万个文档作为数据源,通过特殊


86 https://www.jakeelwes.com/project-zizi-vam.html


87 https://www.jakeelwes.com/project-zizi-vam.html


的编程方式实时渲染出 170 万张图像。通过数据可视化设计系统,庞大的数据文件转化为令人震撼的沉浸式空间,把观众包围其间。同时系统还呈现了每张图片的信息,观众可以与这些视觉资料实时互动,既呈现了艺术与科技的无限魅力,又传达了历史文化的浩瀚苍穹。作品模糊了物理空间和数字空间的界限,创造了沉浸式的环境,以回应观众的存在和参与。也是对数字媒体与物理实体互动关系的探索,重新定义了建筑结构与媒体艺术的紧密关系。作品带给了观众初始的沉浸式体验,但由于技术和思维的限制,其叙事性、交互的开放性和多样性仍有待提高。


image


image


image


image


2-87、图 2-88、图 2-89、图 2-90 Archive Dreaming.Refik Anadol.201788


作品《Encode/Decode(“ 编码/ 解码”)》是艺术家 Rafael Lozano-Hemmer 根据牙买加裔英国文化研究学者斯图尔特- 霍尔

Stuart Hall1932-2014)的评论文章制作的一个生成性互动装置。霍尔对电视语境下媒体信息的生产、传播和解读方式进行了理论分析,他认为受众可以通过其个性化的社会语境在解码信息方面发挥积极作用,并拥有通过集体行动改变意义的能力。Lozano-Hemmer 的作品中,缓慢流动的动画字母环绕在整个空间,通过相互吸引的方式排列,而参与者的身体轨迹则影响着字体流动的方向。



88 https://refikanadol.com/works/archive-dreaming/


image


2-91 Encode/Decode(“编码/解码”).Rafael Lozano-Hemmer.202089


除了人机交互外,艺术家也会将行为表演与AI 技术相结合,此类交互作品多带有一定的叙事性 ,观众可以通过手势、语音识别、眼球追踪等技术来带入情节、展开互动,但并不能决策作品走向,作品《Unlearning Language"遗忘语言》是 Lauren Lee McCarthy & Kyle McDonald 共同完成的表演项目,作品试图探索语言对我们意味着什么?随着人工智能生成的文本激增,我们不断被检测和存档,我们能否想象一个超越持续监控的未来?Unlearning Language 是一个行为装置,它利用机器学习来激发我们寻找对语言的新理解,这种理解是算法无法检测到的。作品由两部分组成:1.最多可容纳 8 人的交互装置,一组参与者受到一台希望训练人类更不像机器的人工智能的引导。当参与者进行交流时,他们会被检测(使用语音检测、手势识别和表情检测),然后AI 会通过光、声音和振动进行干预。整个团体必须共同努力,找到一种新的交流方式,对算法不可察觉。这可能包括拍手或哼唱,或者修改语音的速度、音调或发音。通过这种有趣的实验,人们逐渐展现出与机器区别开来的最人性化的特质。他们开始设想一个更重视人类交流的未来。2.面向观众的交互式开场表演。开场表演为装置提供了背景故事。观众被鼓励彼此互动,以及与表演者进行互动。


89 https://www.lozano-hemmer.com/encodedecode.php


image


image


image


image


2-92、图 2-93、图 2-94、图 2-95 Unlearning Language(遗忘语言).Lauren Lee McCarthy & Kyle McDonald.202290


从本质上来讲,“交互”与“互动”的概念是相似的,它们都表达的是互相影响、互相作用的过程,但是“交互”含有双向性的特点,交互艺术设计中的“交互”主要是指参与者和作品之间的双向信息交换,交互的形式涉及范围也很广,包含了声音互动、视觉互动、思想交流等等。91在交互装置创作中,观众不仅可以参与到作品中,其抉择也会影响作品呈现的结果,此结果会反作用于观众,影响下一次选择,以此循环往复。此类交互作品中参与者可以根据自己的需要和兴


90 https://lauren-mccarthy.com/Unlearning-Language


91 钱抒辰.人工智能技术与环境艺术设计课堂融合[J].居舍,2020(06):189-190.


趣自由地选择不同的操作路径,可以更加灵活地探索和体验作品。

VR 与人工智能的结合正在成为一类虚拟现实叙事的趋势。人工智能可以实时的与人交互并生成新的剧情。观众在体验时的参与会直接影响故事的走向和结果。在电影《墙中狼》(Wolves in the Walls)92创建了一个 AI 驱动的虚拟形象。主角露西是一个富有想象力的小女孩,确信她家的墙中有狼,而她的家人根本无视她的想法。用户扮演露西想象中的朋友,帮助她寻找证据,揭露她家中狼的威胁。根据露西 对家人的看法,每个人都以“视觉隐喻”的形式出现。例如,露西的妈妈,从一个很高的地方向下看露西,因为对她的想法持轻视和怀疑的态度。而父亲在一个巨大的音乐厅里练习音乐,似乎完全不关心露西。露西能够通过自然语言处理与观众进行交谈,跟踪观 众的动作,与观众进行愈益深刻的互动,最重要的是她能记得观众是谁,与她的交往过程会成为她的人生经验的重要部分。


image


2-96 Wolves in the Walls(墙中狼).Fable Studio Oculus .201893


另外一种由人工智能来控制叙事发展的方式类似于彼得罗·加利


92 《墙中狼》为 Fable Studio Oculus 合作推出的第一部作品,改编自尼尔·盖曼的同名儿童向小说。


93 https://thirdrailprojects.com/wolvesinthewalls#wolves-in-the-walls

亚诺(Pietro Gagliano)942020 年导演的动态电影《Agence(2-97)

Agence》中的生物是由脚本化 AI 驱动的;在这个交互式 VR 作品中,观众被邀请在一个由简陋机器人组成的宇宙中扮演上帝,可以从一个星球跳到另一个星球,改善星球居民的生活环境,让他们越来越多地帮助和理解彼此,或者破坏它并使他们陷入冲突。也可以一举消灭它 们,彻底结束一个星球上智慧生命的发展。观众与系统通过互动以影响模拟结果,这使得每次观看都能独特地推动故事讲述,为叙事创造无尽的可能性。


image


2-97 Agence.Pietro Gagliano.202095


孙羽茜在研究过程中非常关注AI 的虚构背景,比如虚构的故事如何影响人们对AI 的理解。她也认为游戏是一个特别好的环境,可以让人“悬置怀疑(suspend suspicion)”,暂时停止对虚构世界的怀疑,跳出自己的现实。基于这样的理念,她曾与新剧元合作推出了一款名为《一千零一夜》的游戏,这是一款以阿拉伯民间传说系列《天


94 Pietro Gagliano 加拿大导演、Transforms.AI 的创始人,通过实时互动娱乐将 AI 与文化融为一体。


95 图片来自:https://www.transforms.ai/agence艺术家网站:https://www.pietrogagliano.com/


image

方夜谭》为基础创作的互动游戏。玩家将扮演故事的女主人公珊鲁佐德,每天晚上为撒山国王(AI 扮演)讲故事,以推动游戏的进行。山鲁佐德有将故事转为现实的能力,所以玩家需要引导国王,讲出自己需要的故事。当国王提及“刀”“剑”“盾”等字眼时,这些词会变成“实体”武器落入玩家手中或者兵器库,来支持玩家与撒山国王进行作战,如果玩家战胜了国王,便可解救自己与其它的战俘。《一千零一夜》与传统文本叙事游戏最大的不同点在于游戏中与NPC 互动的剧情是不固定的,完全由玩家的语言进行控制。实现多玩法和多结果。


2-98 一千零一夜.孙羽茜.202296