十年磨一剑

十年磨一剑 十年磨一剑 编者按:在信息化教学环境中，多媒体教材的知识是以画面形式呈现的，或者说是用“画面语言”写成的。随着信息化教学日益常态化，多媒体教材的制作与使用缺乏科学性、性的问题日渐凸现、亟待解决。 早在2002年，游泽清教授就在本刊率先提出了“多媒体画面语言”的概念。十年磨一剑，他本着高度的历史责任感和使命感，带领课题团队和研究生，进行了持之以恒的研究。这十年，他们曾误入歧途、也走过弯路，但他们从未放弃，从深入进行大量基础性的研究到终有灵光一闪，从点滴概念的明晰到学科体系的建立，今天，“多媒体画面语言学”终于系统、完整地与读者见面了。 本刊将分四期，按“画面语用学”、“画面语义学”、“画面语构学”和“多媒体画面语言学诞生过程”的顺序详加介绍，让多媒体教材在教育教学改革中的制作与应用更加有序、规范，绽放更加夺目的光彩。 研究多媒体画面艺术(或语言)已经10年了，能把这个问题弄明白真不容易～ 记得2001年前后，当许多学校正热衷于从“美术”或“电脑美学”探索改善多媒体教材质量时，我们首次提出了“多媒体画面语言”的概念[1]，并且沿着这一思路走到今天，终于创建了“多媒体画面语言学”。这10年中，立过项目，组织过会战，获过奖励，也走 过弯路。为了澄清一个误区、明确一个概念，往往需要经历几月，甚至几年的时间。现在回过头来总结一下，大体可以分为以下三个阶段。 ? 提出“多媒体画面语言”概念(2001,2004年) 在这期间的研究工作是，借鉴传统艺术中画面语言的概念，揭示或深入认识“多媒体画面语言”的内涵。取得的成果主要体现在两个方面。 1.提出了“运动画面”的概念[2] 强调运动画面是基于屏幕呈现的画面，包括电视画面、电脑画面和多媒体画面三种类型。指出在多媒体教材中，是通过运动画面描述一个知识点或一个运动(变化)过程的。这就是说，组成多媒体教材的基本单位是运动画面，既不是(静止的)美术画面，也不仅仅是电脑画面。 2.明确了组成多媒体画面语言的基本元素(elements) 当时已能准确地指出，多媒体画面是通过四类媒体(图、像、文、声)传递知识信息的;多媒体教材是通过编辑、交互功能将这些画面组接起来的。在这期间发了一系列文章[3] [4] [5] [6]，分别对这些基本元素进行了专题讨论。 当时出版的一本著作《多媒体画面艺术基础》[7](简称《基础》)，将这段期间的研究成果系统地表达了出来，可以认为该书的意义是，首次提出了“多媒体画面语言”(language with multimedia) 的概念。这是研究“多媒体画面艺术”取得第一阶段的成果。 上述研究工作很快得到了教育部和社会的认可: ?2003年，立项“全国教育科学十五‘规划’(教育部重点)课题”《多媒体教学资源中画面语言研究》; ?2004年，“多媒体画面艺术基础”课程被教育部评为“国家级精品课程”; ?2004年，“多媒体画面艺术基础”网络课程被教育部评为“国家级优秀网络课程”; ?2004年，中国教育电视台“大学书苑”栏目专题报道了《多媒体画面艺术基础》一书，许多学校采用了该书作教材或教学参考书。 客观地讲，10年前形成的这些概念，今天看来并没有过时，只是更加深化或丰富了。 因此，对这一阶段的工作是应该肯定的。但是，用“弄明白多媒体画面语言”这个要求来衡量，只能算开了个好头，离最终目标还差距甚远。首先，虽然认识到了“视觉要素”，但是还没有看到它在产生画面艺术美感内在机理中的重要地位;其次，虽然意识到了“以形表义”是画面语言有别于文字语言的重要特征，但对画面语言是如何通过“形”来表现教学内容的还缺乏认识，更谈不上规律性的认识;特别是在规范画面语言的规则上，由于缺乏语言学的基础知识，以为只要搞清楚画面语言的语法就可以了。那时有一位语言学家(也是当时国家语委的领导)曾提醒我说:“光语法不够， 应该把画面语言学搞出来。”虽然我对此话理解不深，但还是立项组织了一个课题组，希望通过会战弄明白画面语言学。 ? 创建“多媒体画面艺术理论”(2004,2008年) 可以将这段期间的工作用一句话来概括:深入地做了大量基础性的工作，但还是没有弄明白画面语言学。这一现象说明了两个事实:让一批“外行”(非语言专业)来填补一门语言学中的空白，确实有些勉为其难;但是，由于我们在基础理论和科研能力方面毕竟还是有些优势的，所以研究的大方向没错，走弯路难免。 1.选准研究的切入点 研究画面语言学从何处着手,由于前期的研究已经认识到画面具有认知和审美双重功能，即“画面语言”和“画面艺术”二者具有同构关系，而且多媒体教材中的画面是以呈现知识内容为主的，因此切入点选择了“画面语言认知规律研究”。 为此，一方面组织课题组会战，并且通过年会提交研究成果[8] [9];另一方面，专为学习认知心理学而开设了一门新课“脑认知原理”，试图通过讲授来加深对认知规律的理解。正是由于在讲授知觉的过程中认识了“新质或格式塔(gestalt)质”,并且将这个心理学概念与艺术领域中的视听觉要素(visual or audio essences)联系起来，提出了以下论断:“艺术规则通过规范基本元素在画面上的衍变(即规范视听觉要素)，在知觉中产生了和谐、有序的“新质”，从而使画面出现了亮点。”这一事实证明了当初选择的切入点 是正确的，后来问世的《多媒体画面艺术理论》，便是在这一论点的基础上建立起来的。 2.深入进行大量基础性的研究工作 按照上述论点，这段期间研究工作的思路是，界定四类媒体(图、像、文、声)中的基本元素和视听觉要素;形成多媒体画面艺术规则(或画面语言的语法规则)，从而使多媒体画面艺术(或语言)形成体系。对研究工作的要求是，界定的基本元素、视听觉要素和艺术规则，在内部应该是统一的，对外应该与各类传统艺术兼容。 按照这一思路和要求，取得的主要成果如下。 ?对基本元素的界定进行了深入的研究 在基本元素界定中，主要是对“元素”的研究，即“呈现在画面上、能对视(听)觉形成刺激的所有元素”，包括以下几点: ?形态:图的形态(图形)、文本的形态(字形)，声音没有形态，但它来自画面，并对听觉形成刺激，所以也是基本元素; ?属性:填充形态的色彩(肌理和影调视为由形态、色彩等基本元素衍变产生的新质，划归为视觉要素中); ?空间:画面上呈现的空间是由形态与形态之间的关系形成的，分为主体之间的配合关系，和主体、背景之间的主从关系两类，所以背景也是基本元素; ?运动:只要画面中的内容相对画框有运动或变化，就将该画面视为“运动画面”，使内容产生运动的技术手段(视频或计算机制 作)，通过画面上内容的运动，形成了视觉刺激，所以应将这些制作手段视为基本元素; ?字义:画面语言中的文和图是不同的，屏幕文本的字形和字义是分离的，因此应将字义算作另一种基本元素。 ?对视(听)觉要素的界定进行了深入的研究 在视(听)觉要素的界定中，主要是对基本元素“衍变”的研究，不仅看基本元素在画面上的衍变形式，而且看衍变在主观上能否产生“新质”。由于在画面上，静态呈现和动态呈现基本元素的界定不同，它们的衍变形式也会不同。 ?静态呈现画面上，衍变形式为基本元素(如形态、色彩、背景等)在画面上的变化、布局、搭配，如形态的大小、清晰模糊变化及形态间的遮挡，可以在主观上产生纵深感(新质); ?动态呈现画面上，衍变形式为视频或计算机制作手段(基本元素)的运用技巧，如仰拍人物的镜头显得高大(新质); ?运用字义(基本元素)的技巧，可以借鉴运用文字语言的技巧，精炼、准确地表达，深入浅出地描述，逻辑严谨地推理，风趣幽默地侃谈等，字义的这些衍变都会在主观上产生异样的感受(新质); ?解说只能动态呈现，它的衍变形式是指播音员运用语音(音色、节奏等)和字义的技巧。好的解说会给多媒体教材增添光彩(新质)。 ?对艺术规则的界定进行了深入的研究 认识到界定艺术规则时，需要将多媒体画面艺术分为媒体呈现艺术和画面组接艺术两大类，二者不仅所属范畴不同，而且艺术规则规范的内容各异。 媒体呈现艺术研究动静态、图文声色等媒体在画面上的呈现，旨在将视觉、听觉和表象、概念等认知渠道充分利用起来。这时对艺术规则的要求是，规范各类媒体的基本元素在画面上的衍变(即视听觉要素)。 画面组接艺术研究如何运用交互功能组接画面，旨在使画面上呈现的教学内容在教学过程中得以最佳的运用。此时要求艺术规则规范交互功能的运用技巧。 不论在哪一类艺术中，遵循了艺术规则便会出“亮点”，否则，违背艺术规则便会出“败笔”。 这段期间研究工作取得的重要成果是，形成了8个方面的“多媒体面画艺术规则”(详见第三讲)，其中基本艺术规则3个方面，即突出主题或主体、媒体匹配、有序变化;媒体呈现艺术规则4个方面，即属性、背景、文本、解说;画面组接艺术规则1个方面，即对交互功能运用提出“智能度”和“融入度”的要求。 3.对画面语言学的研究进入了误区 研究画面语言认知规律，其目的就是为了弄清楚画面语言学。其实当时已经知道了语言学由语构、语义、语用三部分组成。 画面语构学研究画面语言中各基本元素之间的结构关系，即多媒 体画面艺术规则(语法规则)，看来这部分已基本搞清楚了。 画面语义学研究如何用画面语言表现教学内容，由于那时对画面语言“以形表义”的特点理解不深，以为有了语法规则就可以、评价多媒体教材了。可见当时的认识还停留在前一阶段的水平，仍然没有理解那位语言学家讲的话:“光语法不够，应该把画面语言学搞出来。”这是误区之一。 画面语用学研究画面语言要适应运用环境(即语境)，旨在取得好的效果。由于当时我在国外看了很多微软公司创建windows界面的资料，被其中一句“画面语言学指导了人性化、自然化的界面设计”所误导。现在看来，这句话用于设计信息家电产品的界面是很贴切的，但用于多媒体教材设计却有些牵强，致使这项研究工作在该误区中多年停滞不前。 4.创建“多媒体画面艺术理论” 2007年盘点时发现，虽然此时还没有完全弄明白画面语言学，但是将这段期间研究工作的成果整理出来，足以形成一套新理论。经过一年的努力，终于将这套理论整理出来了，名称定为“多媒体画面艺术理论”(multimedia design theory );研究范围包括，多媒体画面艺术规则(即多媒体画面语言语法)、多媒体画面认知规律、多媒体画面的人性化、自然化设计;该理论体系包括静止画面、运动画面、画面上的文本和声音等四类媒体的呈现艺术，以及运用交互功能的艺术;该理论与绘画、摄影、音乐、影视、计算机文本、 图形、动漫等艺术门类兼容;所属学科为教育技术学(即教学资料建设的基础理论);可以应用于多媒体教材、影视、广告、舞台布景等领域。 因此，2008年正式对外发布了新艺术理论建成的消息[10] ，并于次年出版了第二本著作《多媒体画面艺术设计》[11](简称《设计》)，系统地介绍了该理论的内容，其中包括这段期间的研究成果，并将8个方面“多媒体面画艺术规则”安排在该书的附录中。 但是从上述对“研究范围”的表述中也可以看到，当时对画面语用学的研究，仍然停留在“人性化、自然化设计画面”的误区之中。 ? 形成“多媒体画面语言学”(2009年至今) 《设计》一书出版后，清华大学出版社建议再写一本《多媒体画面艺术应用》[12](简称《应用》)。为此，我在杂志上看了许多教师在课堂教学中如何运用多媒体教材的文章，原先的意图是希望《应用》一书尽可能结合学校的教学实践。按说这些文章讲的是，包括信息技术如何与课程整合，但是由于我看问题的角度和大家不同，终于有一天转念一想:“这个课堂教学环境不就是运用多媒体教材的语境吗,”语用学强调语境的目的是为了效果，对多媒体教材来说，强调的不正好就是课堂教学效果吗, 这时才恍然大悟:原来将画面语言学用于家电产品界面设计，和用于教育技术领域中的画面设计，是两码事～思路理顺了，再将2007年停下来的研究工作继续下去，结果一顺百顺。因此决定将创建“多 媒体画面语言学”(linguistics for multimedia design)的研究工作，以写书的形式进行下去。按照这一新的思路，将《应用》一书分为三篇，其中第一篇:画面语构学;第二篇:画面语义学;第三篇:画面语用学。 爱因斯坦在谈到他创建相对论时曾经说过这样的话，产生新的思路和把思路表达出来是分阶段进行的，而且后者的难度并不亚于前者。他说:“通用的文字或其他的记号只有在第二个阶段才能很费劲地找出来，此时上述的联想活动已经充分建立，而且可以随意地再生出来”[13]。因此，通过写书来整理和表达新的思路是“很费劲”的，也很有趣。 画面语构学研究画面语言中各基本元素之间的结构关系，即多媒体画面艺术规则。在“画面语言学”的三部分中，只有语构学是研究画面语言本身的，其他两部分属于画面语言的应用范畴:语义学研究如何运用画面语言表义;语用学则研究运用画面语言表义时如何适应语境，确保取得好的效果。因此在《应用》一书中，第一篇讨论画面语言的结构关系，第二、三篇分别讨论画面语言在两个方面的应用。 在第三讲中曾经指出，画面语构学的研究是按照“多媒体画面艺术理论”的思路进行的，事实上，多媒体画面艺术规则就是从该理论中提炼出来的。因此，可以将“多媒体画面艺术理论”和“画面语言学”二者视为“土壤”和“树”的关系:画面语构学是埋在土 壤里面的“根”，画面语义学和画面语用学则是长出地面的两棵树。这就可以解释，为什么在“画面语言学”之前，必须先将“多媒体画面艺术理论”创建出来。有了“土壤”，并培养出“根”，然后才长得出“树”来。 同理，由于在“画面语言学”中，语构学处于基础地位，因此多媒体画面艺术规则不仅是用来规范画面语言基本元素衍变的，它的三条基本艺术规则(即突出主题、媒体匹配和有序变化规则)同样可以规范制定“教学格式”和“设计格式”。 在写第二篇(画面语义学)时，我重新研究了“画面语言”，在两个方面取得了突破性的进展(详见第二讲)。 通过“文字语言的语法是融入语句中进行交流的”的事实，开始领悟到“光语法不够，应该把画面语言学搞出来”的深刻含义。在《设计》一书中赏析多媒体时，基本是按照“多媒体画面艺术规则”(即语法)进行讨论的。现在已认识到，虽然语法是赏析的基础，但是重点应该放在对“题材”的讨论上。用画面语言表现教学内容也是有固定格式的，就像文字语言中，不同题材的内容要有不同的写法一样。与教学内容题材匹配的多媒体教材格式，是规范化的格式，称为“设计格式”。“设计格式”是画面语义学的研究对象。 对画面语言是运动画面和“以形表义”的特点进行了重新解读。 运动画面强调的是它的“时间”特性。一个知识点包括许多内容，可呈现这些内容的屏幕只有一个(不像书本有许多页)，因此基于屏幕呈现的多媒体画面语言必须要充分利用它的“时间”特性。电视画面是自动分时呈现，而电脑画面或多媒体画面由于具有交互功能，可以设置菜单手控分时呈现，因而出现了画面语言的“时间分割”设计格式。 重新解读画面语言“以形表义”的特点，首先需要淡化“文字语言”的定式。其关键是摆正“屏幕文本”的位置:它已经不再是书本上的文字了，而是画面语言中的一员，和其他成员一样要遵循画面语言的语法规则，服从设计格式。在此认识的基础上，再从画面语言基本元素(形、色、动、文、声等)的衍变中，发掘其表现不同题材教学内容的规律，慢慢地养成“画面语言”的语感。 在写第三篇(画面语用学)时，我提出了“复合系统”的概念，将“多媒体教材”视为“课堂教学系统”中的一个子系统。对于一堂课，以前大家只知道“教学设计”，其实从杂志上的文章中看到，有许多老师是站在“多媒体教材”子系统的角度，而不是“课堂教学系统”全局考虑的，这时课堂教学环境(学科内容、学生水平、教学模式等)只能视为画面语言的语境，他们讨论的实际是画面语用学的内容。 此时已认识到，按照课堂教学环境的需求设计多媒体教材也是有固定格式的，如同信息技术如何与课程整合是有规律可循的一样。 与教学策略匹配的多媒体教材格式，是规范化的格式，称为“教学格式”。“教学格式”是画面语用学的研究对象。 《应用》一书得到了许多老师的支持，他们提供了自己获奖的课件作为赏析的案例。写这本书时，我将语法(即“多媒体画面艺术规则”)融入到画面语言的运用中，尝试从大量的多媒体课件中提炼、整理“设计格式”和“教学格式”。 写书的过程好像深入到一个陌生的领地旅游一样，开始接触一个课件时，脑子里一片空白，接着按照新的思路试着分析，慢慢地，看到了画面语言的运用特色，而且越来越清晰，最后形成了规律性的认识(即“格式”)。赏析一个课件大约需要花上一周的时间。就这样，赏析每一个新的课件，就像到了一个新的景点，需要思考、探索，结论都是最后才得到的，这也正是漫游这个领地的魅力所在。深入到里面转了一年多，头一次对“画面语言”有了如此全面、深刻的认识。现在书已完稿，预计今年11月出版，“多媒体画面语言学”不久也将问世了。 [1] 游泽清.多媒体画面语言的语法[j].信息技术教育，2002(12). [2] 游泽清，曲建峰，金宝琴.多媒体教材中运动画面艺术规律的探讨[j].中国电化教育，2003(8). [3] 游泽清.认识一种新的画面类型——多媒体画面[j].中国电化教育，2003(7). [4] 游泽清，庞大勇.声音媒体在多媒体教材中的运用[j].中国电 化教育，2003(10). [5] 游泽清.文本在多媒体教材中运用势要“入乡随俗”[j].中国大学教育，2005(12). [6] 游泽清.多媒体教材中运用交互功能的艺术[j].中国电化教育，2003(11). [7] 游泽清.多媒体画面艺术基础[m].北京:高等教育出版社，2003. [8] 游泽清.多媒体画面语言中的认知规律研究[j].中国电化教育，2004(11). [9] 游泽清.如何开展对多媒体画面认知规律的研究[j].中国电化教育，2005(10). [10] 游泽清.创建一门新的艺术理论[j].中国电化教育，2008(8). [11] 游泽清.多媒体画面艺术设计[m].清华大学出版社，2009. [12] 游泽清,多媒体画面艺术应用[m].清华大学出版社，2011. [13] 克雷奇.心理学纲要[m].周先康，译.文化教育出版社，1980.