卡通渲染技术

2008­12­12 1 卡通渲染技术计算机图形学发展概述 积累 §光栅图形学迅速 发展 §图形软件化 交叉 §多媒体技术，人工智能， 科学可视化 §虚拟现实 1960 1970 1990 2000 诞生 §Sketchpad：人 机交互通信的图 形系统 扩展 §图形硬件飞速发展 §图形学分支学科出现 应用 §GPU高速发展 §产业应用广泛 2010 1980 真实感图形学 非真实感图形学 真实感与非真实感绘制技术的对比 真实感绘制 非真实感绘制 基本趋向 模拟物理世界 模拟艺术家的风格 评价方式 客观 主观 基本 模拟物理过程 研究艺术品特点，研究 人类的感知，模拟艺术 家的创作 准确性 精确 近似 细节水平 相同的细节等级，无法 避免细节信息 可以突出表达重点部分 v 计算机非真实感绘制技术Non-photorealistic Rendering (NPR) 提 出（1986）产生(1990) v 非真实感绘制技术的目标以及结果评价标准 计算机非真实感绘制技术 目标 评价标准 对科学的好奇心 无 与手工创作图形的相似性 对真实感绘制的图灵测试 特定信息的传达 与话语的比较 对图片语言的假设 图形的自然语言解释 对传递机制的更好理解 传递意图的操作模型 非真实感图形学研究现状 v 效果比技术更重要 v 开放性的研究方式 § 没有固定的研究路线和体系 v 与别的技术相结合 v 应用于新的领域可产生新的研究方向 v 远没有达到目标，仍然是热点 非真实感图形 vWhat is computer graphics about? Providing tools to help human designers produce images that communicate visual information for some purpose.2008­12­12 2 非真实感图形学分类 卡通渲染 线条 绘图 艺术 绘图 科学 可视化 技术 插图 NPR 按绘制风格分类 非真实感图形 非真实感图形 非真实感图形 非真实感图形 非真实感图形2008­12­12 3 非真实感图形 非真实感图形 非真实感图形 非真实感图形 非真实感图形学分类 v非真实感渲染有多种分类方法，按绘制风格大致分为以下几种：§科学可视化(Scientfic Visualization)，§技术绘图(Technical Illstration)，§铅笔、钢笔画插图(Pen­and­lnk Illstration)，§艺术绘图(Painterly Rendening)，§卡通渲染(Cartoon render) Company Logo 非真实感图形学分类 v铅笔、钢笔画插图和线条画§此类绘制追求铅笔、钢笔等的素描效果。主要使用线条勾勒景物轮廓，线条曲率方向表现景物形状，线条笔划稠密表现光照明暗等等 Company Logo2008­12­12 4 非真实感图形学分类 v艺术绘图§各类艺术风格绘制是非真实感渲染主要目标之一。综合的绘制系统可能包含几种风格：印象派(Impressionist)、表现派(Expressionist)、水彩(Watercolor)、点绘(Pointilist)等，还有像中国特有的水墨画风格。其技术实现也是分为两种不同路线:物理模拟和自动绘制。物理模拟主要是对画纸、画刷和颜料等介质的物理性质以及绘画过程进行模拟，如:颜料在纸上的流动，不同画刷笔划之间的重叠交互，纸对水的吸收能力等等 Company Logo 非真实感图形学分类 Company Logo 非真实感图形学分类 v科学可视化§科学可视化主要研究如何、实现与评价通过图像传达信息的方法。比如：如何描述一个复杂的数据集，从而让人们能很快的观察到本质和重点 Company Logo 非真实感图形学分类 vTechnical illustration （技术插图）§ Purpose: Render 3D models in styles that are more “comprehensible” （以理解的方式绘制）vMethod: § Render various intermediate images • （绘制中间图像）§ Do image­processing operations on them • （进行图像处理）§ Combine the results • （复合效果） 非真实感图形学分类（技术插图） 非真实感图形学分类（技术插图）2008­12­12 5 非真实感图形学分类（技术插图） 非真实感图形学分类（技术插图） 非真实感图形学分类 v技术插图§美国Utah大学曾对技术插图中的显示技术进行了系统的研究。提出计算机生成的技术绘制相比于传统真实感绘制有很多优点，具有更清楚的形状、结构表达。 Company Logo 非真实感图形学分类 vPen&Ink（素描/笔墨图）§ Purpose: Render 3D models as pen & ink drawings vMethod: § Annotate model with procedural “textures” （通过纹理注解图）§ Render tonal “reference image” （参考图）§ Use it to guide pen and ink textures （指导） 非真实感图形学分类（素描/笔墨图） 非真实感图形学分类（素描/笔墨图）2008­12­12 6 非真实感图形学分类（素描/笔墨图） 非真实感图形学分类（素描/笔墨图） 非真实感图形学分类（素描/笔墨图） 非真实感图形学分类（素描/笔墨图） 非真实感图形学分类-艺术图形vPainterly rendering for animation （美术图）§ Purpose: produce animations in a “painterly” style with temporal coherence of strokes （通过笔划和时间的一致产生动画）vMethod: § Populate surfaces with stroke “particles” • （粒子图）§ Render with the help of reference images • （图像纹理） 非真实感图形学分类（美术图）2008­12­12 7 非真实感图形学分类（美术图） 非真实感图形学分类（美术图） 非真实感图形学分类 v卡通风格渲染§卡通风格主要特色是有明显的轮廓线，鲜明对比的颜色区间。轮廓线在3D场景中的生成己有较为成熟的算法，即通过深度图和法向图来检测轮廓线. Company Logo 非真实感图形学分类 (卡通渲染)vCartoonish rendering （漫画图）§ Purpose: render scenes vMethod: § Populate scene with detail elements “graftals” § Render with the help of reference images 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染)2008­12­12 8 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染) 非真实感图形学分类 (卡通渲染)2008­12­12 9 非真实感图形学分类 (卡通渲染) 卡通渲染的定义 卡通渲染（Toon Render）作为NPR的一种特殊形式，卡通风格主要特色是有明显 的轮廓线，鲜明对比的颜色区间。由于能给人以强烈的含蓄感和童趣一直被受关注。 通过简化并剔除所包含的混杂部分， 可以突出与主题相关的信息 -----《Understanding Comics》 McCloud Decaudin最早提出了计算机自动 生成卡通效果3D场景的渲染算法。 -----《 Cartoon­Looking Rendering of 3D­Scenes 》. INRIA,1996 卡通渲染的研究意义 卡通渲染非常有用的一个方 面在于，创作者不需要改变 你所表示的人物和物体的方 式。创作者可以基于空间用 三维网格来画他们，而不用 把任何东西都画成二维，这 样空间的动画技术可以非常 好的利用起来，使卡通创作 进入一个新纪元。 2D绘制(基于相素) 2D绘制(基于画刷) 2.5D绘制(基于模板) 视频绘制(基于帧) 3D绘制(基于空间) 3D真实感绘制 3D实时 非真实感绘制 卡通渲染的应用 教育 动漫 游戏 问题提出 1 计算机该如何绘制 卡通？ 2 如何快速灵活的进 行卡通渲染？ 3 渲染系统如何设计 与实现？ 明暗处理 局部着色 轮廓线绘制 卡通的手绘过程2008­12­12 10 模型的基础和意义 Halper提出并应用了一系列诸如生理 学和社会学来研究渲染方式和效果 Duke情感影响实验表明人类对一种思维 模型的需求远超于管理支配动态语义的过程 大量实验证据表明渲染风格以一种有序的 方式可以转变对人的其内涵和情感传达判断 适合卡通渲染并复合 卡通渲染表达意向 1 2 帮助进行算法归类研究 基础 意义 适合建立计算机卡通渲染绘制流程 3 T1 T2 T3 T4 T7 T6 T5 卡通渲染分层结构模型 感知层 辨识层 现实世界的辨识 方式与计算机的 表达方式 光的物理属性 名称 简写 影响 光线衰减 LRA 颜色与光亮度 视网膜抖动取样 RSJ 几何细节 光线投影 LRP 远近和缩放 相对视点 RVP 形状 固有表明颜色 PSC 绝对颜色 阴影表面颜色 SSC 明暗层次 入射光方向 ILD 亮度差异 T1 T2 T3 T4 T7 T6 T5 卡通渲染分层结构模型 感知层辨识层 感知系统：视网膜神 经细胞检测三维几何 算子。这些算子中有 很多具有微分特性。 计算机系统：模仿视 神经纤维链的行为算 法。用来处理LRA的 图像增强型算法，用 来模拟RSJ的图像瑕 疵算法，以及执行 LRP与RVP的渲染流 水线的几何阶段 感知系统：用于形状 分析。这些算子不能 纯粹是局部的，并且 一个常用的模型以多 尺度和Foruier- Mellin变化为基础。 计算机系统：确定片 断（segment）需要 用到分割 （segmentation） 算法。 感知系统：一旦确定所 感知到的形状，就可以 完成从透视变形的，物 体的光测属性从外部现 实到所感知到的物理现 实。 计算机系统：光照明模 型用来模拟PSC，SSC， ILD 感知系统：这一层， “感知”和认知之 间的分界线一般被 认为是交叉的。 计算机系统：对于 单独物体的渲染已 经基本完成 视觉系统的接受 方式与计算机的 处理方式 形状 •模型 质感 •局部着 色 光影 •明暗处 理 表达 •艺术绘 制 信息传达 •局部细 节 计算机卡通绘制流程 卡通渲染技术研究现状 基于Mesh 卡通渲染技术 Text 基于Mesh P1 P1 P2 局部着色 P3 P4 轮廓线绘制 轮廓线绘制 局部着色 明暗处理 明暗处理 P2 P3 P4 现阶段方法 本文方法2008­12­1211 3D轮廓线绘制 基于多边形 轮廓线检测 基于空间轮廓线 检测 随机检测算法 直接检测算法 基于边的遍历 检测算法 基于面的遍历 检测算法 轮廓线绘制算法分类 色彩绘制 光照映射 直接填充 基于光照明模型 的改良 基于成分光 的映射 色彩绘制算法分类 传统算法存在的问题 1 2 依赖于纹理对模型不能分开着色变更效果时,需要重新选择新纹理不能灵活的变更 颜色层次矩阵的定义 颜色层颜色层次矩阵次矩阵局部着局部着色矩阵色矩阵明暗处明暗处理矩阵理矩阵 局部着色矩阵 Index #1 Index #2 1 2 3 创建模型索引 使用局部着色矩阵 渲染 局部着色矩阵实例úûùêëé= 1 0 0 1 r D[] 0 64 128 1= C[] 0 0 255 2= C2008­12­12 12 明暗处理矩阵 u v ij s Y D´= ] [úûùêëé= 33 13 22 12 21 11 T T T T T T D súûùêëé=* 33 2 13 1 22 2 12 1 21 2 11 1 T C T C T C T C T C T C D D s r 渲染效果比较 明暗处理矩阵的约束条件 设 , k是约束条件的维度，v代表明暗层次数量，定义明 暗处理矩阵的约束条件为 。明暗处理矩阵的约束条件 决定颜色层次矩阵是如何与三维空间进行关联，从而把色彩值映射到物体空 间。() s r D D*Îns() v k fsllll®L 3 2 1 , , : 局部 着色 层级 明暗 处理 层级 三维 模型 空间 约束 条件 约束条件实例一lP 视点 焦点轴þýüîíì<>-= z z z m glllllll ) ( ) / log( 1 ) ( 常数 约束条件实例二 L N L N L N g / ) , (·=模拟水墨效果2008­12­12 13 金属效果与素描效果 RTE 实时卡通渲染引擎 （Real­Time Toon Engine） 设计思想 API-Direct3D 开发环境与系统构架 3D模型 加载模块 控制 模块 渲染 模块 效果 控制模块 RTE 开发语言 C++/STL 集成环境 MicrosoftVisualC++ .NET2005 API DirectXSDK（November2007） 建模软件 3dsMax 7.0，DeepExploration 3D模型加载模块数据的组织 3D模型数据的定义 Vector adjacency Face Vector Normal Face Normal class RET::Model { public://public interface private://private methods private:                                         //几何图元属性 PrimitiveSetList  PrimitivesIndex    //图元索引号 template Vector                              //顶点坐标 template VectorAdjacency               //邻接点坐标 template MeshFace                         //面索引 template MeshNormals                   //法向量索引 template Mesh                                //网格索引 ArrayList texCoordList； //纹理坐标 ArrayList MeshMaterialList； //材质坐标 };2008­12­12 14 3D模型数据的加载流程 载入模型数据 注册几何基元模板 创建一个遍历结构 遍历高层模板 遍历内嵌模板 释放模型数据 取指定数 据到存储 类 当前缓存设为高层 控制模块 Y轴 X轴 Z轴 物体空间Y轴 物体空间X轴 物体空间Z轴 RTE::Camera与RTE::View两个类是控制模块的核心 Company Logo 控制模块控制流程 交互控制 更新位置 旋转 移动 更新方向角 计算位置和方向 透视投影变化 场景显示 效果控制模块 核心Cg 运行库 Effect 系统 Cg 编译器 HLSL 编译器 GPU 01010101 10101010 11100110 11010101 10101011 硬件微码 Direct3D 驱动程序 Cg Profile Cg入口 FX Profile Effect类 Effect系统 遍历变换与光照光栅化显示 模型 编历 Effect 系统 内存 光栅 化 片元 操作 帧缓 存 视频 显示 Direct3D实现 渲染模块2008­12­12 15 中央处理器 Intel Pentium 4 3.0GHz 内存空间 1GDDR 硬盘空间 1 图形显示卡 ATI RADEON X300 硬件运行环境 A B C D 实例仿真 计算机生成的3D卡通流水画面计算机生成的3D卡通喷水画面计算机生成的3D卡通涟波画面计算机生成的卡通波光闪烁计算机生成的3D卡通火焰画面2008­12­12 16 计算机生成的3D卡通落雨画面计算机生成的卡通雪景