DATASTAGE日常运维手册

DATASTAGE日常运维手册项目名称：DATASTAGE运维编制时间：2015年11月修改记录编号日期描述版本作者审核发布日期本文档中所包含的信息，如无中国建设银行的书面许可，任何人都无权复制或利用。Copyright2011byChinaConstructionBankDatastage介绍产品概述DataStage企业版是AscentialSoftware公司所有企业整合系列产品中关键产品。企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。基于高可扩展性的软件架购，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。DataStage企业版发布了四个核心功能来成功实施企业数据整合：先进的开发和简单化的维护；企业级别的开发、监测和管理；在吞吐量和性能方面提供了无限制的高扩展的体系架构；端对端的企业级元数据管理。DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。DataStage企业版增强的功能减少了学习的周期、简单化了管理和优化了开发资源的使用，减少了数据整合应用的开发和维护周期。结果，DataStage企业版使得企业能够花更少的时间开发他们的整合应用，更多的时间是不断的从中受益。基础架构客户档介绍用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。这些工具包括：Designer：用来建立和编辑DataStage作业和表的定义。Designer中的“JobSequencer”控制作业的执行，其他作业成功完成（或失败，等）的条件。Administrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗。Manager：用来编辑管理用户工程的DataStage资料库。Director：用来验证、时序安排、运行和监测企业版作业。日常操作登录客户端登录DatastageAdministrator客户机点击图标选择需要登录的服务器，输入用户名，密码登录进去后点击项目，可进行项目增加，删除，设置项目属性登录DatastageDesigner客户机点击图标选择需要登录的域，输入用户名，密码，选择需要登录的项目登录成功：登录DatastageDirector客户机点击图标选择需要登录的域，输入用户名，密码，选择需要登录的项目登录成功：启停服务端以dsadm用户进入，执行以下命令：1)Server启动命令：$HOMEDIR/uv–admin-start注意：启动前,需要查看端口是否被释放,通过‘netstat–afinet|grepds’查看，如果有连接，则需要等待操作系统自动释放后在启动服务。2)Server停止命令：$HOMEDIR/uv–admin/stop注意：停止前最好确保没有Client连接，可以通过‘onstat–a|grepds’查看，是否还存在Client连接，否则要通知相应登录的client端彻底退出。Job编译登录DatastageDesigner客户机，参见，打开欲编译的Job，具体Job编译有两种：选择菜单栏的【文件】->【编译（M）】，快捷键为F7。点击工具栏的编译图标。Job运行DatastageJob运行有两种方式：一种在Designer中，一种在Director中。登录Designer客户机，打开欲运行的Job，选择菜单栏的【文件】->【运行（R）】，快捷键为Ctrl+F5或者点击工具栏的运行图标。登录Director客户机，选中欲运行的作业，选择菜单栏的【作业（J）】->【立即运行（N）】，或者点击工具栏的立即运行图标。监视作业登录Director客户机，选中欲监视的作业，右键选择【监视】，可以查看作业的运行情况。如下图所示：查看日志登录Director客户机，选中欲查看日志的作业，右键选择【查看日志】出现：作业解锁方法１如遇到断网等一些情况可能导致作业被某一锁定，从而无法对作业进行修改。解锁方法：在浏览器输入Server端IP地址跟端口，如HYPERLINK,出现如下界面：输入用户名，密码，登录后选择【管理】->【会话管理】->【活动会话】，对那个被锁定作业的会话，选择【断开链接】方法２1用管理员用户登录DataStageAdministrator2打开对应PROJECT的【命令（Ｍ）】3执行　　查看Locks4通过最后一列itemid找到被锁的对应的作业名5执行下面命令解锁UNLOCKUSERUsernoALL其中username为所列出的信息中对应的Userno。Job导入登录Designer客户机，选择菜单栏的【导入（I）】->【Datastage组件（C）】，选择所需导入的dsx文件，界面如下：Job导出登录Designer客户机，导出DatastageJob有两种方法：（1）选择菜单栏的【导出（X）】->【Datastage组件（C）】，界面如下：点击添加按钮，选择所需的导出的DatastageJob，在要导出的作业组件一般选择“导出不带可执行文件的作业设计”，在导出到文件中选择本地的保存路径跟文件名。（2）在所需导出的Job上右键单击，在弹出菜单中选择【导出（X）】，在如上界面中的导出到文件选择本地的保存路径跟文件名。数据库表定义导入datastage登录Designer客户机，选择菜单栏的【导入（I）】->【表定义（T）】->【插件元数据定义（Ｍ）】选择表定义所在的数据库，输入用户名，密码选择【导入（Ｉ）】Datastage配置常见说明主机下发数据目录：/appdata/DATA#DATEDatastage转码生成公共数据集目录：/appdata/DSDATA/$DATE/DataStage的配置目录，/usr/datastage/InformationServer/Configurations，其下有其配置文件，可以设置运行结点数，Dataset数据文件目录，Dataset日志文件目录。{node"node1"{fastname"T219N2V3"pools""resourcedisk"/appdata/DSDATA/DATASET"{pools""}resourcescratchdisk"/appdata/DSDATA/SCRATCH"{pools""}}node"node2"{fastname"T219N2V3"pools""resourcedisk"/appdata/DSDATA/DATASET"{pools""}resourcescratchdisk"/appdata/DSDATA/SCRATCH"{pools""}}}Dataset数据文件目录：resourcedisk"/appdata/DSDATA/DATASET"Dataset日志文件目录：resourcescratchdisk"/appdata/DSDATA/SCRATCH"DataStage的引擎所在目录，/usr/datastage/InformationServer/DSEngine，其下有bin，lib等，其中include里面有个很有用，定了很多错误，遇到错误，可以到文件里面找，不过这里只能找到常见错误，一些unexpectederror无法在里面找到错误原因。DataStageAdministrator配置登录Administrator客户机，选择【项目】标签，选择要配置的project，在General->Enviroment…中1.在General类型下：TMPDIR=XXX(将其指向一个相对较大的目录，不填写就是指缺省的/tmp目录，此处需要讨论)。2.在Parallel类型下：APT_CONFIG_FILE，配置文件及其运行节点数，其配置文件为：/usr/datastage/InformationServer/Configurations/，这里需要检查一下指向的内容是否正确。具体详见中DataStage的配置目录。APT_STRING_PADCHAR=(缺省值是0x0，我们需要填写一个空格)3.在Parallel->OperatorSpecific类型下APT_COPY_TRANSFORM_OPERATOR设置为True，在做多结点运行时需要设置。4.在UserDefined类型下：APT_IMPEXP_ALLOW_ZERO_LENGTH_FIXED_NULL设置为1。（如果目前数据统一为定长无分隔符，或者说不要设置定长的Null值，就不需要设置）。附录：常见问题FAQSQLLoader导入数据时候报错问题描述：通过oraclestage，把文本数据写到数据库时候报错：SQL*Loader-925:Errorwhileuldlpim:OCIStmtExecute；SQL*Loader-2026:theloadwasabortedbecauseSQLLoadercannotcontinue.实际上数据是装入成功了。问题解决：这个问题的原因是客户端和服务器端的版本不一致，装了和服务器一样版本的client后就可以了。问题分类：系统环境问题详细描述：ORA_S_CRD_CICIFADR,0:SQL*Loader-925:Errorwhileuldlpim:OCIStmtExecuteORA_S_CRD_CICIFADR,0:SQL*Loader-2026:theloadwasabortedbecauseSQLLoadercannotcontinue.ORA_S_CRD_CICIFADR,0:Thecalltosqlldrfailed;thereturncode=256;ORA_S_CRD_CICIFADR,1:SQL*Loader:Release10.2.0.-ProductiononWedApr1119:31:092007Copyright(c)1982,2005,Oracle.Allrightsreserved.CharacterSetUTF8specifiedforallinput.Fileprocessingoptionstring:"FIX363"DiscardFile:nonespecified(Allowalldiscards)Numbertoload:ALLNumbertoskip:0Errorsallowed:50Continuation:nonespecifiedPathused:Direct-withparalleloption.TableS_CRD_CICIFADR,loadedfromeverylogicalrecord.Insertoptionineffectforthistable:APPENDColumnNamePositionLenTermEnclDatatype--------------------------------------------------------------------------CI_CUST_NO1:4040CHARACTERNULLif1:40=BLANKSCIADR_LL41:466PACKEDDECIMAL(10,0)NULLif41:46=0X000000000000(character'')CI_ADDR_COD47:526CHARACTERNULLif47:52=BLANKSCIADR_DB_TIMESTAMP53:8634CHARACTERNULLif53:86=BLANKSCI_ADDR87:246160CHARACTERNULLif87:246=BLANKSCI_POSTCOD247:25812CHARACTERNULLif247:258=BLANKSCI_TEL_NO259:29840CHARACTERNULLif259:298=BLANKSFILLER299:36264CHARACTERNULLif299:362=BLANKSSQL*Loader-925:Errorwhileuldlpim:OCIStmtExecuteORA-00904:"MESSAGE_NUM":invalididentifierSQL*Loader-2026:theloadwasabortedbecauseSQLLoadercannotcontinue.TableS_CRD_CICIFADR:128381Rowssuccessfullyloaded.0Rowsnotloadedduetodataerrors.0RowsnotloadedbecauseallWHENclauseswerefailed.0Rowsnotloadedbecauseallfieldswerenull.Bindarraysizenotusedindirectpath.Columnarrayrows:5000Streambufferbytes:256000Readbufferbytes:1048576Totallogicalrecordsskipped:0Totallogicalrecordsread:128381Totallogicalrecordsrejected:0Totallogicalrecordsdiscarded:0TotalstreambuffersloadedbySQL*Loadermainthread:72TotalstreambuffersloadedbySQL*Loaderloadthread:0RunbeganonWedApr1119:31:092007RunendedonWedApr1119:31:152007Elapsedtimewas:00:00:CPUtimewas:00:00:Errorcallingsubroutine：DSR_JOB（Action=5）问题描述：无法打开作业，无法建立job问题解决：原因是机器系统资源耗尽，提高机器性能或者等到机器空闲时候再登陆。问题分类：系统环境问题详细描述：Thisitemhasnodesigntimeinformation问题描述：打开作业看作业的详细设计，结果报错：thisitemhasnodesigntimeinformation问题解决：导出作业的时候没有把jobdesign打上勾（见图），打上勾就能看作业的设计了问题分类：datastage环境问题详细描述：导出的时候，得把jobdesign打上勾FailedtoconnecttoJobMonApponport134xx问题描述：在运行Job时无法显示运行状态（成功的变成绿色、记录条数等都看不见），在日志中提示“FailedtoconnecttoJobMonApponport134xx”,或者日志显示Failedtoinitializejobmonitoring。问题解决：1.在/etc/host里面，是否有localhost，如果没有添加2.手工启动/home/ap/dsadm/Ascential/DataStage/PXEngine/java下面的jobmoninit程序。先执行./jobmoninitstop，再./jobmoninitstart注：datastage默认的监控端口是13400和13401，如果被占用会顺序使用13402……问题分类：系统环境问题详细描述：Transformer报错：Thenumerofrejectdatasets“0”islessthanthenumberofinputdatasets“1”问题描述：在transformer中使用到系统的变量，结果报错。问题解决：系统变量不能直接使用，必须用使用函数GetEnviroment来导入系统变量问题分类：datastage问题问题详细描述：出问题的作业如下：使用RowGenerator生成随机数据，通过transformer传送到SequentialFile中,在tranformer中添加一列，如下图所示：该列使用系统级的参数，编译不能通过。如果使用作业级的参数，则可以通过。最后通过使用函数GetEnviroment(“LoadDate”)TheConnectionwasrefusedortheRPCdaemonisnotrunning问题描述：连接datastage工程的时候报错：Failetoconnectthehost：project:UV问题解决：datastage没有正确启动。当还有进程与服务器相连的情况下，重新启动datastage服务，就会出现这个问题，因为有进程挂起了。解决方法:1.重启服务器（推荐，比较快）。2.手工杀掉ds相关的进程，然后重新启动datastage服务。3.等待操作系统自动把挂起的进程清除（等待一段时间），然后在重启服务。建议在执行uv-admin-stop前，先执行ps-ef|grepds，看看有没有什么ds的进程还在，如果有就少等一会儿，或者把进程杀掉。然后在stop问题分类：datastage环境问题详细描述：Failedtointializejobmonitoring.Monitorinformationwillnotbegenerated.问题描述：在运行job的时候，日志显示：Failedtointializejobmonitoring.Monitorinformationwillnotbegenerated.同时dsdesigner里面作业运行结束后，没有出现绿线。问题解决：在启动服务的时候，监控程序（datastage自带的监控程序）没有正确启动。解决方法是：手工启动/home/ap/dsadm/Ascential/DataStage/PXEngine/java下面的jobmoninit程序。先执行./jobmoninitstop，再./jobmoninitstart问题分类：datastage环境问题详细描述：ERROR:OpenJobfailed!errno=-1004问题描述：在运行作业的时候报错问题解决：datastage的内部管理库是用universe有关，这种数据库本身不是很成熟，datastage很久未重新启动，可能导致类似作业打开失败、作业不存在等错误，重做则可以，有的作业虽然已经执行完成，但datastage在重置作业状态是有问题导致作业长时间挂住等。解决办法是datastage定期重起问题分类：datastage环境问题详细描述：Noconductornodesfoundinexportnodepool问题描述：作业运行过程中报Noconductornodesfoundinexportnodepool问题解决：1.检查该作业对应的apt文件（/home/ap/dsadm/Ascential/DataStage/Configurations/）内容，确认里面写得hostname都是可以访问的机器。问题分类：问题详细描述：SQF_ecif_ods_f1130_add_wr:Errorwhencheckingoperator:Noconductornodesfoundinexportnodepool.DS作业失败，对某些行成功，而对另外一些行则失败，造成进程CoreDump问题描述：DS作业失败，对某些行成功，而对另外一些行则失败，造成进程CoreDump问题解决：作业逻辑设计不严密，特别是transform，在一些数据上(空值)调用了非法操作造成，认真检查字段。问题分类：作业设计问题详细描述：作业运行失败，错误信息显示为写文件失败或者buffer失败问题描述：报写文件失败或者outofbuffer问题解决：原因是1．Scratch空间不足2．输出文件的文件系统空间不足；3．文件系统最大文件参数错误（ulimit）；问题分类：系统环境问题详细描述：作业Link信息取不到问题描述：运行job后，发现log里面的统计信息指都是0（在window下体现为job运行成功去没有绿线，连线上面也没有统计信息）问题解决：1./etc/hosts中无localhost项(详见问题4)2．DSMonitor进程宕掉(详见问题4)问题分类：datastage环境问题详细描述：带有Oracle组件的作业在RAC环境下无法运行，APT_ORAInstSet：fail()问题描述：运行带有ORACLEStage的作业报出错误：APT_ORAInstSet：fail()问题解决：在ORACLE使用到了RAC，必须设置一个变量，方法：dsadmin-envaddAPT_ORACLE_NO_OPS-typeSTRING-prompt"nooracleparellel"-value"0"projname如果没有使用RAC，该值就是1,默认情况该值＝1,都是这个值是没有显示在Administrator里面。问题分类：系统环境问题详细描述：DS作业无法Reset，无法重新启动，甚至无法重新导入作业问题描述：DS作业无法Reset，无法重新启动，甚至无法重新倒入作业问题解决：作业出现异常，使用dssh解锁。使用方法：输入dssh，然后在>后面输入，进入dstools菜单，选择4，根据菜单内容解锁job（如果window下的client端能够链接到服务器，就用window下的client链接到服务器，然后用上面的logout功能把进程解锁）问题分类：datastage环境问题详细描述：CallDSJob:JobstatusisNOTRANABLE,cantrunit!问题描述：执行作业报：CallDSJob:JobstatusisNOTRANABLE,cantrunit!问题解决：1.用root用户进入project下面，执行uv或者dssh，敲入,然后选择42.选择113.输入作业名，注意作业名的大小写，然后输入Y注：还可以尝试使用dsjob-run-modeResetprojectnamejobname来对作业状态进行重置复位，有时候等待一段时间后，作业也会自动复位问题分类：datastage环境问题详细描述：Jobwasstoppedbysomeindeterminateaction.Jobfinishedanormalrunwithafatalerror。作业长时间运行,不退出,进程存在问题描述：作业长时间运行,不退出,进程存在问题解决：检查作业运行情况,发现用dsjob-logdetail查询的作业最后finish退出的步骤一直未完成,重启ds服务后作业运行正常。如果不方便重启，可以使用dsjob-stopprojname命令来停掉作业,然后再运行作业。问题分类：datastage环境（datastagebug，在某些情况下会与子进程失去联系，已经由官方确认过）问题详细描述：程序日志里面写Jobwasstoppedbysomeindeterminateaction或JobfinishedanormalrunwithafatalerrorAPT_CombinedOperatorController,1:U_TRUNCATED_CHAR_FOUNDencountered.问题描述：作业报错APT_CombinedOperatorController,1:U_TRUNCATED_CHAR_FOUNDencountered.，但是作业成功返回。问题解决：1、load方式时，可能是数据中存在半个汉字，导致sqlldr出错，（1）可以设置Check模块的removeEndCNChar参数，设置true,可以替换最后一个字符（大于127）为空格,设置后测试没有出现同类错误；（2）在Oraclestage中，将columns中该字段长度加1，数据库中实际表的字段长度不变，varchar2类型，还需要入库前在该字段尾部增加一个空格。2、upsert方式时，作业公共代码转换的字段，由于在CodeConvstage输出schema没有设置长度，导致在insert和update的SQL语句中，这些字段会出现错误，可以在sql语句中对这些字段增加取子串操作substr。问题分类：作业设计问题详细描述：Indexesontable's_pt_pr_project_sppl_building'precludedirectparallelloadingunlessanindexoptionisincluded.Addanindexoptionordropindexesandrerunstep问题描述：Oracle_Enterprise_39:Indexesontable's_pt_pr_project_sppl_building'precludedirectparallelloadingunlessanindexoptionisincluded.Addanindexoptionordropindexesandrerunstep.问题解决：该stage采用load方式，并且executionmode为parallel，oracle的sqlldr，当采用parallel方式时，必须设置索引选项或是直接去掉索引，本错误正是由于索引存在而导致的。两种：1、设置oraclestage的executionmode为sequential。2、保持oraclestage的executionmode为parallel,设置Options项下的IndexMode为Rebuild，使sqlldr之前忽略索引，结束后重建索引。问题分类：作业设计问题详细描述：oracleupsert时出现如下错误：Hangupdetectedonfd0问题描述：oracleupsert时出现如下错误：Hangupdetectedonfd0问题解决：oracle的客户端和服务端版本不一致。问题分类：系统环境问题详细描述：oracleupsert时出现如下错误：ORA_B_AA_CP_APPLICATION_UPSERT,5:(gdb)(gdb)(gdb)Hangupdetectedonfd0ORA_B_AA_CP_APPLICATION_UPSERT,5:errordetectedonstdinORA_B_AA_CP_APPLICATION_UPSERT,5:Operatorterminatedabnormally:receivedsignalSIGSEGVchar字段，字段入库后会补很多空格问题描述：char字段，长度10，只用了5，结果入库时候被补了五个空格问题解决：针对以下2种入库方式有不同的解决方法：1、load方式padchar设置为0x20，入库前使用varchar类型，为了确保数据没有包含空格，需要进行以下2种处理：（1）从源头Check模块后就修改为varchar类型；（2）在入库前进行trim处理。2、upsert方式：padchar设置为0x00，入库的表定义修改为varchar（之前是char没关系）。问题分类：作业设计问题详细描述：Error:TRF_TO_ODESC,1:Operatorterminatedabnormally:receivedsignalSIGSEGV问题描述：Error:TRF_TO_ODESC,1:Operatorterminatedabnormally:receivedsignalSIGSEGV问题解决：查看该stage中对字段MEETING_DATETIME的处理：ifisnullthen''else…同时，该作业的输入数据为使用抽取组件从源系统oracle数据库直接抽取，而该字段在原系统数据库的表定义中，为notnull,出现错误的原因应该是数据从Oracle数据库导入后，link中的schema，该字段为notnull，transformer中对notnull类型的字段使用了isnull的判断，使得程序逻辑非法。问题分类：作业设计问题详细描述：Warning:TRF_TO_ODESC:Whencheckingoperator:Whenbindinginputinterfacefield"input0Int8MEETING_DATETIME0"tofield"MEETING_DATETIME":Using"null"conversionwithnon-nullableinput.Error:TRF_TO_ODESC,1:Operatorterminatedabnormally:receivedsignalSIGSEGVscoreloadfrom/tmp/APTps394736a79964onnodenode1failed问题描述：scoreloadfrom/tmp/APTps394736a79964onnodenode1failed问题解决：日志中提到/tmp这个目录，查看/tmp的文件空间，使用100%该程序在处理时可能使用了score，需要设置APT_PM_SCORE_DIR或TMPDIR环境变量，没有设置则默认为/tmp目录，现/tmp目录文件系统空间已满，导致操作失败，清除空间后重运行，成功问题分类：系统环境问题详细描述：##FTFPM00030311:50:05(000)FatalError:broadcastStepIR:scoreloadfrom/tmp/APTps394736a79964onnodenode1failed;exitstatus134##ETFPM00033011:50:05(000)TheSectionLeaderonnodenode1hasterminatedunexpectedly.##ITFPM00024911:50:05(001)Errorduringscorebroadcastorreload.Scoresizeis0bytes.##ETFSR00001111:50:10(000)Stepexecutionfinishedwithstatus=FAILED.ORA-00060:deadlockdetectedwhilewaitingforresource问题描述：ORA-00060:deadlockdetectedwhilewaitingforresource问题解决：程序中有对表b_aa_cp_wf_task进行update的操作，但是数据没有重复记录，而且已经按照分区主键进行hash分区，不会存在记录级别的等待而死锁的情况。查该表的initrans，值为1，而作业运行时并发度为8，可能是由于对事务槽的等待而发生死锁现象，为此进行如下测试：另外建一张新表，设置initrans为10，再测试作业，测试多次都运行正常。问题分类：作业设计问题详细描述：ORA_B_AA_CP_WF_TASK,5:Openfailedforupdate:updateis:UPDATEb_aa_cp_wf_taskSETNEXT_EXECUTOR=:NEXT_EXECUTOR,END_USER_NO=:END_USER_NO,END_ROLE_CD=:END_ROLE_CD,END_DEPT_CD=:END_DEPT_CD,END_ORG_CD=:END_ORG_CD,LOAD_TIME=:LOAD_TIMEWHERE(TASK_INSTANCE_ID=:TASK_INSTANCE_IDANDSOURCE_SYSTEM_ID=:SOURCE_SYSTEM_ID)sqlcodeis:-60esqlcomplaint:ORA-00060:deadlockdetectedwhilewaitingforresourcePATHsearchfailure:；Couldnotlocateoperatordefinition,wrapper,orUnixcommandfor"CCB_xxx"问题描述：运行job报错：PATHsearchfailure；Couldnotlocateoperatordefinition,wrapper,orUnixcommandfor"CCB_Check"问题解决：工程属性设置不对。用dsenv将DS_OPERATOR_BULIDOP_DIR设置成/home/ap/ods/lib问题分类：datastage环境问题详细描述：重启datastage，执行uv-admin-start后，ps-ef看不到dsrpcd进程问题描述：执行uv-admin-start后，ps-ef看不到dsrpcd进程问题解决：因为有进程在，关闭datastage后再启动，虽然显示启动成功，但是dsrpcd还是没有起来。执行执行uv-admin-stop前，先ps-ef|grepdscs和netstat-a|grepdsrpc；如果有进程说明有人在连接datastage，让他们退出连接，然后再uv-admin-stop。执行uv-admin-stop后再执行一下ps-ef|grepdscs和netstat-a|grepdsrpc如果还有dscs的进程在，说明有进程死在里面，可以kill或者等系统自动将它杀掉，或者重启机器。问题分类：datastage环境问题详细描述：运行job报错：Playerxterminatedunexpectedly，failedtoload:“orchoracle”问题描述：运行job报错，显示failedtoload:“orchoracle”:Couldnotfind“API_OraUpsertOperator”。同时还有提示Player1terminatedunexpectedly.问题解决：没有安装导致的问题进入/home/ap/dsadm/Ascential/DataStage/PXEngine/install，用root用户执行sh./问题分类：系统环境问题详细描述：Jobcontrolprocess（xxx）failed问题描述：作业运行失败后，查看日志，里面没有Fatal消息（见问题详细描述的图片）。在Director里面运行该作业，会报Jobcontrolprocess（pidxxxx）hasfailed，见下图问题解决：datastage出现问题，启动没有启动好，查看进程发现有的进程，见下图。解决方法，杀掉这些进程，然后重启ds服务。如果bash_profile里面有设置CLASSPATH用于java应用,在用root启动datastage前,执行unsetCLASSPATH,然后在启动datastage.问题分类：datastage环境问题详细描述：多节点运行job，报错：Playerxterminatedunexpectedly.Couldnotfind"APT_TransformOperatorxxxxxxxxx"问题描述：多节点运行job，fatal信息显示playerxterminatedunexpectedly问题解决：查看日志信息，发现在fatal前面的warning信息里面有这样的字眼：Warning:thefollowinglibrariesfailedtoload:"V0S136_t_ass_bug_info_dmamis_dwmis_phy_TRF_TO_ODESC"APT_Archive::BadClass:From:Loadingmemoryarchive:Couldnotfind"APT_TransformOperatorImplV0S136_t_ass_bug_info_dmamis_dwmis_phy_TRF_TO_ODESC"根据错误提示，是transformer出错。原因是使用transformer的作业发生改变后，必须重新把project下面的内容用rcp从server拷贝到client，否则就会报这个错误。解决方法：1.作业设计发生变动后，得把新的内容烤到每台机器上面2.把project共享，挂到每台机器上，这样就不用每次都要拷贝变更的内容问题分类：datastage环境问题详细描述：重启机器后运行入库作业，报Thecalltosqlldrfailed;thereturncode=32,512问题描述：重启机器后运行入库作业，运行作业包Thecalltosqlldrfailed;thereturncode=32,512错误问题解决：1.确认启动datastage的root用户环境里面有正确的PATH，如果没有就在bash_profile里面加上PATH=XXXX2.如果还不行，可以通过dsadmin-envset在工程的env里面的PATH里面加上oracle的bin目录。问题分类：系统环境问题详细描述：ACCESSDENIED:CannotlocknotgetexclusiveaccesstothenootherDataStageusersareattatched.问题描述：用Admistrator删除project的时候，报ACCESSDENIED错误。问题解决：分析后认为应该是有进程死掉了，导致job对应的文件被锁住，程序以为有job在运行，所以就认为有人连到这个project上面。用Director登陆，使用cleanupresource将死掉的进程对应的job解锁。然后再删除工程问题分类：datastage环境问题详细描述：DS:CALLJOBFAIL(),ERRORCODE=31037或者99问题描述:作业无法运行,报31037或者99错误码问题解决:1.root用户进入工程所在目录,执行dssh或者uv,在>的提示符中输入2.选择4,在选择11,输入作业名字（如果作业有实例号seqid，就得在作业名字后面加上.seqid）,对作业相关文件进行清理3.如果显示不成功,则必须手工清理,首先执行SELECTJOBIDFROMDS_JOBSWHERENAME='xttxntxn_ccbs_dwmis_phy'获得作业对应的JOBNO;执行RT_LOGXXXX和RT_STATUSXXXX问题分类:datastage环境问题详细描述:connectfailedforenv:user:xxxx,pass

word

word文档格式规范word作业纸小票打印word模板word简历模板免费word简历

:*****问题描述：重启机器后，跟数据库相关的作业运行失败，日志里面显示：12154env：odsptdbuser：odsdatapassword：****问题解决：原因是datastage随机器重启而启动时候，环境变量里面没有ORACLE_HOME两种解决办法：1.在root用户bash_profile里面加上ORACLE_HOME,然后再重新启动datastage服务2.往project里面添加一个环境变量ORACLE_HOMEdsadmin-envaddORACLE_HOME-typeSTRING-prompt"ORACLE_HOME"-value"/home/db/oracle/product/10.2.0"ods问题分类：datastage环境问题详细描述：FATAL:Read_onlyfilesystem问题描述：运行作业失败，查看日志，发现报readonlyfilesystem，同时在用户目录下面出现core文件问题解决：查看scratch目录，发现目录权限是777，进入后vi一个文件，显示文件是readonly。重新挂载scratch目录对于的盘，问题消失，scratch能够重新写入问题分类：系统环境问题详细描述：FATALAPT_BufferFile：Unabletocreatefile0000000a：Read_onlyfilesystemFATAL:scratchdiskfull问题描述：运行作业失败，在日志里面查找FATAL信息，发现报scratchdiskfull和runoutofbuffer等，同时用户目录下面出现core文件问题解决：经过检查，发现该结点上跑了一个上百g的复杂的作业，导致scratch空间不足等机器没有其他作业，比较空闲的时候重新运行该作业。问题分类：系统环境问题详细描述：dsjob-importxxxxxx-overwrite失败问题描述：往一个project里面导入作业的时候失败问题解决：1.该project有1400多个作业，容量有3g以上，可能是由于作业过大导致工程出现问题。将整个project根据源系统进行拆分，拆分为多个project。建议project不能太大，达到一定程度后就得进行project拆分。问题分类：datastage环境问题详细描述：Aschemacalled“xxx”alreadyexists.Thismustbedroppedbeforetheprojectcanbecreate.问题描述：建立一个工程的时候，报错：Aschemacalled“xxx”alreadyexists.Thismustbedroppedbeforetheprojectcanbecreate.问题解决：执行dsadmin-deleteprojectxxx的时候用了错误的方法，正确的方法dsadmin用户建立，然后用dsadmin用户删错，如果用户用的不对，就会导致这个问题。解决方法如下：1.执行uv2.输入SCHEMAxxx（xxx是工程名，请注意大小写）3.输入SCHEMAxxxFIX(第二步是检查该工程的错误，其实可以跳过，直接执行第三步)，然后执行QUIT退出问题分类：datastage环境问题详细描述：Errorsettingupinternalcommunications（）;fileisSTATUS()-1问题描述：运行作业时候报错，报：LOCKEDSTATUS()-1问题解决：datastage在运行job的时候，会把该job对应的状态文件的标志位进行更改，以保证job在运行完之前不会被再次调起。原因可能就是上一次运行job的时候异常退出，文件的锁没有被解除掉，重新运行就会报job的状态是被锁状态。1.用dsadm或者root用户进入project所在目录，然后执行uv或者dssh，敲入,然后选择42.选择113.输入作业名（作业如果有实例号和批次号，那得在作业名后面加上实例号和批次号），注意作业名的大小写，然后输入Y问题分类：问题详细描述：Therecordistoobigtofitinablock问题描述：某个从源系统直接抽取的作业，报错如下FatalError:Virtualdataset.;outputof"APT_OraReadOperatorinORA_clpm_approval_comment":therecordistoobigtofitinablock;thelengthrequestedis:224552.问题解决：说明ORA_clpm_approval_comment这个stage的输出link，记录长度过大，block空间不够。在该作业中导入系统环境变量APT_DEFAULT_TRANSPORT_BLOCK_SIZE，使该大小足够存放长度最大的记录。问题分类：datastage环境问题详细描述：Errorreadingonimport问题描述：sequentialfilestage从某个数据文件中导入数据时，报错如下Sequential_File_0,0:Errorreadingonimport.Sequential_File_0,0:Consumedmorethan100,000byteslookingforrecorddelimiter;aborting分析该数据，字段分割符和记录分割符都设置正确，比较异常的是文件中存在长度较大的记录（如长度为40241）。问题解决：DatastageAdministrator客户端中，在UserDefined目录下增加环境变量名：APT_MAX_DELIMITED_READ_SIZE类型string，默认值为100000然后打开出现本问题的作业，在作业参数中引入该环境变量，设置值为合适的值，如本例中设置为204800，作业即运行成功。问题分类：datastage环境问题详细描述：CallDsJob:ErrorCode=-14问题描述:生产环境上面,一台主结点运行作业的时候,出现大量CallDsJob=-14问题解决:经过仔细检查,发现主结点上面有很多僵死进程存在.这些僵死进程对应的作业运行就有问题.杀掉僵死进程,释放共享内存,重启DataStage服务,如果条件允许,可以把机器也重启一下.问题分类：datastage环境问题详细描述:Director里面cleanresource命令是灰色的，无法使用问题描述：作业被锁住后，用Director命令对作业进行解锁，发现Director里面的CleanResource是灰色的，无法使用。问题解决：用dsadm用户或者root用户登陆Administrator，打开工程，把general里面的EnablejobAdministrationinDirector问题分类：datastage环境问题详细描述:Paralleljobreportsfailure（code139或者134）问题描述：作业运行失败，提示Paralleljobreportsfailure（code139或者134）问题解决：作业运行，始终报139/134错误。1.重新导入该作业。2.如果第1步不起作用，重启DataStage的服务。3.如果第2步仍然不起作用，请检查作业的设计和今天的数据。根据经验，出现139/134错误，通常是由于DataStage运行太久，导致垃圾信息无法清楚，继而影响作业，出现无法解释的错误（134/139）。或者作业设计的有问题或者今天数据主键重复之类的数据问题，导致作业卡死或者异常退出。少数情况下，该错误是由运行结点数太少引起的。问题分类：datastage问题问题详细描述：Unixerror＝111问题描述：作业运行失败，查看日志，日志报unixerror＝111问题解决：把etc/hosts里面的localhost改成localhostrealip问题详细描述：dsadm用户无法在linux命令行下面建立工程，报错：DSJE_ADDPROJECTFAILEDERRORCREATEINGASCHEMA问题描述:使用dsadm用户无法在命令行下面建立工程。问题解决：dsadm用户是无法在linux下面建立工程，必须用root用户建立工程。想让dsadm用户能在命令行下面建立工程，必须先用dsadm用户通过window客户端连接到server建立一个工程。以后才可以用dsadm用户在命令行下面建立工程。问题详细描述：ThesectionleaderonODSETL24died，duetoaconfigurationerror问题描述：运行作业的时候，报错：secitonleaderdied，同时后面有：Thisisusuallyduetoaconfigurationerror,suchasnothavingtheOrchestrateinstalldirectoryproperlymountedonallnodes,rshpermissionsnotcorrectlyset(via/etc/or.rhosts),orrunningfromadirectorythatisnotmountedonallnodes.Lookforerrormessagesintheprecedingoutput.问题解决：1.作业里面的公共组件有问题，导致程序core掉没有配置好，或者共享的盘（project所在盘）没有加载到每个结点3.网络出现故障，netstat-anp|grepWAIT,可以看到大量的TIME_WAIT,作业并发太多或者网络出现异常，导致运行中的网络链接出现问题，因为无法马上释放，占用了大量网络资源，导致datastage作业运行异常（server和client通讯的时候）。可以暂时停掉调度，等网络TIME_WAIT释放差不多了，再启动调度。问题详细描述：Statuscode=39202错误问题描述：dsadm用户执行dsadmin报39202错误，同时dsadm用户用终端登