1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > Streamsets使用过程中遇到的问题及解决办法

Streamsets使用过程中遇到的问题及解决办法

时间:2021-06-11 21:49:35

相关推荐

Streamsets使用过程中遇到的问题及解决办法

1、streamsets添加外部jar包时报错

界面上加载不出来stageLibrary,后台日志报错:

.UnknownHostException:

网上找的类似的问题,但没有给出解决办法:/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel

我这边仔细排查日志,发现有如下信息:

INFO ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:/datacollector/3.7.1/tarball/repository.manifest.json

解决办法:

把链接复制到浏览器是可以访问的,在主机上用curl命令却半天出不来结果,ping这个主机名也反应一会,但还是ping通了,最后配置了主机名和ip 的映射,解决了问题。

2、StreamSets日志报错

-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-。。。Caused by: .UnknownHostException: s3.us-west-at .InetAddress.getAllByName0(InetAddress.java:1280)。。。

注:该错误不影响StreamSets流程执行

解决办法:

报错是由于streamsets部署内网,访问不了这个主机 s3.us-west-,可以通过修改配置解决

1、修改配置文件

sdc.properties

Uncomment if you need to disable the facility for automatic support bundle upload.bundle.upload.enabled=false

配置之后应该会报如下错误,其实也不影响任务正常运行,不想看到的话可以通过2中的方法解决:

java.io.IOException: Uploading support bundles was disabled by administrator.

/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/

2、修改日志配置文件,或者在界面上改:配置 / Logs / Log Config

sdc-log4j.properties

.streamsets.datacollector.bundles.SupportBundleManager=INFO

3、StreamSets推送Directory目录下数据到Kafka报错

解决办法:

修改Directory组件的Buffer Limit,默认为128M,修改大小根据文件的大小程度决定。

4、汉化streamsets之后,不支持中文组件名称

解决办法:

由之前的正则[0-9A-Za-z_\\s]+修改为 ^[\u4e00-\u9fa5_a-zA-Z0-9]+$,这个正则支持中文,数字,下划线,字母

支持空格、-、_的正则正确写法为:^[\u4e00-\u9fa5_a-zA-Z0-9\\s-_]+$

在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。