1、streamsets添加外部jar包时报错
界面上加载不出来stageLibrary,后台日志报错:
.UnknownHostException:
网上找的类似的问题,但没有给出解决办法:/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel
我这边仔细排查日志,发现有如下信息:
INFO ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:/datacollector/3.7.1/tarball/repository.manifest.json
解决办法:
把链接复制到浏览器是可以访问的,在主机上用curl命令却半天出不来结果,ping这个主机名也反应一会,但还是ping通了,最后配置了主机名和ip 的映射,解决了问题。
2、StreamSets日志报错
-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-。。。Caused by: .UnknownHostException: s3.us-west-at .InetAddress.getAllByName0(InetAddress.java:1280)。。。
注:该错误不影响StreamSets流程执行
解决办法:
报错是由于streamsets部署内网,访问不了这个主机 s3.us-west-,可以通过修改配置解决
1、修改配置文件
sdc.properties
Uncomment if you need to disable the facility for automatic support bundle upload.bundle.upload.enabled=false
配置之后应该会报如下错误,其实也不影响任务正常运行,不想看到的话可以通过2中的方法解决:
java.io.IOException: Uploading support bundles was disabled by administrator.
/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/
2、修改日志配置文件,或者在界面上改:配置 / Logs / Log Config
sdc-log4j.properties
.streamsets.datacollector.bundles.SupportBundleManager=INFO
3、StreamSets推送Directory目录下数据到Kafka报错
解决办法:
修改Directory组件的Buffer Limit,默认为128M,修改大小根据文件的大小程度决定。
4、汉化streamsets之后,不支持中文组件名称
解决办法:
由之前的正则[0-9A-Za-z_\\s]+修改为 ^[\u4e00-\u9fa5_a-zA-Z0-9]+$,这个正则支持中文,数字,下划线,字母
支持空格、-、_的正则正确写法为:^[\u4e00-\u9fa5_a-zA-Z0-9\\s-_]+$
在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题