本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.1节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
第1章
游戏时间——导入数据
1.1简介
加快运维智能的机器数据有很多不同的形式,来源也各不相同。Splunk可从多种来源收集并索引数据,其中包括Web服务器或商业应用程序创建的日志文件,网络设备生成的系统日志数据,及自定义开发脚本输出的数据。即便数据一开始看上去很复杂,我们也可以借助Splunk轻松地实时收集、索引、转化和呈现数据。
本章将学习一些基本的技巧,掌握如何将所需的数据导入Splunk,介绍如何使用样本数据集来构建自己的Splunk智能运维应用程序。该数据集是由一个虚拟的三层式电子商务Web应用程序生成的,包含Web服务器日志、应用程序日志和数据库日志。
Splunk Enterprise可以索引任何类型的数据,不过,它最适合于索引时间序列数据(带时间戳的数据)。Splunk Enterprise索引数据是按时间戳和/或事件大小将数据分解为事件并编制索引。索引是Splunk制作的数据存储区,存取速度很快,可以检索并根据分布式服务器环境进行扩展,常被称为索引器。这也是把导入数据到Splunk的过程称为索引的原因。
所有经Splunk索引的数据都会被分配一个源类型。数据源类型有助于标识事件的数据格式类型以及事件的来源。Splunk有多种预置的源类型,但也可以自己指定。示例的源类型包括:access_combined、cisco_syslog和linux_secure。当索引器将数据索引至Splunk时,源类型就会添加到数据上。用户执行字段提取或在各种搜索中过滤搜索数据时,数据源类型是一项关键字段。
Splunk社区能帮助用户更轻松地在Splunk中导入数据。Splunk的扩展性让我们有机会开发输入、命令和应用程序,这些都可以轻松与他人分享。如果我们想索引来自特定系统或应用程序的数据,可能有人已经开发并发布了相关的配置和工具,我们可以轻松地将其用于自己的Splunk Enterprise部署上。
Splunk Enterprise致力于让数据收集更轻松,不久我们就能为自己或他人向Splunk中导入大量数据——至少会用完Splunk License许可的索引量。