splunkapp的简单介绍
本文目录一览：
- 1、splunk中db connect配置的JVM options应该怎样写才对每次都是fail
- 2、大数据技术的应用项目类型
- 3、Splunk的客户端该怎么配置？Splunk的服务器端有没有中文版的
splunk中db connect配置的JVM options应该怎样写才对每次都是fail
Splunk DB Connect安装与其他Splunk
App有点不同,它需要java环境才可以跑起来,对于MSSQL,HyperSQL可以直接连接,但对于MYSQL和Oracle
JDBC则需要下载相应的drivers,下载地址:
MYSQL:
The archive contains the JDBC driver: mysql-connector-java-*-bin.jar
Oracle JDBC:
ojdbc6.jar from
需要将下载的jar文件放在 $SPLUNK_HOME/etc/apps/dbx/bin/lib 目录下.
在Splunk
DB Connect configuration里设置本机的JAVA环境:
环境设置完成后既可添加数据库,本实例以MYSQL数据库为例.在ManangeExternal Databases下点击NEW进入到"ADD new database"面板,选择MYSQL数据库,将数据库地址,服务端口(3306),数据库名称,用户名和密码:
DB
info功能是可以查看以连接的数据库中各个表的结构信息,使用方法也是极其简单,找到选择的表,点击一下就可以看到此表的各种详细信息,包括各个字段,类型,长度等等,具体信息如下图:
而DB query也正如其字面意思,就是运行一句sql语句:
以上都是一些小功能,而其导入database中的各个表的数据才是核心功能.首先提供了两种方式来export
data,dump方式和tail方式,两种方式都可以以选择整张表或运行sql语句的方式来export.
dump方式即为一次性的将表的内容全部export出来,然后索引到splunk中.如下图.
tail方式类似于linux的tail -f命令,即为对特定表内的数据进行追加索引,这样可以时时同步splunk与database内的数据.导入方法与dump方式类似,只是在指定sql语句时,对于where的条件要确定;
database内的数据在索引后,字段的名字也会自动按sql语句或是表的字段名提取出来,非常的方便;
以下是一些个人的使用心得:
1.对于数据库内存储的时间戳,最好使用FROM_UNIXTIME换成日期格式;这样对于一次性dump的数据可以按时间排列,暂时未找到数据在export时使用一个字段的时间作为_time.
2.我在export中,发现对于表内记录一些使用整数来记录stats字段时对于非bool型字段,针对0和1,在export到splunk时该字段全部都被认作了false/true,解决办法为使用cast函数把该数值转换成字符型,例如cast(
`statsitem` AS char ) AS statsitem.
3.Splunk
DB Connect是可以lookup字段的,不过我比较爱偷懒,在sql语句内用了两个inner
join来直接lookup字段,虽然流程,数据正确性都没问题,但悲剧的是,由于这两个inner join
对于一个70w数据的表的tail导入,不到6个小时就成功的将database拖垮掉-_-!.所以老老实实去用lookup吧
大数据技术的应用项目类型
1、探索交易周期
那些做电子商务的公司想当然地认为，装几个工具就能掌握网页访客从销售到付款的成交情况。但是很多公司处理的数据集远远不止网页成交率，而且这些数据集主要来自经销商。
2、挖掘潜在客户
很多公司都想知道你在做什么，然后再根据你的活动情况向你推销产品。例如，你手机上可能装了一个提供遥测数据的app，这样公司就会知道你在商场的哪个位置。凭借这些大数据，他们就能预测你在任意时刻的购买需求。
3、衡量营销效果
营销人员做事讲求效益，他们想知道具体要做哪些事情，以及这些事情对KPI有何影响。从本质上说，这又是一个BI项目，而且往往涉及到大量的变更数据捕获(CDC)和ETL数据整合工作。他们测量的实际KPI变化很大，有时还涉及到Kylin或Greenplum等工具中的数据库。至于其他情况，可能属于下一个类别——社交媒体。
4、测量社交媒体热度
通常，公众会在公开或半公开的社交网络上谈论你(或你的公司)。在这些地方你可以获取很多有用的信息，比如大家怎么看待你的品牌，你的营销活动是否有成效。既然美国地震勘探局可以通过Twitter探测到地震和震级，那么你也可以通过这样的平台了解刚推出的广告活动效果如何。随着越来越多的专业社交平台出现，对于某些垂直行业而言，其数据采集范围远远不止Twitter和Facebook。
5、专攻日志文件
无论是为了入侵检测还是应对安全审计，你都需要捕获并收集日志文件并使其可检索。在这一领域，Splunk无疑大赚了一笔。当然，在大数据中还有其他更灵活的选择。
关于大数据技术的应用项目类型，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
Splunk的客户端该怎么配置？Splunk的服务器端有没有中文版的
安装环境:
CentOS 6.2 64Bit
安装：
首先关闭selinux：
?
1
2
3
#vi /etc/sysconfig/selinux
SELINUX=disabled
setenforce 0
?
1
2
3
4
5
6
7
下载最新版:
splunk-6.0.1-189883-Linux-x86_64.tgz
#tar -zxvf splunk-6.0.1-189883-Linux-x86_64.tgz
#cd ..
#mv splunk /usr/local
#cd /usr/local/splunk/bin
#./splunk enable boot-start
然后需要浏览完协议后输入"y"
第一次安装会提示：
?
1
2
3
4
5
6
This appears to be your first time running this version of Splunk.
Copying '/usr/local/splunk/etc/openldap/ldap.conf.default' to '/usr/local/splunk/etc/openldap/ldap.conf'
Moving '/usr/local/splunk/share/splunk/search_mrsparkle/modules.new' to '/usr/local/splunk/share/splunk/search_mrsparkle/modules'.
Init script installed at /etc/init.d/splunk.
Init script is not configured to run at boot.
把/usr/local/splunk/etc/openldap/ldap.conf.default拷到/usr/local/splunk/etc/openldap/ldap.conf
然后执行:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
#/etc/init.d/splunk start
Starting Splunk...
Splunk Take the sh out of IT.
Checking prerequisites...
Checking http port [8000]: open
Checking mgmt port [8089]: open
Checking configuration... Done.
Creating: /usr/local/splunk/var/lib/splunk
Creating: /usr/local/splunk/var/run/splunk
Creating: /usr/local/splunk/var/run/splunk/appserver/i18n
Creating: /usr/local/splunk/var/run/splunk/appserver/modules/static/css
Creating: /usr/local/splunk/var/run/splunk/upload
Creating: /usr/local/splunk/var/spool/splunk
Creating: /usr/local/splunk/var/spool/dirmoncache
Creating: /usr/local/splunk/var/lib/splunk/authDb
Creating: /usr/local/splunk/var/lib/splunk/hashDb
Checking critical directories... Done
Checking indexes...
Validated: _audit _blocksignature _internal _thefishbucket history main summary
Done
New certs have been generated in '/usr/local/splunk/etc/auth'.
Checking filesystem compatibility... Done
Checking conf files for typos... Done
All preliminary checks passed.
Starting splunk server daemon (splunkd)...
Done
[确定]
Starting splunkweb... Generating certs for splunkweb server
Generating a 1024 bit RSA private key
.............++++++
.....................................................++++++
writing new private key to 'privKeySecure.pem'
-----
Signature ok
subject=/CN=localhost.localdomain/O=SplunkUser
Getting CA Private Key
writing RSA key
[确定]
Done
If you get stuck, we're here to help.
Look for answers here:
The Splunk web interface is at
