splunk pyhton数据接口

gysgold

本文实现利用python splunklib包获取splunk数据参考官方教程： http://dev.splunk.com/view/python-sdk/SP-CAAAEE5

1.通过接口，执行查询语句，并将获取到的查询结果保存在csv中

1. import splunklib.client as client
   
2. import splunklib.results as results
   
3. 
   
4. #定义连接信息
   
5. HOST="127.0.0.1"#splunk服务器地址
   
6. PORT=8089#端口
   
7. USERNAME="admin"#登录名
   
8. PASSWORD="passwd"#密码
   
9. 
   
10. 
    
11. #设置查询语句
    
12. search_query='|tstats count from datamodel=xxxx by domain |sort 10 -count'
    
13. 
    
14. #定义查询起始日期和结束日期
    
15. start_time="2018-05-01"
    
16. end_time="20018-05-31"
    
17. 
    
18. def main():
    
19.     #连接splunk
    
20.     service = client.connect(host=HOST,
    
21.                              port=PORT,
    
22.                              username=USERNAME,
    
23.                              password=PASSWORD,
    
24.                              app='search')
    
25.     assert isinstance(service, client.Service)
    
26. 
    
27.     #查询参数
    
28.     search_kwargs={
    
29.                    'earliest_time':start_time+'T00:00:00.000+08:00',
    
30.                    'latest_time':end_time+'T00:00:00.000+08:00'
    
31.                    }
    
32. 
    
33.     jobs=service.jobs
    
34.     #执行查询语句
    
35.     print("正在查询...")
    
36.     job=jobs.oneshot(search_query,**search_kwargs)
    
37.     #将结果写入本地domain.csv中
    
38.     with open('domain.csv','w+',encoding='utf-8') as fh:
    
39.         fh.write("domain,count\n")
    
40.         for result in results.ResultsReader(job):
    
41.             fh.write(result['domain']+","+result['count']+"\n")
    
42.     print("数据已保存到本地...")
    
43. 
    
44. main()
    

复制代码

2.在splunk中配置任务计划，通过接口获取任务计划执行后的结果

1. import time,re
   
2. import splunklib.client as client
   
3. import splunklib.results as results
   
4. 
   
5. #配置splunk连接信息
   
6. HOST = "localhost"
   
7. PORT =8089
   
8. USERNAME = "admin"
   
9. PASSWORD = "passwd"
   
10. 
    
11. #定义splunk中计划任务执行的时间间隔（分钟）
    
12. cron_gap_min=5
    
13. 
    
14. #通过SDK连接到splunk上
    
15. service = client.connect(
    
16.     host=HOST,
    
17.     port=PORT,
    
18.     username=USERNAME,
    
19.     password=PASSWORD,
    
20.     app="search")
    
21. 
    
22. #定义需要查找的任务名
    
23. match_string="test"
    
24. 
    
25. #获取splunk中所有的任务
    
26. jobs = service.jobs
    
27. #当前程序执行的时间
    
28. now_time=int(round(time.time()))
    
29. 
    
30. #将数据导出为csv文本
    
31. def get_csv_data():
    
32.     for job in jobs:
    
33.         #使用正则寻找所有此定时任务产生的任务（活动-任务中能看到的任务）
    
34.         if re.search(match_string,job.sid):
    
35.             #splunk中任务执行的时间
    
36.             run_time=re.findall("\d{10}",job.sid)[0]
    
37.             run_time=int(run_time)
    
38.             #通过对时间的比较找到最近一次运行
    
39.             if now_time-run_time < cron_gap_min*60:
    
40.                 #等到任务完成
    
41.                 while not job.is_done():
    
42.                     time.sleep(1)
    
43.                 rr = results.ResultsReader(job.results())
    
44.                 with open('result.csv','w+') as fh:
    
45.                     for result in rr:
    
46.                         key=result.keys()
    
47.                         n=len(key)
    
48.                         for i in range(n-1):
    
49.                             fh.write(result[key[i]]+",")
    
50.                         fh.write(result[key[n-1]]+"\n")
    
51.     print("任务完成...")
    
52. 
    
53. #将数据转化为字典形式
    
54. def get_dict_data():
    
55.     for job in jobs:
    
56.         #使用正则寻找所有此定时任务产生的任务（活动-任务中能看到的任务）
    
57.         if re.search(match_string,job.sid):
    
58.             #splunk中任务执行的时间
    
59.             run_time=re.findall("\d{10}",job.sid)[0]
    
60.             run_time=int(run_time)
    
61.             #通过对时间的比较找到最近一次运行
    
62.             if now_time-run_time < cron_gap_min*60:
    
63.                 #等到任务完成
    
64.                 while not job.is_done():
    
65.                     time.sleep(1)
    
66.                 rr = results.ResultsReader(job.results())
    
67.                 for result in rr:
    
68.                     #定义一个字典,将每条数据存入字典中
    
69.                     res_data={}
    
70.                     for key in result.keys():
    
71.                         res_data[key]=result[key]
    
72.                     return res_data
    
73.     print("任务完成...")
    
74. 
    

复制代码

if __name__=='__main__':
    data=get_dict_data()

gyshssl

收粤东点赞，手动点赞