轻松搭建日志分析架构

  监控网络活动可能是一项单调而乏味的工作,但你有充分的理由要这样做。首先,它可以帮助你查找和调查工作站、连网设备和服务器上的可疑登录,同时确定管理员滥用的源头。还可以跟踪软件安装和数据传输,以便实时识别潜在的问题。

  日志记录(跟踪和分析)应该是任何监控基础设施中的一个基本过程。要从灾难中恢复 SQL Server 数据库,就需要事务日志文件。此外,通过跟踪日志文件,DevOps 团队和数据库管理员(DBA)可以保持最佳的数据库性能,或者在网络受到攻击的情况下找到未授权活动的证据。因此,定期监视和分析系统日志非常重要。

  现下有相当多的开源日志跟踪器和分析工具可供使用,这使得为活动日志选择正确的资源变得比想象中更容易。免费和开源软件社区提供了适用于各种站点以及几乎任何操作系统的日志设计,今天为大家推荐 Amazon Web Service云上怎么构建日志分析架构。

  什么是cloudwatch logs?

  您可以使用 Amazon CloudWatch Logs 来监控、存储和访问来自 Amazon Elastic Compute Cloud (Amazon EC2) 实例、Amazon CloudTrail、Route 53 和其他来源的日志文件。

  通过使用 CloudWatch Logs,您可以在一个高度可扩展的服务中集中管理您使用的所有系统、应用程序和 Amazon Web Service 服务的日志。然后,您可以轻松查看这些日志,搜索这些日志以查找特定的错误代码或模式,根据特定字段筛选这些日志,或者安全地存档这些日志以供将来分析。通过使用 CloudWatch Logs,您可以将所有日志作为按时间排序的单个一致的事件流进行查看而无论其来源如何,并且您可以查询这些日志并根据其他维度对其进行排序,按特定字段对其进行分组,使用强大的查询语言创建自定义计算以及在控制面板中显示日志数据。

  Alpine Linux

  Alpine Linux 是一个社区开发的面向安全应用的轻量级Linux发行版,适合用来做Docker镜像、路由器、防火墙、VPNs、VoIP 盒子 以及服务器的操作系统,基于 uClibc 和 Busybox。

  以下来具体介绍在Amazon Web Service上Alpine如何对接 Cloudwatch Logs:

1. 启动EKS过程略。

2. 将两个脚本上传S3,本示例中上传到了yll-s3-test。
  a.init.sh(见附件)

  b.boot.sh(见附件)

3. 找到EKS Node的AutoScaling Group启动配置中的IAM角色,并添加CloudWatchLog,S3 ReadOnly权限

4. 更改AutoScaling Group 启动配置

  c.将命令加入用户数据:
   sudo mkdir /home/ec2-user/script
   sudo aws s3 cp s3://yll-s3-test(改成自己的)/boot.sh /home/ec2-user/script
   sudo aws s3 cp s3://yll-s3-test(改成自己的)/init.sh /home/ec2-user/script
   sudo chmod +755 /home/ec2-user/script/*

d.保存,更改AutoScaling Group的启动配置为最新配置

5. 重启AutoScaling 的EKS Node Instance

6. 前往Kubectl EC2,修改原始yaml脚本

  通过指定env 中的Amazon Web Service_REGION指定CloudWatch Logs的存储地区。通过boot.sh参数指定想要监控的日志目录以及需要传输到的CloudWatch Log Group

7. 进入容器: kubectl exec -it alpine-controller-qfngf /bin/sh,前往applicationA目录,echo ‘111’>a.txt

8. 前往Amazon Web Service CloudWatch Log,找到yaml中配置的/Alog日志组,效果如下

  希望此分享能为您带来帮助,如您有任何疑问,请联系我们!

  我们今天的分享就到这里,感谢大家的观看,请留意yeseesoft官网,我们下一次分享再见。