網(wǎng)上有很多關(guān)于pos機(jī)銷(xiāo)售日志,企業(yè)郵件服務(wù)日志收集的知識(shí)，也有很多人為大家解答關(guān)于pos機(jī)銷(xiāo)售日志的問(wèn)題，今天pos機(jī)之家(m.afbey.com)為大家整理了關(guān)于這方面的知識(shí)，讓我們一起來(lái)看下吧!
本文目錄一覽：
pos機(jī)銷(xiāo)售日志
0×01.概要背景
這次我們舉個(gè)接近實(shí)際生產(chǎn)的例子，來(lái)說(shuō)明開(kāi)源SOC系統(tǒng)如何采集數(shù)據(jù)，如果之前介紹系統(tǒng)是抽象的，現(xiàn)在就是實(shí)例具象的。平時(shí)我們利用日志系統(tǒng)收集了大量的各類(lèi)的日志數(shù)據(jù)，如：Openresty訪(fǎng)問(wèn)日志、防護(hù)墻日志、VPN日志、郵件服務(wù)器相關(guān)日志、用戶(hù)權(quán)限審計(jì)日志、路由器操作日志、甚至包括辦公區(qū)AP的日志，DHCP日志。
這些不能一一列舉，如果要選出一個(gè)比較典型的日志收集例子， 企業(yè)郵件的日志收集可以作為例子。遍布國(guó)內(nèi)相關(guān)業(yè)務(wù)城市，都有員工使用郵件服務(wù)，企業(yè)郵件服務(wù)是一種基礎(chǔ)服務(wù)，在運(yùn)營(yíng)的過(guò)程中我們遇到用戶(hù)相關(guān)各種問(wèn)題的出現(xiàn)，不能第一時(shí)間取得更多用戶(hù)一手的現(xiàn)場(chǎng)問(wèn)題資料， 通過(guò)分析用戶(hù)日志，可以找出問(wèn)題的發(fā)生當(dāng)點(diǎn)，可能引起的問(wèn)題根因。還可以得用日志系統(tǒng)數(shù)據(jù)：解決IP異地登陸檢查，未備案設(shè)備暴力破解賬號(hào)，賬號(hào)被鎖自動(dòng)提醒，管理員操作審計(jì)等有之相關(guān)的功能操作，這一切都是建立在，構(gòu)建日志收集系統(tǒng)前提下，如果沒(méi)日志系統(tǒng)，這些數(shù)據(jù)和相應(yīng)功能實(shí)現(xiàn)不了。
0×02.架構(gòu)業(yè)務(wù)
我們整體上要理解業(yè)務(wù)架構(gòu)和運(yùn)作原理，才能有針對(duì)性的收集相關(guān)日志的數(shù)據(jù)，遇到問(wèn)題時(shí)，可以通過(guò)有效的日志數(shù)據(jù)指導(dǎo)問(wèn)題的解決。
一直以來(lái)都想找到一種比較好的表達(dá)方式來(lái)說(shuō)明，企業(yè)郵件系統(tǒng)的構(gòu)成，那種方式比較簡(jiǎn)單明了？找到了上面這種系統(tǒng)切面圖方式，用2.5D的展示方法，展示從用戶(hù)郵件客戶(hù)端，到最后取得郵件的整個(gè)系統(tǒng)間的數(shù)據(jù)處理流程。如圖所示，我們從整體上把系統(tǒng)交互分成6個(gè)切片，兩次域名解析，兩次負(fù)載均衡， 并且第二次從mai_server.com解析到具體的郵件服務(wù)器時(shí)，可以不使用負(fù)載部署方案，使用DNS輪詢(xún)的方式。如果采用負(fù)載的方式，一臺(tái)機(jī)器掛掉也可以把流量負(fù)載到其它機(jī)器上，備機(jī)也可以正常工作，不受影響。 如果使用域名輪詢(xún)解析的方案，因?yàn)闆](méi)有探活機(jī)制，需要在此之外建立報(bào)警機(jī)制，一定發(fā)現(xiàn)一臺(tái)郵件服務(wù)器掛掉就要去掉到這機(jī)器的域名解析。mail_server.com在此處由一個(gè)內(nèi)部的域名解析服務(wù)解析，郵件服務(wù)器可部署在公司機(jī)房，這種情況使用nat或是dr模式的負(fù)載均衡，可以緩解需要手動(dòng)更改域名解析的尷尬，一旦出現(xiàn)問(wèn)題不需要太多人工干預(yù)，這種根本機(jī)制上解決了服務(wù)的穩(wěn)定性。
0×03.系統(tǒng)原理切片描述
我們簡(jiǎn)述一下這6個(gè)系統(tǒng)交互切片的含義。
第1層. 郵件客戶(hù)端：用戶(hù)收發(fā)郵件使用的郵件客戶(hù)端程序。像Exchange這種郵件服務(wù)都支持針對(duì)PC端口和移動(dòng)手機(jī)端的區(qū)分針對(duì)性配置。
第2層.域名解析：上面也說(shuō)過(guò)，這個(gè)系統(tǒng)有兩次負(fù)載均衡，有兩次域名解析，問(wèn)題是為什么有兩個(gè)域名，mail_proxy.com和mail_server.com， mail_server.com是真正的郵件服務(wù)器的域名，在內(nèi)網(wǎng)中可以直接訪(fǎng)問(wèn)，在某些場(chǎng)景下，我們希望在外網(wǎng)的員工也可以訪(fǎng)問(wèn)郵件服務(wù)，這時(shí)我們就用一個(gè)基于Openresty的代理服務(wù)，部署內(nèi)網(wǎng)郵件服務(wù)的代理系統(tǒng)，將外網(wǎng)域名反代指向內(nèi)網(wǎng)的mail_server.com。出于安全考慮，我們?cè)诜?wù)器上添加了的用戶(hù)設(shè)備ID的限制，讓那些沒(méi)有在冊(cè)的設(shè)備不可以直接通過(guò)mail_proxy.com，這個(gè)代理訪(fǎng)問(wèn)內(nèi)網(wǎng)的mail_server.com域名進(jìn)行郵件收發(fā)。并且一旦手機(jī)發(fā)生丟失的情況下，去掉丟失自己的設(shè)備ID授權(quán)，被盜手機(jī)有用戶(hù)名和密碼，也不能正常使用郵箱服務(wù)，并且我們還可在代理服務(wù)器上限速，限制附件大小。這些的出發(fā)點(diǎn)都是為了安全出發(fā)。
第3層.mail_proxy.com的vip負(fù)載均衡：為了多點(diǎn)備份，我們?cè)诮馕鰉ail_proxy.com時(shí)，對(duì)應(yīng)解析了三個(gè)機(jī)房的VIP，三個(gè)機(jī)房對(duì)應(yīng)三個(gè)不同運(yùn)營(yíng)商的線(xiàn)路，優(yōu)化線(xiàn)路后，讓用戶(hù)的訪(fǎng)問(wèn)效率更高。然后把對(duì)應(yīng)運(yùn)營(yíng)商線(xiàn)路的請(qǐng)求負(fù)載到3臺(tái)不同的郵件代服務(wù)器上，三臺(tái)機(jī)器，其中一兩臺(tái)服務(wù)器掛掉，也不會(huì)影響郵件代理的整體運(yùn)作服務(wù)。
第4層.mail_server.com域名解析：前三層的服務(wù)并沒(méi)用直正的涉及到郵件服務(wù)器的核心服務(wù)器，從各個(gè)域名解析mail_server.com開(kāi)始，下面都是郵件服務(wù)相關(guān)的服務(wù)，從mail_server.com解析到真實(shí)的郵件服務(wù)器有兩種方式，如上所述，第一種是域名解析輪詢(xún)，另一種就是加負(fù)載均衡層。
第5層.郵件負(fù)載均衡與郵件真實(shí)服務(wù)器：如果我在內(nèi)網(wǎng)機(jī)房，使用基于tcp協(xié)議的負(fù)載均衡，一旦遇到機(jī)房或是服務(wù)本身的原因造成一臺(tái)服務(wù)斷掉也不會(huì)影響整體郵件服務(wù)。
第6層.郵件：經(jīng)過(guò)前面階段的處理才能到真實(shí)地的郵件，其實(shí)還有更深的一層交互沒(méi)有在圖上畫(huà)出來(lái)就是附件服務(wù)器，正常的郵件服務(wù)，還會(huì)配置2或是3臺(tái)郵件附件服務(wù)。
0×04.關(guān)鍵的日志數(shù)據(jù)收集
在整個(gè)系統(tǒng)的層次上，很多服務(wù)器都會(huì)相應(yīng)的產(chǎn)生日志數(shù)據(jù)， 刨除負(fù)載均衡的日志數(shù)據(jù)，我們真正關(guān)心的是真實(shí)服務(wù)器的產(chǎn)生的日志(Real Server)，這些日志的收集才能完成最開(kāi)始概要里所的那些功能：
1.郵件代理服務(wù)器日志：代理服務(wù)器使用的是基于Openresty的反向代量服務(wù)器。其中最主要的日志，其實(shí)就是WEB訪(fǎng)問(wèn)日志。
日志形式：形式上可以是標(biāo)準(zhǔn)文本格式，也可以是JSON格式。
log_format accessjson escape=json ‘{“source”:”192.168.0.8″, “ip”:”$remote_addr”,”user”:”$remote_user”,”time_local”:”$time_local”,”statuscode”:$status,”bytes_sent”:$bytes_sent,”http_referer”:”$http_referer”,”http_user_agent”:”$http_user_agent”,”request_uri”:”$request_uri”,”request_time”:$request_time,”gzip_ration”:”$gzip_ratio”,”query_string”:”$query_string”}’;
日志協(xié)議：可以使用syslog協(xié)議直接發(fā)送JSON形式的日志到syslog服務(wù)器，也可以通過(guò)catkafka將JSON文體推送到Kafka隊(duì)列上。
syslog方式：
access_log syslog:server=192.168.0.8:10001;
catkafka方式發(fā)送：
tail -F -q access-json.log | kafkacat -b 1.kafka1.yqfy.net:9091,2.kafka1.yqfy.net:9091,3.kafka1.yqfy.net:9091,4.kafka1.yqfy.net:9091 -t candylab_topic
2.郵件服務(wù)器日志：郵件服務(wù)的日志種類(lèi)相對(duì)就比較多了，1.Exchange IIS日志。2.Exchange Server系統(tǒng)日志。3. IMAP郵件協(xié)議日志。4.POP3郵件協(xié)議日志。5.管理員審計(jì)日志。
因?yàn)猷]件服務(wù)器是基于Windows的，所以我們有一種日志發(fā)送方案是使用nxlog發(fā)送客戶(hù)端代理服務(wù)，把郵件服務(wù)器上系統(tǒng)日志和文本文件日志發(fā)送到syslog服務(wù)器上。
典型nxlog發(fā)送文本日志配置舉例，以下：
<Extension _syslog>Module xm_syslog</Extension><Input in>Module im_file file \'C:\\\log\\\\*.log\'SavePos TRUE</Input><Output out>Module om_udpHost 192.168.0.8Port 10001Exec parse_syslog(); </Output><Route 1>Path in => out</Route>
0×05.日志的收集與轉(zhuǎn)存
之前我們說(shuō)的都是系統(tǒng)構(gòu)成和日志的普通形式的存儲(chǔ)，而這次比較特別的是，我們將日志通過(guò)nxlog這種syslog日志發(fā)送代理發(fā)送數(shù)據(jù)到syslog server， 再由syslog server轉(zhuǎn)發(fā)到graylog的syslog udp監(jiān)聽(tīng)。再由Graylog收集發(fā)送過(guò)來(lái)的文本存到ES中，因?yàn)镋S的索引是有生命周期的，可以指定郵件日志的存活時(shí)間，比如說(shuō)某個(gè)指定時(shí)間長(zhǎng)度，然后數(shù)據(jù)被揮發(fā)掉，釋放出來(lái)的空間存放新的日志。但同時(shí)，當(dāng)Graylog收到日志的同時(shí)，通過(guò)Graylog Kafka的Output插件，可以把數(shù)據(jù)復(fù)制轉(zhuǎn)發(fā)到Kafka上，然后由Kafka消費(fèi)者程序，消費(fèi)這些日志數(shù)據(jù)復(fù)制一份到Clickhouse中， 只要服務(wù)運(yùn)轉(zhuǎn)良好，沒(méi)人天災(zāi)人禍，服務(wù)不被莫名重裝、機(jī)房空調(diào)溫度不過(guò)高、Raid硬盤(pán)不壞，網(wǎng)絡(luò)不抖，數(shù)據(jù)就會(huì)安然的保存住。
1.SyslogNG服務(wù)器：Syslog服務(wù)器在那種數(shù)據(jù)需要落地，并且數(shù)據(jù)需要轉(zhuǎn)發(fā)的場(chǎng)景，是必選服務(wù)，Graylog也可以打開(kāi)udp監(jiān)聽(tīng)，但不會(huì)保存文本文件到本地，直接存到了es里。
2.Graylog服務(wù)：如果說(shuō)Superset是Clickhouse的靈魂伴侶，Graylog也是ES一個(gè)很好應(yīng)用，Graylog可以輕松開(kāi)啟各種數(shù)據(jù)監(jiān)聽(tīng)服務(wù)，當(dāng)然也包括UDP Syslog日志監(jiān)聽(tīng)。并且，Graylog是內(nèi)置了Kafka隊(duì)列和MongoDB，簡(jiǎn)化了ELK系統(tǒng)的構(gòu)件成本。
3.Kafka隊(duì)列： 當(dāng)數(shù)據(jù)量特別大的時(shí)候，用隊(duì)列緩存數(shù)據(jù)（Queue），上圖的Kafka，其實(shí)是為Clickhouse寫(xiě)入數(shù)據(jù)服務(wù)的，我們用Graylog把日志數(shù)據(jù)推到Kafka上，相當(dāng)于把到Graylog里的日志數(shù)據(jù)，復(fù)制ClickHouse上一份，只是這個(gè)存的動(dòng)作，是由后續(xù)的消費(fèi)程序插入數(shù)據(jù)完成的，Clickhouse里的日志數(shù)據(jù)可以存的時(shí)間較長(zhǎng)，SQL聚合的效率也更高。
4.Clickhouse數(shù)據(jù)庫(kù)：ClickHouse的效率強(qiáng)大的令人發(fā)指，我們可以用Clickhouse操作上億的數(shù)據(jù)量。
0×06.如何拿到數(shù)據(jù)
之前介紹都是，如何把郵件代理的數(shù)據(jù)存到Graylog和Clichouse里，后續(xù)的操作就是針對(duì)數(shù)據(jù)的分析操作。
1.數(shù)據(jù)輸入處理： 對(duì)于我們的分析模塊程序來(lái)說(shuō)，有兩個(gè)強(qiáng)大的數(shù)據(jù)源，Graylog和Clickhouse， Graylog提供REST查詢(xún)服務(wù)，Clickhouse提供多種訪(fǎng)問(wèn)驅(qū)動(dòng)，python,java,c++，go的數(shù)據(jù)驅(qū)動(dòng)都有。
2.黑白名單處理： 這個(gè)是業(yè)務(wù)處理，我們?cè)谕瑫r(shí)的威脅情報(bào)處理中，一定會(huì)遇到很多的誤盼和數(shù)據(jù)噪音， 使用黑白名單機(jī)制可以改善噪音對(duì)我們的影響。對(duì)于企業(yè)郵箱的日志服務(wù)來(lái)說(shuō) ，最重要的白名單管理，其實(shí)是在nginx中，對(duì)特定用戶(hù)設(shè)備的限制管理，這個(gè)和本文無(wú)關(guān)，不表。
3.威脅檢查：核心威脅分析策略模塊（略）。如果郵箱服務(wù)，可以通過(guò)數(shù)據(jù)分析，分析出賬號(hào)被鎖用戶(hù)是誰(shuí)，正在爆破郵箱的人誰(shuí)， 密碼錯(cuò)誤，惡意提交訪(fǎng)問(wèn)請(qǐng)是誰(shuí)，等等操作。
最近，當(dāng)我們面臨DDOS攻擊時(shí)，基于Clickhouse構(gòu)建監(jiān)控分析策略，可以敏捷的應(yīng)臨時(shí)監(jiān)控統(tǒng)計(jì)需求，只要前期有數(shù)據(jù)，構(gòu)建分析策略速度經(jīng)人。
而Clickhouse操作其數(shù)據(jù)很簡(jiǎn)單，以下舉例，具體復(fù)雜度看后續(xù)需求。
docker客戶(hù)端：
docker run -it –rm yandex/clickhouse-client -h yqfy.net –port 9006 -m -u yqfy–password nicaishisha -d yqfy
Python客戶(hù)端：
from clickhouse_driver import Clientclient = Client(host=\'yqfy.net\', port=9006, user=\'yqfy\', database=\'yqfy\',password=\'nicaishisha\')client.execute(\'INSERT INTO threat_table (date,hour,ts,src_ip,src_port,dst_ip,dst_port,threat,level,type,payloads,message) VALUES\', threat_infos)
新版的Clickhouse加入了更強(qiáng)大的功能，而我們驅(qū)動(dòng)如此大的數(shù)據(jù)庫(kù)引擎，只需要區(qū)區(qū)幾行代碼，大大的提高安全人員的生產(chǎn)率。
4.數(shù)據(jù)輸出處理：我們可以通過(guò)syslog協(xié)議和Clickhouse，對(duì)經(jīng)過(guò)處理的數(shù)據(jù)，再轉(zhuǎn)存回去。并且，有很多可視化軟件和BI處理程序?qū)?shù)據(jù)源數(shù)據(jù)進(jìn)行分析和展示。
0×07.總結(jié)
上文介紹的內(nèi)容中，關(guān)于服務(wù)器負(fù)載均衡、WEB服務(wù)器與客戶(hù)端數(shù)據(jù)采集、ES到Clickhouse遷移數(shù)據(jù)，這些都可以到Freebuf中找到更具體的文章。至此，不同以住，我們介紹了更真實(shí)的日志存儲(chǔ)的案例。生產(chǎn)環(huán)境中，我們存儲(chǔ)了海量的日志數(shù)據(jù)，用郵件的例子是因?yàn)猷]件的業(yè)務(wù)相對(duì)好理解，不涉及到更多的術(shù)語(yǔ)業(yè)務(wù)，而關(guān)于數(shù)據(jù)Agent分類(lèi)及部署方式。Graylog的高級(jí)使用技巧，Clickhouse聚合數(shù)據(jù)，這些軟件實(shí)際操作使用，后續(xù)介紹，那些讓人意想不到飄逸操作，讓數(shù)據(jù)分析更高效，強(qiáng)大的工具將我們從繁重的腦力勞動(dòng)中解救出來(lái)，這也是我們可以戰(zhàn)勝普通猿人以及北京猿人，成為智人的原因之一，放棄香蕉，從樹(shù)上下來(lái)，我們學(xué)會(huì)了使用工具。
以上就是關(guān)于pos機(jī)銷(xiāo)售日志,企業(yè)郵件服務(wù)日志收集的知識(shí)，后面我們會(huì)繼續(xù)為大家整理關(guān)于pos機(jī)銷(xiāo)售日志的知識(shí)，希望能夠幫助到大家！
