Splunk conf. 후기

09.24에 그랜드볼륨에서 Splunk conf.가 진행되었습니다.

나는 동탄에 살아서 평소 컨퍼런스를 잘 다니지 않는데(강남까지 아침9시 너무 힘듬 ㅜㅜ), 회사 차원에서 연간 5일을 교육근태로 써야했다. 그리고 실제로 업무를 위해 Splunk 라이센스를 구매해서 사용하고 있는 사용자이기도 해서 컨퍼런스를 가기로 했다.

 

처음 들어섰을때 느낌은 생각보다 엄청 큰곳에서 하는구나 싶었다. 예전에 라이센스 구매전에 splunk 교육을 들은적이 있었는데 그때 규모가 작았어서 막연히 컨퍼런스도 작을거라고 생각했다.

또 운영도 매끄러웠는데 입장시 미리 배부한 QR코드를 통해 금방 사전등록자임을 확인했고 브로슈어와 이름표도 금방 나누어주었다.

 

나는 조금 늦게 도착을 해서 이미 시작한 상태였는데, 자리를 잡지 못해 뒷쪽에 서서 듣고 있다보니 운영진이 오셔서 자리를 잡아주겠다고 하셨다. 중간중간 빈 좌석으로 가서 주변인들에게 좌석이 빈곳이 맞는지 확인 후 자리를 잡아주셔서 좋았다. 예전에 QT 컨퍼런스도 다녀온 적이 있는데, 그때보다 훨씬 체계적이고 규모가 있었다.또한 동시통역을 위한 이어폰과 기기를 대여해주어서 듣기에도 편했다.

 

 

일정표는 아래와 같았다.

 

몇가지만 요약해서 블로그를 작성하려고 한다.

데이터에서 인텔리전스로:IPTV Observillity의 진화와 혁신

1. 통신 데이터 분석

1-1. 데이터 수집 및 처리 진화
- IPTV, 모바일, 커넥티드 카 등 네트워크 및 통신사업 진행 중임
- 과거 주요 광고 대안으로 'AI 컴퍼니' 광고를 집행함
- AI 기술 통한 AX가 키워드가 되어 LH U 플러스가 AI 리딩을 위한 준비에 투자함
- 통신 데이터 수집 및 처리의 진화로 IPTV 백앤드 로그, CTC 유저 행동 로그 등 다양한 데이터 소스 활용이 증가함
- 수집 형태가 다양해짐에 따라 중앙화를 이루어 연관 분석 활용도가 높아짐

1-2. 데이터 소스 활용
- (중요) 세타 세잔 로그를 유니버셜 코드를 통해 수집하고, IPTV 백앤드 로그는 OTL을 활용해 수집함
- CTC 유저 행동 로그는 카프카를 통해 수집함
- 스트렁크 카프카 커넥터에서 타임존을 UTC 외에 추가해 데이터 수집 시 타임존을 반영함
- 수집한 데이터를 다양한 분석 모델에 활용해 분석의 정확도를 높임
- 분석 모델의 라이프 사이클을 통해 데이터 준비, 분석, 피처 생성, 모델 학습, 배포의 단계로 나누어짐을 설명함

1-3. 침입 탐지 모델
- 2023년, 스캐닝에 의한 다수의 공격성 침입 탐지를 포함해 2023년 침입 탐지에 성공함
- 분석 결과, 기존 에이더걸스 와이 전송량 수집 및 분석을 진행함
- 2023년에는 에이더걸스 와이에 의한 침입 탐지를 위한 다양한 접근법이 필요했음
- 데이터 수집 시 스캐닝 방식을 활용해 탐지 타이밍을 잡음
- 수집한 데이터를 통해 피처 생성, 알고리즘 선택 및 적용, 모델 배포의 단계로 나아감

2. 로그래밍으로 악성인증 대응

2-1. 로그 분석을 통한 공격성 IP 차단
- 로그레한 이슈로 수집 중단하고, 히스토리 파악 및 공격성 IP 차단 필요성 느낌
- T-3G 모니터링 방식으로 공격성 파악하고, AI 챗봇 생성 진행
- 게시보드와 AI 챗봇을 이용해 시스템을 보호하고, IP 블록 자동화 실시
- 기존 로그 분석과 IP 평판 조회, 위치 조회 등 기존 방식으로 처리하던 것을 AI로 대체
- (중요) 머신러닝 기반으로 공격 유형을 판단하고, 해당 유형에 따른 차단 또는 완화 방법 설정

2-2. 머신러닝 기반 공격 유형 판단
- 머신러닝 기반으로 네트워크의 응답 코드 4XX 에러 분석하여 1~20점 제공
- 확장자, 응답 코드, 인증 정보 등을 바탕으로 공격 유형과 침입 여부 판단
- 압력이 일어나는 요소와 공격에 대한 대응 가능성 평가
- 시스템에서 발생한 알람에 대해 분석하고, 알람 트리거 시에 룩업파일을 저장
- (중요) 랜덤 프레스트 클래스파이어 방식으로 모델 평가 진행

2-3. AI 기반 공격 유형 판단
- AI 챗봇을 통해 공격 유형을 파악하고, 향후 공격에 대비하는 방법 검토
- 알람 트리거 시에 룩업파일을 저장하여, 보다 정확한 판단을 가능하게 함
- (중요) 레그를 통해 해당 정보를 저장 및 학습시켜서 적용하려 했으나, 비용과 활용성 때문에 현재는 가지 않음
- AI를 이용한 방식은 사용자 의도에 따라 답변을 제공하므로, 실제 적용 시에는 주의가 필요
- 알고 있는 툴 내에서 일부를 활용하여, 자동화 처리 블록을 통해 처리 가능

 

 

인공지능 기반 보안관제자동화(SOAR) 자체 구축사례

1. 농협은행의 AI 보안 관제 자동화 사례

1-1. 보안의 중요성 및 고민 이해
- 보안의 중요성에 대해 설명하면서 농협에서의 실질적인 역할을 공유하려 함
- 농협에서 보안사고가 두 차례 발생했으며, 직원들의 보안 인식이 부족함을 깨닫게 됨
- (중요) 농협은행이 실질적으로 어떻게 보안을 관리하고 있는지에 대한 부끄러움을 품음
- 농협은행의 대외 이미지를 개선하고 직원들이 일하고 있는 느낌에 대해 긍정적인 변화를 바람

1-2. 보안관제의 문제점 및 AI의 필요성
- 보안관제에서 어려운 점으로는 실외 위협 탐지 및 모니터링, 보안 위협 대응 등이 있음
- (중요) 보안 관제 인력 부족 현상으로 인해 보안 과제의 힘든 진행이 있음
- AI 소프트웨어 기반의 보안 관제 체계 개선 필요성을 인지함
- AI를 보안 관제에 적용하여 위협을 더 효과적으로 예측하고 대응할 수 있음

1-3. AI 보안 관제 자동화 프로젝트
- AI를 보안 관제에 적용하는 프로젝트를 진행함
- 프로젝트 진행 과정에서 AI 모델링의 중요성을 인지하게 됨
- AI 모델링은 시스템의 성능을 결정짓는 요소임을 인지함
- (중요) 모델을 계속 발전시키기 위해서는 충분한 데이터와 환경 변수 반영이 필요함
- 이 프로젝트를 통해 농협은행의 보안 향상에 기여함

2. 솔루션 분석 및 보안 대응

2-1. 솔루션 분석 및 도입 배경
- (중요) 솔루션 분석 결과, 개발할 수 있는 플랫폼으로 판단함
- 플레임과 LTE 연동 앱이 장점이며, 적용을 위해 코딩이 필요했음
- 제조사의 도움을 받아 렌트랩을 쏘는 방향으로 진행함
- 소방 폭주 사례에서 AI를 적용한 결과, 1억 건 탐지로 성과가 높았음
- AI를 통한 보안 관제 프로세스 자동화로 인력 효율성을 높임

2-2. 보안 대응 및 관리
- 200개의 탐지 건수를 분석하는 등급별 분류 방식을 사용함
- 보안 대응 시, 대응과 무대응을 나누고, 대응 인력을 최소화하겠다는 설계로 진행함
- ES 시나리오 분석 시, 분석 과정을 자동화하고, 보안 관제 직원의 분석을 보조함
- 전 세계 공격 현황 지도 및 잠재 위협 분석을 통해 보안 대응 효율성을 높임
- 악성 외부 공격을 탐지하기 위한 한글 형평 분석 모델을 개발하여 보안 대응팀에서 사용함

2-3. 보안 정책 개선 및 사고 예방
- DBM 4.5억 건 분석을 통해 보안 정책 개선과 사고 예방을 꾀함
- 정오탈 모델을 통해 연간 48M 건의 보안 비용을 절약함
- 정상 압성 분석을 통해 오션을 플러스로 지속 탐지하고, 임계치를 설정하여 사고 예방을 강화함
- 신규어 탐지 자동화 체계를 구축하여 보안금호 78억 건의 사고를 예방함
- 공기업은행에서 보안 관리의 중요성을 인지하고, 보안 대응을 강화함

3. 보안 예산 절감

3-1. SOAR의 보안 예산 절감 사례
- 방한구간 600대, 10만 명 인원의 은행 중앙, 농축형, 경제, 손해 생명 등 전반적인 보안 체계 유지
- 표준화된 보안 문제 프로세스 구축으로 일관성 확보와 보안투자 효율성 증대
- (중요) 개인적으로 가장 확장성 있는 보안 체계 구축으로 포괄적 데이터 분석 활용 체계 구축
- 모델링과 인사이트 도출을 통해 직원의 모델링과 새로운 모델 적용 가능
- 라이프 사이트 관리 기능으로 모델 튜닝과 새로운 모델 적용 가능

3-2. 제로 트러스 전략과 AI 적용
- AI 적용 시 파이썬으로 다루기 쉽고, ML, L 티켓 적용이 잘 되어 있음
- 스트롬프 본사와 익스프럼프 제테스 본사의 결정 사항에 맞춰 A 모델 구축 권장
- 퍼블 클라우드 보안 관제로 특정 업체의 CSP단 관제와 온프라임스 통합 관제 진행 중
- 제로 트러스 전략 구현을 위한 시스코 컨설턴트의 조언으로 북측의 원솔루션 도입 고려 중
- 네트워크 보안록 분석과 상호 분석을 통한 XDR 개념 도입 중

3-3. 보완의 중요성과 조직의 면역체계
- 사람에 몸으로 치면 면역체계, 보완도 마찬가지로 조직의 면역체계가 본연의 역할을 해야 함
- 보완사고 없이 조직의 면역체계가 유지되어야 하며, 매일 수천, 수만 건의 공격을 강화 중
- 조직의 면역체계를 강화하는 데에 보완의 중요성을 인지하고, 내일 조직의 면역체계를 지키기 위해 일하기를 바란다고 함

 

Splunk와 LG전자의 AI솔루션 Mellerikat 연동으로 이끄는 산업 혁신 : 디지털 전환 사례 소개

1. Mellerikat의 사례

1-1. Mellerikat 소개
- LG전자 CBO 부문의 AI 접목 서비스 제공함
- 다양한 도메인 영역에서 AI 접목하여 비즈니스 의사 결정 지원함
- 비용 절감, 매출 증대 목표 달성을 위해 사내외에 AI 적용 추진함
- AI 도입 장벽을 허물고, 모든 사용자에게 접근 가능한 플랫폼 개발 중임
- (중요) 기업 AI 적용을 위한 풀군된 AI 모델 전달 플랫폼 개발 중임

1-2. Mellerikat 의 아키텍처
- 스플렁크 앱을 통해 Mellerikat 의 데이터 공유 및 모델 학습 지원함
- 다양한 알고리즘을 통해 데이터에 적합한 모델 선택 및 학습 진행함
- 학습된 모델을 스플렁크 엣지 허가와 연동하여 IOT 센서 데이터 처리함
- 스마트 디바이스인 스플렁크 엣지 허가에서 다양한 데이터 추론 가능함

1-3. Mellerikat 사례
- Mellerikat 앱을 통해 데이터를 탐색하고, 선택한 모델로 학습 진행함
- 모델 파라미터를 수정하여 모델 성능을 정교화할 수 있음
- 학습된 모델을 고객에게 제공하여 만족도 극대화함
- 다양한 마케팅 활동을 통해 고객 잠재 구매를 높이고, 고객 서비스 향상 도모함
- 고객 데이터를 활용하여 맞춤형 마케팅 전략을 세우고, 물류 체인 최적화 진행함

2. 스플렁크 AI

2-1. 스플렁크 AI 소개
- 스플렁크와 결합된 MLS 플랫폼 제공함
- 다양한 AI 솔루션 지원 및 최적화된 AI 서비스 운영 제공함
- 사용자 인프라에서 학습시킬 수 있음
- (중요) 파라미터 설정 가능, 고객이 원하는 인프라에서 학습시킬 수 있음
- 고급 데이터 사이언티스트가 아니어도 쉽게 모델 서비스 가능함

2-2. 사례: 에디즌
- 수천만 개의 부품 데이터 보유, 가격 확산 어려움과 시간과 노력 소모 문제 있음
- 부품 품질 유지하면서도 저렴한 최적의 부품 찾고자 함
- 데이터 클렌징 작업 자동화, 스펙 데이터 구조화, AI 적용함
- (중요) 유사도 모델링과 MAS 적용, 부품 찾는 프로세스 개선함
- 스펙에 따른 부품 군집화 및 중요도 반영한 부품 추천 서비스 제공함

2-3. 사례: 에디즌의 확장
- 에디즌 솔루션을 통해 부품 가격 차이 확인 가능함
- 스펙 동일 부품이라도 가격 차이 발생, 호환성 확인 필요함
- 구매팀이 프라이스 레벨링 진행하여 연간 2600불 비용 절감함
- 스쿨럼 엔터프라이즈와 연동한 화면 제공함
- 특정 부품 유사 부품 조회, 스펙 정보, 도메인 알리지 반영 가중치 제공함

3. 제조업 혁신 솔루션

3-1. LG전자 혁신 솔루션
- (중요) 가격 협상 시 정보력이 강화되어 협상력이 향상됨
- (중요) 최적의 부품을 추천받을 수 있어 신규 개발 시 단계에서 부품을 추천받을 수 있음
- 기존 제품의 부품 최적화 가능
- (중요) 구매 전 모든 회사에서 사용 가능, 특히 Mellerikat 기반으로 구현되어 도입이 용이함
- 좋은 제품일수록 나눠 써야 한다는 생각으로 공유하고 있음

3-2. B2B 세일즈 인텔리전스 솔루션
- 전 세계 약 300명의 B2B 영업 인력이 600만 건의 리드를 대응하는 업무를 수행함
- 연간 600만 건의 리드 대응을 의미하는 업무의 비중이 10%에 불과함
- 페이포인트의 상대적인 규모로 인해 많은 리드 대응 프로세스 개선이 필요함
- (중요) B2B 영업의 마케팅 활동인 리드 전환, 기회 전환, 수주 전환에 AI 지수 모델 개발
- 기호 전환 기술에서 기존 미디 영업 기회 전환 데이터 학습, 100점 만점 모델 구축, AR 활용 등

3-3. 스플렁크 에디시 허브와 Mellerikat 연동 사례
- 스플렁크 에디시 허브와 멜러리 캡 연동하여 환경 상태 변화 감지 솔루션 개발
- (중요) MLAD(머신러닝 어나머리 디텍션) 기반으로 다양한 센서 데이터로 환경 감지
- 이미 프리 인스터디 된 H 애플리케이션의 E 앱을 등록하여 환경 모니터링 가능
- MLED 사용 시 비정상 데이터 라벨링 없이 머신러닝 기술로 이상 패턴 감지 가능
- 스플렁크 에이치오브로 콜드체인 관리 시스템이나 스마트 창고 등에 적용 가능