본문 바로가기

분류 전체보기

 (68)
[논문요약] DLinear, NLinear ( LTSF-Linear ) 리뷰 Are Transformers Effective for Time Series Forecasting? Abstract 원문 바로가기 논문은 다음과 같은 질문에서 시작합니다. 시계열 예측에 Transformer기반 모형을 적용하는게 정말 효과적일까? transformer를 활용한 LTSF(long-term series forecasting)에 관현 연구가 지난 몇년 간 좋은 성과를 보였습니다. transforemr는 긴 시퀀스 사이에 semantic(의미론적) 상관관계를 추출하는데 가장 성공적인 방법인 것은 맞지만, 시간적 관계를 추출해야하는 시계열 예측 모델링에선 아래와 같은 이유로 단점이 존재합니다. transformer가 순서가 있는 정보를 저장하는 것을 가능하게 하기 위해 positional enco..
구글드라이브에 있는 문서 서버로 옮기기 cd datasets gdown https://drive.google.com/drive/folders/1KFFJkYybPNqKOH3rAyzKmE2H7Ih_ypRU -O /tmp/folder --folder cd ..
[elasticsearch] elasticsearch 10000개 이상 데이터 조회 python es에서 데이터를 10000개 이상 조회하려면 scroll id를 사용하거나 elasticsearch helpers의 scan 을 사용해야한다. helpers.scan elasticsearch.helpers.scan(conn, scroll='10m', index=index, doc_type='_doc', size=10000, query=query) es.scroll def scroll_API(index, body): result = [] _KEEP_ALIVE_LIMIT='30s' # Initialize the scroll page = es.search(index=index ,body=body ,scroll=_KEEP_ALIVE_LIMIT ,size=10000 ,track_total_hits=True ) ..
[논문 요약] Utilization Prediction Aware VM Consolidation Approach for Green Cloud Computing Abstract VM consolidation은 엄격한 NP-hard 문제이고, 많은 휴리스틱 알고리즘이 제안됨 기존의 문제 원인 대부분의 솔루션은 현재 리소스 기반으로 호스트의 수를 최소화하는 것만을 담는다. 미래에 리소스에 대한 탐구 x 문제 상황 불필요한 마이그레이션과 SLA위반이 증가. 논문의 해결책 bin-packing으로 공식화된 알고리즘에 현재와 미래의 리소스 사용량을 고려한다. 미래 리소스 예측엔 k-nearest neighbor regression 모델을 사용 실험 결과 VM과 호스트 리소스 예측의 효과를 실제 워크로드 추적을 사용해 조사한 결과 energy consumption, VM migration 수, SLA 위반 수가 줄어드는 것을 알 수 있음 keyword Dynamic VM ..
[Docker] Docker Compose로 Django 프로젝트 세팅 프로젝트 컴포넌트 정의 프로젝트를 시작하기위해 Dockerfile, python dependencies파일, docker-compoes.yml파일이 필요하다. Dockerfile 먼저, 디렉토리에 Dockerfile을 생성한다. # syntax=docker/dockerfile:1 FROM python:3 ENV PYTHONDONTWRITEBYTECODE=1 ENV PYTHONUNBUFFERED=1 WORKDIR /code # 작업 디렉토리를 code로 변경 COPY . . # 현재 디렉터리의 모든 파일 이미지를 작업 디렉터리로 복사 RUN pip install -r requirements.txt COPY . /code/ 이 도커 파일은 파이썬3 Parent 이미지를 시작한다. 부모 이미지는 src라는 새..
[PostgreSQL] macOS에 PostgreSQL 설치 및 설정 설치 설치전 brew에 postgresql을 검색해본다. brew search postgresql 기본 버전으로 설치를 시작한다. brew install postgresql 서비스 시작 brew services start postgresql postgres -V 설정 사용자 권한 계정 설정 먼저, postgre에 접속한다. psql postgres 아래의 명령어로 role 리스트를 확인 할 수 있다. postgre는 설치시 자동으로 계정을 생성해준다. postgres=# \du 권한을 설정해주기 전에, 기본으로 생성된 슈퍼유저의 비밀번호를 설정한다. postgres=# \password postgres 데이터 베이스 생성 테스트 데이터 베이스를 생성해봅니다. create database testdb; ..
[ELK] elastic stack 이란 / 개념 / 구성 요소 / 용도 ELK 란? ELK stack이란 Elasticsearch Logstash Kibana 세가지 오픈소스 프로젝트의 이니셜을 합쳐 만든 말이다. 등장 배경 루씬 기반 검색엔진인 elasticsearch는 단순 검색 엔진에 머무르는 대신 플랫폼으로 발전해 elk stack으로 발전했다. 기존의 검색엔진은 빅데이터 파이프라인을 구성하고, 유연성을 확보하기 위해서 오픈소스를 조합해야하는 불편함이 있었지만, elk stack은 일반적인 빅데이터 파이프라인을 구성하기 위한 데이터 수집, 가공, 저장 분석, 시각화에 필요한 모든 소프트웨어를 갖추고 있다. ELK 구성 요소 Beats, Logstash : 데이터를 수집하고 가공 Elasticsearch : 데이터 저장 및 분석 Kibana : 시각화 및 모니터링 El..
[kubernetes] 쿠버네티스 클러스터를 구성하는 도구 - Kubeadm, Kuberspray 쿠버네티스 클러스터를 구성하는 도구 Kubeadm 쿠버네티스에서 공식 제공하는 클러스터 생성 관리 도구 초기에는 고가용성을 갖춘 클러스터 구성이 어려워 테스트용으로 사용했지만 최근에는 점점 발전해 고가용성을 제공하는 클러스터 구성 가능 cf) 고가용성 High Availability: 서버와 네트워크, 프로그램 등의 정보 시스템이 상당히 오랜 기간 지속적으로 정상 운영이 가능한 성질 Kubeadm에서 제공하는 클러스터 고가용성 구조 Kubespray 상용 서비스에 적합한 보안성과 고가용성이 있는 쿠버네티스 클러스터를 배포하는 오픈 소스 프로젝트 서버 환경 설정 자동화 도구인 앤서블 기반으로 개발 설정에 따라 다양한 형식의 클러스터 구성 가능 -> 온프레미스 환경에서 유용 Kuberspray에서 제공하는 ..
반응형

티스토리툴바