뭐가 자꾸 궁금한 개발자

하둡에 대해 알아보기 전에 큰 흐름에서의 하둡에 대해 이해를 해보자. 하둡은 기본적으로 빅데이터를 처리하는 과정 속에서 사용되어진다. 빅데이터를 처리하는 흐름으로는 우선 데이터를 수집한 후에, 저장하고 처리한다. 그 결과를 바탕으로 분석하고 결과를 표현하게 된다. 이러한 단계 중에 빅데이터를 어떻게 저장하고, 저장된 정보를 어떻게 잘 처리하는지에 대한 부분이 하둡이 담당하는 역할이라고 할 수 있다. Hadoop (High-Availability Distributed Object-Oriented Platform) 자바 소프트웨어 프레임워크로 대량의 자료(빅데이터)의 분산 저장과 분석을 위한 분산 컴퓨팅 솔루션이다. 일반적으로 하둡파일시스템(HDFS)과 맵리듀스(MapReduce)프레임워크로 시작되었으나, ..

1-하둡이란? 하둡은 2006년 야후의 더그 커팅이 '넛치'라는 검색엔진을 개발하는 과정에서 대용량의 비정형 데이터를 기존의 RDB 기술로는 처리가 힘들다는 것을 깨닫고, 새로운 기술을 찾는 중 구글에서 발표한 GFS와 MapReduce 관련 논문을 참고하여 개발하였습니다. 이후 아파치 재단의 오픈 소스로 공개 되었습니다. 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신, 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈소스 프레임워크라고 할 수 있습니다. 2020.06월 기준 최신 버전은 v3.2.1, v2.10 입니다. 하둡의 구성 요소 하둡은 4개의 주요 모듈로 ..

1. FORMAT과 CAST를 이용한 날짜 형식 변경 -- gatDate() 사용해 날짜형식을 변경. SELECT FORMAT(CAST(GETDATE() AS DATE), 'yyyyMMdd') -- 20200601 SELECT FORMAT(CAST(GETDATE() AS DATE), 'MMddyyyy') -- 06012020 SELECT FORMAT(CAST(GETDATE() AS DATE), 'ddMMyyyy') -- 01062020 -- 특정 컬럼을 사용해 날짜형식을 변경. SELECT FORMAT(CAST(날짜컬럼 AS DATE), 'yyyyMMdd') -- 20200601 SELECT FORMAT(CAST(날짜컬럼 AS DATE), 'MMddyyyy') -- 06012020 SELECT FORMA..

지난 포스팅에서는 챗봇이 무엇이고, 카카오톡 챗봇을 만들기 위한 준비단계에 대해 설명했었습니다. 아래 원글 작성자분의 포스팅을 먼저 읽으면 본문을 읽는데 도움이 됩니다. [챗봇] 간단하고 아주 쉽게 카카오톡 챗봇 만들기 [챗봇] 간단하고 아주 쉽게 카카오톡 챗봇 만들기 소개 이번 포스팅에서는 챗봇이 무엇인지, 그리고 카카오톡 챗봇을 만들기 위해서는 무엇을 준비해야 하는지 소개하겠습니다. 이어서 향후 포스팅에서는 카카오 i 오픈빌더를 이용한 똑똑한 봇 luckygg.tistory.com 카카오 i 오픈 빌더(Kakao i Open Builder)란? 공식 홈페이지 링크: i.kakao.com/ 카카오 i 오픈빌더 Make your kakao I. 손쉽게 카카오 AI기술을 활용하도록 누구에게나 제공하는 ka..

네이버쇼핑은 네이버가 제공하는 쇼핑 포털 서비스입니다. 네이버쇼핑은 상품을 체계적으로 구성하고 사용자가 보다 쉽게 검색할 수 있도록 상품을 카테고리에 매칭합니다. 하지만 매일 2,000만 개 이상 새로 등록되는 상품을 약 5,000개에 달하는 카테고리에 매칭하는 작업은 사람이 하기에 불가능한 일입니다. 이 글에서는 TensorFlow를 활용해 네이버쇼핑의 상품 카테고리 매칭을 자동화한 과정을 소개하고, 실제 서비스의 데이터에 적용하는 과정에서 나타난 문제점을 해결한 방법을 설명합니다. 네이버쇼핑과 상품 카테고리 네이버쇼핑은 네이버 사용자가 네이버쇼핑에 등록된 업체와 네이버 스마트 스토어의 상품을 쉽게 접할 수 있도록 상품 검색, 카테고리 분류, 가격 비교, 쇼핑 콘텐츠 등을 제공하는 쇼핑 포털 서비스이다..

응용(애플리케이션) 계층의 특징과 애플리케이션 TCP/IP 모델의 4 계층 중 네트워크 인터페이스 계층, 인터넷 계층, 전송 계층이 데이터 전송을 담당하고, 응용 계층은 서비스를 제공하기 위한 데이터를 만들거나, 수신한 데이터의 내용을 보고 그에 맞는 서비스를 사용자에게 제공합니다. 한마디로 통신의 목적인 서비스를 실현하기 위해 서비스의 종류나 동작 방식 등을 결정하는 것이 응용 계층의 역할입니다. 따라서 응용 계층의 역할은 서비스를 제공하는 서버 애플리케이션과 서비스를 요청하고 이용하는 클라이언트 애플리케이션이 구현합니다. TCP/IP 4 계층의 역할 자세히 ⇒ TCP/IP 계층의 특징과 역할 서버와 클라이언트 자세히 ⇒ 서버/클라이언트와 웹 서비스 따라서 응용 계층은 애플리케이션을 사용하는 사용자가 ..

지난 포스팅에서 Spring Cloud Config 를 통해 설정 외부화를 하는 과정을 알아보았다. 설정 외부화의 수단은 Github이었고 public repository에 있는 설정 파일에 대해 알아보았다. 이번에는 Github의 private repository에 접근하여 설정값을 가져오는 방법에 대해 알아보겠다. [MSA 시작 #4] Spring Cloud Config + Github 을 이용한 설정 변경 동적으로 반영하기 MSA를 하면 당연히 어플리케이션 개수가 많아지고 그에 따라 어플리케이션마다 있는 설정 파일도 많아진다. 이렇게 되면 관리의 어려움이 생기고 이번에도 이런 관리의 어려움을 해결해주기 위 oingdaddy.tistory.com git private repository Github에..

해당 글은 원글 작성자분의 Spring Cloud Netflix Eureka 와 Spring Cloud Gateway 의 Built-in Route로 Predicates와 Filter 조작하기)에 의존하는 글입니다. 실습 환경을 따라하시려면 Eureka와 Gateway 글에 나온 실습을 따라하시길 권고드립니다. 목차 Gartner 에서 정의된 MSA 표준 구성 요소인 Config Store Server 자주 변경되는 설정 정보는 설정 정보만 담고 있는 서버에서 관리하고 이를 필요로 하는 서버에게 각각 뿌려주는 방식 우리가 구성한 서비스 구조 각각의 application.yml 서비스 구조의 문제점 Spring Cloud Config 란? 실습 Spring Cloud Config 프로젝트 생성하기 @Ena..

아래 블로그는 JPA를 활용한 게시판에 대한 정보가 잘 정리되어있습니다. 들어가셔서 참고하시면 좋겠습니다. https://ldevlog.tistory.com/8 [Spring-Boot] JPA를 활용하여 간단한 CRUD 게시판 만들기(1) 시작하기 전에 간단하게 JPA를 알아보자면 Java Persistence API의 약자로 자바 진영의 ORM 기술 표준이다. 여기서 ORM 도 간단하게 알고 넘어가자면 Object Relational Mapping의 약자로 객체-관계 매핑 이란 뜻 ldevlog.tistory.com https://ldevlog.tistory.com/9 [Spring-Boot] JPA를 활용하여 간단한 CRUD 게시판 만들기(2) 저번 포스팅에서 화면 뼈대를 만들어 놨기 때문에 이번 포..

들어가며 Spring JPA를 사용하며 대량으로 insert 시, 1건씩 insert 되기에 성능이 너무 안나온다고 생각을 하고 있었습니다. 그래서 초반에는 bulk insert와 같은 키워드로 검색을 해보니 Hibernate Batch Insert라는 내용이 있어 그대로 설정을 해보았으나 1건씩 insert 되기는 마찬가지였습니다. 다른 사람들이 작성한 블로그를 읽어보면 뭔가 되는듯 한데, 나만 안되는 건가? 라는 생각이 들었고 끝내 원하던 방법을 찾아 그 내용을 공유하는 글을 작성하게 되었습니다.. 예제 코드는 아래 원글 작성자의 github에 있습니다. https://github.com/jaehun2841/spring-jpa-batch-insert-test GitHub - jaehun2841/spr..