advenoh

블로그 마이그레이션 (Github으로 옮깁니다)

kenshin579 — Sun, 3 Nov 2019 11:16:02 +0900

블로그를 대학때부터 티스토리를 사용했었습니다. Evernote에 작성하고 Evernote 플러그인을 사용해서 블로깅을 잘 했었는데요.

티스토리 Editor가 변경되고 나서 Evernote에서 작성한 블로그를 가져오면 style이 그대로 유지되지 않는 경우가 자주 발생하고 직접 tag을 수정을 해도 제대로 반영이 안되는 경우가 많이 있습니다.

Evernote에서 블로그를 작성하고 다시 티스토리에서 수정하는 작업이 너무 시간 낭비라서 Github로 블로그를 옮기기로 결정을 했습니다. 본격적으로? 블로그를 하기 위해서 새로운 도메인으로 시작했습니다. 많이 놀러와주세요. 감사합니다.

https://blog.advenoh.pe.kr

Multi WAS 환경을 위한 Cluster 환경의 Quartz Job Scheduler 구현

kenshin579 — Sun, 13 Oct 2019 10:23:49 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Quartz에서는 메모리 기반의 스케줄러뿐만이 아니라 DB 기반의 스케줄러도 지원합니다. DB 기반의 스케줄러의 경우에는 스케줄러 정보를 메모리가 아닌 DB에 저장하기 때문에 다중 서버 간의 스케줄링이 가능합니다. Quartz는 master-slave 형태로 서로 간의 통신을 하지 않고 단순히 DB 업데이트 정보를 기반으로 각각의 스케줄 인스턴스가 자기가 실행해야 하는 Job을 실행합니다.

Cluster 환경에서 스케줄링이 가능하기 때문에 Non-Cluster 환경에 비해 여러 가지 장점이 기본적으로 제공됩니다.

고가용성 (High Availability)
- 한 서버가 셧다운 되더라도 다른 서버에 의해 Job이 실행되어 다운 타임이 없다
확장성 (Scalability)
- Quartz 설정된 서버를 구동하면 자동으로 DB에 스케줄 인스턴스로 등록된다
- 셧다운 된 서버는 다른 서버에 의해서 DB에서 삭제된다
로드 밸런싱 (Load balancing)
- Cluster 구성으로 여러 Job이 여러 서버에 분산되어 실행된다
- 로드 밸런싱 알고리즘에는 Hashing, Round-robin 등등이 존재하지만, Quartz에서는 최소한의 구현으로 random 알고리즘만을 제공한다

2. 개발 환경

포스팅에서 작성한 코드는 아래 github 링크를 참조해주세요.

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

3. 스프링 부트 기반의 Quartz Cluster 스케줄러 구축

3.1 Quartz를 위한 DB 스키마 생성

DB 스키마는 Quartz의 소스코드에 포함되어 있어서 원하는 DB 스키마를 소스코드에서 찾습니다. 저는 MySql를 사용하겠습니다.


># cat tables_mysql_innodb.sql

…(생략)...
CREATE TABLE QRTZ_JOB_DETAILS(
SCHED_NAME VARCHAR(120) NOT NULL,
JOB_NAME VARCHAR(190) NOT NULL,
JOB_GROUP VARCHAR(190) NOT NULL,
DESCRIPTION VARCHAR(250) NULL,
JOB_CLASS_NAME VARCHAR(250) NOT NULL,
IS_DURABLE VARCHAR(1) NOT NULL,
IS_NONCONCURRENT VARCHAR(1) NOT NULL,
IS_UPDATE_DATA VARCHAR(1) NOT NULL,
REQUESTS_RECOVERY VARCHAR(1) NOT NULL,
JOB_DATA BLOB NULL,
PRIMARY KEY (SCHED_NAME,JOB_NAME,JOB_GROUP))
ENGINE=InnoDB;
…(생략)...

DB에 quartz용 database를 생성하고 schema script를 실행합니다.

mysql> CREATE DATABASE spring_boot_quartz_cluster

3.2 Maven 라이브러리 추가

Quartz Cluster 구성을 위해 스프링 부트에서 필요한 라이브러리를 추가합니다.

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-quartz</artifactId>
</dependency>
<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.48</version>
</dependency>

3.3 Quartz 관련 설정

3.3.1 DataSource 및 Quartz 속성값 설정하기

Spring Boot에서 dataSource 설정은 간단합니다. @EnableAutoConfiguration 어노테이션(@SpringBootApplication 어노테이션에 의해 포함됨)에 의해서 application.properties 내의 spring.datasource.* 속성은 정의하면 자동으로 인식이 됩니다.

하지만, JavaConfig로 별도의 DataSource를 구현하여 Bean을 등록했다면 spring.datasource.* 속성은 적용되지 않습니다.

## Spring DATASOURCE (DataSourceAutoConfiguration & DataSourceProperties)
spring.datasource.platform=org.hibernate.dialect.MySQL5Dialect
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/spring_boot_quartz_cluster?useSSL=false&serverTimezone=UTC&useLegacyDatetimeCode=false
spring.datasource.username=mybatis
spring.datasource.password=mybatis$

Quartz 속성에 대한 자세한 내용은 Quartz 공식 페이지를 참고해주세요. 개인적으로 이해 안 되었던 부분은 간단하게 추가 설명을 달았습니다.

#Quartz
spring.quartz.scheduler-name=QuartzScheduler
spring.quartz.properties.org.quartz.scheduler.instanceId=AUTO
spring.quartz.properties.org.quartz.threadPool.threadCount=20
spring.quartz.properties.org.quartz.jobStore.tablePrefix=QRTZ
spring.quartz.properties.org.quartz.jobStore.isClustered=true
spring.quartz.properties.org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreTX
spring.quartz.properties.org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
spring.quartz.properties.org.quartz.jobStore.useProperties=true
spring.quartz.properties.org.quartz.jobStore.misfireThreshold=60000

jobStore.useProperties=true
- 이 값이 true이면 DB에 JobDataMaps에 저장되는 값이 binary가 아닌 string 값으로 저장된다
jobStore.misfireThreshold=60000 (기본 값 : 1분)
- Job이 실행되어야 하는데 서버가 셧다운 되었거나 쓰레드가 부족한 경우에 제시간에 실행이 안될 수 있는데 이 경우를 misfire (불발) 되었다고 한다
- Trigger가 misfire된 것으로 간주되는 시간으로 1분이 지나면 misFire 되었다고 판단한다

3.3.2 Quartz에 dataSource 설정하기

SchedulerFactoryBean에 dataSource를 지정하면 됩니다.

@Autowired
private DataSource dataSource;

@Bean
public SchedulerFactoryBean schedulerFactoryBean(ApplicationContext applicationContext) {
  …(생략)...
   schedulerFactoryBean.setDataSource(dataSource); //이 부분만 추가하면 된다
   schedulerFactoryBean.setQuartzProperties(properties);
   schedulerFactoryBean.setWaitForJobsToCompleteOnShutdown(true);
   return schedulerFactoryBean;
}

간단하죠? 메모리기반으로 작성된 Quartz 소스와 비교하면 어떻게 다르게 구성 되었는지 한 눈에 쉽게 파악할 수 있습니다. 파일이나 폴더를 비교하는 프로그램 중에 개인적으로 저는 Meld라는 오픈소스를 잘 사용합니다.

한번 설치해서 비교해보세요. 블로그보다 코드만 보고도 쉽게 파악할 수 있습니다.

># brew cask install meld


># cd tutorials-java
># meld springboot-quartz-cluster/ springboot-quartz-in-memory

3.3.3 이중화 서버 구동

서버를 이중화로 구동했을 때도 이상이 없이 스케줄러가 잘 돌아가는지 확인해볼까요? 먼저 프로젝트를 복사할게요.

># cp -r springboot-quartz-cluster/ springboot-quartz-cluster2

복사하고 나서 서버 포트를 다른 번호로 변경합니다.

># cd springboot-quartz-cluster2
># code src/main/resources/application.properties
server.port=7070

># mvn spring-boot:run

서버를 각각 실행하고 나서 QRTZ_SHCEDULER_STATE 테이블에서 2개의 인스턴스가 등록되었는지 확인합니다.

mysql> SELECT * FROM QRTZ_SCHEDULER_STATE;

Postman에서 임의로 job을 추가합니다.

GET /scheduler/jobs API로 조회해보면 잘 등록된 것을 확인할 수 있습니다.

각 WAS에서 job이 실행되는 것도 터미널에서 볼 수 있습니다. WAS1 (quartz-cluster)를 셧다운 시켜보면 WAS2 (quartz-cluster2)가 job을 픽업해서 이상 없이 실행하는 것을 확인할 수 있습니다.

3.4 Quartz Cluster 설정시 주의사항

서버 타임 동기화
- Quartz는 내부적인 로직안에서 타임으로 판단하는 부분이 많아서 서버 타임 동기화는 필수이다
Quartz 설정 튜닝
- Job Workload Type에 따라서 Quartz 설정 튜닝이 필요하다
- - Long Jobs - 장시간 실행되는 Job (ex. CPU intensive)
  - Short Jobs - 짧게 실행되는 Job (ex. 1초마다 실행)
- 특히 Short Job과 같은 경우에는 1초마다 실행되는 것을 보장해야 한다. 한 서버가 셧다운 되면 실행 중인 Job이 misfire 되고 다른 서버가 바로 이어서 실행해야 하는 조건이 있다면 튜닝은 필수이다
- 참고로 현재 운용 중인 서버에서 Short Jobs이 많아 아래와 같이 튜닝을 했다

#============================================================================
# Configure Main Scheduler Properties
#============================================================================
org.quartz.scheduler.instanceName=admin-tmon-media
org.quartz.scheduler.instanceId=AUTO
org.quartz.scheduler.batchTriggerAcquisitionMaxCount=20
org.quartz.scheduler.idleWaitTime=1000
org.quartz.scheduler.skipUpdateCheck=true

#============================================================================
# Configure ThreadPool
#============================================================================

org.quartz.threadPool.threadCount=20
org.quartz.threadPool.threadNamePrefix=QuartzScheduler

#============================================================================
# Configure JobStore
#============================================================================

org.quartz.jobStore.class=org.quartz.impl.jdbcjobstore.JobStoreCMT
org.quartz.jobStore.driverDelegateClass=org.quartz.impl.jdbcjobstore.StdJDBCDelegate
org.quartz.jobStore.useProperties=true
org.quartz.jobStore.misfireThreshold=1100
org.quartz.jobStore.tablePrefix=QRTZ_
org.quartz.jobStore.isClustered=true
org.quartz.jobStore.clusterCheckinInterval=15000
org.quartz.jobStore.acquireTriggersWithinLock=true

3.5 Job History 기능

Quartz에서는 현재 실행되는 Job에 대해서만 관리하고 Job History에 대한 내용은 기록하지 않습니다. 나중에 어드민 UI 메인 페이지에 추가로 넣으면 좋을 것 같아서 이번에 작업을 같이했습니다. 이 내용은 어드민 UI 포스팅에서 다루도록 할게요.

4. 정리

Quartz Cluster 구성은 DB에 대한 dataSource 속성과 Cluster 관련 설정만 해주면 어렵지 않게 구성할 수 있습니다.

Quartz는 Cluster 환경으로 DB를 사용하고 DB에 접근할 때마다 lock을 걸고 정보를 업데이트합니다. Quartz 서버나 Short Jobs의 수가 많은 경우에는 lock이 더 많이 발생할 수 있어서 실행하려는 Job이 misfire 될 가능성이 커집니다. 이런 경우에는 Redis와 같은 다른 저장소를 사용하면 좋지 않을까 생각합니다.

Quartz에서는 기본적으로 2가지 저장소만 (Memory, DB) 제공하지만, Github에 Redis나 MongoDB와 같은 저장소에 저장할 수 있도록 구현체들이 있습니다. DB 실행 시 문제가 된다면 다른 저장소로 저장해보는 것도 좋을 듯해요.

5. 참고

Quartz에서 실행중인 Job을 Interrupt하여 Job Scheduler를 정상종료 시키는 방법

kenshin579 — Sat, 12 Oct 2019 22:51:29 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

본 포스팅은 Quartz 튜터리얼에서 4번째 시리즈로 Quartz 서버를 셧다운 시킬 때 gradefully하게 처리하는 방법에 대해서 다룹니다. 셧다운 이벤트가 발생하면 실행 중인 Quartz Job에 내부 interrupt() 함수가 호출이 되고 interrupt로 노티를 받으면 개발자가 알아서 close 로직을 짜면 됩니다. 실행 쓰레드를 kill 할 수도 있고 (비추천) 실행 중인 Job을 기다리고 다음 스케줄에서 제외시킬 수도 있습니다.

2. 개발 환경

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

3. Quartz에서 ShutdownHook 등록하고 기존 Job을 Interruptable Job으로 구현하기

실행 중인 Job을 gracefully하게 셧다운 하려면 2가지만 설정해주면 됩니다.

3.1 Quartz 설정에 SchedulerFactoryBean에 대한 ShutdownHook 등록하기

Quartz에서 사용하는 SchedulerFactoryBean은 SmartLifeCycle 인터페이스를 구현하고 있습니다.

public class SchedulerFactoryBean extends SchedulerAccessor implements FactoryBean<Scheduler>,

BeanNameAware, ApplicationContextAware, InitializingBean, DisposableBean, SmartLifecycle

스프링의 SmartLifeCycle은 콜백 인터페이스로 여러 LifeCycle에 대한 메서드를 가지고 있고 어플리케이션이 종료되거나 시작될 때 정의된 메서드가 호출됩니다.

QuartzConfiguration 파일에 gracefulShutdownHookForQuartz 메서드를 빈으로 정의하여 Shutdown Hook을 등록합니다.

@Bean
public SmartLifecycle gracefulShutdownHookForQuartz(@Qualifier("schedulerFactoryBean") SchedulerFactoryBean schedulerFactoryBean) {
   return new SmartLifecycle() {
      private boolean isRunning = false;
 
      @Override
      public boolean isAutoStartup() {
         return true;
      }
 
      @Override
      public void stop(Runnable callback) {
         stop();
         log.info("Spring container is shutting down.");
         callback.run();
      }
 
      @Override
      public void start() {
         log.info("Quartz Graceful Shutdown Hook started.");
         isRunning = true;
      }
 
      @Override
      public void stop() {
         isRunning = false;
 
         try {
            log.info("Quartz Graceful Shutdown...");
            interruptJobs(schedulerFactoryBean);
            schedulerFactoryBean.destroy();
         } catch (SchedulerException e) {
            try {
               log.info("Error shutting down Quartz: ", e);
               schedulerFactoryBean.getScheduler().shutdown(false);
            } catch (SchedulerException ex) {
               log.error("Unable to shutdown the Quartz scheduler.", ex);
            }
         }
      }
 
      @Override
      public boolean isRunning() {
         return isRunning;
      }
 
      @Override
      public int getPhase() {
         return Integer.MAX_VALUE;
      }
   };
}

Gracefully 하게 셧다운 해야 하기 때문에 저희가 관심 있는 메서드는 stop() 메서드입니다. 이 메서드가 호출되면 Quartz 스케줄러에서 현재 실행 중인 모든 Job을 조회하여 실행 중인 Job의 interrupt() 메서드를 호출합니다. Job에서는 어떻게 처리할 수 있는지 다음 장에서 설명할게요.

private void interruptJobs(SchedulerFactoryBean schedulerFactoryBean) throws SchedulerException {
   Scheduler scheduler = schedulerFactoryBean.getScheduler();
   for (JobExecutionContext jobExecutionContext : scheduler.getCurrentlyExecutingJobs()) {
      final JobDetail jobDetail = jobExecutionContext.getJobDetail();
      log.info("interrupting job :: jobKey : {}", jobDetail.getKey());
      scheduler.interrupt(jobDetail.getKey());
   }
}

3.2 Quartz Job에 InterruptableJob 인터페이스를 implements하여 구현하기

Interrupt 가능한 Job을 구현하려면 InterrutableJob 인터페이스를 구현하고 interrupt() 메서드를 구현해주면 됩니다. 이미 짐작 하셨겠지만, 셧다운시 3.1에서 정의한 SmartLifeCycle의 stop() 메서드에 의해 호출이 되고 현재 실행 중인 Job의 쓰레드를 interrupt 시킵니다.

public class CronJob2 extends QuartzJobBean implements InterruptableJob {
    private volatile boolean isJobInterrupted = false;
    …(생략)…
 
    @Override
    public void executeInternal(JobExecutionContext context) throws JobExecutionException {
        JobKey jobKey = context.getJobDetail().getKey();
        if (!isJobInterrupted) { //flag 값을 이용해서 다음에 스케줄에서 제외되도록 한다
            …(생략)...
        }
    }
 
    @Override
    public void interrupt() {
        isJobInterrupted = true; //interrupt 되었다고 flag를 둔다
        if (currThread != null) {
            log.info("interrupting - {}", currThread.getName());
            currThread.interrupt(); //쓰레드가 일시 정지 상태이면 바로 깨워서 실행시킨다
        }
    }
}

4. 정리

실행 중인 Job을 Gracefully 하게 셧다운 시키는 방법에 대해서 알아보았습니다. 다음 포스팅은 Quartz 튜터리얼 시리지로의 마지막으로 Quartz 어드민 UI 구현에 대해서 알아보겠습니다.

5. 참고

Servlet 시작시

https://karismamun.tistory.com/46

Spring SmartLifeCyle

Interrupt

Jackson에서 Infinite Recursion 이슈 해결방법

kenshin579 — Wed, 25 Sep 2019 23:18:27 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Jackson에서 양방향 관계 (Bidirectional Relationship)로 맺어진 객체는 무한 재귀가 발생하는 문제가 있습니다. 구체적인 예를 들어 어떤 상황에서 발생하는 지 살펴보고 어떤 방법으로 해결 가능한지도 알아보겠습니다.

1.1 무한 재귀

Customer와 Order 두 객체는 서로 순환 참조 (Circular Reference)를 하고 있습니다. Customer 객체가 Order 객체를 가지고 있고 Order 객체가 Customer 객체를 가지고 있는 경우입니다.

@Setter
@Getter
@ToString
public class Customer {
    private int id;
    private String name;
    private Order order; //Customer 객체가 Order 객체를 가지고 있다
}
 
@Setter
@Getter
@ToString(exclude = "customer")
public class Order {
    private int orderId;
    private List<Integer> itemIds;
    private Customer customer; //Order 객체도 Customer 객체를 가지고 있다
}

Customer 객체를 Jackson에서 직렬화(serialization) 할 경우 JsonMappingException 예외가 발생하게 됩니다.

@Test(expected = JsonMappingException.class)
public void infinite_recursion_이슈_발생() throws JsonProcessingException {
    Order order = new Order();
    order.setOrderId(1);
    order.setItemIds(List.of(10, 30));
 
    Customer customer = new Customer();
    customer.setId(2);
    customer.setName("Frank");
    customer.setOrder(order);
    order.setCustomer(customer);
 
    log.info("customer(toString) : {}", customer);
    log.info("customer(serialized json) : {}", objectMapper.writeValueAsString(customer)); //JsonMappingException이 발생한다
}

JsonMappingException 예외 오류 메시지입니다.

2. 개발 환경

이 포스팅에서 작성한 코드는 아래 github를 참조해주세요.

OS : Mac OS
IDE: Intellij
Java : JDK 12
Source code : github
Software management tool : Maven

3. 해결책

3.1 @JsonManagedReference와 @JsonBackReference 어노테이션 사용

Jackson 2.0 버전 이전에 순환 참조를 해결하기 위해서 사용했던 어노테이션입니다.

@JsonManagedReference
- 양방향 관계에서 정방향 참조할 변수에 어노테이션을 추가하면 직렬화에 포함된다
@JsonBackReference
- 양방향 관계에서 역방향 참조로 어노테이션을 추가하면 직렬화에서 제외된다

Customer 객체에서 Order 객체에 @JsonManagedReference를 추가하고 Order에서는 Customer 객체에 @JsonBackReference 어노테이션을 추가하여 직렬화에서 Customer 객체를 제외 시켰습니다.

@Setter
@Getter
@ToString
public class Customer {
    private int id;
    private String name;
    @JsonManagedReference //serialized될 때 포함됨
    private Order order;
}
 
@Setter
@Getter
@ToString(exclude = "customer”) //toString() 실행시에도 무한 재귀가 발생하여 제외시킨다
public class Order {
    private int orderId;
    private List<Integer> itemIds;
    @JsonBackReference //serialization에서 제외된다
    private Customer customer;
}
 
@Test
public void infinite_recursion_해결책_JsonManagedReference_JsonBackReference() throws JsonProcessingException {
    Order order = new Order();
    order.setOrderId(1);
    order.setItemIds(List.of(10, 30));
 
    Customer customer = new Customer();
    customer.setId(2);
    customer.setName("Frank");
    customer.setOrder(order);
    order.setCustomer(customer);
 
    log.info("customer(toString) : {}", customer);
    log.info("customer(serialized json) : {}", objectMapper.writeValueAsString(customer));
    log.info("order(serialized json) : {}", objectMapper.writeValueAsString(order)); //customer정보는 제외된다
}

실행 화면

@JsonBackReference 어노테이션 선언으로 Order 객체에서 Customer 객체에 대한 정보는 빠져 있어요.

3.2 @JsonIdentityInfo - 추천방식

Jackson 2.0 이후부터 새롭게 추가된 어노테이션입니다. @JsonIdentityInfo 어노테이션을 추가해서 직렬화에 포함 시킬 속성 값을 ‘property’ 속성에 지정합니다.

@JsonIdentityInfo(generator = ObjectIdGenerators.PropertyGenerator.class)
- generator = ObjectIdGenerators.PropertyGenerator.class 클래스는 순환 참조시 사용할 Id를 생성하는데 사용되는 클래스이다
@JsonIdentityInfo(property = “id")
- property 속성은 해당 클래스의 속성 이름을 지정한다
- 예제에서는 id는 Customer#id를 가리키고 직렬화/역직렬화할 때 Order#customer의 역참조로 사용된다

@JsonIdentityReference 어노테이션은 @JsonIdentityInfo과 같이 자주 사용되는데, 이것에 대한 설명은 다음 섹션에서 알아볼께요.

@Setter
@Getter
@ToString
@JsonIdentityInfo(generator = ObjectIdGenerators.PropertyGenerator.class,
        property = "id”) 
@JsonIdentityReference(alwaysAsId = true) //직렬화시 id로만 출력된다
public class Customer {
    private int id;
    private String name;
    private Order order;
}
 
@Test
public void infinite_recursion_해결책_JsonIdentityReference() throws JsonProcessingException {
    Order order = new Order();
    order.setOrderId(1);
    order.setItemIds(List.of(10, 30));
 
    Customer customer = new Customer();
    customer.setId(2);
    customer.setName("Frank");
    customer.setOrder(order);
    order.setCustomer(customer);
 
    log.info("customer(toString) : {}", customer);
    log.info("customer(serialized json) : {}", objectMapper.writeValueAsString(customer)); //id로만 출력된다
    log.info("order(serialized json) : {}", objectMapper.writeValueAsString(order));
}

실행 화면

3.2.1 @JsonIdentityReference 란?

@JsonIdentityReference 어노테이션은 객체를 직렬화할 때 전체 POJO로 처리하는 대신 단순히 객체 ID로만 노출되도록 해줍니다.

@Setter
@Getter
@ToString
@JsonIdentityInfo(generator = ObjectIdGenerators.PropertyGenerator.class,
        property = "id")
@JsonIdentityReference(alwaysAsId = true)
public class Customer {
    private int id;
    private String name;
    private Order order;
}

@JsonIdentityReference 어노테이션을 사용하지 않을 경우에는 아래와 같이 객체의 전체 내용을 직렬화 합니다.

@Test
public void JsonIdentityReferenceAnnotation이_없는_경우() throws JsonProcessingException {
    CustomerWithoutIdentityReference customer = new CustomerWithoutIdentityReference();
    customer.setId(1);
    customer.setName("Frank");
    String jsonOutput = objectMapper.writeValueAsString(customer);
    log.info("jsonOutput :{}", jsonOutput);
    assertThat(jsonOutput).isEqualTo("{\"id\":1,\"name\":\"Frank\",\"order\":null}");
}

실행 화면

하지만, @JsonIdentityReference 어노테이션을 사용하는 경우에는 직렬화시 객체 ID로만 직렬화 합니다.

@Test
public void JsonIdentityReferenceAnnotation이_있는_경우() throws JsonProcessingException {
    Customer customer = new Customer();
    customer.setId(1);
    customer.setName("Frank");
    String jsonOutput = objectMapper.writeValueAsString(customer);
    log.info("jsonOutput :{}", jsonOutput);
    assertThat(jsonOutput).isEqualTo("1");
}

실행 화면

3.3 @JsonIgnore 어노테이션 사용

마지막으로 제일 간단하게 해결할 수 있는 방법은 직렬화 할때 순환 참조 되는 속성에 @JsonIgnore 어노테이션을 추가하여 직렬화에서 제외시키는 방법입니다.

@Setter
@Getter
@ToString(exclude = "customer")
public class Order {
    private int orderId;
    private List<Integer> itemIds;
    @JsonIgnore
    private Customer customer; //직렬화시 무시된다
}
 
@Slf4j
public class CustomerTest {
    private ObjectMapper objectMapper = new ObjectMapper();
 
    @Test
    public void infinite_recursion_해결책_JsonIgnore() throws JsonProcessingException {
        Order order = new Order();
        order.setOrderId(1);
        order.setItemIds(List.of(10, 30));
 
        Customer customer = new Customer();
        customer.setId(2);
        customer.setName("Frank");
        customer.setOrder(order);
        order.setCustomer(customer);
 
        log.info("customer(toString) : {}", customer);
        log.info("customer(serialized json) : {}", objectMapper.writeValueAsString(customer));
        log.info("order(serialized json) : {}", objectMapper.writeValueAsString(order)); //customer 정보는 제외된다
    }
}

실행 화면

Unit Test을 실행해보면 customer 정보는 Order 객체에서 제외된 것을 확인할 수 있습니다.

4. 정리

웹 어플리케이션에서 데이터 전송시 일반적으로 JSON 포멧을 사용하고 있고 서버단에서를 JSON 처리를 위해 Jackson 라이브러리를 많이 사용하고 있습니다. 객체 간에 서로 참조하여 순환 참조가 발생하게 되면 무한 재귀로 StackOverflowError가 발생합니다. 이를 해결 하기 위해 3가지 방법을 알아보았습니다.

5. 참고

Spring Boot + Quartz을 이용한 Job Scheduler 구현 (In-memory)

kenshin579 — Mon, 9 Sep 2019 23:08:08 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

이 포스팅은 Quartz 튜터리얼 시리즈에 한 부분으로 첫 번째의 포스팅 Quartz Job Scheduler란? 에 이어 2부 내용으로 Spring Boot 기반의 RAMJobStore을 이용한 Quartz 스케줄러 구현을 다룹니다. 기본 개념은 이미 1부에서 다루었기 때문에 여기에서는 작성한 코드 기반으로 어떻게 스프링에서 Quartz를 설정하여 사용할 수 있는지에 대해서 알아보겠습니다.

2. 개발 환경

스프링 부트에서는 Quartz을 사용하려면 spring-boot-starter-quartz 라이브러리를 추가해줘야 합니다. pom.xml 메이븐 파일에 아래 내용을 추가합니다.

 
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-quartz</artifactId>
</dependency>

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

3. 스프링 부트 기반의 Quartz 스케줄러 구축

3.1 Quartz를 위한 관련 설정

3.1.1 스프링 JavaConfig

스프링의 SchedulerFactoryBean은 Bean으로 선언하여 다른 클래스에서 DI (dependency injection)해서 사용할 수 있습니다.

@Component
public class ScheduleServiceImpl implements ScheduleService {
 
    @Autowired
    private SchedulerFactoryBean schedulerFactoryBean;

그리고 첫번째 포스팅에서 언급했던 것처럼 SchedulerFactoryBean 은 ApplicationContext에서 LifeCycle 형식으로 Scheduler을 관리하고 있습니다.

Listener와 Quartz 관련된 설정도 여기서 지정합니다.

@Bean
public SchedulerFactoryBean schedulerFactoryBean(ApplicationContext applicationContext) {
   SchedulerFactoryBean schedulerFactoryBean = new SchedulerFactoryBean();
 
   AutowiringSpringBeanJobFactory jobFactory = new AutowiringSpringBeanJobFactory();
   jobFactory.setApplicationContext(applicationContext);
   schedulerFactoryBean.setJobFactory(jobFactory);
 
   schedulerFactoryBean.setApplicationContext(applicationContext);
   
   Properties properties = new Properties();
   properties.putAll(quartzProperties.getProperties());
 
   schedulerFactoryBean.setGlobalTriggerListeners(triggersListener);
   schedulerFactoryBean.setGlobalJobListeners(jobsListener);
   schedulerFactoryBean.setOverwriteExistingJobs(true);
   schedulerFactoryBean.setQuartzProperties(properties);
   schedulerFactoryBean.setWaitForJobsToCompleteOnShutdown(true);
   return schedulerFactoryBean;
}

3.1.2 Quartz 관련 설정

스프링 부트에서는 Quartz 관련 설정을 application.properties에서 합니다. 관련 설정이 없으면 기본 값으로 구동됩니다. ThreadPool, Scheduler Setting, JobStore 등에 관련된 많은 설정이 존재하기 때문에 Quartz Configuration 문서를 참고해주세요. 예제에서는 threadCount를 5개만 생성하고 스케줄러 쓰레드 이름의 prefix를 QuartzScheduler로 지정하였습니다.

#Quartz
spring.quartz.scheduler-name=QuartzScheduler
spring.quartz.properties.org.quartz.threadPool.threadCount = 5

3.2 Scheduler Controller과 ScheduleService 구현

샘플 프로젝트에서는 사용자가 정의한 Job을 쉽게 등록하고 삭제, 조회 등을 할 수 있도록 아래와 같은 API를 제공합니다.

제공할 Scheduler API

Job 추가 : POST /scheduler/job
모든 등록된 Job 조회 : GET /scheduler/jobs
Job 삭제 : DELETE /scheduler/job
Job 멈춤 : PUT /scheduler/job/pause
Job 재시작 : PUT /scheduler/job/resume

컨트롤러와 서비스단의 로직을 보면 기본 로직은 간단하기 때문에 몇개의 API만 설명하겠습니다. 실행할 Job을 먼저 보도록 하겠습니다.

3.2.1 사용자 Job 구현

Job 작업 내용은 지정한 sleep 타임에 따라서 화면에 숫자를 출력하는 것입니다.

3.2.1.1 SimpleJob

loop을 돌면서 화면에 숫자를 출력하고 지정한 sleep 타임동안 쉬고 다시 반복하는 로직입니다.

public class SimpleJob extends QuartzJobBean {
   private int MAX_SLEEP_IN_SECONDS = 5;
   private volatile Thread currThread;
 
   @Override
   protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
      JobKey jobKey = context.getJobDetail().getKey();
      currThread = Thread.currentThread();
 
      IntStream.range(0, 5).forEach(i -> {
         log.info("SimpleJob Counting - {}", i);
         try {
            TimeUnit.SECONDS.sleep(MAX_SLEEP_IN_SECONDS);
         } catch (InterruptedException e) {
            log.error(e.getMessage(), e);
         }
      });
   }
}

3.2.1.2 CronJob

CronJob 구현도 SimpleJob과 동일하고 추가로 jobId를 JobDataMap으로 받아서 화면에 출력하고 있습니다.

public class CronJob extends QuartzJobBean {
   private int MAX_SLEEP_IN_SECONDS = 5;
   private volatile Thread currThread;
 
   @Override
   protected void executeInternal(JobExecutionContext context) throws JobExecutionException {
      JobDataMap jobDataMap = context.getJobDetail().getJobDataMap();
      int jobId = jobDataMap.getInt("jobId");
      JobKey jobKey = context.getJobDetail().getKey();
 
      currThread = Thread.currentThread();
 
     … (생략) ...
      log.info("CronJob ended :: jobKey : {} - {}", jobKey, currThread.getName());
   }
}

3.2.2 Job 추가 API

3.2.2.1 Controller Job 추가

Quartz 스케줄러에서는 SimpleJob과 CronJob 형식으로 추가할 수 있어서 cron 표현식이 있는 경우에는 CronJob으로 등록하도록 조건문을 추가했습니다.

@RequestMapping(value = "/job", method = RequestMethod.POST)
public ResponseEntity<?> addScheduleJob(@ModelAttribute JobRequest jobRequest) {
… (생략) … 
 
   JobKey jobKey = new JobKey(jobRequest.getJobName(), jobRequest.getJobGroup());
   if (!scheduleService.isJobExists(jobKey)) {
      if (jobRequest.getCronExpression() == null) {
         scheduleService.addJob(jobRequest, SimpleJob.class);
      } else {
         scheduleService.addJob(jobRequest, CronJob.class);
      }
   } else {
      return new ResponseEntity<>(new ApiResponse(false, "Job already exits"),
            HttpStatus.BAD_REQUEST);
   }
   return new ResponseEntity<>(new ApiResponse(true, "Job created successfully"), HttpStatus.CREATED);
}

3.2.2.2 ScheduleService Job 추가

사용자가 제공한 Job 이름, 그룹, Cron 표현 등으로 Trigger와 JobDetail을 생성하고 schedulerJob() 메서드로 job을 Quartz에 등록할 수 있습니다.

@Override
public boolean addJob(JobRequest jobRequest, Class<? extends Job> jobClass) {
    JobKey jobKey = null;
    JobDetail jobDetail;
    Trigger trigger;
 
    try {
        trigger = JobUtils.createTrigger(jobRequest);
        jobDetail = JobUtils.createJob(jobRequest, jobClass, context);
        jobKey = JobKey.jobKey(jobRequest.getJobName(), jobRequest.getJobGroup());
 
        Date dt = schedulerFactoryBean.getScheduler().scheduleJob(jobDetail, trigger);
        log.debug("Job with jobKey : {} scheduled successfully at date : {}", jobDetail.getKey(), dt);
        return true;
    } catch (SchedulerException e) {
        log.error("error occurred while scheduling with jobKey : {}", jobKey, e);
    }
    return false;
}

서비스단의 로직도 Unit Test로 쉽게 체크할 수 있습니다. Quartz 소스 코드를 참조해서 작성했습니다.

@Test
public void addJob() {
    JobRequest jobRequest = new JobRequest();
    jobRequest.setCronExpression("0/10 * * ? * *");
    jobRequest.setJobName(jobName);
    jobRequest.setJobGroup(groupName);
 
    when(schedulerFactoryBean.getScheduler()).thenReturn(scheduler);
 
    boolean result = scheduleService.addJob(jobRequest, CronJob.class);
    assertThat(result).isTrue();
 
    verify(schedulerFactoryBean).getScheduler();
}

3.2.3 등록된 모든 Job 조회 API

Scheduler에서 현재 등록된 Job 정보도 scheduler에서 제공하는 여러 메서드을 통해서 쉽게 얻어 올 수 있습니다. 개별 Job 정보외에도 간단한 통계 수치도 같이 count해서 응답 값으로 내려주고 있습니다.

@Override
public JobStatusResponse getAllJobs() {
    JobResponse jobResponse;
    JobStatusResponse jobStatusResponse = new JobStatusResponse();
    List<JobResponse> jobs = new ArrayList<>();
    int numOfRunningJobs = 0;
    int numOfGroups = 0;
    int numOfAllJobs = 0;
 
    try {
        Scheduler scheduler = schedulerFactoryBean.getScheduler();
        for (String groupName : scheduler.getJobGroupNames()) {
            numOfGroups++;
            for (JobKey jobKey : scheduler.getJobKeys(GroupMatcher.jobGroupEquals(groupName))) {
                List<Trigger> triggers = (List<Trigger>) scheduler.getTriggersOfJob(jobKey);
 
                jobResponse = JobResponse.builder()
                        .jobName(jobKey.getName())
                        .groupName(jobKey.getGroup())
                        .scheduleTime(DateTimeUtils.toString(triggers.get(0).getStartTime()))
                        .lastFiredTime(DateTimeUtils.toString(triggers.get(0).getPreviousFireTime()))
                        .nextFireTime(DateTimeUtils.toString(triggers.get(0).getNextFireTime()))
                        .build();
 
                if (isJobRunning(jobKey)) {
                    jobResponse.setJobStatus("RUNNING");
                    numOfRunningJobs++;
                } else {
                    String jobState = getJobState(jobKey);
                    jobResponse.setJobStatus(jobState);
                }
                numOfAllJobs++;
                jobs.add(jobResponse);
            }
        }
    } catch (SchedulerException e) {
        log.error("[schedulerdebug] error while fetching all job info", e);
    }
 
    jobStatusResponse.setNumOfAllJobs(numOfAllJobs);
    jobStatusResponse.setNumOfRunningJobs(numOfRunningJobs);
    jobStatusResponse.setNumOfGroups(numOfGroups);
    jobStatusResponse.setJobs(jobs);
    return jobStatusResponse;
}

아래와 같이 응답 값을 내려주고 있습니다.

{
  "numOfAllJobs": 3,
  "numOfGroups": 1,
  "numOfRunningJobs": 2,
  "jobs": [
    {
      "jobName": "cronJob1",
      "groupName": "DEFAULT",
      "jobStatus": "RUNNING",
      "scheduleTime": "2019-09-09 22:08:16",
      "lastFiredTime": "2019-09-09 22:10:00",
      "nextFireTime": "2019-09-09 22:11:00"
    },
    …(생략)...
  ]
}

3.2.4 Listeners

3.2.4.1 TriggerListener

메서드 이름으로 쉽게 알 수 있듯이 이벤트(ex. triggerFire, triggerMisfired) 발생시 호출되는 메서드들입니다.

vetoJobExecution 메서드는 해당 Trigger를 veto(거부, 금지) 시킬지 결정할 수 있는 메서드로 true이면 veto를 시켜서 Job이 실행되지 않고 false이면 veto를 시키지 않아 Job을 실행시킬 수 있어서 특정 조건을 넣어서 실행 여부를 결정 짓을 수 있는 메서드입니다.

@Component
public class TriggersListener implements TriggerListener {
…(생략)…
 
    @Override
    public void triggerFired(Trigger trigger, JobExecutionContext context) {
        JobKey jobKey = trigger.getJobKey();
        log.info("triggerFired at {} :: jobKey : {}", trigger.getStartTime(), jobKey);
    }
 
    @Override
    public boolean vetoJobExecution(Trigger trigger, JobExecutionContext context) {
        return false;
    }
 
    @Override
    public void triggerMisfired(Trigger trigger) {
        JobKey jobKey = trigger.getJobKey();
        log.info("triggerMisfired at {} :: jobKey : {}", trigger.getStartTime(), jobKey);
    }
 
    @Override
    public void triggerComplete(Trigger trigger, JobExecutionContext context,
                        Trigger.CompletedExecutionInstruction triggerInstructionCode) {
        JobKey jobKey = trigger.getJobKey();
        log.info("triggerComplete at {} :: jobKey : {}", trigger.getStartTime(), jobKey);
    }
}

3.2.4.2 JobListener

JobListener도 메서드 이름만으로 발생 이벤트시 호출 되는 메서드를 쉽게 알 수 있습니다. jobExecutionVetoed는 TriggersListener.vetoJobExecution() 메서드에서 veto를 시킨 경우 호출됩니다.

@Component
public class JobsListener implements JobListener {
…(생략)…
 
   @Override
   public void jobToBeExecuted(JobExecutionContext context) {
      JobKey jobKey = context.getJobDetail().getKey();
      log.info("jobToBeExecuted :: jobKey : {}", jobKey);
   }
 
   @Override
   public void jobExecutionVetoed(JobExecutionContext context) {
      JobKey jobKey = context.getJobDetail().getKey();
      log.info("jobExecutionVetoed :: jobKey : {}", jobKey);
   }
 
   @Override
   public void jobWasExecuted(JobExecutionContext context, JobExecutionException jobException) {
      JobKey jobKey = context.getJobDetail().getKey();
      log.info("jobWasExecuted :: jobKey : {}", jobKey);
   }
}

4. 정리

Quartz에서는 Scheduler의 여러 기능을 (scheduler, unschedule, pause, resume, stop) 제공하고 있어서 애플리케이션 내에 스케줄링 기능을 잘 구현할 수 있습니다. 이 포스팅에서는 스프링에서 Quartz를 어떻게 설정해서 사용할 수 있는지 알아보았습니다. RAMJobStore를 기본으로 사용해서 스케줄링 정보가 메모리에 저장되기 때문에 다중 서버 환경에서는 적합하지 않습니다. 서버 이중화를 Quartz를 어떻게 설정해야 하는지 다음 포스팅에서 알아보겠습니다.

5. 참고

Quartz 공식 사이트

http://www.quartz-scheduler.org

Spring Boot Quartz Scheduler

Quartz Job Scheduler란?

kenshin579 — Sat, 7 Sep 2019 15:11:49 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Quartz Job Scheduler에 대한 내용은 여러 시리즈 형식으로 작성을 하였습니다. Quartz에 대한 간단한 설명을 시작으로 스프링 부트 기반에서의 Quartz Job Scheduler 구현 그리고 이중화 환경에서 많이 사용하는 Quartz Cluster 구성도 아래 튜토리얼에서 같이 보도록 하겠습니다.

1부 : Quartz Job Scheduler란?
2부 : Spring Boot + Quartz을 이용한 Job Scheduler 구현 (In memory)
3부 : Multi WAS 환경을 위한 Cluster 환경의 Quartz Job Scheduler 구현
4부 : Quartz에서 실행중인 Job을 Interrupt하여 Job Scheduler를 정상종료 시키는 방법
5부 : Quartz Job Scheduler를 위한 어드민 UI React로 구현해보기

1.1 Quartz란?

Quartz는 Terracotta 라는 회사에 의해 개발된 Job Scheduling 라이브러리입니다. 완전히 자바로 개발되어 어느 자바 프로그램에서도 쉽게 통합해서 개발할 수 있습니다. Quartz는 수십에서 수천 개의 작업도 실행 가능하며 간단한 interval 형식이나 Cron 표현식으로 복잡한 스케줄링도 지원합니다. 예를 들면 매주 금요일 새벽 1시 30분에 매주 실행하는 작업이나 매월 마지막 날에 실행하는 작업도 지정할 수 있습니다.

1.2 장단점

스프링을 개발하면서 Quartz를 Job Scheduler로 자주 사용하는 이유도 있지만, 단점도 존재합니다.

장점

DB 기반으로 스케줄러 간의 Clustering 기능을 제공한다

시스템 Fail-over와 Random 방식의 로드 분산처리를 지원한다

In-memory Job Scheduler도 제공한다
여러 기본 Plug-in을 제공한다

ShutdownHookPlugin - JVM 종료 이벤트를 캐치해서 스케줄러에게 종료를 알려준다
LoggingJobHistoryPlugin - Job 실행에 대한 로그를 남겨 디버깅할 때 유용하게 사용할 수 있다

단점

Clustering 기능을 제공하지만, 단순한 random 방식이라서 완벽한 Cluster 간의 로드 분산은 안된다
어드민 UI을 제공하지 않는다
스케줄링 실행에 대한 History는 보관하지 않는다
Fixed Delay 타입을 보장하지 않으므로 추가 작업이 필요하다

2. Quartz 아키텍처와 구성요소

Quartz Scheduler에 익숙해지기 위해서 자주 사용하는 용어들을 알아보겠습니다.

2.1 용어 정리

Quartz API에서 단 하나의 메서드를 가진 execute(JobExecutionContext context) Job 인터페이스를 제공한다. Quartz를 사용하는 개발자는 수행해야 하는 실제 작업을 이 메서드에서 구현하면 된다.

Job의 Trigger가 발생하면 스케줄러는 JobExecutionContext 객체를 넘겨주고 execute 메서드를 호출한다.

JobExecutionContext는 Scheduler, Trigger, JobDetail 등을 포함하여 Job 인스턴스에 대한 정보를 제공하는 객체이다

JobDataMap

JobDataMap은 Job 인스턴스가 실행할 때 사용할 수 있게 원하는 정보를 담을 수 있는 객체이다.
JobDetail을 생성할 때 JobDataMap도 같이 세팅해주면 된다

Job 실행시 스케줄러에 Job 추가시 넣었던 JobDataMap 객체를 아래와 같이 접근하여 사용할 수 있다

JobDetail

Job을 실행시키기 위한 정보를 담고 있는 객체이다. Job의 이름, 그룹, JobDataMap 속성 등을 지정할 수 있다. Trigger가 Job을 수행할 때 이 정보를 기반으로 스케줄링을 한다

Trigger

Trigger는 Job을 실행시킬 스케줄링 조건 (ex. 반복 횟수, 시작시간) 등을 담고 있고 Scheduler는 이 정보를 기반으로 Job을 수행시킨다.
Trigger와 Job의 관계 정리

1 Trigger = 1 Job

반드시 하나의 Trigger는 반드시 하나의 Job을 지정할 수 있다

N Trigger = 1 Job

하나의 Job을 여러 시간때로 실행시킬 수 있다 (ex. 매주 토요일날, 매시간마다)

Trigger는 2가지 형태로 지정할 수 있다

SimpleTrigger

특정 시간에 Job을 수행할 때 사용되며 반복 횟수와 실행 간격등을 지정할 수 있다

CronTrigger

CronTrigger는 cron 표현식으로 Trigger를 정의하는 방식이다 (ex.매일 12시 - '0 0 12 * * ?’)
Cron 표현식은 SimpleTrigger와 같이 단순 반복뿐만이 아니라 더 복잡한 스케줄링(ex. 매월 마지막 금요일에 오후 3시부터 3시까지 몇분마다 실행)도 지정할 수 있다
Cron 표현식은 이곳을 참고해주세요

Misfire Instructions

Misfire는 Job이 실행되어야 하는 시간, fire time을 지키지 못한 실행 불발을 의미한다
이런 Misfire는 Scheduler가 종료될 때나 쓰레드 풀에 사용 가능한 쓰레드가 없는 경우에 발생할 수 있다
Scheduler가 Misfire된 Trigger에 대해서 어떻게 처리할 지에 대한 다양한 policy를 지원한다.

예를 들면..

MISFIRE_INSTRUCTION_FIRE_NOW - 바로 실행
MISFIRE_INSTRUCTION_DO_NOTHING - 아무것도 하지 않음

Listener

Listener는 Scheduler의 이벤트을 받을 수 있도록 Quartz에서 제공하는 인터페이스이며 2가지를 제공한다

JobListener

Job 실행전후로 이벤트를 받을 수 있다

TriggerLIstener

Trigger가 발생하거나 불발이 일어날 때나 Trigger를 완료할 때 이벤트를 받을 수 있다

JobStore

Job과 Trigger의 정보를 2가지 방식으로 저장할 수 있다

RAMJobStore

기본 값으로 메모리에 스케줄 정보를 저장한다
메모리에 저장하기 때문에 성능면에서는 제일 좋지만, 시스템 문제 발생시 스케줄 데이터를 유지하지 못하는 단점이 있다

JDBC JobStore

스케줄 정보를 DB에 저장하다
시스템이 셧다운되더라도 스케줄 정보는 유지되어 시스템 재시작시 다시 Job 실행을 할 수 있다

다른 기타 JobStore

Quartz JobStore을 확장하여 다른 저장소(Redis, MongoDB)에도 저장할 수 있다. 실제 구현은 아래 링크를 참고해주세요

3. Quartz 구성요소

Java Articles 블로그에서 가져온 다이어그램입니다. Quartz의 전체 구조와 흐름을 잘 보여주는 그림입니다. Quartz의 세밀한 설정을 이해하는데 공식 문서도 도움이 되지만, 실제 소스코드를 보면 Quartz의 동작과 전체 아키텍처 구조를 이해하는데 많은 도움이 됩니다.

Quartz 스케줄러가 언제 시작되고 등록된 Job들이 어떤 작업들에 의해서 실행되는지 다음 튜터리얼에서 사용할 코드를 보면서 간단하게 알아보도록 하겠습니다.

질문1 - Spring에서 Quartz Scheduler가 어떻게 시작되는지?
질문2 - 추가된 Job은 어떻게 시작되나?
질문3 - Job 실행시 호출되는 JobListener와 TriggerListener는 어떻게 호출되나?

스프링 부트 구동시 콘솔에 찍히는 화면입니다. Quartz Scheduler가 초기화되고 시작된 이후에 추가하는 SimpleJob이 실행되는 것을 볼 수 있습니다.

분석한 코드를 나름 정리한다고 했는데, 이해한 코드를 쉽게 글로 정리하기가 쉽지 않네요. 디버깅을 걸어서 따라가면서 정리된 내용을 보시면 좋을 듯합니다.

SchedulerFactoryBean

Quartz 스케줄러는 스프링의 컨테이너의 빈 LifeCycle 관리에 의해서 scheduler관련 설정이 초기화, 시작, 종료가 된다
1.1 ==> void afterPropertiesSet() : InitializingBean 인터페이스의 의해서 호출됨

prepareSchedulerFactory() 메서드는 SchedulerFactory 인스턴스인 StdSchedulerFactory를 반환해서 prepareScheduler() 인자로 넘겨주고 Scheduler instance를 초기화한다

1.2 ==> Scheduler prepareScheduler(SchedulerFactory schedulerFactory) :

SchedulerFactory로 부터 Scheduler 인스턴스를 얻어온다
1.3 ==> Scheduler createScheduler(SchedulerFactory schedulerFactory, @Nullable String schedulerName)

StdSchedulerFactory.getScheduler()에서 여러 초기화 단계를 실행한 후 Scheduler 인스턴스를 반환한다

관련 Quartz 클래스를 로드한다 (ex. JobFactory, SimpleThreadPool, JobStore)
DataSource, SchedulerPlugins에 대한 설정을 한다
JobListeners, TriggerListeners 객체 생성 및 설정

QuartzSchedulerThread도 시작한다
등등 …..

2.1 ==> start() : SmartLifeCycle 인터페이스의 의해서 호출된다

초기화한 Scheduler 인스턴스와 startUpDelay을 startScheduler() 메서드 인자 값로 넘겨준다
질문2의 답변 2.2 ==> void startScheduler(final Scheduler scheduler, final int startupDelay)

StdScheduler.start() 메서드에서 실제 QuartzScheduler 관련 쓰레드를 시작해서 등록된 Job들을 실행한다

2.2 ==> stop() : SmartLifeCycle 인터페이스의 의해서 호출된다

톰켓 shutdown할 때 stop() 메서드가 호출된다

QuartzScheduler :

3.1 ==> start() : Quartz 스케줄러가 시작된다

JobStore 설정에 따라서 조금씩 추가로 처리하는 작업이 다르다

RAMJobStore : 추가 작업 없음
JobStoreSupport :

ClusterManager를 별도의 쓰레드로 실행함
MisfireHandler를 별도의 쓰레드로 실행함

QuartzSchedulerThread extends Thread

4.1 ==> QuartzScheduler 생성자에서 호출되고 QuartzScheduler 생성자는 StdSchedulerFactory.getScheduler() -> instantiate()에 의해서 호출된다

StdSchedulerFactory.instantiate()
QuartzScheduler 생성자

4.2 ==> run()

스케줄러가 halted된 상태가 아니면 계속 loop을 돌며 Job을 실행하는 메인 로직이 들어있다

실행할 Thread가 있는 경우에

Fire할 Trigger 목록을 DB에서 얻어온 이후
인자로 넘겨준 TriggerFiredBundle 정보로 새로운 JobRunShell 쓰레드 객체를 생성하고 runInThread(shell)에서 쓰레드를 실행시킨다

질문2의 답변 ==> 4.2.1 job.execute(jec)

실제 저희가 정의한 (ex. SimpleJob, CronJob) Job을 실행하게 된다

램덤한 idle waitTime을 계산 값만큼 잠시 WAITING 상태로 변경한다

ClusterManager extends Thread

노드중에 fail 노드를 찾아서 실패된 Trigger와 Job에 대한 정보를 업데이트하여 recover를 시킨다

DB에서 fail된 노드는 SCHEDULER_STATE에서 삭제한다

MisfireHandler extends Thread

misFire된 Jobs을 스캔해서 DB의 상태를 STATE_WAITING으로 변경하여 스케줄링에 포함되도록 한다
miFire된 Job이 있는 경우 잠들어 있던 QuartzSchedulerThread 쓰레드를 모두 깨운다

JobListener / TriggerListener

==> JobRunShell.run()에서 job을 실행하는 과정에서 Job과 Trigger에 대한 listener 메서드들을 실행한다

ex. triggerFired() 메서드는 아래 메서드안에서 실행한다

4. 정리

Quartz에 대한 기본 개념과 용어 그리고 Quartz 스케줄러가 스프링에서 언제 어떻게 실행되고 추가된 Quartz Job도 어떻게 시작되는지 Quartz의 코드를 보면서 같이 알아봤습니다. 다음 튜터리얼에서는 실제 RAMJobStore을 사용해서 스케줄링하도록 구현해보겠습니다.

5. 참고

Quartz 공식 사이트

Quartz란

Quartz 장단점

Quartz Architecture

https://www.javarticles.com/2016/03/quartz-scheduler-model.html

Quartz Plugin

https://medium.com/@himsmittal/quartz-plugins-a-must-have-for-all-quartz-implementations-7ca01e98e620

Quartz Cron Generator

https://www.freeformatter.com/cron-expression-generator-quartz.html

Misfire Instruction

https://www.nurkiewicz.com/2012/04/quartz-scheduler-misfire-instructions.html

JobStore 구현

Fixed Delay

Git Rebase로 병합하기

kenshin579 — Sun, 11 Aug 2019 23:05:28 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Git Rebase 하는 방법에 대해서 알아보겠습니다. Merge와 다르게 Rebase는 한 브랜치에 커밋된 여러 commit을 그래도 다른 브랜치에 병합할 수 있는 방식입니다. 아래와 같은 시나리오는 개발하면서 자주 하게됩니다. 새로 업데이트된 master 브랜치의 여러 커밋 내용을 현재 작업 중인 브랜치로 가져와서 개발을 계속하는 경우가 종종 있지요.

Rebase 시나리오

개발자1

master에서 새로운 작업 브랜치 (feature/GIT-7-working-branch)를 생성한다
feature/GIT-7-working-branch에서 코드을 수정한다

개발자2

master에서 새로운 작업 브랜치(feature/GIT-8)를 생성한다
코드를 수정하고 master로 merge를 한다

개발자1

최신 코드를 master로 부터 받아서 개발을 하도록 rebase를 진행한다

Git Client 프로그램 중에서 개인적으로 자주 사용하는 GitKraken으로 Rebase를 해보고 또한 실제 git 명령어로도 같이 알아보겠습니다.

2. 개발 환경

OS : Mac OS
Source code : github
GUI

IDE : Intellij
Git Client : Gitkraken

3. Rebase 하기

먼저 GitKraken를 사용해서 rebase를 해보고 git 명령어로도 터미널에서 직접 rebase를 해보도록 하겠습니다.

3.1 Git Kraken으로 rebase 방식으로 병합하기

3.1.1 기능별로 브랜치를 생성하기

Frank 개발자는 master로부터 feature/GIT-6-working-branch 이름의 새로운 브랜치를 생성하고 기능 개발을 시작합니다. 새로운 브랜치는 아래 스텝으로 브랜치를 생성합니다.

master 브랜치를 선택 > 오른쪽 클릭 > Create branch here 선택 > feature/GIT-6-working-branch 브랜치 이름 입력

3.1.1.1 Frank 개발자 코드 수정후 commt하기

Frank 개발자는 체크아웃 이후에 코드 수정 후 3개의 커밋을 push합니다.

3.1.1.2 Joe 개발자 코드 수정후 commit하기

Joe 개발자도 다른 기능을 개발을 위해서 master로부터 새로운 브랜치 (feature/GIT-7)을 생성합니다.

코드 수정이후 3가지를 커밋을 했어요.

변경된 코드를 master에 반영하기 위해서 pull request (pr)를 생성합니다. GitKraken에서 아래 메뉴에서 pr을 생성할 수 있습니다.

master 브랜치 선택 > 오른쪽 클릭 > Start a pull request to origin/master from origin/feature/GIT-7 클릭 > pr 내용 입력 (ex. 제목, 내용등등)

Pull request을 생성하면 Github 사이트로 바로 갈 수 있는 링크가 생성이 되어 링크버튼을 클릭하여 Github 사이트로 들어갑니다. Merge pull request 버튼을 클릭하여 병합을 진행합니다.

코드상 Conflict가 없어서 merge 하면 바로 성공 메시지가 뜹니다.

Joe가 커밋한 내용(feature/GIT-7)은 master에 잘 반영되었네요.

3.1.2 Rebase로 최신 master로 rebase로 합병하기

Joe 개발자에 의해 커밋된 최신 코드를 현재 Frank 개발자가 개발 중인 feature/GIT-6-working-branch로 가져와 보도록 할게요.

master 브랜치 선택 후 > 오른쪽 클릭 > 아래 둘중에 하나를 선택

Rebase feature/GIT-6-working-branch onto master 클릭
Interactive Rebase feature/GIT-6-working-branch onto master 클릭

이 메뉴를 선택하면 여러 커밋을 선택적으로 Rebase 시킬 수 있다 (참고 : 3.1.3)

Rebase를 하면 feature/GIT-6-working-branch 커밋 내용이 master 브랜치에 커밋 내용 다음에 오는 것을 볼 수 있습니다.

master 브랜치에 가져올 내용이 3개가 있고 pull로 커밋을 가져온 이후 push를 하면 병합이 완료됩니다.

remote/GIT-6-working-branch로 push한 결과입니다. GIT-6-working-branch에서 작업한 내용 (ex. annotation 제거, 어노테이션 제거, 코멘트 수정)이 master 브랜치 커밋 내용 다음으로 커밋되었네요.

3.1.3 Interactive 하게 Rebase 하기

같은 상황에서 여러 방식으로 rebase를 테스트해보기 위해 같은 지점에서 여러 브랜치(ex. GIT-6-working-branch-*)를 미리 생성해 두었어요.

Rebase를 interactive하게 진행하면 아래와 같이 커밋한 내용을 선택적으로 포함시킬지 시키지 않을 지 rebase 시점에 결정할 수 있습니다. 이 예제에서는 Start Rebase 버튼을 클릭해서 전체 커밋을 포함해서 rebase 시킵니다.

일반적인 방식으로 rebase한 결과와 같습니다.

3.2 Git Command로 직접 rebase해보기

Git Client를 사용하면 쉽게 브랜치를 생성하고 병합할 수 있지만, Git 명령어도 같이 알아보겠습니다.

3.2.1 작업 브랜치로 전환하기

작업 브랜치로 전환합니다.

># git checkout GIT-6-working-branch-cmd

3.2.2 Rebase 하기

아래 명령어로 현재 작업 브랜치를 master로 rebase 시킵니다. 매우 간단하죠?

># git rebase origin/master

Git Kraken에서 rebase한 내용을 보면 결과가 같은 것을 확인할 수 있습니다.

3.3 Merge로 병합하기

Rebase를 하면 지금까지 커밋한 여러 내용이 유지가 되어 history가 남게 되는 반면에 Merge로 병합을 하는 경우에는 여러 커밋이 하나의 커밋 내용으로 병합되기 때문에 커밋 history를 잃어버리게 되는 단점이 있습니다. 결과적으로 어떻게 다른지 GitKraken에서 merge로 병합을 해보겠습니다.

master 선택후 > 오른쪽 클릭 > Merge master into feature/GIT-6-working-branch-merge-test

master 브랜치에 커밋된 내용이 통째로 GIT-6-working-branch-merge-test로 merge가 되었습니다.

4. 결론

Git Client와 터미널상에서 rebase 병합을 진행해보았습니다. 둘 다 쉽게 rebase를 할 수 있고 개인적인 취향에 맞게 가장 익숙한 방식으로 진행하면 될 것 같습니다. 추가로 병합 시 merge와 rebase의 차이점도 간단하게 알아보았는데요. master의 커밋 history를 남기는 상태에서 병합하고 싶은 경우에는 merge 대신에 같이 알아보았던 rebase 방식으로 병합을 하면 되겠습니다.

5. 참고

Rebase란

https://git-scm.com/book/ko/v1/Git-브랜치-Rebase하기

Rebase vs Merge

https://elegantcoder.com/git-merge-or-rebase/

Rebase in GitKaren

https://blog.axosoft.com/rebasing-gitkraken-vs-cli/

Rebase는 언제 해야 하나?

http://dogfeet.github.io/articles/2012/git-merge-rebase.html

명령어로 직접 rebase하기

https://git-scm.com/book/ko/v1/Git-브랜치-Rebase하기

Q&A : Spring Boot Annotation 모음

kenshin579 — Wed, 3 Jul 2019 20:41:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

Spring Boot Annotation

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

Spring Boot

쉽게 찾기 위해서 알파벳 순으로 정리합니다.

@SpringBootApplication

@SpringBootApplication 어노테이션은 @Configuration, @EnableAutoConfiguration, @ComponentScan 어노테이션이 뭉쳐진 어노테이션입니다.

@EnableAutoConfiguration

이 어노테이션은 스프링 부트에서 자동 구성(Auto-Configuration)을 활성화 시키는 어노테이션이다.
스프링 부트는 클래스패스, 어노테이션, 구성 파일을 보고 가장 적절한 앱에 맞는 기술을 넣어 구성을 해준다.

참고

http://partnerjun.tistory.com/54

Q&A : Spring JPA Annotation 모음

kenshin579 — Wed, 3 Jul 2019 20:39:16 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

Spring JPA Annotation

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

- @NaturalId

[답변완료]

Spring JPA

쉽게 찾기 위해서 알파벳 순으로 정리합니다.

@EntityScan

이 어노테이션으로 엔티티 클래스를 스캔할 곳을 지정하는데 사용합니다. 메인 어플리케이션 패키지 내에 엔티티 클래스가 없는 경우 이 어노테이션을 사용해서 패키지 밖에 존재하는 엔티티를 지정할 수 있습니다. 기존적으로 @EnableAutoConfiguration 어노테이션에 의해서 지정한 곳에서 엔티티를 스캔합니다.

참고

https://dzone.com/articles/spring-boot-entity-scan

@UniqueConstraint

이 어노테이션은 JPA 컬럼 2개 이상 unique하게 설정하려고 할때 사용합니다.

참고로 하나의 컬럼에 unique 한 설정을 하려면 아래와 같습니다.

참고

Q&A : Git 관련 질문 모음

kenshin579 — Thu, 20 Jun 2019 19:27:26 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

GIT

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. WIP란?

Work In Progress란 뜻입니다. Gitkraken이 WIP를 자동으로 생성해주었는데요. revert할 때 현재 브랜치에서 작업하는 파일이 있어서 자동으로 stash을 하면서 WIP를 생성한 상황입니다.

참고

https://stackoverflow.com/questions/15763059/github-what-is-a-wip-branch

스프링 RestTemplate

kenshin579 — Mon, 6 May 2019 21:01:53 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

스프링 프레임워크에서는 REST 서비스의 Endpoint를 호출할 수 있도록 크게 2가지 방식인 동기, 비동기 REST Client을 제공합니다. 이번 포스팅에서는 동기방식인 RestTemplate에 대해서 알아보겠습니다.

RestTemplate

Spring 3부터 지원 되었고 REST API 호출이후 응답을 받을 때까지 기다리는 동기방식이다

AsyncRestTemplate

Spring 4에 추가된 비동기 RestTemplate이다
Spring 5.0에서는 deprecated 되었다

WebClient

Spring 5에 추가된 논블럭, 리엑티브 웹 클리이언트로 동기, 비동기 방식을 지원한다

RestTemplate은 스프링에서 제공하는 다른 여러 *Template 클래스 (ex. JdbcTemplate, RedisTemplate)와 동일한 원칙에 따라 설계되어 단순한 방식의 호출로 복잡한 작업을 쉽게 하도록 제공합니다. RestTemplate 클래스는 REST 서비스를 호출하도록 설계되어 HTTP 프로토콜의 메서드 (ex. GET, POST, DELETE, PUT)에 맞게 여러 메서드를 제공합니다.

메서드	HTTP	설명
getForObject	GET	주어진 URL 주소로 HTTP GET 메서드로 객체로 결과를 반환받는다
getForEntity	GET	주어진 URL 주소로 HTTP GET 메서드로 결과는 ResponseEntity로 반환받는다
postForLocation	POST	POST 요청을 보내고 결과로 헤더에 저장된 URI를 결과로 반환받는다
postForObject	POST	POST 요청을 보내고 객체로 결과를 반환받는다
postForEntity	POST	POST 요청을 보내고 결과로 ResponseEntity로 반환받는다
delete	DELETE	주어진 URL 주소로 HTTP DELETE 메서드를 실행한다
headForHeaders	HEADER	헤더의 모든 정보를 얻을 수 있으면 HTTP HEAD 메서드를 사용한다
put	PUT	주어진 URL 주소로 HTTP PUT 메서드를 실행한다
patchForObject	PATCH	주어진 URL 주소로 HTTP PATCH 메서드를 실행한다
optionsForAllow	OPTIONS	주어진 URL 주소에서 지원하는 HTTP 메서드를 조회한다
exchange	any	HTTP 헤더를 새로 만들 수 있고 어떤 HTTP 메서드도 사용가능하다
execute	any	Request/Response 콜백을 수정할 수 있다

2. 개발 환경

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

예제 프로젝트는 스프링 부트로 작성되어 기본 스프링 부트 의존성을 추가하면 RestTemplate 관련 의존성은 자동으로 추가됩니다.

기본 스프링을 사용 중이라면 spring-webmvc 의존성만 추가하여 작업하시면 됩니다. 실제로 RestTemplate은 spring-web 의존성에 포함된 클래스이지만, spring-webmvc 의존성에 spring-web이 포함되어 있어 같이 의존성이 포함됩니다.

<dependency>
    <groupId>org.springframework</groupId>
    <artifactId>spring-webmvc</artifactId>
    <version>4.3.7.RELEASE</version>
</dependency>

3. RestTemplate의 동작원리

RestTemplate의 동작원리에 대한 내용은 빨간색코딩 블로그에 잘 정리가 되어 있어 별도로 정리는 하지 않았습니다. 해당 링크에 들어가서 더 자세한 설명을 참조해주세요.

4. RestTemplate 메서드 예제

RestTemplate에서 자주 사용하는 메서드 위주로 알아보겠습니다.

4.1 GET 메서드

4.1.1 getForObject()

getForObject() 메서드는 GET을 수행하고 HTTP 응답을 객체 타입으로 변환해서 반환해주는 메서드입니다. 이 예제에서는 Employee 객체로 반환해줍니다.

Client Code - Unit Test

@Test
public void test_getForObject() {
   Employee employee = restTemplate.getForObject(BASE_URL + "/{id}", Employee.class, 25);
   log.info("employee: {}", employee);
}

Controller에서는 getEmployee() 호출 시 응답으로 Employee 객체를 JSON 형태로 변환합니다. 예제를 실행해 보면 추가 설정 없이 자동으로 JSON 형태로 잘 받는 것을 알 수 있습니다.

스프링 부트에서는 Controller 단에 @RestController 어노테이션을 추가하면 클래스패스에 Jackson2 (jackson-databind)가 있는 한 기본적으로 JSON 응답을 처리합니다. spring-boot-starter-web 의존성을 추가했다면 jackson-databind은 transitive 의존성에 의해서 같이 포함됩니다.

Controller Code

@RequestMapping(method = RequestMethod.GET, value = "/{id}", produces = MediaType.APPLICATION_JSON_VALUE)
public Employee getEmployee(@PathVariable Long id) {
   log.info("id: {}", id);
 
   Employee employee = Employee.builder()
         .id(id)
         .name("Frank Oh")
         .gender(Gender.FEMALE)
         .address(Address.builder()
               .street("123동 135호 파란아마트")
               .city("Seoul")
               .postalCode("1234")
               .build())
         .build();
   log.info("employee: {}", employee);
   return employee;
}

실행 화면

4.1.2 getForEntity()

getForEntity() 메서드의 경우에는 응답을 ResponseEntity 객체로 받게 됩니다. getForObject()와 달리 HTTP 응답에 대한 추가 정보를 담고 있어서 GET 요청에 대한 응답 코드, 실제 데이터를 확인할 수 있습니다. 또한 ResponseEntity<T> 제네릭 타입에 따라서 응답을 String이나 Object 객체로 받을 수 있습니다.

예제에서는 응답 값을 JSON 스트링 형태로 받고 있습니다.

Client Code - Unit Test

@Test
public void test_getForEntity() {
   ResponseEntity<String> responseEntity = restTemplate.getForEntity(BASE_URL + "/{id}", String.class, 25);
   log.info("statusCode: {}", responseEntity.getStatusCode());
   log.info("getBody: {}", responseEntity.getBody());
}

실행 화면

4.1.3 getForEntity()에 여러 값을 담은 params을 같이 넘겨주기

getForEntity() 메서드는 또한 여러 값을 담은 params를 인자로 받아서 GET 요청을 할 수 있습니다. 예제에서는 URL PATH에 필요한 name과 country 변수를 LinkedMultiValueMap 객체에 담아서 params로 넘겨주었습니다.

Client Code - Unit Test

@Test
public void test_getForEntity_여러_path_variables을_넘겨주는_경우() {
   MultiValueMap<String, String> params = new LinkedMultiValueMap<>();
   params.add("name", "Frank Oh");
   params.add("country", "US");
 
   ResponseEntity<Employee> responseEntity = restTemplate.getForEntity(BASE_URL + "/{name}/{country}", Employee.class, params);
   log.info("statusCode: {}", responseEntity.getStatusCode());
   log.info("getBody: {}", responseEntity.getBody());
}

실행 화면

4.2 POST

다음은 POST 메서드에 대한 메서드들입니다.

4.2.1 postForObject() 헤더 포함하지 않고 보내기

postForObject()는 getForObject()와 같이 POST 요청에 대해서 반환 값을 해당 객체로 반환해주는 메서드입니다. Employee 객체를 POST의 body로 해서 보냅니다.

Client Code - Unit Test

@Test
public void testPostForObject_해더_포함해서_보내지_않기() {
   Employee newEmployee = Employee.builder()
         .name("Frank")
         .address(Address.builder()
               .country("US")
               .build())
         .build();
 
   Employee employee = restTemplate.postForObject(BASE_URL + "/employee", newEmployee, Employee.class);
   log.info("employee: {}", employee);
}

Controller에서는 일반적으로 Employee 객체를 POST 메세드로 받아서 서비스 로직을 실행 하겠지만, 여기에서는 간단하게 로그로 출력을 했습니다. 응답 값으로는 받은 객체와 응답 코드 HTTP 201를 ResponseEntity로 반환합니다.

Controller Code

@RequestMapping(value = "/employee", method = RequestMethod.POST)
public ResponseEntity<Employee> saveEmployee(
      @RequestHeader(value = "headerTest", required = false) String headerTest,
      @RequestBody Employee employee) {
   log.info("headerTest: {}", headerTest);
   log.info("employee: {}", employee);
   return new ResponseEntity<>(employee, HttpStatus.CREATED);
}

실행 화면

4.2.2 postForObject() 해더 포함해서 보내기

이번에는 헤더에 데이터를 실어서 보내 보겠습니다. Employee 객체와 custom 헤더를 인자로 넘겨 HttpEntity를 생성합니다. 생성한 HttpEntity를 postForObject에 담아서 보내면 Controller에서 @RequestHeader 어노테이션으로 값을 얻어올 수 있습니다.

Client Code - Unit Test

@Test
public void testPostForObject_해데_포함해서_보내기() {
   Employee newEmployee = Employee.builder()
         .name("Frank")
         .address(Address.builder()
               .country("US")
               .build())
         .build();
 
   HttpHeaders headers = new HttpHeaders();
   headers.set("headerTest", "headerValue");
 
   HttpEntity<Employee> request = new HttpEntity<>(newEmployee, headers);
 
   Employee employee = restTemplate.postForObject(BASE_URL + "/employee", request, Employee.class);
   log.info("employee: {}", employee);
}

실행 화면

4.2.3 postForEntity()

postForEntity() 메서드는 ResponseEntity<T> 객체로 데이터를 받을 수 있습니다. 예제에서는 Employee 객체로 받는 대신 String으로 받는 예제여서 응답 body가 스트링 JSON 형태로 출력됩니다.

Client Code - Unit Test

@Test
public void testPostForEntity_스트링값으로_받기() {
   Employee newEmployee = Employee.builder()
         .name("Frank")
         .address(Address.builder()
               .country("US")
               .build())
         .build();
 
   ResponseEntity<String> responseEntity = restTemplate.postForEntity(BASE_URL + "/employee", newEmployee, String.class);
   log.info("statusCode: {}", responseEntity.getStatusCode());
   log.info("getBody: {}", responseEntity.getBody());
}

실행 화면

4.2.4 postFoLocation()

postForLocation() 메서드는 객체를 반환하는 대신 생성된 리소스의 URI 위치를 반환합니다.

Client Code - Unit Test

@Test
public void testPostForLocation() {
   Employee newEmployee = Employee.builder()
         .name("Frank")
         .address(Address.builder()
               .country("US")
               .build())
         .build();
 
   HttpEntity<Employee> request = new HttpEntity<>(newEmployee);
 
   URI location = restTemplate.postForLocation(BASE_URL + "/employee/location", request);
   log.info("location: {}", location);
}

Controller에서는 헤더에 URI location 값을 저장하여 ResponseEntity로 반환합니다.

Controller Code

@RequestMapping(value = "/employee/location", method = RequestMethod.POST)
public ResponseEntity<Void> locationURI(
      @RequestBody Employee employee,
      UriComponentsBuilder builder) {
 
   HttpHeaders headers = new HttpHeaders();
   headers.setLocation(builder.path("/location/{name}").buildAndExpand(employee.getName()).toUri());
 
   log.info("headers: {}", headers);
   return new ResponseEntity<>(headers, HttpStatus.CREATED);
}

실행 화면

4.3 DELETE

delete() 메서드는 HTTP DELETE을 수행하며 회원의 이름을 넘겨주면 매핑된 Controller의 deleteEmployeeByName 메서드가 실행됩니다.

Client Code - Unit Test

@Test
public void testDelete() {
   Map<String, String> params = new HashMap<>();
   params.put("name", "Frank");
   restTemplate.delete(BASE_URL + "/employee/{name}", params);
}

Controller Code

@RequestMapping(value = "/employee/{name}", method = RequestMethod.DELETE)
public void deleteEmployeeByName(@PathVariable(value = "name") String name) {
   log.info("deleting employee: {}", name);
}

실행 화면

4.4 PUT

put() 메서드도 다른 메서드(ex. postForObject)과 비슷합니다. PUT은 데이터를 업데이트하기 위해 요청을 보내기 때문에 body에 데이터를 실어서 보냅니다. 예제에서는 Address 객체를 실어서 보냅니다.

Client Code - Unit Test

@Test
public void testPut() {
   Map<String, String> params = new HashMap<>();
   params.put("name", "Frank");
   Address address = Address.builder()
         .city("Columbus")
         .country("US")
         .build();
   restTemplate.put(BASE_URL + "/employee/{name}", address, params);
}

Controller Code

@RequestMapping(value = "/employee/{name}", method = RequestMethod.PUT)
public void updateEmployee(@PathVariable(value = "name") String name, @RequestBody Address address) {
   log.info("name : {} address {}", name, address);
}

실행 화면

4.5 Exchange()

4.5.1 Exchange()로 HTTP GET 메서드 실행하기

지금까지 HTTP 메서드 별로 RestTemplate에서 제공하는 API들을 같이 봤습니다. 별도의 메서드들도 제공하지만, 일반적으로 모두 처리가 가능한 하나의 메서드인 Exchange API도 제공합니다.

앞에서 사용했던 getForObject() 메서드 대신에 exchange() 메서드를 사용해서 값을 조회해보겠습니다. 헤더에 값을 포함해서 호출하는 예제입니다.

Client Code - Unit Test

HttpEntity 객체에 “Hello World” 스트링값과 헤더 설정값을 저장합니다. exchange() 메서드에 HttpMethod.GET 메서드를 지정하여 헤더 값도 같이 해당 URL로 보내고 결과를 화면에 출력합니다.

@Test
public void test_exchange() {
   HttpHeaders headers = new HttpHeaders();
   headers.setContentType(MediaType.APPLICATION_JSON);
   HttpEntity<String> request = new HttpEntity<>("Hello World!", headers);
   log.info("request: {}", request);
 
   ResponseEntity<Employee> empEntity = restTemplate.exchange(BASE_URL + "/exchange/employee/{id}", HttpMethod.GET, request, Employee.class, 50);
   log.info("empEntity: {}", empEntity);
}

Controller Code

@RequestMapping(method = RequestMethod.GET, value = "/exchange/employee/{id}", produces = MediaType.APPLICATION_JSON_VALUE)
public ResponseEntity<Employee> getEmployeeByExchangeMethod(
      @PathVariable Long id,
      @RequestHeader HttpHeaders headers) {
   log.info("id : {} headers: {}", id, headers);
 
   Employee employee = Employee.builder()
         .name("Frank")
         .address(Address.builder()
               .country("US")
               .build())
         .build();
 
   log.info("employee: {}", employee);
   return new ResponseEntity<>(employee, HttpStatus.OK);
}

실행 화면

4.5.2 exchange()로 객체 컬렉션을 받아보기

단순히 하나의 객체(ex. 직원) 정보를 반환하는 메서드를 Controller에서 정의하지만, 전체 직원을 조회해서 List<Employee> 형태로 반환하는 EndPoint가 필요할 때가 있습니다.

Controller Code

모든 직원을 조회해서 반환하는 메서드입니다. 2명의 직원을 리스트에 넣어 List<Employee>를 반환합니다.

@RequestMapping(method = RequestMethod.GET, value = "/employees", produces = MediaType.APPLICATION_JSON_VALUE)
public List<Employee> getAllEmployees() {
   List<Employee> lists = new ArrayList();
 
   lists.add(Employee.builder()
         .name("frank1")
         .address(Address.builder()
               .country("US")
               .build())
         .build());
 
   lists.add(Employee.builder()
         .name("frank2")
         .address(Address.builder()
               .country("US")
               .build())
         .build());
 
   log.info("lists: {}", lists);
   return lists;
}

Client Code - Unit Test

RestTemplate에서 리스트 형태의 객체 목록을 얻으려면 ResponseEntity와 ParameterizedTypeReference 객체를 사용하면 됩니다. ParameterizedTypeReference 객체를 사용하면 응답을 Class 대신 제네릭한 타입을 지정할 수 있습니다. 예제에서는 응답을 List<Employee> 타입으로 지정하였습니다. ParameterizedTypeReference 객체는 abstract 클래스이여서 바로 사용하기 위해 익명 인라인 클래스를 사용하였고 더 자세한 내용은 슈터 타입 토큰을 참조해주세요.

@Test
public void test_get_lists_of_objects() {
   ResponseEntity<List<Employee>> responseEntity = restTemplate.exchange(BASE_URL + "/employees", HttpMethod.GET, null,  new ParameterizedTypeReference<List<Employee>>(){});
   log.info("responseEntity: {}", responseEntity);
}

실행 화면

4.6 optionsForAllow()

optionsForAllow()는 해당 URI에서 지원하는 HTTP 메서드를 조회하는 메서드입니다.

Client Code - Unit Test

@Test
public void test_optionsForAllow() {
   final Set<HttpMethod> optionsForAllow = restTemplate.optionsForAllow(BASE_URL + "/employee");
 
   log.info("optionsForAllow: {}", optionsForAllow);
}

실행 화면

http://localhost:8080/employee 에서 지원하는 HTTP 메서드는 POST와 OPTIONS을 지원합니다.

4.7 Timeout 설정하기

RestTemplate 사용시 timeout과 같은 connection에 대한 설정을 추가로 할 수가 있습니다. 간단한 설정은 SimpleClientHttpRequestFactory 객체를 사용하면 되지만, 많은 기능을 제공하지 않아 실제 환경에서는 더 많은 기능(ex. retry)을 제공하는 별도의 HTTP Client 라이브러리를 사용합니다. 이 예제에서는 아파치의 httpclient를 추가하여 Read timeout을 설정하여 사용하겠습니다.

pom.xml 파일에 라이브러리를 추가합니다.

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.6</version>
</dependency>

Client Code - Unit Test

ClientHttpRequestFactory 객체에 connection과 read에 대한 timeout을 5초로 설정했습니다. 컨트롤러에서는 10초동안 sleep을 해서 결과를 5초안에 반환하지 않아서 ResourceAccessException이 발생하고 Read timed out을 출력하는 것을 확인할 수 있습니다.

@Test
public void test_timeout() {
   final ClientHttpRequestFactory requestFactory = getRequestFactory();
   final RestTemplate restTemplateTimeout = new RestTemplate(requestFactory);
 
   assertThatThrownBy(() -> restTemplateTimeout.getForObject(BASE_URL + "/timeout/{id}", Employee.class, 25))
         .isInstanceOf(ResourceAccessException.class);
}
 
ClientHttpRequestFactory getRequestFactory() {
   final int timeoutInSecs = 5;
 
   final HttpComponentsClientHttpRequestFactory clientHttpRequestFactory = new HttpComponentsClientHttpRequestFactory();
   clientHttpRequestFactory.setConnectTimeout(timeoutInSecs * 1000);
   clientHttpRequestFactory.setReadTimeout(timeoutInSecs * 1000);
   return clientHttpRequestFactory;
}

실행 화면

4.8 patchForObject()

patchForObject()는 주어진 URL 주소로 HTTP Patch 메서드를 실행합니다. HTTP에서 리소스를 생성하는 메서드는 3가지가 있습니다. 간단하게 리뷰를 하고 Patch 예제 코드를 보겠습니다.

POST

리소스의 위치를 지정하지 않는 방식으로 리소스를 생성하는 연산이다
POST는 idempotent 하지 않다 (연산을 반복해도 같은 값이 나온다는 개념)
ex. POST /employee

매번 실행할 때마다 다른 곳에 새로운 리소스가 생성됨 (ex. /employee/2, /employee/3)

명확한 리소스의 위치에 사용되며 리소스의 생성이나 업데이트를 위해 사용하는 연산이다
PUT는 idempotent하다
ex. PUT /employee/{id}

PATCH

PUT와 같이 정해진 리소스의 위치에 사용되지만, 모든 퍼라미터를 업데이트하기보다는 부분적인 데이터만 업데이트한다
ex. PATCH /employee/{id}

JDK HttpURLConnection에서는 PATCH 메서드를 지원하지 않기 때문에 아래 오류가 발생합니다. 기본 HttpURLConnection 대신 Patch 메서드를 지원하는 아파치의 HttpComponents를 사용합니다.

Client Code - Unit Test

@Test
public void test_patchForObject() {
   final RestTemplate patchRestTemplate = new RestTemplate(getRequestFactory());
 
   Address address = Address.builder()
         .city("Columbus")
         .country("US")
         .build();
 
   patchRestTemplate.patchForObject(BASE_URL + "/employee/{name}", address, Address.class,"frank");
}

4.9 Execute()

마지막으로 Execute() 메서드에 대해서 알아보겠습니다. Execute()는 콜백을 통해 요청 준비와 응답 추출을 완벽하게 제어하여 요청을 수행하는 가장 일반적인 메서드를 RestTemplate에서 제공합니다. 그래서 실제 지금까지 언급했던 메서드 getForObject(), put()등은 내부적으로 execute() 메서드를 호출하게 되어 있습니다.

아래 코드는 getForObject()와 put() 메서드의 구현 부분입니다. 인자로 넘겨진 파라미터로 execute()를 호출합니다.

public void put(String url, @Nullable Object request, Map<String, ?> uriVariables) throws RestClientException {
    RequestCallback requestCallback = this.httpEntityCallback(request);
    this.execute(url, HttpMethod.PUT, requestCallback, (ResponseExtractor)null, (Map)uriVariables);
}
 
@Nullable
public <T> T getForObject(String url, Class<T> responseType, Object... uriVariables) throws RestClientException {
    RequestCallback requestCallback = this.acceptHeaderRequestCallback(responseType);
    HttpMessageConverterExtractor<T> responseExtractor = new HttpMessageConverterExtractor(responseType, this.getMessageConverters(), this.logger);
    return this.execute(url, HttpMethod.GET, requestCallback, responseExtractor, (Object[])uriVariables);
}

Client Code - Unit Test

URL 주소로 요청을 보내기전에 요청 콜백은 인자로 넘겨준 Address 객체를 body에 세팅하고 헤더 값들도 설정합니다.

@Test
public void testExecute() {
   Address address = Address.builder()
         .city("Columbus")
         .country("US")
         .build();
   restTemplate.execute(BASE_URL + "/employee/{name}", HttpMethod.PUT, requestCallback(address), clientHttpResponse -> null, "frank");
}
 
RequestCallback requestCallback(final Address address) {
   return clientHttpRequest -> {
      log.info("address : {}", address);
      ObjectMapper mapper = new ObjectMapper();
      mapper.writeValue(clientHttpRequest.getBody(), address);
      clientHttpRequest.getHeaders().add(
            HttpHeaders.CONTENT_TYPE, MediaType.APPLICATION_JSON_VALUE);
      clientHttpRequest.getHeaders().add(
            HttpHeaders.AUTHORIZATION, "Basic " + "testpasswd");
   };
}

실행 화면

5. 참고

RestTemplate

RestTemplate 동작 원리

https://sjh836.tistory.com/141

Get Lists of Objects

https://www.baeldung.com/spring-rest-template-list

WebClient

Super type tokens (ParameterizedTypeReference)

Anonymous Inner Class

https://www.geeksforgeeks.org/anonymous-inner-class-java/

Patch vs Put vs Post

Node.js 모듈 NPM 저장소에 배포하기

kenshin579 — Sun, 24 Mar 2019 20:41:35 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

이번 포스팅에서는 Node.js 모듈을 NPM 저장소에 배포하는 방법에 대해서 알아보겠습니다. NPM은 Node Package Modules 약자로 Node.js 모듈 관리해주는 패키지 관리자입니다.

NPM의 명령어로 쉽게 Node.js 모듈을 설치해서 js 라이브러리를 사용할 수도 있고 또한 개발한 모듈을 다른 이들이 사용할 수 있도록 저장소에 배포할 수도 있습니다.

2. NPM 저장소에 배포하기

배포과정은 맥 환경으로 설명하겠습니다.

2.1 NPM 설치

NPM 명령어는 Node.js 설치 시 같이 설치되는데, 노드가 아직 설치되어 있지 않다면 brew로 설치합니다.

># brew install nodejs
># npm -h

2.2 package.json

NPM 저장소에 배포하기 위해 간단한 파일 몇 개만 필요합니다. 그중 가장 먼저 작성하게 되는 파일이 package.json 입니다. 프로그램에 대한 기본적인 내용(ex. 이름, 버전)을 포함해서 프로그램에 필요한 dependency 그리고 실행 방법 등을 기술할 수 있습니다.

npm의 init 명령어로 -y 옵션을 주어서 non-interactive 하게 기본 설정으로 package.json을 생성할 수 있습니다.

># npm init -y

아래는 app-timer-pomodoro의 package.json 파일입니다. 기본 값으로 설정한 것보다 더 많은 내용이 있지만, 쉽게 이해할 수 있는 수준입니다.

{
  "name": "timer-pomodoro",
  "version": "0.1.1",
  "description": "Simple counting down console pomodoro program.",
  "preferGlobal": true,
  "bin": {
    "timer-pomodoro": "lib/app.js"
  },
  "scripts": {
    "compile": "babel -d lib/ src/",
    "compile:watch": "babel -w -d lib/ src/",
    "coverage": "nyc npm test",
    "coverage:lcov": "nyc npm test && nyc report --reporter=text-lcov | coveralls",
    "lint": "standard --fix",
    "prepublish": "npm run compile",
    "start": "node lib/app.js",
    "test": "mocha --compilers js:babel-core/register",
    "release:patch": "npm run lint && npm run compile && npm version patch && npm publish"
  },
  "repository": {
    "type": "git",
    "url": "git+https://github.com/kenshin579/app-timer-pomodoro.git"
  },
  "keywords": [
      …(생략)...
    "time management"
  ],
  "author": "Frank Oh <kenshin579@gmail.com>",
  "license": "MIT",
  "bugs": {
    "url": "https://github.com/kenshin579/app-timer-pomodoro/issues"
  },
  "homepage": "https://github.com/kenshin579/app-timer-pomodoro#readme",
  "dependencies": {
    "ascii-numbers": "^1.0.4",
   …(생략)...
}

2.3 소스 코드

npm init으로 간단하게 생성한 예제에서는 index.js 소스 파일만 생성해서 ‘hello world’를 출력하겠습니다.

># code index.js
console.log('hello world')


># node index.js

2.4 첫 배포

NPM 저장소에 배포하기 위해서는 NPM 사이트에 계정이 있어야 하고 명령어 창에서 사이트로 로그인 이후에 배포할 수 있습니다.

2.4.1 사용자 등록하기

NPMJS 사이트에 계정이 없는 경우에는 사이트에 접속해서 계정을 생성합니다.

># npm login

명령어로도 바로 계정을 생성할 수 있습니다.

># npm adduser

2.4.2 저장소에 배포하기

모듈 배포는 간단합니다. npm publish 명령어로 프로젝트 폴더에서 실행하면 됩니다.

npm-publish-test는 이미 존재하는 프로젝트이여서 package.json에서 name을 ykoh-npm-publish-test로 변경한 이후에 다시 publish를 하였습니다.

># npm publish

이상 없이 배포되면 NPM 사이트에서도 바로 확인할 수 있습니다.

https://www.npmjs.com/package/ykoh-npm-publish-test

2.5 재배포

코드 수정이후에 모듈을 재배포하려면 버전을 업데이트해야 합니다. 버저닝은 npm version 명령어를 사용해서 쉽게 업데이트를 하면 됩니다.

minor 옵션을 주면 package.json 파일에서 version의 minor 숫자를 수정해줍니다.

># npm version minor

버전에서 patch 부분을 업데이트합니다.

># npm version patch

소스 수정하고 테스트하고 버저닝 올리고 배포하는 명령어를 일일이 타이팅하기보다는 배포하는 전체 과정을 package.json에서 스크립트화 하면 보다 전체 재배포 과정을 수월하게 진행할 수 있습니다. app-timer-pomodoro의 package.json 파일입니다.

 "scripts": {
    "compile": "babel -d lib/ src/",
    "lint": "standard --fix",
    "prepublish": "npm run compile",
    "start": "node lib/app.js",
    "test": "mocha --compilers js:babel-core/register",
    "release:patch": "npm run lint && npm run compile && npm test && npm version patch && npm publish"
  }

버저닝 이후에는 다시 npm publish로 배포하면 됩니다.

2.6 저장소에서 제거하기

이미 publish한 패키지도 unpublish 명령어로 저장소에서 제거할 수 있습니다.

># npm unpublish

2.7 기타 사항

2.7.1 .npmignore

.npmignore 파일에 리스트업된 파일이나 폴더는 배포에서 제외됩니다. .npmignore 파일이 없는 경우에는 .gitignore 파일을 대신 참조하여 배포에서 제외합니다.

제외시킬 파일들은 IDE 설정파일, test 관련 파일, log 파일 등이 있습니다.

># code .npmignore
*~
*.iml
.coveralls.yml
.eslintignore
.eslintrc.json
.idea
.nyc_output
.travis.yml
node_modules
npm-debug.log
src
test

3. 참고

Q&A : Maven 관련 질문 모음

kenshin579 — Sun, 24 Mar 2019 14:29:07 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

MAVEN

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. maven으로 특정 클래스의 메서드 unit test 실행은 어떻게 하나?

Q&A : JsonPath 관련 질문 모음

kenshin579 — Sun, 24 Mar 2019 13:40:02 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

JSONPATH

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. com.jayway.jsonpath 라이브러리는 어디에서 사용하나?

Jayway JsonPath는 JsonPath 표기법(ex. $.data[0])으로 json 데이터의 값은 부분적으로 extract할 수 있는 라이브러리입니다.

참고

https://advenoh.tistory.com/28

Q&A : MySql 관련 질문 모음

kenshin579 — Sun, 24 Mar 2019 10:38:19 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

MYSQL

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. 테이블 생성시 InnoDB를 왜 설정해야 하나?

MySQL의 Storage Engine에는 여러 가지가 존재합니다. 제일 많이 사용되는 버전은 MyISAM와 InnoDB입니다. 테이블 생성시 어떤 엔진을 사용할 지 설정할 수 있습니다.

참고

MyISAM vs. InnoDB

https://ojava.tistory.com/25

2. 왜 auto_increment를 하면 1로 증가하지 않고 4씩 증가하나?

기본 설정은 1씩 증가하지만 auto_increment_increment 값을 다르게 설정하면 지정한 값만큼 증가하게 됩니다.

mysql> show variables like 'auto_inc%’;

참고

3. Sql 문구에서 가끔씩 '@변수 := …’ 를 발견했다. 무슨 의미일까?

사용자 정의 변수를 저장할 때 사용합니다. 이 경우에는 SELECT로 구한 media_no 값을 mediaNo 변수에 저장합니다.

참고

4. COUNT(*) vs COUNT(1) vs COUNT(pk)의 차이점?

COUNT(*)

행의 개수를 카운트한다
NULL도 포함해서 카운트한다

COUNT(1)

행의 개수를 카운트하지만, 하나의 테이블에 대해서만 쿼리가 되고 JOIN한 Table 쿼리를 안된다
사용하지 말라는 의견이 있다

COUNT(pk)

NULL아 아닌것만 카운트한다

참고

https://stackoverflow.com/questions/2710621/count-vs-count1-vs-countpk-which-is-better

5. IFNULL() 함수?

IFNULL(expression, alt_value) 형식으로 expressoin이 NULL이면 alt_value를 반환합니다.

참고

https://www.w3schools.com/sql/func_mysql_ifnull.asp

6. 'order by 2,1’는 어떻게 정렬을 하라는 건가?

두번째 컬럼으로 정렬하고 중복 값이 있는 경우에는 첫번째 컬럼으로 정렬하라는 의미입니다.

참고

http://www.itmembers.net/board/view.php?id=oracle&page=2&sn1=&divpage=1&sn=off&ss=on&sc=on&select_arrange=headnum&desc=asc&no=29

7. MySQL Error 1093 : You can’t specify target table ..for update in FROM clause가 발생하는 경우, 어떻게 처리하면 되나?

아래 SQL 실행시 오류가 발생하였습니다.

UPDATE `tmon_media`.`media_external_trans`

SET use_yn = 'Y'

WHERE trans_seqno IN (SELECT trans_seqno FROM media_external_trans as t where t.trans_seqno > 3162);

원인은 MySQL은 Oracle과 달리게 UPDATE나 DELETE 할때 자기 테이블의 데이터를 바로 사용하지 못하는 이슈가 있어서 서브 쿼리를 하나 더 생성하여 임시 테이블을 만들어서 해결하면 됩니다.

해결

참고

https://www.lesstif.com/display/DBMS/MySQL+Error+1093+%3A+You+can%27t+specify+target+table+%27cwd_group%27+for+update+in+FROM+clause

8. MySql에서 모든 query에 대해서 로깅을 하려면 어떻게 해야 하나?

MySql 설정에서 general_log을 활성화시켜면 됩니다.

mysql> set global general_log=ON;

mysql> show variables like ‘general%’;

참고

https://skibis.tistory.com/75

9. MySql에서 general_log가 활성화되어 있지 않는 경우 query를 확인하는 방법은 없나?

MySql 실행시 모든 명령문을 bin log로 저장한다면 확인할 수 있습니다. bin log 로그 분석에 대한 자세한 사항은 아래 링크를 참조해주세요.

참고

10. Slow Query란?

Slow Query란 말 그래도 query 수행시 오래 걸리는 쿼리를 의미합니다.

참고

https://itstudyblog.tistory.com/384

Q&A : JavaScript 관련 질문 모음

kenshin579 — Sat, 23 Mar 2019 08:49:06 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

JavaScript

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. `This is a ${msg}` 이건 뭔가?

ES6체 추가된 새로운 문자열 표기법으로 템플릿 리터럴(Template Literal)이라고 합니다.

템플릿 리터럴은 \ 문자 사용없이 문자열에서 줄바꿈도 허용하고 간단하게 ${…} 문자열 인터폴레이션 표현식을 통해서 변수의 값 바로 치환되어 쉽게 사용할 수 있습니다.

참고

Q&A : Mybatis 관련 질문 모음

kenshin579 — Sat, 23 Mar 2019 08:46:03 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

MYBATIS

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. _long 타입은 뭔가?

_long : long 타입으로 매핑된다
long : Long 타입이 매핑된다

참고

http://www.mybatis.org/mybatis-3/ko/configuration.html

2. IN (…)안에 list을 넘겨서 처리하는 방법은?

IN에 들어갈 (…) 값을 <foreach> 태그로 값을 생성할 수 있습니다.

참고

http://pcdate.blogspot.com/2013/05/mybatis-foreach.html

Q&A : Cache-SSM 관련 질문 모음

kenshin579 — Fri, 22 Mar 2019 23:56:30 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

CACHE-SSM

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. @CacheKeyMethod 란?

SSM관련 어노테이션으로 key 값 제공 메서드이고 없는 경우에는 toString()을 호출하게 됩니다. 추가로 캐쉬내 namespace에 toString()로 해서 같은 key 있으면 충돌이 발생합니다.

참고

https://m.blog.naver.com/PostView.nhn?blogId=kbh3983&logNo=220934569378&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F

2. 왜 DB 데이터를 캐싱을 해야 하나?

매번 DB에서 데이터를 가져오면 많이 느린 이슈가 있습니다.

참고

https://charsyam.wordpress.com/2016/07/27/입-개발-왜-cache를-사용하는가/

Q&A : JPA 관련 질문 모음

kenshin579 — Fri, 22 Mar 2019 22:18:01 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

JPA

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

- @MappedSuperclass

- JPA에서 db 저장 시점은 언제인가?

- @NotFound(action = NotFoundAction.IGNORE)

- @Param

[답변완료]

1. @EntityListeners 이란?

엔티티를 DB에 적용하기 전후로 Custom 콜백을 요청할 수 있는 어노테이션입니다.

참고

http://clearpal7.blogspot.com/2017/03/entitylisteners.html

2. @PostLoad

@PostLoad 어노테이션은 엔티티를 로딩한 후에 호출 할 메서드를 설정하는 어노테이션입니다.

참고

3. 자동으로 schema 생성하려면 설정을 어떻게 바꿔야 하나?

persistence.xml 파일에서 hibernate 설정에 hiberate.hbm2ddl.auto 속성을 아래와 같이 추가하면 됩니다.

value

create : 매번 실행할 때마다 table을 삭제하고 다시 생성한다
update : 테이블 없는 경우에는 테이블을 생성한다

4. JPA에서 객체를 수정하면 기본으로 모든 필드 값을 포함해서 UPDATE SQL 문구가 생성되는데, 수정한 속성만 업데이트하려면 어떻게 설정을 해야 하나?

저장할 필드가 너무 많은 경우에는 수정된 데이터만 포함해서 UPDATE SQL 문구를 생성하려면 @DynamicUpdate 어노테이션을 클래스에 선언하면 됩니다.

추가로 @DynamicInsert는 필드 값이 존재하는 필드(null이 아닌)만 포함해서 INSERT SQL 구문을 생성 할 때 사용됩니다.

Q&A : Lombok 관련 질문 모음

kenshin579 — Fri, 22 Mar 2019 22:16:27 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

LOMBOK

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. @AllArgsConstructor란?

@AllArgsConstructor : 모든 필드를 파라미터로 가지는 생성자를 만든다
@NoArgsContructor : 파라미터가 없는 생성자를 만든다

참고

http://partnerjun.tistory.com/54

Q&A : Jackson 관련 질문 모음

kenshin579 — Fri, 22 Mar 2019 22:15:13 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

JACKSON

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. @JsonInclude(Include.NON_NULL)?

이 어노테이션은 클래스 필드에서 null이 되는 필드는 JSON으로 serialize할 때 제외하도록 하는 어노테이션입니다. 위 코드에서는 stringValue 변수는 JSON으로 저장되지 않습니다.

용어

자바 객체를 JSON 으로 변환하는 작업을 serialize 라고 표현하고 JSON -> 객체는 deserialize이라고 한다

참고

http://multifrontgarden.tistory.com/172

2. @JsonIgnore?

직렬화시 해당 필드를 포함시키지 않고 싶을 때 변수위에 선언하는 어노테이션입니다. 이 예제에서는 JPA를 통해 domain 객체를 얻어올 때 암호가 있으면 안되기 때문에 @JsonIgnore 어노테이션을 적용하였습니다.

참고

http://eglowc.tistory.com/28

3. @JsonIgnoreProperties(ignoreUnknown = true)?

객체에는 속성이 없지만, JSON에 포함되면 Exception이 발생하는데 무시하도록 하는 어노테이션이빈다.

참고

https://www.javacodegeeks.com/2018/01/ignore-unknown-properties-parsing-json-java-jackson-jsonignoreproperties-annotation-example.html

Q&A : 개발관련 질문 모음

kenshin579 — Fri, 22 Mar 2019 10:11:31 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

새로운 직장에 와서 보니 모르는 거 천지라 전혀 모르고 어설프게 아는 것들을 질문 형식으로 정리를 해봤습니다.

책도 보면서 많이 알게 내용도 있습니다. 다시 구체적으로 정리하면 더 좋겠지만, 초반에 전혀 모르는 건 그냥 적어두고 검색하면서 조금씩 알게 된 내용으로 정리를 했습니다. 더 자세한 설명은 별도의 포스팅으로 작성해서 참고 링크로 달아두었습니다.

Cache

Q&A : Cache-SSM 관련 질문 모음

Database

Git

Q&A : Git 관련 질문 모음

Java

JavaScript

Q&A : JavaScript 관련 질문 모음

Json

Software Management Tool

Q&A : Maven 관련 질문 모음

Q&A : Java 관련 질문 모음

kenshin579 — Thu, 21 Mar 2019 23:49:51 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

JAVA

개인적으로 모르는 부분 적어두고 알게 되는 부분에 대해서 간단하게 정리해둔 자료입니다.

미 답변중에 알고 계신 부분 있으면 코멘트 달아주세요. 감사합니다.

Q&A 전체 목록

[미 답변 질문]

[답변완료]

1. 왜 Constants 값을 인터페이스에 정의하나? final class에 하지 않나?

인터페이스에도 Constants 값을 지정할 수 있습니다. 이런 방식은 비추천하는 방식으로 언급되는데요. 찾아보면 오픈소스에서도 인터페이스에 정의하는 프로젝트도 종종 찾을 수 있습니다.

참고

2. 메서드에서 제너릭으로 선언을 할 때 & 가 의미하는 건 뭔가?

인자로 들어오는 게 Enum 타입이여야 하고 인터페이스 CodeEnum을 구현하는 타입이여야 한다는 의미입니다. 결국 둘 다 만족하는 타입이어야 한다는 의미입니다.

참고

맥환경에서 countdown shell script으로 집중력 강화하기 (app-timer-pomodoro NodeJs 앱 개발로 대체)

kenshin579 — Tue, 26 Feb 2019 23:20:25 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

스터디나 블로그 작성을 시작하려고 노트북을 켜면 바로 스터디나 블로그 작성보다는 먼저 가는 곳이 인터넷 뉴스나 유튜브 동영상을 먼저 보게 됩니다. 그리고 30분 정도 보다 보면 이제 시작해야지 하고 에버노트를 킵니다.

그리고 집중해서 뭔가 시작하려고 하면 10분 정도 하다가도 다시 뉴스나 유튜브 동영상을 보고 있는 저 자신을 보게 됩니다. 스터디했다가 뉴스 봤다가 이걸 반복하다 보면 몇 시간이 훌쩍 지나가 있는 경우가 허다합니다. 그래서 그런지 매주 하나씩 블로그 작성하려고 하는 게 잘 안되는 게 아닌가 싶습니다.

김민식 PD님이 쓰신 <영어 책 한권 외워봤니?> 책을 보면서 뽀모도로(pomodoro) 기법에 대해서 알게 되어 이걸 적용해보기로 했습니다.

여러 책이나 인터넷에서 언급되었던 시간 관리 기법중에 하나입니다. 뽀모도로 기법은 ‘프란체스코 시릴로’가 제안한 방식으로 타이머를 사용해서 25분간 집중해서 일을 한다음 5분간 휴식하는 방식입니다.

앱 스토어나 핸드폰에서도 관련 앱이 많이 있지만, 저는 그냥 맥 터미널에서 동작하기 쉽게 shell script로 작성하였습니다. 그리고 25분이 지나면, 맥환경에서 Popup 형식으로 notification을 받고 효과음도 같이 플레이 하도록 스크립트를 작성하였습니다.

혹시나 해서 다시 찾아보니 NodeJs로 구현된 버전이 많이 있었습니다. 나름 설치해서 써보니 직접 개발을 해보는 것도 나쁘지 않을 것 같아서 NodeJs로 구현을 해보았습니다.

https://github.com/kenshin579/app-timer-pomodoro

2. 실행화면

1분 동안 키운다운후 Pop-up이 실행되는 화면입니다.

3. 스크립트 작성 및 시스템 알람 설정

맥 환경에서 작업하였고 zsh shell을 사용하였습니다.

3.1 Shell 설정 파일 수정하기

Shell 설정 파일을 텍스트 에디터로 오픈하여 아래 함수를 넣고 저장합니다.

># code ~/.zshrc

수정한 Shell 설정 파일을 현재 Shell에서 재로딩하려면 source 명령어로 다시 로드하면 됩니다.

># source ~/.zshrc

3.2 효과음 파일 Library 폴더로 복사하기

효과음 파일을 사용자 Library 폴더로 복사합니다.

># cp Clock-chimes.mp3 ~/Library/Sounds

Clock-chimes.mp3

다운로드

3.3 시스템 알람 설정하기

알람을 별도로 설정하지 않으면 기본으로 배너 알람 스타일이라서 알람이 나왔다가 자동으로 사라집니다. 그래서 다른 화면을 보고 있으면 알람 창이 뜬지도 모르는 경우가 종종 발생합니다. 알람창이 자동으로 사라지지 않고 닫기 버튼을 둘러야 사라지는 알람 스타일로 변경하는 게 좋습니다.

시스템환경 > 알림 > 스트립트 편집기 선택후 아래와 같이 알람 스타일을 변경합니다.

3.4 실행하기

1을 입력하면 1분 동안 카운트 다운이 시작되고 1분이 지난 후에는아래와 같이 Popup 창이 뜨게 됩니다.

># countdown 1

4. 참고

Display Notification from Mac

https://code-maven.com/display-notification-from-the-mac-command-line

JUnit Rules이란

kenshin579 — Tue, 12 Feb 2019 22:55:37 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

JUnit Rules은 테스트 케이스를 실행하기 전후에 추가 코드를 실행할 수 있도록 도와줍니다. @Before와 @After로 선언된 메서드에서도 실행 전후처리로 코드를 넣을 수 있지만, JUnitRules로 작성하면 재사용하거나 더 확장 가능한 기능으로 개발할 수 있는 장점이 있습니다. JUnit에서 기본적으로 제공하는 Rules은 다음과 같습니다.

Rules	설명
TemporaryFolder	테스트 전후로 임시 폴더 및 파일을 자동으로 생성하고 삭제한다
ExternalResource	외부 리소스에 대한 전후처리를 한다
ExpectedException	테스트 클래스 전체에 적용되며 예외 발생에 대해 직접 확인이 가능한다
ErrorCollector	여러 테스트 실패시에도 연속적으로 테스트가 진행되며 발생한 오류를 수집한다
Verifier	테스트 실행시 추가 검증을 하도록 도와준다.
TestName	실행하는 테스트 메서드 이름을 알려준다
RuleChain	여러 Rule을 체인형식으로 묶어 적용할 수 있도록 도와준다
ClassRule	테스트 클래스 슈트 전체에 적용할 수 있는 Rule이다
Timeout	테스트 클래스 전체 테스트에 timeout을 설정한다

기본으로 제공하는 Rule 외에 직접 나만의 Rule은 어떻게 생성하는지도 같이 알아보겠습니다.

2. 개발 환경

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

포스팅을 위해 여러 예제를 작성하였지만, 다양한 사용법을 더 보고 싶으면, JUnit4소스코드에 포함된 테스트 케이스들을 보면 더 다양하게 사용되는 예제를 확인할 수 있습니다.

메이븐 의존성으로 pom.xml 파일에 JUnit을 추가합니다.

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
    <scope>test</scope>
</dependency>

3. JUnit Rules

3.1 기본으로 제공하는 Rules

JUnit Rules에서 대표적으로 많이 사용되는 예제들을 보겠습니다.

3.1.1 TemporaryFolder

TemporayFolder Rule은 테스트 실행 시 파일이나 폴더를 자동으로 생성하고 테스트 종료 시에도 자동으로 삭제해주는 Rule입니다. 임의 파일을 생성하게 되면 맥에서는 아래와 같은 폴더에 생성됩니다.

/var/folders/f3/z3w0kdln2sn_7z0_qq6rn4dxrgwgh2/T/junit88560316993858696/test.txt

public class TemporaryRuleTest {
   @Rule
   public TemporaryFolder tmpFolder = new TemporaryFolder();

   @Test
   public void test_임시파일_생성하기() throws IOException {
      File tmpFile = tmpFolder.newFile("test.txt");
      assertThat(tmpFile.isFile()).isTrue();
      assertThat(tmpFolder.getRoot()).isEqualTo(tmpFile.getParentFile());
   }

   @Test
   public void test_임시_폴더_생성하기() throws IOException {
      File tmpFile = tmpFolder.newFolder();
      assertThat(tmpFile.isDirectory()).isTrue();
   }
}

3.1.2 ExpectedException

ExpectedException Rule은 @Test(expected = RunTimeException.class) 대신 사용할 수 있고 예외 타입과 예외 메시지도 직접 확인이 가능하게 해주는 Rule입니다.

public class ExpectedExceptionRuleTest {
   @Rule
   public ExpectedException exception = ExpectedException.none();

   @Test
   public void IllegalArgumentException_예외_발생_확인() {
      exception.expect(IllegalArgumentException.class);
      throw new IllegalArgumentException();
   }

   @Test
   public void RuntimeException_예외_발생시_메시지도_같이_확인() {
      exception.expect(RuntimeException.class);
      exception.expectMessage("failed!");
      throw new RuntimeException("failed!");
   }
}

3.1.3 Timeout

Timeout Rule은 모든 테스트에 대해 같은 timeout 설정을 할 수 있게 하는 Rule입니다.

public class TimeoutRuleTest {
   @Rule
   public Timeout timeout = Timeout
         .builder()
         .withTimeout(2, TimeUnit.SECONDS)
         .build();

   @Test
   public void test1() {
      while (true) {
      }
   }

   @Test
   public void test2() {
      while (true) {
      }
   }
}

테스트 결과

Timeout 설정을 2초로 해서 2초이상 실행되면 TimeOutException을 발생시킵니다.

3.1.4 ErrorCollector

ErrorCollector Rule은 assertion이 실패하더라도 테스트를 계속 실행하여 전체 오류를 수집하는 기능입니다. 테스트 실행 시 발생하는 장애(ex. 네트워크)가 있더라도 테스트를 계속 진행하고 싶을 때 이 Rule을 사용하면 좋습니다.

ErrorCollector 사용시 아래 2가지 메서드를 사용하면 됩니다.

addError() : 예외가 발생했을 때 해당 예외와 메시지를 같이 출력하도록 오류를 추가해준다
checkThat() : 기대 값과 실제 값이 같은지 체크하고 값이 다르더라도 테스트는 계속 진행한다

public class ErrorCollectorRuleTest {
   @Rule
   public ErrorCollector collector = new ErrorCollector();

   @Test
   public void test_첫번째_테스트실행이후에도_실행됨() {
      collector.addError(new Throwable("첫번째 오류!"));
      collector.addError(new Throwable("두번째 오류!"));

      Person person = Person
            .builder()
            .name("Frank")
            .email("asdf@sdf.com")
            .age(25)
            .build();

      collector.checkThat(person.getAge(), is(30)); //실패1
      collector.checkThat(person.getName(), is("Frank")); //성공
      collector.checkThat(person.getEmail(), is("ser@#test.com")); //실패2
   }
}

테스트 결과

기대 값과 실제 값이 다르면 addError()로 추가된 메시지를 출력만 하고 일단 테스트를 계속 실행합니다. 테스트 실행이후에 각 실패에 대한 결과를 출력합니다.

3.1.5 Verifier

Verifier Rule은 테스트 실행할 때마다 실행되며 사용자 정의 검증 로직을 추가로 넣어 특정 조건을 만족하는지 검증하는 데 사용됩니다.

public class VerifierRuleTest {
   int MAX_AGE = 25;
   List<Person> peopleWithAgeGreaterThanMaxAge = new ArrayList<>();

   @Rule
   public Verifier verifier = new Verifier() {
      @Override public void verify() {
         assertThat(peopleWithAgeGreaterThanMaxAge.size()).as("나이 %d가 넘는 사람: %s", MAX_AGE, peopleWithAgeGreaterThanMaxAge).isEqualTo(0);
      }
   };

   @Test
   public void personTest1() {
      Person person = Person.builder()
            .name("Frank")
            .age(20)
            .build();
      if (person.getAge() > MAX_AGE) {
         peopleWithAgeGreaterThanMaxAge.add(person);
      }
   }

   @Test
   public void personTest2() {
      Person person = Person.builder()
            .name("Angela")
            .age(30)
            .build();
      if (person.getAge() > MAX_AGE) {
         peopleWithAgeGreaterThanMaxAge.add(person);
      }
   }
}

테스트 결과

모든 테스트 실행 시 추가로 사람의 나이가 25 이상 인지를 검증합니다. 두 번째 테스트 personTest2에서 나이가 30이라서 실패로 떨어졌습니다.

3.1.6 TestName

TestName Rule은 현재 실행되는 메서드 이름을 불러오도록 해줍니다.

public class TestNameRuleTest {
   @Rule
   public TestName name = new TestName();

   @Test
   public void 테스트1_이름입니다() {
      assertEquals("테스트1_이름입니다", name.getMethodName());
   }

   @Test
   public void 테스트2_이름입니다() {
      assertEquals("테스트2_이름입니다", name.getMethodName());
   }
}

3.1.7 RuleChain

RuleChain Rule은 테스트 실행 시 여러 Rule을 순차적으로 실행하도록 도와주는 Rule입니다.

예제에서는 사용자 정의로 생성한 LoggingRule을 체인형식으로 적용하였습니다. LoggingRule은 각 테스트 전후로 시작… 끝…. 로그 메시지를 출력하는 Rule로 이해하시면 되고 더 자세한 내용은 #3.2에서 다루도록 하겠습니다.

public class RuleChainTest {
   @Rule
   public TestRule chain = RuleChain
         .outerRule(new LoggingRule("outer rule"))
         .around(new LoggingRule("middle rule"))
         .around(new LoggingRule("inner rule"));

   @Test
   public void test() {
   }
}

테스트 결과

3.1.8 ExternalResource

ExternalResource Rule은 테스트 전에 외부 리소스(ex. 파일, 네트워크 소켓, 서버, 데이터베이스 연결 등)에 접근할 수 있도록 자원에 연결해주고 테스트 종료 후에도 연결을 자동으로 끊어주는 Rule입니다.

@Slf4j
public class ExternalResourceRuleTest {
   public static Server server =  new Server();

   @Rule
   public final ExternalResource externalResource = new ExternalResource() {
      @Override protected void before() throws Throwable {
         server.connect();
      }
      @Override protected void after() {
         server.disconnect();
      }
   };

   @Test
   public void 서버테스트() throws Exception {
      log.info("Start 서버 테스트");
   }
}

@Slf4j
public class Server {
   public void connect() {
      log.info("connect...");
   }

   public void disconnect() {
      log.info("disconnect...");
   }
}

테스트 결과

테스트 실행 전후로 서버에 연결하고 종료 후에는 연결을 끊고 있습니다.

3.1.9 ClassRule

ClassRule 어노테이션을 @Rule 어노테이션과 같이 사용하면 TestSuite로 묶여 있는 클래스를 통합하여 실행해줍니다.

@RunWith(Suite.class)
@Suite.SuiteClasses({ TestFirstServer.class, TestSecondServer.class, TestThirdServer.class })
@Slf4j
public class ExternalResourceClassRuleTest {
   public static Server server = new Server();

   @ClassRule
   @Rule
   public static final ExternalResource externalResource = new ExternalResource() {
      @Override protected void before() throws Throwable {
         server.connect();
      }
      @Override protected void after() {
         server.disconnect();
      }
   };
}

@Slf4j
public class TestFirstServer {
   @Test
   public void test() throws Exception {
      log.info("{}", this.getClass().getSimpleName());
   }
}

테스트 결과

여러 테스트 클래스가 시작하기 전에 서버 연결을 먼저하고 모든 테스트가 끝나고 나서 서버 연결을 끊는 것을 확인할 수 있습니다.

3.1.11 TestWatcher

TestWatcher Rule은 테스트 실행에 대한 성공 실패를 모니터링 하는 기능을 제공하여 테스트 로그를 쓰도록 도와줍니다.

@FixMethodOrder(MethodSorters.NAME_ASCENDING)
public class TestWatcherRuleTest {
   private static String watchedLog = "\n”;

   @Rule
   public TestRule watchman = new TestWatcher() {
      @Override
      public Statement apply(Statement base, Description description) {
         return super.apply(base, description);
      }

      @Override
      protected void succeeded(Description description) {
         watchedLog += description.getDisplayName() + " success!\n";
         System.out.println(String.format("성공!\nWatchlog: %s", watchedLog));
      }

      @Override
      protected void failed(Throwable e, Description description) {
         watchedLog += description.getDisplayName() + " " + e.getClass().getSimpleName() + "\n";
         System.out.println(String.format("실패!\nWatchlog: %s", watchedLog));
      }

      @Override
      protected void starting(Description description) {
         super.starting(description);
         System.out.println(String.format("==================== 테스트 시작! ==================== \nWatchlog: %s", watchedLog));
      }

      @Override
      protected void finished(Description description) {
         super.finished(description);
         System.out.println(String.format("==================== 테스트 끝! ==================== \nWatchlog: %s", watchedLog));
      }
   };

   @Test
   public void T1_succeeds() {
      Assert.assertEquals(5, 5);
   }

   @Test
   public void T2_succeeds2() {
      Assert.assertEquals(2, 2);
   }

   @Test
   public void T3_fails() {
      Assert.assertEquals(3, 5);
   }
}

@FixMethodOrder는 테스트 실행 순서를 결정해주는 어노테이션으로 이 예제에서는 NAME_ASCENDING으로설정되어 메서드 이름의 순서대로 실행됩니다. TestWatcher에 정의된 starting(), finished(), succeeded(), failed() 메서드을 오버라이트하면 메서드 이름에 맞게 테스트 시작, 끝, 성공, 실패에 따라서 메서드들이 호출됩니다. 이 예제에서는 매번 실행할 때마다 watchedLog 스트링값에 로그형식으로 저장하여 화면에 출력합니다.

테스트 결과

메서드 이름의 순서대로 테스트가 실행되며 하나씩 실행할 때마다 로그가 쌓이고 있습니다.

3.2 Custom Rules

지금까지 JUnit에서 기본으로 제공하는 Rules을 알아보았습니다. 직접 Rule을 어떻게 생성하는지는 지금까지 소개해 드렸던 코드를 보면 더 이해가 쉽습니다. 예로. TemporaryFolder Rule을 살펴보도록 하겠습니다.

public class TemporaryFolder extends ExternalResource {
    private final File parentFolder;
    private File folder;
    public TemporaryFolder() {
        this(null);
    }

    public TemporaryFolder(File parentFolder) {
        this.parentFolder = parentFolder;
    }

    @Override
    protected void before() throws Throwable {
        create();
    }

    @Override
    protected void after() {
        delete();
    }
…(생략)...
}

TemporaryFolder 클래스는 ExternalResource 클래스를 상속받아 before()와 after() 메서드를 구현하였습니다. 테스트 실행 전에 before() 메서드가 실행되며 create() 메서드를 호출합니다.

public void create() throws IOException {
    folder = createTemporaryFolderIn(parentFolder);
}

private File createTemporaryFolderIn(File parentFolder) throws IOException {
    File createdFolder = File.createTempFile("junit", "", parentFolder);
    createdFolder.delete();
    createdFolder.mkdir();
    return createdFolder;
}

createTemporaryFolderIn() 메서드에서 알 수 있듯이 임의의 폴더를 만들어 File 클래스를 반환합니다. 테스트 이후에는 after() 메서드가 실행되며 create()에서 생성한 폴더를 삭제합니다.

public abstract class ExternalResource implements TestRule {
    public Statement apply(Statement base, Description description) {
        return statement(base);
    }

    private Statement statement(final Statement base) {
        return new Statement() {
            @Override
            public void evaluate() throws Throwable {
                before();
                try {
                    base.evaluate();
                } finally {
                    after();
                }
            }
        };
    }

    protected void before() throws Throwable {
    }
    protected void after() {
    }
}

ExternalResource 클래스는 앞 써 봤던 before()와 after() 메서드를 가지고 기본적인 전후처리 알고리즘을 담고 있습니다. apply() 메서드가 호출되며 전후처리 로직이 실행되는 구조입니다. 실제로 apply() 메서드가 언제 호출되는지는 JUnit4소스 코드로 확인해보시면 좋을 듯합니다.

TemporaryFolder 클래스와 거의 유사한 코드이기는 하지만, 테스트 실행 전후로 ‘시작, 끝’을 출력하는 Rule을 만들어보겠습니다.

public class LoggingRule implements TestRule {
   private String name;

   public LoggingRule(String name) {
      this.name = name;
   }
   public Statement apply(final Statement base, Description description) {
      return new Statement() {
         @Override
         public void evaluate() throws Throwable {
            try {
               System.out.println("시작: " + name);
               base.evaluate();
            } finally {
               System.out.println("끝: " + name);
            }
         }
      };
   }
}

base.evaluate()은 테스트가 실행되는 시점이고 전후로 생성자로 넘겨준 name과 같이 로그를 출력하는 코드를 추가하였습니다.

public class CustomRuleTest {
   @Rule
   public LoggingRule rule = new LoggingRule("custom rule”);

   @Test
   public void test() {
      System.out.println("test 실행");
   }
}

테스트 결과

4. 결론

JUnit에 Rule이라는 여러 기능을 있는지는 이번 스터디 기회를 통해서 알게 되었습니다. 프로젝트를 하면서 테스트 코드를 많이 작성하는 편인데, JUnit Rule을 통해서 더 유용하게 적용할 수 있는 부분들이 있을 듯합니다. 이만 오늘 포스팅을 마무리하겠습니다.

5. 참고

JUnit Rules

관계형 데이터베이스 설계 및 구축

kenshin579 — Wed, 6 Feb 2019 21:31:44 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

새로운 직장으로 이직하게 되어 학부 이후 거의 보지 않았던 데이터베이스 책을 다시 보게 되었습니다. 최근에 데이터베이스 스터디하면서 봤던 책은 김연희 교수님의 데이터베이스 개론 책을 많이 참조하였습니다. 관계형 데이터베이스에 대해서 기본적인 개념을 전체 리뷰하는데 도움이 되었던 책입니다. 혹시 관계형 데이터베이스에 대한 리뷰가 필요하시다면 이 책을 구매하셔서 보시길 권합니다.

본 포스팅에서는 관계형 데이터베이스 설계 과정을 통해서 실제 테이블을 생성하는 MySql 스크립트까지 작성해보도록 하겠습니다. 설계하면서 사용한 도구와 소스는 아래를 참조해주세요.

Tools
- draw.io : ERD 다이어그램
- mysql benchwork : EER Diagram 및 물리적 스키마 설계
- intellij Database Tool
Database : mysql 5.6.42
Source files : github

데이터베이스에서 초기 설계 과정이 중요한 부분을 차지합니다. 잘못 설계되면 현재 사용 중인 구조를 나중에 쉽게 변경하기 어려운 부분도 있고 데이터의 일관성과 무결성이 유지되지 않는 문제도 생길 수가 있어서 데이터베이스 설계 과정을 통해서 좋은 데이터베이스를 생성해야 합니다.

관계형 데이터베이스를 설계하는 방법에는 주로 2가지 방법이 사용됩니다.

E-R 모델과 릴레이션 변환 규칙을 이용한 설계
정규화를 이용한 설계 (이 주제는 다음 포스팅에서 다루겠습니다)
- 이상 현상(ex. 삽입, 삭제, 수정시 발생하는 문제)을 제거하면서 중복을 최소화하고 더 좋은 ‘작은' 릴레이션으로 분해하는 작업이다.

E-R 모델과 릴레이션 변환 규칙을 이용한 설계는 아래 단계를 거쳐 데이터베이스를 생성합니다.

데이터 요구사항에 대한 분석 (결과 : 요구사항 명세서)
개념 스키마 설계 (결과 : ERD)
논리 스키마 설계 (결과 : 릴레이션 스키마의 테이블 명세서)
내부 스키마 설계 (결과 : DB 스키마 생성 SQL 문)

2. 요구사항 분석하기

데이터베이스에 대한 사용자의 요구사항을 수집하고 분석해서 아래와 같이 요구사항 명세서를 작성해야 합니다. 아래 예제는 데이터베이스 개론 책에 기재된 예제문제입니다.

한빛 항공사에 회원으로 가입하려면 회원아이디, 비밀번호, 성명, 신용카드 정보를 입력해야 한다
회원의 신용카드 정보는 여러 개를 저장할 수 있는데, 세부적으로는 신용카드번호, 유효기간을 저장할 수 있다
한빛 항공사에서는 보유한 비행기에 대해 비행기번호, 출발날짜, 출발시간 정보를 저장하고 있다
한빛 항공사에서는 좌석에 대한 좌석번호, 등급 정보를 저장하고 있다
회원은 좌석을 예약하는데, 회원 한 명은 좌석을 하나만 예약할 수 있고, 한 좌석은 회원 한명만 예약할 수 있다
비행기에는 좌석이 존재하는데, 비행기 하나에는 좌석이 여러 개 존재할 수 있고 한 좌석은 반드시 하나의 비행기에만 존재해야 한다.

그리고 좌석은 비행기가 없으면 의미가 없다.

3. 개념적 설계로 E-R 다이어그램 만들기

작성한 요구사항 명세서에서 데이터베이스를 구성하는데 필요한 개체, 속성, 개체 간의 관계를 추출하여 ERD를 생성합니다.

개체와 속성을 추출한다
- 대부분 명사로 선별한다
개체 간의 관계를 추출한다
- 대부분 동사로 선별한다 (개체간의 관계를 나타내는 동사이여야 한다)
- 관계에 속한 속성도 있을 수 있다
- 1:1, 1:N, N:M
- 필수적인 참여, 선택적인 참여

3.1 개체(Entity)와 속성(attribute) 추출

개념적 설계 단계에서 가장 먼저 해야 할 일은 개체를 추출하는 일입니다. 개체는 현실에서의 사물이나 사람이 생각하는 개념입니다. 개체를 나타내는 속성이 있고 여러 관련 속성이 모여 하나의 정보 단위를 이루는 것이 개체가 됩니다. 요구사항에서 개체는 대부분 명사로 이루어져 있지만, 속성과 구별할 필요가 있습니다. 항공사 명세서에서 개체와 속성을 구분해보겠습니다.

항공사 요구사항에서는 아래와 같이 개체와 속성을 구별할 수 있습니다.

개체	속성
회원	회원아이디, 비밀번호, 성명, 신용카드
신용카드	신용카드번호, 유효기간
비행기	비행기번호, 출발날짜, 출발시간
좌석	좌석번호, 등급

3.2 개체 간의 관계 추출

개체와 속성이 구별되었다면 개체 간의 관계를 추출합니다. 개체 간의 관계도 여러 가지로 분류해서 정의됩니다.

일대일(1:1), 일대다(1:N), 다대다(N:M)
관계 : 선택적인 관계, 필수적인 관계

요구사항에서 개체 간의 관계는 동사로 묘사되기 때문에 동사부터 찾으면 됩니다. 빨간색으로 표시된 부분이 앞 써 추출한 개체 간의 관계를 나타냅니다.

관계가 필수 인지 아니면 선택적인지 관계인지를 파악하는 게 개인적으로 쉽지 않아서 조금 더 정리를 해봤습니다.

필수적으로 관계에 참여 (전체 참여 : Total Participation)
- [A : B] 관계에서 개체 집합 B의 모든 개체가 [A : B] 관계에 참여한다
- 개체 A에 대해 개체 조건을 만족하는 개체가 반드시 존재할 경우에 필수적인 관계라고 본다.
선택적으로 관계에 참여 (부분 참여 : Partial Participation)
- [A : B] 관계에서 개체 집합 B의 일부 개체만 [A : B] 관계에 참여한다
- 객체 A에 대해 개체 조건을 만족하는 개체가 존재할수도, 존재하지 않을 수도 있는 경우에 선태적인 관계라고 본다.
예제 모음
- 예1. [학과 : 교수]
- - 학과(필수): 한 학과에는 여러 교수가 소속된다
  - 교수(필수): 한 교수는 한 학과에만 소속된다
- 예2. [회원 : 주문]
- - 회원(선택): 한 회원은 여러번 주문할 수 있다
  - 주문(필수): 한 주문은 한 회원에 의해 주문된다
- 예3. [교수 : 과목]
- - 교수(선택): 한 교수는 여러 과목을 강의할 수 있다
  - 과목(필수): 한 과목은 한 교수에 의해서 강의되어야 한다
- 예4: [주문 : 주문목록]
- - 주문(필수): 한 주문은 여러 개의 주문목록을 포함한다
  - 주문목록(필수): 한 주문목록에 하나의 주문내용에 포함된다
- 예5 : [고객 : 책] - 구매 관계
- - 고개(필수): 모든 고객이 책을 반드시 구해야 한다
  - 책(선택) : 고객이 구매하지 않은 책이 존재할수 있다.

개채 간의 관계 추출 결과

관계	관계에 참여하는 개체	관계유형	관계 속성
보유	회원(선택) : 한 회원은 여러 신용카드를 가질 수 있다 신용카드(필수) : 한 신용카드는 한 회원이 보유한다	1:N
예약	회원(선택) : 한 회원은 한 좌석만 예약할 수 있다 좌석(필수) : 한 좌석은 회원 한명에 의해서 예약된다 회원(선택): 한 회원은 여러 비행기를 예약할 수 있다 비행기(필수): 비행기 한 좌석은 한 회원이 예약한다	1:N	요구사항에서는 없음 ex. 예약번호 예약일자
존재	비행기(필수) : 비행기 하나에는 좌석이 여러개 존재한다 좌석(필수) : 한 좌석은 하나의 비행기에만 존재해야 한다	1:N	비행기 없이 좌석이 존재할 수 없음

3.3 분석한 내용으로 ERD 생성하기

객체, 관계 정리만 잘 되면 쉽게 ERD를 만들어볼 수 있습니다. 추출한 내용을 가지고 릴레이션 스키마를 바로 생성할 수도 있지만, 다이어그램으로 다시 정리하면 큰 그림을 보면서 더 쉽게 전체 모델을 이해할 수 있는 장점이 있습니다. ERD 만들 수 있는 여러 도구가 있지만, 저는 draw.Io를 사용해서 ERD를 만들어봤습니다. draw.io은 오픈소스 프로그램으로 애플리에션을 다운로드 받아서사용하거나 아니면 웹 브라우저에서도 프로그램 설치 없이 사용할 수 있습니다.

맥에서 사용하시려면 brew 명령어로 설치하세요.

># brew cask install drawio

draw.io은 IE(Information Engineering) 표기법을 사용합니다. IE 표기법은 링크를 참조해주세요.

지금까지 언급한 개체와 관계 추출 정보 바탕으로 그린 ERD다이어그램입니다. #4.논리적 설계 단계를 거치면서 여러 번 수정하였고 아래는 최종 버전입니다. 수정한 이력은 6.ERD다이어그램 변경 이력에 기록해 두었습니다.

4. 논리적 설계로 릴레이션 스키마 및 테이블 명세서 만들기

ERD에서 릴레이션 스키마를 만들려면 다음 5가지 릴레이션 변환 규칙에 따라서 릴레이션 스키마로 변환해주면 됩니다.

규칙1 : 모든 개체는 릴레이션으로 변환한다
규칙2 : N:M 관계는 릴레이션으로 변환한다
- 관계의 이름을 릴레이션 이름으로 하고 관계의 속성도 릴레이션의 속성으로 변환한다
규칙3 : 1:N 관계는 외래키로 표현한다
- 규칙3-1: 일반적인 1:N 관계는 외래키로 표현한다
- 규칙3-2: 약한 개체가 참여하는 1:N 관계는 외래키로 포함해서 기본키로 지정한다
규칙4 : 1:1 관계는 외래키로 표현한다
- 규칙4-1: 일반적인 1:1 관계는 외래키를 서로 주고 받는다
- 규칙4-2: 1:1 관계에 필수적으로 참여하는 개체의 릴레이션만 외래키를 받는다
- 규칙4-3: 모든 개체가 1:1 관계에 필수적으로 참여하면 릴레이션 하나로 합친다
규칙5 : 다중 값 속성은 독립 릴레이션으로 변환한다

하나 하나 규칙에 따라서 릴레이션을 생성해보겠습니다.

4.1 규칙1 : 모든 개체는 릴레이션으로 변환한다

규칙1은 ER 다이어그램의 각 개체를 릴레이션으로 변환합니다. 개체는 하나의 테이블이 되고 속성은 테이블의 속성이 됩니다.

회원아이디	성명	비밀번호
1	이정수	1234
2	한정수	1234!
3	김지선	12345

4.2 규칙2 : N:M 관계는 릴레이션으로 변환한다

공항사 ER 다이어그램에서는 N:M 관계가 없는 관계(초반에는 없었습니다 ;;)로 회원 : 주문 관계로 설명을 하도록 하겠습니다. 규칙2는 N:M 관계의 이름(ex. 주문)은 릴레이션의 이름이 되고 관계의 속성도 릴레이션의 속성으로 변환하면 됩니다.

회원과 상품은 규칙1에 따라서 객체를 테이블로 변환합니다.

회원 릴레이션

회원번호

이름

부서

상품 릴레이션

제품번호

제품이름

N:M 관계는 주문 릴레이션을 생성하고 관계의 속성도 렐레이션에 포함시킵니다. 기본 키를 무엇으로 할지에 따라서 속성 구성이 조금씩 달라집니다.

관계의 릴레이션에서 별도의 기본키 사용
- 기본키 : 주문번호
- 외래키 : 회원번호, 제품번호
양쪽 객체의 기본키를 합쳐서 기본키로 사용
- 기본키 : 회원번호 & 제품번호
- 외래키 : 회원번호, 제품번호

주문 릴레이션

주문번호

회원번호

제품번호

주문날짜

주문 릴레이션

회원번호

제품번호

주문날짜

4.3 규칙3 : 1:N 관계는 외래키로 표현한다

4.3.1 규칙3-1 : 일반적인 1:N 관계는 외래키로 표현한다

규칙3은 일반적으로 1:N 관계에서 1측 개체의 기본키를 N측 릴레이션에 포함시키고 외래키로 지정합니다.

신용카드 릴레이션

신용카드번호

회원아이디(외래키)

유효기간

4.3.2 규칙3-2 : 약한 개체가 참여하는 1:N 관계는 외래키로 포함해서 기본키로 지정한다

규칙3-2는 약한 개체를 다루기 때문에 약한 개체와 강한 개체의 차이점을 보면, 강한 개체는 일반 개체를 의미하고 약한 개체는 다른 개체가 없이는 존재하지 않는 개체를 의미합니다.

약한 개체(Weak Entity)
- 다른 개체의 존재에 종속되어 있는 개체이다
- 약한 개체에서 개별 개체를 식별하는 속성을 식별자(Discriminator)혹은 부분키(Partial Key)라고 한다
강한 개체(Strong Entity)
- 타 개체 존재와 상관없이 존재할 수 있는 일반 개체이다
- 기본 키가 있는 개체다

1:N 관계에서 약한 개체가 참여하는 경우에는 규칙 3-1과 같이 1측 개체 릴레이션의 기본 키를 가져와 N측 릴레이션에 포함시키고 외래키로 지정합니다. 또한 추가된 외래키를 포함하여 기본 키를지정해야 합니다.

좌석 릴레이션

좌석번호

비행기번호(외래키)

등급

4.4 규칙4 : 1:1 관계는 외래키로 표현한다

규칙4-1: 일반적인 1:1 관계는 외래키를 서로 주고 받는다

1:1 관계는 외래키를 서로 주고받으면 됩니다. 항공사 관계에서는 1:1 관계가 없으므로 다른 예제로 설명하도록 하겠습니다. 한 회사에서는 자가만의 사무실이 있는 예제입니다. 좋은 회사이네요 ^^ 한 회원은 하나의 사무실을 사용할 수 있습니다. 한 사무실은 한 회원만 사용할 수 있습니다.

회원 릴레이션

사원번호

사무실번호(외래키)

이름

사무실 릴레이션

사무실번호

사원번호(외래키)

사무실전화번호

1:1 관계에서 일반적으로 양쪽에 각 릴레이션의 기본 키를 서로 주고받지만, 관계가 필수인지 아닌지에 따라서 조금 다른 규칙을 적용할 수 있습니다. 해당 규칙에 대해서는 추가 예제는 포함시키지않았지만, 설계 시 아래 규칙에 따라서 적용해보고 베스트 선택을 해보면 좋을 것 같습니다.

규칙4-2: 1:1 관계에 필수적으로 참여하는 개체의 릴레이션만 외래키를 받는다
규칙4-3: 모든 개체가 1:1 관계에 필수적으로 참여하면 릴레이션 하나로 합친다

4.5 규칙5 : 다중 값 속성은 독립 릴레이션으로 변환한다

릴레이션에서는 다중 값 속성을 가질 수 없으므로 다중 값 속성을 별도의 릴레이션을 생성해야 합니다. 별도의 릴레이션의 기본 키는기존 개체의 기본 키를 가져와 다중 값 속성과 함께 기본 키를구성해야 합니다.

사원 릴레이션

사원번호

이름

자녀 릴레이션

사원번호(외래키)

자녀이름

5. 물리적 스키마 및 구현

지금까지 ERD 다이어그램에서 테이블로 변환하는 규칙을 알아보았습니다. 이제 실제로 데이터베이스에 테이블을 생성해보도록 하겠습니다. 개인적으로는 MySQL Workbench 프로그램을 사용하여 물리적 스키마를 생성합니다. MySQL Workbench에서 EER 모델 설계이후 schema 생성 스크립트를 생성한 이후 오류가 발생해서 script 파일로 저장이후에 Intellij 에서 수동으로 변경이후에 테이블을 생성하였습니다.

6.ERD 다이어그램 변경이력

요구사항을 충분히 이해하지 못하면 잘못된 결과가 나올 수있습니다. 하지만, 각 설계 단계를 거치면서 잘못된 부분도 같이 찾을 수 있어서 스터디하시면서 도움이 될 것 같아 기록상 남겨두었습니다.

ERD 설계	이슈사항
버전1	- 회원이 예약할때 비행기+좌석을 같이 예약하지 않나? ㅁ. 좌석은 비행기 없이는 존재하지 않음. 결론 - 좌석은 weak entity임
비행기 릴레이션: 비행기번호, 회원아이디(외래키), 출발시간, 출발날짜 회원 릴레이션: 회원아이디, 비행기번호(외래키), 성명, 비밀번호	- 현실적으로 한 회원은 여러 비행기를 예약할 수 있다. ㅁ. 회원 릴레이션에 비행기번호를 추가하면 회원은 하나의 비행기만 예약할 수 있게 된다 ㅁ. 또한 한 비행기에 여러 회원이 예약될 수 있다. ㅁ. N:N이 맞아 보인다

7. 결론

오랜만에 데이터베이스 설계에 대해서 스터디를 나름 진행을 했고 생각보다 정리하는데 좀 오랜 시간이 걸렸습니다. 핑계면 핑계인데, 익숙하지 않은 도구들도 사용해보고 정리해보면서 좀 시간이 걸린 듯합니다. 그래도 조금씩 정리하면서 스스로 더 많이 배울 수 있는 시간이 되었던 것 같습니다. 다음 데이터베이스 포스팅에서는 정규화를 이용해서 설계하는 방법에 대해서 알아보겠습니다.

8. 참고

책
IE 표기법
- http://www.devtimes.com/115
필수, 선택적 관계
- http://tech.devgear.co.kr/db_kb/331
- http://www.dbguide.net/db.db?cmd=view&boardUid=12851&boardConfigUid=9&categoryUid=216&boardIdx=40&boardStep=1
사례로 배우는 데이터베이스 설계와 구축
- https://view.officeapps.live.com/op/view.aspx?src=http://datamining.dongguk.ac.kr/lectures/2009-1/db/data/BS-example.ppt

아마존 S3 Bucket API 사용법

kenshin579 — Sat, 12 Jan 2019 18:34:05 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

기업에서도 그렇고 이제 아마존 서비스를 쓰지 않은 곳이 없을 정도로 회사마다 아마존의 서비스를 많이 사용하고 있습니다. 최근에 이직을 한 곳에서도 S3 (Simple Storage Service) 스토리지 서비스를 이용하고 있어 S3 API를 학습할 겸 해서정리를 해봤습니다.

S3는 REST/HTTP 기반으로 파일을 저장하기 위한 스토리지이며 아래와 같은 특징을 가지고 있어 많은 곳에서 S3를 사용하고 있습니다.

S3 서비스 특징

3 copy 복제를 지원하여 데이터 신뢰도(99.9999%)를 보장한다
용량과 파일 수에 대한 제한이 없다 (ex. 파일당 1B ~ 5TB)
버전 관리 기능을 제공하여 실수로 삭제한 파일도 복원 가능하다
다른 아마존 서비스(ex. CloudFount, Glacier)에 쉽게 연동이 가능하다

용어 정리

객체 : S3에서 저장되는 기본 단위로 하나의 파일이라고 생각하면 된다

키 : 버킷 내 객체를 저장하기 위해 사용되는 고유한 식별자이다

ex. test.xls, thumbs/main.jpg

버킷 : 디렉토리와 비슷한 개념으로 버킷에 객체를 저장한다

하위 버킷 또는 하위 폴더의 계층 구조는 없지만, 키 이름 접두사와 구분 기호를 이용하여 논리적인 계층 구조를 만들 수 있다 (ex. develop/test.xls)

2. 개발 환경 및 S3 기본 설정

소스 코드는 대부분은 Amazon SDK와 Baeldung에 있는 예제들을 보면서 작성하였습니다.

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

pom.xml 파일에 아마존 SDK 의존성을 추가해줍니다.

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk</artifactId>
    <version>1.11.154</version>
</dependency>

2.1 S3 기본 설정

AWS SDK를 사용하려면, 아래 3가지는 완료해야 코드상에서 S3에 접속하여 작업을 할 수 있습니다.

AWS 계정 생성

계정이 없는 경우 AWS 계정을 생성한다

AWS 보안 자격 증명 (코딩시 이게 필요하다)

S3에 접속하려면, 액세스 키 ID와 보안 액세스 키가 필요하다
코드에서 사용할 보안 자격 증명 사이트에 접속하여 아래와 같이 얻어온다

AWS 지역 선택하기

지역마다 S3 가격이 다르기 때문에 가장 가까운 지역을 선택하는것이 좋다

3. S3 Bucket에서 파일 다루기

3.1 Client Connection

S3 서비스에 접근하기 위한 client connection을 생성해야 합니다. 위에서 생성한 KEY_ID와 SECRET_ACCESS_KEY가 필요합니다.

3.1.1 명시적으로 지정하는 방법

소스코드 안에서 KEY_ID와 SECRET_ACCESS_KEY를 인자로 전달하여 BasicAWSCredentials 객체를 생성하여 client 연결을 얻어오는 방법이 있습니다.

AmazonS3ClientBuilder
      .standard()
      .withCredentials(new AWSStaticCredentialsProvider(new BasicAWSCredentials(
            KEY_ID,
            SECRET_ACCESS_KEY)
      ))
      .withRegion(Regions.AP_NORTHEAST_2)
      .build();

public class S3App {
   private static final AWSCredentials credentials;
   private static final String KEY_ID = "<key_id>";


   private static final String SECRET_ACCESS_KEY = "<secret_access_key>";
   private static AmazonS3 s3client;
   static {
      credentials = new BasicAWSCredentials(
            KEY_ID,
            SECRET_ACCESS_KEY
      );
   }

   public static void main(String[] args) throws IOException, URISyntaxException {
      s3client = createConnectionWithCredentials(credentials); 
   }


}

private static AmazonS3 createConnectionWithCredentials(AWSCredentials credentials) {
   return AmazonS3ClientBuilder
         .standard()
         .withCredentials(new AWSStaticCredentialsProvider(credentials)) //#1 - 직접 값을 전달함

         .withRegion(Regions.AP_NORTHEAST_2)
         .build();
}

KEY가 외부로 노출이 되면 누구나 아마존 서비스를 사용할 수 있으므로 잘 못 하면 다른 사람들에 의해서 요금 폭탄을 맞을 수 있습니다.

3.1.2 환경 설정으로 지정하는 방법

Client connection을 가져오는 두 번째 방법입니다. 환경설정 파일에 저장된 key 값을 가져오는 방식입니다.

private static AmazonS3 createConnectionWithCredentials() {
   return AmazonS3ClientBuilder
         .standard()
         .withCredentials(new DefaultAWSCredentialsProviderChain()) //#1 - env 환경변수나 ~/.aws에 저장된 값을 읽어드림

         .withRegion(Regions.AP_NORTHEAST_2)
         .build();
}

아래와 같이 AWS 자격 증명 설정이 되어 있어야 합니다.

># vim ~/.aws/credentials
[default]
aws_access_key_id=EXAMPLEACCESS_KEY
aws_secret_access_key=FSDFSGSDFaZiNOzYxcfQXiKq6jwiLYB6

># vim ~/.aws/config
[default]
region=ap-northeast-2

3.2 S3 Bucket에서 파일 다루기

3.2.1 S3 bucket 생성하기

먼저 버킷을 생성해보겠습니다. 간단합니다. createBucket() 메서드를 사용하면 됩니다.

@Test
public void test_버킷_생성하기() {
   String[] bucketList = new String[] { BUCKET_NAME, BUCKET_NAME2 };
   for (String bucketName : bucketList) {
      if (s3client.doesBucketExist(bucketName)) {
         s3client.deleteBucket(bucketName);
      }
      s3client.createBucket(bucketName); //#1 - 버킷 생성

      assertTrue(s3client.doesBucketExist(bucketName));
   }
}

위 유닛테스트에서 버킷이 생성되었는지 확인해보겠습니다.

@Test
public void test_buckets_목록_프린트하기() {
   List<Bucket> buckets = s3client.listBuckets();
   for (Bucket b : buckets) {
      System.out.println("* " + b.getName());
   }
}

3.2.2 파일 업로드

버킷에 파일을 올리려면 pubObject()를 사용합니다. 인터넷에서 이미지 다운로드해서 S3에 올리는 예제입니다.

@Test
public void test_bucket에_파일_올리기() throws IOException {
   String webImageUrl = "https://images-na.ssl-images-amazon.com/images/I/51ADJwz5bwL._SY355_.png";
   String filename = "/Users/ykoh/Desktop/test.png";
   downloadFileFromURL(webImageUrl, filename);
   
   String bucketKey = "image/test.png";
   s3client.putObject(BUCKET_NAME, bucketKey, new File(filename)); //#1 - 파일을 올리는 메서드임

}

private void downloadFileFromURL(String sourceUrl, String destPath) throws IOException {
   FileUtils.copyURLToFile(new URL(sourceUrl), new File(destPath));
}

3.2.3 파일 다운로드

버킷에 올린 파일을 컴퓨터로 다운로드할 수 있습니다. getObject() 메서드로 원하는 파일을 저장합니다.

@Test
public void test_bucket에서_파일_다운로드하기() throws IOException {
   String destFilename = "/Users/ykoh/Desktop/test.png";
   S3Object s3object = s3client.getObject(BUCKET_NAME, "image/test.png”); //#1 - 파일을 다운로드함

   S3ObjectInputStream inputStream = s3object.getObjectContent();
   FileUtils.copyInputStreamToFile(inputStream, new File(destFilename)); //#2 - 스트림을 파일로 저장함

}

3.2.4 파일 삭제

버킷에서 하나의 파일을 삭제할 때는 deleteObject() 메서드를사용하고 여러 파일을 한 번에 삭제하려면 deleteObjects() 메서드를 사용합니다.

@Test
public void test_bucket에서_파일_삭제하기() throws IOException {
   String webImageUrl = "https://images-na.ssl-images-amazon.com/images/I/51ADJwz5bwL._SY355_.png";
   downloadFileFromURL(webImageUrl, "image/test1.png");
   downloadFileFromURL(webImageUrl, "image/test2.png");
   downloadFileFromURL(webImageUrl, "image/test3.png");
   //delete single file
   s3client.putObject(BUCKET_NAME, "image/test1.png", new File("/Users/ykoh/Desktop/test.png"));
   s3client.deleteObject(BUCKET_NAME, "image/test1.png”); //#1 - 파일 하나 삭제


   //delete multiple files
   String objkeyArr[] = { "image/test2.png", "image/test3.png" };
   DeleteObjectsRequest delObjReq = new DeleteObjectsRequest(BUCKET_NAME).withKeys(objkeyArr);
   s3client.deleteObjects(delObjReq); //#2 - 여러 파일 삭제

}

3.2.5 버킷 삭제

버킷을 삭제하려면 버킷 안에 있는 모든 파일과 버전 관리가 되는 객체들도 다 삭제해야만 버킷을 삭제할 수 있습니다.

@Test
public void test_bucket_삭제하기() {
   deleteAllObjectsAndBucket(s3client, BUCKET_NAME);
}

private static void deleteAllObjectsAndBucket(AmazonS3 s3client, final String bucketName) {
   try {
      ObjectListing objectListing = s3client.listObjects(bucketName); //#1 - 버킷안에 있는 모든 객체

      while (true) {
         Iterator<S3ObjectSummary> objIter = objectListing.getObjectSummaries().iterator();
         while (objIter.hasNext()) {
            s3client.deleteObject(bucketName, objIter.next().getKey()); //#2 - 하나씩 삭제함

         }
         if (objectListing.isTruncated()) {
            objectListing = s3client.listNextBatchOfObjects(objectListing);
         } else {
            break;
         }
      }
      VersionListing versionList = s3client.listVersions(new ListVersionsRequest().withBucketName(bucketName)); //#3 - 버전관리되는 객체 리스트

      while (true) {
         Iterator<S3VersionSummary> versionIter = versionList.getVersionSummaries().iterator();
         while (versionIter.hasNext()) {
            S3VersionSummary vs = versionIter.next();
            s3client.deleteVersion(bucketName, vs.getKey(), vs.getVersionId()); //#4 - 버전관리되는 객체도 삭제함

         }
         if (versionList.isTruncated()) {
            versionList = s3client.listNextBatchOfVersions(versionList);
         } else {
            break;
         }
      }
      s3client.deleteBucket(bucketName); //#5 - 버킷 삭제

   } catch (AmazonServiceException e) {
      e.printStackTrace();
   } catch (SdkClientException e) {
      e.printStackTrace();
   }
}

4. 참고

Amazon S3

S3 Credentials 설정 방법

자바 keystore에 SSL 인증서 import 하기

kenshin579 — Wed, 9 Jan 2019 22:52:20 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

회사에서 Zencoder API을 사용하게 되어 자바에서 작업을 시작하려는데, 아래와 같이 SSLHandshakeException이 발생해서 뭔가 문제인지 구글링을 하게 되었습니다. 이미 아시는 분들도 많지만, 다시 한번 정리를 해봤습니다.

Zencoder API 작업 요청 주소

https://app.zencoder.com/api/v2/jobs

Exception 발생 화면

2. 개발 환경

실제 작성한 코드는 많지 않고 테스트를 쉽게 하려고 간단하게 유닛 테스트로 작성했습니다. github에 올린 코드를 참조해주세요.

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

3. 해결책

이 문제를 해결하는 방법은 크게 2가지가 있습니다.

코딩상에서 직접 인증서 유효성 체크 하지 않기 (비추)
해당 인증서 자바 keystore에 저장하기 (추천 방식)

3.1 코드 상에서 직접 인증서 유효성 체크 하지 않기

자바 코드로 인증서 체크를 하지 않도록 HttpsConnection의 설정을 변경하는 방식입니다. 아래 코드에 대한 자세한 설명은 생략하도록 하겠습니다.

@Test
public void test_disable_certificate_from_code() {
   disableCertificateCheck(); //#1

   Assertions.assertThatCode(this::connectHttps).doesNotThrowAnyException();
}

private void disableCertificateCheck() {
   // Create a trust manager that does not validate certificate chains
   TrustManager[] trustAllCerts = new TrustManager[] {
         new X509TrustManager() {
            public java.security.cert.X509Certificate[] getAcceptedIssuers() {
               return new X509Certificate[0];
            }

            public void checkClientTrusted(
                  java.security.cert.X509Certificate[] certs, String authType) {
            }

            public void checkServerTrusted(
                  java.security.cert.X509Certificate[] certs, String authType) {
            }
         }
   };

   // Install the all-trusting trust manager
   try {
      SSLContext sc = SSLContext.getInstance("SSL");
      sc.init(null, trustAllCerts, new java.security.SecureRandom());
      HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
   } catch (GeneralSecurityException e) {
   }
}

3.2 해당 인증서 자바 keystore에 저장하기 (추천 방식)

자바 keystore에 인증서를 등록하는 방법에는 크게 2가지가 있습니다. 명령어 창에서 하던지 아니면 Portecle GUI 프로그램을 사용해도 상관없습니다.

3.2.1 Portecle GUI 사용하기

자바 keystore에 인증서를 등록하기전에 유닛 테스트를 실행하면, SSLHandshakeException이 발생합니다.

@Test
public void test_after_import_certificate() {
   Assertions.assertThatCode(this::connectHttps).doesNotThrowAnyException();
}

Portecle은 keystore를 관리해주는 자바로 짠 GUI 프로그램입니다. 자바로 짜여 있어서 플롯폼 상관없이 어디서든 실행할 수 있습니다.

1. 다운로드 한후 압축 풀기

아래 링크에서 프로그램을 다운로드한 후 압축을 원하는 폴더에 풀어줍니다.

https://sourceforge.net/projects/portecle/files/latest/download

2. Portecle 실행

인증서 등록 후 저장 시 root 권한 필요하므로 sudo로 프로그램을 실행합니다.

># sudo java -jar portecle.jar

3. 접속 사이트에서 인증서를 다운로드합니다.

메뉴에서 Examine > Examine SSL/TSL Connection…을 클릭하고 접속하려는 사이트 주소를 입력 후 OK 버튼을 클릭합니다.

클릭 후에 인증서를 볼 수 있습니다. 이 내용을 저장하려면 PEM Encoding 버튼 클릭 후 Save 버튼을 눌려 저장합니다.

4. 자바 keystore에 등록하기

원하는 자바 버전의 $JAVA_HOME/lib/security/cacerts 파일을 열어서 새로운 인증서를 추가하고 저장하면 끝납니다.

설치된 자바 홈 폴더를 확인하고 싶으면 java_home 명령어로 확인할 수 있습니다.

># /usr/libexec/java_home -V

메뉴에서 열기 버튼을 클릭해서 cacerts 파일을 찾아 오픈하면 암호를 입력하게 되어 있습니다. 디폴트 암호 값은 changeit 입니다.

새로운 인증서를 추가하기 위해 메뉴 임포트 버튼을 클릭하고 다운로드한 인증서를 선택합니다.

파일 선택 이후 여러 질문에 Yes 버튼을 클릭하면 새로운 인증서가 추가된 것을 목록에서 확인할 수 있습니다.

다시 유닛 테스트를 실행하면 Exception 없이 잘 실행되는 것을 확인할 수 있습니다. 자 그면, 명령어 창에서 등록하는 방법을알아보겠습니다.

3.2.2 명령어창에서 자바 keystore에 인증서 임포트하기

명령어 창에서도 인증서를 다운로드하고 등록할 수 있습니다.

1. 인증서 다운로드하기

># openssl s_client -connect app.zencoder.com:443 | tee appzencoder.certlog
># openssl x509 -inform PEM -in appzencoder.certlog -text -out appzencoder.certdata
># openssl x509 -inform PEM -text -in appzencoder.certdata

2. 자바 keystore에 새로운 인증서 추가하기

># sudo keytool -importcert -file ./appzencoder.certdata -alias app.zencoder.com -keystore $JAVA_HOME/jre/lib/security/cacerts -storepass changeit

입력이후 질문이 나오면 yes 를 입력하면 등록이 완료됩니다.

부록

1. Bash Script로 자동 import하기

인증서 등록이후 영구적으로 사용가능할 줄 알았는데, 시간이 좀 지나면 expire되어 다시 재등록을 해야 하는듯하네요. 귀찮아서 그냥 script을 만들었습니다. 참조해서 사용하시면 좋을 것 같아요.

2. JUnit 실행시 SSL 인증서 체크 Disable 시키기

개인적으로 저는 JUnit Test 실행시 종종 발생하는 이슈라서 https 사이트에 접속하는 경우에 대해서만 JUnit Rule을 추가하여 해결 하였습니다. JUnit Rule에 대한 내용은 사전에 포스팅한 JUnit Rule이란을 참조해주세요.

API에 접속하는 유닛 테스트에 @ClassRule을 선언하고 새로 정의한 DisableSSLCertificateCheckRule을 disableSSLRule로 선언하였습니다. 테스트 실행전에 해당 Rule이 실행되어 SSL 체크를 무효화 시킵니다.

4. 참고

Java의 keystore에 SSL 인증서 import 하기

Certificate 다운로드 방법

Java Jayway JsonPath 사용법

kenshin579 — Wed, 9 Jan 2019 13:50:05 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Jayway JsonPath는 Stefan Goessner의 JsonPath 구현을 자바로 포팅한 라이브러리입니다. XML의 가장 큰 장점은 XPath(XML Path Language)로 XML 문서에서 원하는 부분을 바로 추출할 수 있다는 점입니다.

w3school 예제

<?xml version="1.0" encoding="UTF-8"?>
<bookstore>
    <book>
        <title lang="en">Harry Potter</title>
        <price>29.99</price>
    </book>
    <book>
        <title lang="en">Learning XML</title>
        <price>39.95</price>
    </book>
</bookstore>

위 XML 예제에서 bookstore의 첫 번째 책 요소를 추출하는 XPath 표현은 아래와 같습니다.

/bookstore/book[1] : 첫 번째 책 요소를 추출한다
/bookstore/book[last()] : 여러 책중 맨 마지막 책을 추출한다

2. 개발 환경 및 Maven 의존성 설정

사용한 환경은 아래와 같습니다. 여기서 작성한 소스는 아래 github 링크를 참고해주세요.

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Dependency management tool : Maven

Java Jayway JsonPath를 사용하기 위해서는 아래 Maven 의존성을 추가해야 합니다. 현재 최신 버전은 2.4.0 (2017/7/5)입니다.

<dependency>
    <groupId>com.jayway.jsonpath</groupId>
    <artifactId>json-path</artifactId>
    <version>2.4.0</version>
</dependency>

JSON 샘플 파일은 Json Generator에서 가져왔고 작성한 소스 코드는 실제 Jaway JsonPath 소스를 많이 참조해서 작성했습니다.

2.1 Jayway JsonPath Evaluator

JsonPath 표현식에 아직 익숙하지 않다면, JsonPath Online Evaluator에 접속해서 표현식을 테스트해보세요.

3. Jayway JsonPath 사용법

JsonPath의 표기법과 대표적인 연산자를 알아보고 예제를 통해서 어떻게 데이터에 접근하여 가져올 수 있는지 알아보도록하겠습니다. Jayway JsonPath의 연산자, 함수, 필터에 대한 전체 목록은 JsonPath Github를 참조해주세요.

3.1 JsonPath 표기법

JsonPath는 2가지 표기법을 사용할 수 있습니다. Dot과 bracket 표현식이 있습니다.

dot 표현식

$.store.book[0].title

bracket 표현식

$[’store’][‘book’][0][’title’]

3.2 JsonPath 대표적인 연산자 (Operator)

대표적으로 많이 사용하는 연산자입니다.

연산자	설명
$	루트 노드로 모든 Path 표현식은 이 기호로 시작된다.
@	처리되고 있는 현재 노드를 나타내고 필터 조건자에서 사용된다.
*	와일드카드로 모든 요소와 매칭이 된다
.	Dot 표현식의 자식노드
[start:end]	배열 slice 연산자
[?(<expression>)]	필터 표현식으로 필터 조건자가 참인 경우에 매칭되는 모든 요소를 만을 처리한다 ex. book[?(@.price == 49.99)]

3.3 JsonPath 함수 및 필터

JsonPath 함수는 min(), max(), avg(), length() 등을 제공하고 표현식 맨 마지막에 붙여서 실행할 수 있습니다.

$.length() : 요소의 길이를 반환한다. 배열인 경우에는 배열 크기를 반환한다
$.range.avg() : 요소 range 배열의 평균 값을 계산한다

JsonPath에서 필터도 제공합니다. 필터 [?(<expression>)] 표현 식을 가지며 <expression>에는 논리 연산자(ex. ==, <, >)와 기타연산자(ex. in, size, empty)로 true, false 값을 반환하는 표현 식이 들어갑니다. @는 현재 처리되는 요소를 나타냅니다.

$[?(@.age == 23 )] : age가 23인 데이터만 반환한다
$[?(@.name == ‘Frank’)] : 이름인 Frank인 데이터만 반환한다

3.4 JsonPath 표현식 예제

JsonPath 표현식	결과 및 설명
$..*	전체 요소 (.. 딥 스캔)
$[?('pariatur' in @['tags'])]	tags에 pariatur가 있는 모든 사람들
$[?(@.age == 26 )]	age가 26인 모든 사람들
$[0][‘balance’]	첫번째 사람의 balance
$[*]['age']	모든 사람들의 나이
$..[’name’][‘first]	모든 사람들의 이름

3.5 Java JsonPath 예제

Jayway JsonPath로 원하는 데이터를 추출하려면 parse()와 read()를 사용하면 됩니다. 유닛 테스트로 작성된 여러 버전을 보면 사용법을 쉽게 이해할 수 있습니다.

static parse() : 여러 입력 타입(ex. String, InputStream, File)에 따라서 JSON을 읽어드리는 정적 메서드이다.
read() : XPath 표현식을 읽고 해당 데이터를 추출한다

<T> T read(String path, Predicate... filters)

3.5.1 Id로 검색하기

배열 중에 _id 값이 ‘5c2c3278acd492387a5223d7'인 데이터를 추출하는 예제입니다.

필터를 사용하여 Id가 같은 데이터만 얻어와서 Object 객체로 반환합니다.

@Test
public void test_id값으로_데이터를_가져오기() {
   String searchId = "5c2c3278acd492387a5223d7";
   Object dataObject = JsonPath.parse(jsonStream).read("$[?(@._id == '" + searchId + "')]");
   assertTrue(dataObject.toString().contains("Hello, Louella! You have 8 unread messages."));
}

JsonPath Output 결과

[
   {
      "_id" : "5c2c3278892c4a5335a2d18e",
      "index" : 0,
      "guid" : "bd56abb6-c46b-43e4-b3c7-ca8ad386dd7c",
…(생략)…
      "greeting" : "Hello, Franklin! You have 6 unread messages.",
      "favoriteFruit" : "banana"
   }
]

3.5.2 Filter API를 사용하기

위와 같은 예제이고 Jayway에서 제공하는 Filter API를 사용하여 작성하였습니다. Filter API를 사용하려면, 메서드이름을 익히고 익숙해져야 하므로 그냥 JsonPath 표현식 사용을 추천합니다.

@Test
public void test_id값으로_데이터를_가져오기() {
   String searchId = "5c2c3278acd492387a5223d7";
   List<Object> lists = JsonPath.parse(jsonStream).read("$[?(@._id == '" + searchId + "')]");
   assertEquals(1, lists.size());
   assertTrue(lists.get(0).toString().contains("Hello, Louella! You have 8 unread messages."));
}

3.5.3 Tags에 특정 값이 있는 모두 사람 찾기

스캔하는 @[’tags’]에 ‘pariatur’ 값이 있는 모든 사람을 찾는 예제입니다. 필터 조건가가 있는 경우에는 결과가 여러 개일 수 있으므로 List로 반환합니다.

@Test
public void test_tags가_있는_사람은_모두() {
   List<Map<String, Object>> dataList = JsonPath.parse(jsonStream).read("$[?('pariatur' in @['tags'])]");
   assertTrue(dataList.get(0).get("name").toString().contains("Dawn") && dataList.get(0).get("name").toString().contains("Roach"));
   assertTrue(dataList.get(1).get("name").toString().contains("Deloris") && dataList.get(1).get("name").toString().contains("Albert"));
}

JsonPath Output 결과

[
   {
…(생략)…
    "tags" : [
            "incididunt",
            "elit",
            "laborum",
            "pariatur",
            "amet"
         ],
     },
     {
…(생략)…
     "tags" : [
          "adipisicing",
          "irure",
           "eu",
           "ullamco",
           "pariatur"
        ],
…(생략)…
]

3.5.4 JsonPath 쿼리로 얻은 결과 자바 객체와 자동 매핑하기

지금까지 JsonPath로 쿼리한 결과를 Object로 저장하였지만, 실제 클래스 객체로 결과를 매핑받아 볼 수 있습니다. read() 메서드에 targetType으로 객체(ex. Person)를 넘겨주면 자동으로 캐스팅되어 타입 객체(ex. Person)를 반환합니다.

@Test
public void test_Person객체로_매핑하기() {
   DocumentContext documentContext = JsonPath.parse(this.getResourceAsStream("person.json"));
   Person person = documentContext.read("$", Person.class);
   assertEquals("Frank Oh", person.getName());
   assertEquals(26, person.getAge());
}

3.5.5 JsonPath 함수 사용

첫번째 사람에서 range 속성의 평균 값을 계산하는 예제입니다.

@Test
public void test_jsonpath_함수() {
   DocumentContext documentContext = JsonPath.parse(jsonStream);
   double rangeAvg = documentContext.read("$[0].range.avg()");
   assertEquals(4.5, rangeAvg, 0);
}

JsonPath Output 결과

[{
…(생략)…

"range": [ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9 ]

…(생략)…
}]

3.5.6 모든 사람의 총 계좌 잔고 계산하기

이번에도 함수를 사용하였습니다. $.length()를 사용해서 총 사람의 수를 얻은 다음, 각 사람들의 balance 속성의 값을 얻어 총 합을 구하는 예제입니다.

@Test
public void test_모든_사람의_총_계좌_잔고을_계산하기() throws ParseException {
   NumberFormat formatter = NumberFormat.getCurrencyInstance(Locale.US);

   DocumentContext documentContext = JsonPath.parse(jsonStream);
   int maxSize = documentContext.read("$.length()");
   double totalAmount = 0.0;

   for (int i = 0; i < maxSize; i++) {
      totalAmount += formatter.parse(documentContext.read("$[" + i + "]['balance']")).doubleValue();
   }
   assertEquals(15998, (int) totalAmount);
}

3.5.7 제일 어린 사람 찾기

마지막 예제는 제일 어린 사람 찾기입니다. #1에서는 $[*][‘age] 표현식으로 모든 사람의 나이를 List로 결과를 담습니다. #2에서 제일 최소 나이를 구한 다음, #3에서는 구한 최소 나이의 값이 매칭되는 사람을 얻어 결과를 저장합니다.

@Test
public void test_제일_어린_사람을_찾기() {
   DocumentContext documentContext = JsonPath.parse(jsonStream);
   List<Integer> ageList = documentContext.read("$[*]['age']”); //#1

   int minAge = ageList.get(ageList.indexOf(Collections.min(ageList))); //#2

   List<Object> lists = documentContext.read("$[?(@['age'] == " + minAge + ")]”); //#3

   assertTrue(lists.get(0).toString().contains("Deloris") && lists.get(0).toString().contains("Albert"));
}

지금까지 예제를 통해서 Jayway JsonPath 사용법을 알아봤습니다. JSON 데이터를 사용할 때 Gson이나 Jackson 라이브러리를 많이 사용합니다. 이런 라이브러리를 사용해도 원하는 중간값을 얻어올 수 있지만, 빠르고 쉽게 작성하기는 좀 어려움이 있습니다. JsonPath는 이런 부분을 보완해줍니다. 그래서 빠르고 쉽게 체크할 때 많이 사용되어 유닛 테스트를 작성할 때 많이 사용되고 있습니다.

4. 참고

JSONPath

https://goessner.net/articles/JsonPath/

Jayway JsonPath

Simple Spring Memcached(SSM)란

kenshin579 — Tue, 1 Jan 2019 22:21:29 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

스프링에서 Memcache를 사용하려면 simple-spring-memcached(SSM) 라이브러리를 자주 이용합니다. SSM 어노테이션으로 메서드에 선언하면 쉽게 관련 데이터가 캐시에서 관리됩니다. 스프링에서도 버전 3.1부터는 캐시 서비스 추상화 기능이 지원되어 비즈니스 로직 변경 없이 쉽게 다양한 캐시 구현체(ex. Ehcache, Redis)로 교체가 가능하게 되었습니다. 스프링에서 제공하는 캐시 기능은 다른 포스팅에서 더 자세히 다루도록 하겠습니다.

2. 개발 환경

OS : Mac OS
IDE: Intellij
Java : JDK 11
Source code : github
Software management tool : Maven

3. Simple Spring Memcached(SSM) 설정 및 사용법

SSM 사용에 필요한 dependency와 스프링 빈 설정 파일을 추가해야 합니다.

3.1 Maven dependency 추가

라이브러리는 maven을 사용하였습니다. Simple-spring-memcached와 Memcache provider 중에 하나를 선택해서 pom.xml에 추가해줍니다. spymemcached와 xmemcached의 차이는 아래와 같습니다. 이 포스팅에서는 xmemcached로 위주로 설명합니다.

spymemcached

단순 비동기, 단일 쓰레드 memcached 자바 라이브러리

xmemcached (이 라이브러리 위주로 설명함)

고성능 멀티 쓰레드 memcached 자바 라이브러리

파일 : pom.xml

<dependency>
    <groupId>com.google.code.simple-spring-memcached</groupId>
    <artifactId>simple-spring-memcached</artifactId>
    <version>4.1.1</version>
</dependency>

xmemcached

spymemcached

<dependency>
    <groupId>com.google.code.simple-spring-memcached</groupId>
    <artifactId>xmemcached-provider</artifactId>
    <version>4.1.1</version>
</dependency>

<dependency>
  <groupId>com.google.code.simple-spring-memcached</groupId>
  <artifactId>spymemcached-provider</artifactId>
  <version>4.1.1</version>
</dependency>

3.2 스프링 설정 파일

스프링 빈 설정에 Memcached 관련 설정이 포함됩니다. Memcached의 서버 정보와 캐시 설정은 ConsistentHashing 방식으로 지정되어 있습니다.

추가 설명
ConsistentHashing 방식은 여러 서버가 변경되더라도 각 서버에 할당된 데이터를 재분배하지 않고 다운된 서버의 데이터만 다른 서버로 재분배하는 방식입니다. K(keys) = 10,000, N(memcache 서버 수 : 슬롯) = 5대 => 각 서버마다 2000 keys만큼을 hashing 할 수 있다. 서버 장애 (1 서버 다운 A)가 발생한 A 서버의 key만 다른 서버로 재분배하는 방식이다. 
더 자세한 설명은 Consistent Hashing를 참고해주세요.

파일 : resources/applicationContext-cached.xml

<context:annotation-config/>
<context:component-scan base-package="sample.di.business.*"/>
<context:component-scan base-package="sample.di.dataaccess"/>

<import resource="simplesm-context.xml"/>
<aop:aspectj-autoproxy/>

<bean name="defaultMemcachedClient" class="com.google.code.ssm.CacheFactory">
    <property name="cacheClientFactory">
        <bean class="com.google.code.ssm.providers.xmemcached.MemcacheClientFactoryImpl"/>
    </property>
    <property name="addressProvider">
        <bean class="com.google.code.ssm.config.DefaultAddressProvider">
            <property name="address" value="127.0.0.1:11211"/>
        </bean>
    </property>
    <property name="configuration">
        <bean class="com.google.code.ssm.providers.CacheConfiguration">
            <property name="consistentHashing" value="true"/>
        </bean>
    </property>
</bean>

simplesm-context.xml은 SSM github 소스에 포함된 설정파일이고 SSM 사용 시 필요하므로 복사해서 사용하시면 됩니다.

3.3 SSM Cache 대표 어노테이션

아래는 대표적으로 많이 사용하는 어노테이션입이다. 이외에 사용해야 하는 어노테이션은 해당 라이브러리의 Wiki를 참고해주세요.

Read

@ReadThroughAssignCache
@ReadThroughSingleCache
@ReadThroughMultiCache

Update

@UpdateAssignCache
@UpdateSingleCache
@UpdateMultiCache

Invalidate

@InvalidateAssignCache
@InvalidateSingleCache
@InvalidateMultiCache

Counter

@ReadCounterFromCache
@IncrementCounterInCache
@DecrementCounterInCache

대부분의 SSM 어노테이션은 Cache Action과 Cache Type으로 구분할 수 있습니다.

Cache Action	Description
ReadThrough	Cache에 저장된 key가 없는 경우 Cache에 저장한다
Update	Cache에 저장된 key의 값을 업데이트한다
Invalidate	Cache에 저장된 key를 삭제한다

Cache Type	Description
AssignCache	캐시 키는 assignedKey 속성으로 지정한 값이고 메서드 인자가 없는 경우에 사용된다 ex. List<Person> getAllUsers()와 같은 메서드에 사용된다
SingleCache	캐시 키는 SSM 어노테이션으로 선언된 메서드 인자로 생성되며 인자가 하나인 경우에 사용된다. - 인자가 List 타입인 경우에는 캐시 키로 생성해서 사용할 수 없다 ex. Person getUser(int int)
MultiCache	캐시 키는 SSM 어노테이션으로 선언된 메서드 여러 인자로 생성된다. 인자중에 한개가 List 타입 형이여야하며 반환결과도 List 타입이여야 한다. 반환된 결과 List의 각 요소는 지정된 캐시 키로 저장된다. ex. List<Person> getUserFromData(List workInfo)

SingleCache와 MultiCache인 경우 반드시 메서드 인자 중에 @ParameterValueKeyProvider 어노테이션을 지정해야 합니다. 기본 캐시 어노테이션 외에도 여러 어노테이션과 같이 사용하는 속성들이 존재하며 예제를 통해서 더 자세히 알아보도록 하겠습니다.

기타 어노테이션 및 속성

@CacheName(“QuoteApp”) : 관련 캐시를 하나로 묶을 수 있는 개념이고 클래스외에도 메서드에도 선언할 수 있다
@CacheKeyMethod : 캐시의 key 값으로 이용할 메서드를 선언한다

캐시 key는 @CacheKeyMethod로 선언된 메서드가 사용된다
@CacheKeyMethod가 지정되지 않은 경우에는 Object.toString() 메서드가 사용된다

@ParameterValueKeyProvider : 메서드 인자에 적용되며 @CacheKeyMethod로 선언된 메서드나 toString()을 이용해서 key 값을 구한다

@ParameterDataUpdateContent : 메서드 인자에 어노테이션이 적용되며 새로 저장할 값을 지정한다

@ReturnDataUpdateContent : 반환 값을 캐시에 저장한다

속성

namespace : 동일한 키 값의 이름이 있을 경우를 방지하기 위해서 사용된다
expiration : key값이 만료되는 시간 (초 단위)이다
assignedKey : 캐시 저장시 사용되는 키 값이다

3.3.1 Read Cache

@ReadThroughAssignCache 예제

@ReadThroughAssignCache 어노테이션은 인자가 없는 메서드에 적용할 수 있습니다. 캐시 영역에서 네임스페이스 ‘area’ 이름으로 key : value (all : List<Product)가 저장이 됩니다.

@ReadThroughAssignCache(namespace = "area", assignedKey="all")
public List<Product> findAllProducts() {
    slowly(); // 고의로 지연시킴
    List<Product> productList = new ArrayList<>();
    return storage.values().stream().collect(Collectors.toList());
}

각 캐시 어노테이션마다 차이점을 쉽게 알기 위해서 유닛 테스트로 작성을 했습니다. 각 테스트마다 원하는 결과를 얻기 위해서 매 테스트마다 memcache를 flush 하도록 작성되어 있습니다. @ReadThroughAssignCache 어노테이션은 캐시에서 읽어 드릴때 없으면 저장하기 때문에 아래 코드에서는 Comment #1 때에 캐시에 저장하고 Comment #2 때는 캐시에서 데이터를 가져오는 것을 확인할 수 있습니다.

@Test
public void testReadThroughAssignCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft", 100));
        productService.addProduct(new Product("sony", 100));
        productService.findAllProducts(); //#1 - caching

        productService.findAllProducts(); //#2 - cache에서 가져옴

    });
}

Unit Test 실행 결과

watch 모니터링 결과

캐시에 저장하고 값을 확인하는 과정을 실시간으로 확인하려면 telnet으로 로그인하여 watch 명령어를 실행하면 됩니다. 더 자세한 사항은 #3.4 Memcached 유용한 명령어 모음을 참고해주세요.

@ReadThroughSingleCache

@ReadThroughSingleCache 어노테이션은 인자가 하나인 경우에만 사용합니다. 인자에 @ParameterValueKeyProvider 어노테이션을 선언하면 @CacheKeyMethod로 지정된 메서드는 캐시 키를 생성하는 데 사용되고 없는 경우에는 toString() 메서드가 사용됩니다.

@ReadThroughSingleCache(namespace = "area")
public Product findProduct(@ParameterValueKeyProvider String name) {
    slowly(); // 고의로 지연시킴

    return storage.get(name);
}

@CacheKeyMethod
public String getName() {
    return name;
}

이 어노테이션도 읽어드릴 때 캐시에 없으면 캐시에 저장하기 때문에 코드상에서 Comment #1일 때 저장하고 Comment #2일 때 캐시에서 값을 얻어오는 것을 watch 명령어로 통해서 확인할 수 있습니다.

@Test
public void testReadThroughSingleCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft", 100));
        productService.addProduct(new Product("sony", 100));
        productService.findProduct("microsoft”); //#1 - caching

        productService.findProduct("microsoft”); //#2 - cache에서 가져옴

    });
}

Unit Test 실행 결과

watch 모니터링 결과

@ReadThroughMultiCache

MultiCache는 메서드 인자 중에 List 타입인 자가 있어야 합니다. 그리고 캐시 되는 key : value 값은 인자의 List 요소와 반환 결과 요소가 각각 key : value로 캐시에 저장됩니다.

stats cachedump 명령어로 key 값을 확인해보면 알 수 있습니다. cachedump 결과 포맷에 대한 설명은 #3.4 Memcached 유용한 명령어 모음을 참고해주세요.

@ReadThroughMultiCache(namespace = "area")
public List<Integer> getIncrementValue(@ParameterValueKeyProvider List<Integer> nums, int incrementValue) {
    slowly(); // 고의로 지연시킴
    return nums.stream().map(x -> x + incrementValue).collect(Collectors.toList());
}

getIncrementValue로 넘겨진 nums 리스트의 각 요소가 캐시에 저장이 안 되어 있어서 각 요소를 키로 저장하는 것을 watch 명령어로 확인할 수 있습니다. 두 번째로 getIncrementValue을 호출 할 때는 결과를 캐시에서 바로 가져옵니다. 눈치채신 분도 계시겠지만, 변환된 결과는 잘못되었습니다. 인자로 넘겨준 값이 1이기 때문에 [3, 4, 5, 6]이 반환되어야 하는데, 캐시에서 가져와서 [6, 7, 8, 9]이 반환되었습니다. 캐시 데이터와 실제 데이터 간의 동기화가 중요하면 개발할때는 이런 부분도 신경을 써서 작업을 해야 합니다.

@Test
public void testReadThroughMultiCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        List<Integer> nums = new ArrayList<Integer>(Arrays.asList(2, 3, 4, 5));
        productService.getIncrementValue(nums, 4); //#1 - caching 함

        productService.getIncrementValue(nums, 1); //#2 - caching된 값을 가져옴

    });
}

Unit Test 실행 결과

watch 모니터링 결과

3.3.2 Update Cache

Update로 시작하는 어노테이션은 캐시에 저장된 값을 강제적으로 덮어쓰는 어노테이션입니다. Update에 대한 여러 어노테이션에 대해서 알아봅시다.

@UpdateAssignCache

AssignCache 어노테이션은 assignedKey로 지정된 값을 키로 사용합니다.

@ReturnDataUpdateContent
@UpdateAssignCache(namespace = "area", assignedKey = "all")
public List<Product> resetPriceForAllProducts() {
    slowly(); // 고의로 지연시킴
    return storage.values().stream()
            .map(product -> {
                product.setPrice(0);
                return product;
            }).collect(Collectors.toList());
}

아래 watch 모니터링 결과를 보면 Comment #1에서는 캐시에 데이터가 없어서 저장을 했고 Comment #2에서는 캐시에 있는 것을 확인했지만, 다시 덮어쓴 것을 볼 수 있습니다.

@Test
public void testUpdateAssignCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft", 100));
        productService.addProduct(new Product("sony", 100));
        productService.findAllProducts(); //#1 - caching 됨

        productService.resetPriceForAllProducts(); //#2 - caching된 데이터를 다시 씀

    });
}

Unit Test 실행 결과

watch 모니터링 결과

@UpdateSingleCache

SingleCache이기 때문에 메서드 인자가 하나긴 경우에만 사용되며 Update로 시작하는 어노테이션이기 때문에 캐시에 있으면 덮어씁니다. @ParameterDataUpdateContent 어노테이션은 @Update*Cache 어노테이션과 같이 사용되며 업데이트되는 값으로 메서드 인자에 선언합니다.

@UpdateSingleCache(namespace = "area")
public void changeProduct(@ParameterValueKeyProvider String productName, @ParameterDataUpdateContent int overridePrice) {
    slowly(); // 고의로 지연시킴
    Product product = storage.get(productName);
    product.setPrice(overridePrice);
    storage.replace(productName, product);
}

@UpdateAssignCache와 동일하게 Comment #2에서도 캐시에 있는 데이터를 다시 쓰는 것을 확인할 수 있습니다.

@Test
public void testUpdateSingleCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        Product product = new Product("microsoft", 100);
        productService.addProduct(product);
        productService.changeProduct(product.getName(), 500); //#1 - caching

        productService.changeProduct(product.getName(), 1000); //#2 - caching에 있는 데이터를 다시 씀

    });
}

Unit Test 실행 결과

watch 모니터링 결과

@UpdateMultiCache

@ReturnDataUpdateContent 어노테이션은 @Update*Cache 어노테이션과 같이 사용되며 업데이트되는 반환 값에 표시하는 데 사용합니다. 다른 MultiCache어노테이션과 같이 List 타임인 경우에만 사용됩니다.

@ReturnDataUpdateContent
@UpdateMultiCache(namespace = "area")
public List<Product> updatePriceForGivenProductName(@ParameterValueKeyProvider List<String> nameList, @ParameterDataUpdateContent int overridePrice) {
    slowly(); // 고의로 지연시킴
    List<Product> result = new ArrayList<>();
    Product product;

    for (String name : nameList) {
        product = storage.get(name);
        product.setPrice(overridePrice);
        result.add(product);
    }

    return result;
}

@Test
public void testUpdateMultiCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft1", 100));
        productService.addProduct(new Product("microsoft2", 100));
        productService.addProduct(new Product("microsoft3", 100));
        List<String> names = new ArrayList<>(Arrays.asList("microsoft1", "microsoft3"));
        productService.updatePriceForGivenProductName(names, 1000); //#1 - caching 함

        productService.updatePriceForGivenProductName(names, 500); //#2 - caching된 데이터를 다시 씀

    });
}

Unit Test 실행 결과

watch 모니터링 결과

3.3.3 Invalidate Cache

Invalidate로 시작하는 어노테이션은 캐시에 해당 키가 존재하면 캐시에서 삭제합니다.

@InvalidateAssignCache

@InvalidateAssignCache는 assignedKey로 지정한 키가 캐시에 있다면 해당 키를 삭제합니다. 강제로 캐시에서 삭제하는 기능으로 캐시에 최신 데이터를 가져오고 싶을 때 사용할 수 있습니다.

@InvalidateAssignCache(namespace = "area", assignedKey = "all")
public List<Product> getAllProductsFromMemory() {
    slowly(); // 고의로 지연시킴
    return storage.values().stream().collect(Collectors.toList());
}

Comment #1에서 findAllProduct 메서드에 의해서 캐시에 저장되지만, 다음 라인에서 캐시에서 삭제되어 cachedump로 결과를 확인하면 저장된 키가 없는 것을 확인할 수 있습니다.

@Test
public void testInvalidateAssignCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft", 100));
        productService.findAllProducts(); //#1 - caching

        productService.getAllProductsFromMemory(); //#2 - cache에서 삭제함

    });
}

stats cachedump 결과

캐시에서 삭제되어 아무 결과가 없습니다.

Unit Test 실행 결과

watch 모니터링 결과

@InvalidateSingleCache

SingleCache 이기 때문에 하나의 인자인 경우에 사용되면 invalidate 어노테이션으로 캐시에 저장된 키가 있다면 삭제합니다.

@InvalidateSingleCache(namespace = "area")
public Product getProductFromMemory(@ParameterValueKeyProvider String name) {
    slowly(); // 고의로 지연시킴
    return storage.get(name);
}

Comment #2에서 캐시에서 삭제된 결과를 stats cachedump 명령어로 확인할 수 있습니다.

@Test
public void testInvalidateSingleCache() { //todo: 여기서부터 작업하면 됨
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft", 100));
        productService.findProduct("microsoft"); //#1 - caching

        productService.getProductFromMemory("microsoft”); //#2 - cache에서 삭제함

    });
}

stats cachedump 결과

캐시에서 삭제되어 아무 결과가 없습니다.

Unit Test 실행 결과

watch 모니터링 결과

@InvalidateMultiCache

MultiCache로 인자와 반환 값이 List 타입 이어야 하는 메서드에 적용되며 캐시에 저장된 키가 있다면 캐시에서 삭제됩니다.

@InvalidateMultiCache(namespace = "area")
public List<Product> getProductGivenProductNameFromMemory(@ParameterValueKeyProvider List<String> nameList) {
    slowly();
    List<Product> result = new ArrayList<>();
    Product product;

    for (String name : nameList) {
        product = storage.get(name);
        result.add(product);
    }
    return result;
}

@Test
public void testInvalidateMultiCache() {
    this.executeWithMemcachedFlush(productService, () -> {
        productService.addProduct(new Product("microsoft1", 100));
        productService.addProduct(new Product("microsoft2", 200));
        productService.addProduct(new Product("microsoft3", 300));
        productService.findProduct("microsoft1”); //#1 - caching

        List<Product> list = productService.getProductGivenProductNameFromMemory(Arrays.asList("microsoft1", "microsoft2")); //#2 - cache에서 삭제됨

        assertEquals(2, list.size());
    });
}

stats cachedump 결과

캐시에서 삭제되어 아무 결과가 없습니다.

Unit Test 실행 결과

watch 모니터링 결과

3.4 Memcached 유용한 명령어 모음

3.4.1 watch

Memcached는 watch 명령어을 제공해서 캐시에 저장되거나 값을 얻어올 때 실시간으로 이벤트를 확인할 수 있습니다.

명령어 : watch <options>

options : fetchers, mutations, evictions 중에 원하는 이벤트를 하나 이상 선택할 수 있다

># telnet localhost 11211
watch fetchers mutations evictions

3.4.2 stats cachedump

이 명령어는 Memcached 팀에서 지원하지 않는 기능으로 추후 버전에서 삭제될 수 있지만, 현재 1.5.12 버전에서는 존재합니다.

명령어 : stats cachedump <slabs_id> <limit>

인자값 :

slabs_id : key를 검색할 위치의 slab_id
limit : 검색할 크기 (0 : 무한)

반환값 : ITEM <item_key> [<item_size> b; <expiration_timestamp> s]

item_keys : key 이름
item_size : key를 포함한 byte 크기
expiration_timestamp : expiration timestamp 초 (0 —> 무한)

3.5 SSM 사용시 주의사항

3.5.1 Expiration 지정시 30일 이내로 하자

expiration이 30일을 넘으면 무한 값으로 계산됩니다.

3.5.2 toString()을 override 하자

캐시 key로 지정된 인자가 primitive 타입이 아닌 오브젝트타입인 경우에는 toString() 메서드를 이용해서 key를 생성합니다. toString()을 override 하지 않으면 Object.toString()을 사용하며 기본 구현은 아래와 같이 클래스 이름과 hashcode()를 사용해서 값을 반환합니다. hashCode는 메모리 주소를 의존하기 때문에 메모리 주소가 변경되면 캐시가 적용이 안 되는 경우가 발생할 수 있어 toString()을 어버라이드 하거나 @CacheKeyMethod을사용을 권장합니다.

return getClass().getName() + "@" + Integer.toHexString(hashCode())

3.5.3 오브젝트가 캐싱되는 경우 반드시 Serializable로 직렬화 시킬 수 있어야 한다

캐시에 저장되는 값이 오브젝트인 경우에는 해당 오브젝트는 직렬화가 가능해야 하면 serialVersionUID도 생성하는 것을 잊지 말자.

Tips
Serializable로 구현한 오브젝트에 serialVersionUID 없는 경우에는 JVM에서 자동으로 생성합니다. 클래스 변경에 따라서 serialVersionUID가 자동으로 바뀌면 역직렬화시 문제가 발생할 수 있기 때문에 직업 명시하는 게 좋습니다. IntellijIDE에서도 자동으로 생성해주는 plugin(GeneateSerialVersionUID)이 존재합니다.

3.5.4 Cache key 길이는 250자로 제한된다

key의 최대 길이는 250자이면 넘을 경우 IllegalArgumentException 이 발생합니다.

4. 참고

Consistent Hashing

Memcached 명령어

Spring Cache

https://minwan1.github.io/2018/03/18/2018-03-18-Spring-Cache/

주의사항

스프링 파일 업로드 처리

kenshin579 — Tue, 1 Jan 2019 22:21:03 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

이번 포스팅에서는 스프링에서 파일 업로드를 어떻게 구현할 수 있는지에 대해서 알아보도록 하겠습니다. 스프링에서는 단일 파일 업로드뿐만이 아니라 아래와 같은 여러 방법으로 파일 업로드 기능을 제공합니다.

단일 파일 업로드
다중 파일 업로드
파일 업로드 + 추가 정보 by @RequestParam 개별로
파일 업로드 + 추가 정보 by @ModelAttribute 한번에 클래스와 매핑

스프링은 MultipartResolver 인터페이스와 아래 2가지 구현체로 파일 업로드를 지원합니다.

Servlet 3.0 Multipart Request 사용

구현체 : StandardServletMultipartResolver
파일(XML, JavaConfig)로 설정만 하면 된다.

Apache Commons FileUpload API 사용

구현체 : CommonsMultipartResolver
Servlet 3 환경에만 국한된 것은 아니지만, Servlet 3.x 컨테이너에서도 똑같이 작동한다
pom.xml에 라이브러리를 추가해야 한다

2. 개발 환경

OS : Mac OS
IDE: Intellij
Java : JDK 1.8
Source code : github
Software management tool : Maven

3. 파일 업로드을 위한 설정

파일 업로드를 위해 스프링에서 필요한 기본 설정에 대해서 알아봅시다. 언급했던 것처럼 스프링에서는 2가지 방법으로 파일 업로드를 설정할 수 있습니다. 본 포스팅에서는 첫 번째 StandardServletMultipartResolver 리졸뷰 위주로 설명을 하도록 하겠습니다. 두 번째인 CommonsMultipartResolver 리졸뷰를 사용해도 됩니다. 스프링 설정하는 경험이 있으면 어느 것을 사용하던 큰 어려움이 없을 것으로 생각됩니다. 필요한 내용은 참고 링크들을 참조해주시면 될 것 같아요.

Servlet 3.0 Multipart Request (이 방법 위주로 설명)

StandardServletMultipartResolver

Apache Commons FileUpload API

CommonsMultipartResolver

3.1 스프링 및 파일 업로드 제한 설정

3.1.1 StandardServletMultipartResolver 사용시 설정

Bean XML 정의 파일 설정

1. StandardServletMultipartResolver 빈을 스프링에 등록

파일 : spring-mvc-xml-fileupload/src/main/webapp/WEB-INF/spring-mvc-config.xml
<bean id="multipartResolver" class="org.springframework.web.multipart.support.StandardServletMultipartResolver" />

2. 서블릿 설정에서 multipart-config을 선언

파일 : spring-mvc-xml-fileupload/src/main/webapp/WEB-INF/web.xml

<servlet>
    <servlet-name>hello-dispatcher</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <init-param>
        <param-name>contextConfigLocation</param-name>
        <param-value>/WEB-INF/spring-mvc-config.xml</param-value>
    </init-param>
    <load-on-startup>1</load-on-startup>
    <multipart-config>
        <max-file-size>209715200</max-file-size>
        <max-request-size>209715200</max-request-size>
        <file-size-threshold>0</file-size-threshold>
    </multipart-config>
</servlet>

Multipart-config에서 여러 옵션을 설정하여 파일 업로드를 제한할 수 있습니다.

location - 파일 업로드 시 임시로 저장하는 절대 경로이다

디폴트 값 : “"

maxFileSize - 파일당 최대 파일 크기이다

디폴트 값 : 제한없음

maxRequestSize - 파일 한 개의 용량이 아니라 multipart/form-data 요청당 최대 파일 크기이다 (여러 파일 업로드 시 총 크기로 보면 된다)

디폴트 값: 제한없음

fileSizeThreshold - 업로드하는 파일이 임시로 파일로 저장되지 않고 메모리에서 바로 스트림으로 전달되는 크기의 한계를 나타낸다

디폴트 값: 0
ex. 1024 * 1024 = 1MB 설정하면 파일이 1MB이상인 경우만에만 임시 파일로 저장된다

JavaConfig 설정

1. StandardServletMultipartResolver 빈을 스프링에 등록

파일 : spring-mvc-javaconfig-fileupload-form/src/main/java/com/boraji/tutorial/spring/config/WebConfig.java

@Configuration
@EnableWebMvc
@ComponentScan(basePackages = { "com.boraji.tutorial.spring.controller" })
public class WebConfig extends WebMvcConfigurerAdapter {
…(생략)...

   @Bean
   public MultipartResolver multipartResolver() {

      StandardServletMultipartResolver multipartResolver = new StandardServletMultipartResolver();
      return multipartResolver;
   }
}

2. Multipart-config 설정을 MultipartConfigElement 객체로 등록

파일 : spring-mvc-javaconfig-fileupload-form/src/main/java/com/boraji/tutorial/spring/config/MyWebAppInitializer.java
public class MyWebAppInitializer extends AbstractAnnotationConfigDispatcherServletInitializer {
   private static int MAX_FILE_ZIZE = 10 * 1024 * 1024;
…(생략)...
   @Override
   protected void customizeRegistration(Dynamic registration) {
      MultipartConfigElement multipartConfig = new MultipartConfigElement("/tmp/upload", MAX_FILE_ZIZE, MAX_FILE_ZIZE, 0);
      registration.setMultipartConfig(multipartConfig);
   }
}

2.1 (다른 방법) @MultipartConfig 어노테이션으로 파일 업로드 제한 설정

커스텀 서블릿을 생성하고 @MultipartConfig 어노테이션으로 multipart-config을 설정할 수 있습니다. 이 설정은 자세히 다루지 않겠습니다. 추가 설명은 @MultipartConfig[Servlet 3.x] 블로그를 참고해주세요.

@MultipartConfig(location=/tmp,
                 fileSizeThreshold=0,   
                 maxFileSize=5242880,       // 5 MB
                 maxRequestSize=20971520)   // 20 MB
public class FileUploadServlet extends HttpServlet {
    protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
        //handle file upload
    }

3.1.2 CommonsMultipartResolver 사용시 설정

StandardServletMultipartResolver와 다르게 CommonsMultipartResolver 리졸뷰 사용 시 추가로 pom.xml 파일에 commons-fileupload 라이브러리를 추가해야 합니다.

Dependency 추가

<dependency>
    <groupId>commons-fileupload</groupId>
    <artifactId>commons-fileupload</artifactId>
    <version>1.3.3</version>
</dependency>

스프링 설정은 Bean 정의 파일이나 JavaConfig으로 설정 가능합니다.

Bean XML 정의 파일 설정

스프링 설정에 CommonsMultipartResolver 빈을 등록합니다.

<bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
    <property name="maxUploadSize" value="10485760"/>
    <property name=“maxUploadSizePerFile" value="10485760”/>
    <property name="maxInMemorySize" value=“0"/>
</bean>

JavaConfig 설정

파일 : spring-mvc-javaconfig-fileupload-ajax/src/main/java/com/boraji/tutorial/spring/config/WebConfig.java

@Configuration
@EnableWebMvc
@ComponentScan(basePackages = { "com.boraji.tutorial.spring.controller" })
public class WebConfig extends WebMvcConfigurerAdapter {
   private final int MAX_SIZE = 10 * 1024 * 1024;
…(생략)...
   @Bean
   public MultipartResolver multipartResolver() {
      CommonsMultipartResolver multipartResolver = new CommonsMultipartResolver();
      multipartResolver.setMaxUploadSize(MAX_SIZE); // 10MB
      multipartResolver.setMaxUploadSizePerFile(MAX_SIZE); // 10MB
      multipartResolver.setMaxInMemorySize(0);
      return multipartResolver;
   }
}

4. 파일 업로드 예제들

지금까지는 스프링 관련 설정을 다루었습니다. 이제 뷰와 컨트롤러 단에서 어떻게 파일을 업로드할 수 있는지 알아보겠습니다. 파일을 업로드하는 방법에는 여러 가지가 있습니다. 예제를 통해서 서로 다른 점도 확인하겠습니다.

4.1 단일 파일 업로드

단일 파일을 업로드하는 예제입니다. 뷰는 HTML의 input 태그 file 속성으로 작성하여 form 방식으로 파일 업로드를 할 수 있습니다. form 태그의 enctype 속성은 multipart/form-data로 세팅하여 브라우져가 파일 업로드 방식으로 동작하도록 설정합니다.

enctype 속성 값 목록

값	설명
multipart/form-data	파일 업로드시 사용 (인코딩 하지 않음)
application/x-www-form/urlencoded	디폴트값으로 모든 문자를 인코딩
text/plain	공백은 + 기호로 변환함. 특수문자는 인코딩하지 안함

<h3>단일 파일 업로드</h3>
<form action="singleFileUpload" method="post" enctype="multipart/form-data">
    <table>
        <tr>
            <td>Select File</td>
            <td><input type="file" name="mediaFile"></td>
            <td>
                <button type="submit">Upload</button>
            </td>
        </tr>
    </table>
</form>

브라우져에서의 뷰 화면

컨트롤러에서 업로드한 파일은 MultipartFile 변수를 사용하여 전달받습니다. MultipartFile 클래스는 파일에 대한 정보(파일 이름, 크기등)와 파일 관련 메서드(ex. 파일 저장)를 제공합니다. 대표적으로 사용하는 메서드는 다음과 같고 더 자세한 사항은 API를 참고해주세요.

transferTo() : 파일을 저장한다
getOriginalFilename() : 파일 이름을 String 값으로 반환한다
getSize() : 파일 크기를 반환한다
getInputStream() : 파일에 대한 입력 스트림을 얻어온다

@PostMapping("/singleFileUpload")
public String singleFileUpload(@RequestParam("mediaFile") MultipartFile file, Model model)
      throws IOException {

   // Save mediaFile on system
   if (!file.getOriginalFilename().isEmpty()) {
      file.transferTo(new File(DOWNLOAD_PATH + "/" + SINGLE_FILE_UPLOAD_PATH, file.getOriginalFilename()));
      model.addAttribute("msg", "File uploaded successfully.");
   } else {
      model.addAttribute("msg", "Please select a valid mediaFile..");<
   }
   return "fileUploadForm";
}

Request parameter로 넘겨주는 파일 이름이 mediaFile로 넘겨줘서 @RequestRaram(“mediaFile”) 어노테이션으로 지정하였습니다. 그리고 파일이 빈파일이 아니면 정해진 다운로드 경로에 저장하고 결과 메시지는 fileUploadForm 뷰에 Model 클래스를 통해서 전달합니다.

번외 Tips
Rest API 구현을 할 때 데이터 형식을 JSON으로 많이 사용해서 클라이언트와 서버 간에 주고받습니다. JSON 타입으로 주고받을때 기본적으로 encoding을 해서 보냅니다. 보내는 데이터가 적은 양이면 문제가 되지 않지만, 대용량의 JSON인 경우에는 성능에 큰 영향을 주게 됩니다. 이런 경우에 JSON 데이터를 stream으로 보내고 컨트롤러에서 MultipartFile로 받으면 스트림형식으로그냥 받기 때문에 성능이 많이 좋아집니다. 프로젝트 진행 시고려해볼 만한 부분입니다.

4.2 다중 파일 업로드

여러 파일을 업로드하는 방식은 단일 파일 업로드 예제와 매우 유사합니다. 차이점은 뷰에서 multiple 속성을 추가하여야사용자가 여러 파일을 선택할 수 있도록 해야 합니다.

<h3>다중 파일 업로드</h3>
<form action="multipleFileUpload" method="post" enctype="multipart/form-data">
    <table>
        <tr>
            <td>Select Files</td>
            <td><input type="file" name="mediaFile" multiple="multiple"></td>
            <td>
                <button type="submit">Upload</button>
            </td>
        </tr>
    </table>
</form>

브라우져에서의 뷰 화면

컨트롤러에서는 MultipartFile 변수를 배열로 선언하여 여러 파일을 받을 수 있도록 합니다. 배열을 loop으로 돌면서 각 파일을 정해진 경로에 저장합니다. MultipartFile 클래스에서 제공하는 transferTo 메서드로 저장할 수도 있지만, 직접 OutpuStream 클래스로 파일을 저장할 수도 있습니다.

@PostMapping("/multipleFileUpload")
public String multipleFileUpload(@RequestParam("mediaFile") MultipartFile[] files,
      Model model) throws IOException {

   // Save mediaFile on system
   for (MultipartFile file : files) {
      if (!file.getOriginalFilename().isEmpty()) {
         BufferedOutputStream outputStream = new BufferedOutputStream(
               new FileOutputStream(
                     new File(DOWNLOAD_PATH + "/" + MULTI_FILE_UPLOAD_PATH, file.getOriginalFilename())));

         outputStream.write(file.getBytes());
         outputStream.flush();
         outputStream.close();
      } else {
         model.addAttribute("msg", "Please select at least one mediaFile..");
         return "fileUploadForm";
      }
   }
   model.addAttribute("msg", "Multiple files uploaded successfully.");
   return "fileUploadForm";
}

4.3 파일 업로드 + 추가 정보 by @RequestParam

이번 예제는 파일과 다른 입력 정보를 같이 보내는 예제입니다. 추가 입력을 받을 수 있도록 form을 수정합니다.

<h3>파일 업로드 + 추가 정보 by @RequestParam</h3>
<form action="singleFileUploadWithAdditionalData" method="post" enctype="multipart/form-data">
    Creator:<br>
    <input type="text" name="creator">
    <br>
    CallbackUrl:<br>
    <input type="text" name="callbackUrl”>
    <br>
    <input type="file" name="mediaFile">
    <br><br>
    <button type="submit">Upload</button>
</form>

브라우져에서의 뷰 화면

컨트롤러에서는 각 변수에 @RequestParam 어노테이션을 선언하여 입력 데이터를 개별로 받을 수 있게 합니다.

@PostMapping("/singleFileUploadWithAdditionalData")
public String singleFileUploadWith(@RequestParam("mediaFile") MultipartFile file,
      @RequestParam final String creator, @RequestParam final String callbackUrl, Model model) throws IOException {

   log.info("creator : {}", creator);
   log.info("callbackUrl : {}", callbackUrl);

   // Save mediaFile on system
   if (!file.getOriginalFilename().isEmpty()) {
      file.transferTo(new File(DOWNLOAD_PATH + "/" + SINGLE_FILE_UPLOAD_AND_EXTRA_DATA1_PATH, file.getOriginalFilename()));
      model.addAttribute("msg", "File uploaded successfully.");
   } else {
      model.addAttribute("msg", "Please select a valid mediaFile..");
   }
   return "fileUploadForm";
}

4.4 파일 업로드 + 추가 정보 by @ModelAttribute

#4.3 예제에서는 입력 데이터를 개별 변수에 저장하는 방식이었습니다. 하지만, 입력하는 데이터가 많을 때는 메서드인자가 많이 늘어나는 단점이 있습니다. @ModelAttribute어노테이션을 이용하면 입력한 데이터를 클래스로 한 번에 매핑 할 수 있습니다.

클래스 매핑을 위해 Form에서 입력하는 데이터 이름과 같은 변수를 포함하는 클래스를 아래와 같이 생성합니다.

@Data
public class MediaVO {
   private String creator;
   private String callbackUrl;
   private MultipartFile mediaFile;
}

사용자 입력 데이터를 받을 클래스 MediaVO를 인자로 선언합니다.

@RequestMapping(value = "/uploadFileModelAttribute", method = RequestMethod.POST)
public String singleFileUploadWith(@ModelAttribute MediaVO mediaVO, Model model) throws IOException {
   MultipartFile file = mediaVO.getMediaFile();

   log.info("mediaVO: {}", mediaVO);

   // Save mediaFile on system
   if (!file.getOriginalFilename().isEmpty()) {
      file.transferTo(new File(DOWNLOAD_PATH + "/" + SINGLE_FILE_UPLOAD_AND_EXTRA_DATA2_PATH, file.getOriginalFilename()));

      model.addAttribute("msg", "File uploaded successfully.");
   } else {
      model.addAttribute("msg", "Please select a valid mediaFile..");
   }
   return "fileUploadForm";
}

업로드 파일과 입력 데이터는 MediaVO에 포함되어 있어서 원하는 데이터를 getter로 가져와 로직에서 사용합니다.

지금까지 스프링을 이용해서 파일 업로드를 알아보았습니다. 다음 시간에는 스프링 컨트롤러 예외처리에 대해서 알아보겠습니다.

5. 참고

File Upload with Spring

http://cornswrold.tistory.com/74

@Multipartconfig

File Upload Progress Bar

https://www.boraji.com/spring-4-mvc-jquery-ajax-file-upload-example-with-progress-bar

Lombok 기본 사용법 익히기

kenshin579 — Sun, 16 Dec 2018 22:43:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 들어가며

Lombok는 자바에서 작성해야 하는 boilerplate code(ex. getter/setter, constructor, toString)를 어노테이션을 통해서 자동으로 생성해주는 라이브러리입니다.

코드 자체가 더 간결해져 가독성도 높아지고 더 빠르게 개발할 수 있는 장점이 있습니다. 하지만, Lombok 사용 시 주의가 필요합니다. (참조 : Lombok Pitfall) 그래서 올바로 알고 주의해서 사용하기를 권장합니다. 이 포스팅에서는 자주 사용하는 어노테이션 위주로 설명하도록 하겠습니다.

2. 환경 설정

아래 환경 기반으로 코드가 작성되어 있습니다. IDE에서 Lombok 플러그인을 설치해야 어노테이션이 인식됩니다.

OS: Mac OS
IDE: Intelij
Java : JDK 11
Source code : github
Software management tool : Maven
IDE Plugin

Lombok Plugin
Java Bytecode Decompiler : Enable - class 파일을 decompile 해서 소스를 볼 수 있다

pom.xml 파일에 lombok dependency를 추가해줍니다.

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.4</version>
</dependency>

3. 대표적인 예제

자주 사용하는 어노테이션 위주로 살펴보도록 하겠습니다.

@NonNull
@Getter, @Setter
@ToString
@AllArgsConstructor, @AllArgsConstructor, @NoArgsConstructor
@EqualsAndHashCode
@Builder
@Data
@Slf4j, @Log, @Log4j, @Log4j2
Lombok Configuration

@NonNull

메서드나 생성자 인자에 @NunNull 어노테이션을 추가하면 Lombok가 null 체크 구문을 생성해줍니다.

Lombok 사용

바닐라 자바

public class NonNullExample extends Something {
    private String name;

    public NonNullExample(@NonNull Person person) {
        super("Hello");
        this.name = person.getName();
    }
}

public class NonNullExample extends Something {
    private String name;

    public NonNullExample(@NonNull Person person) {
        super("Hello");
        if (person == null) {
            throw new NullPointerException("person is marked @NonNull but is null");
        } else {
            this.name = person.getName();
        }
    }
}

위와 같이 바닐라 버전의 자바 소스를 보고 싶다면 IDE에서 Java Bytecode Decompiler 플러그인 활성화 이후 해당 class를 클릭하면 소스코드를 직접 확인할 수 있습니다.

@Getter, @Setter

클래스 필드에 대한 getter와 setter 메서드를 생성해주고 여러 옵션으로 다양한 코드를 자동생성할 수 있습니다. Setter는 필드가 final이 아닌 필드에 대해서 메서드가 생성됩니다.

클래스 전체에 적용
각 클래스 필드에 적용
메서드의 접근제어자 변경

@Setter(AccessLevel.PROTECTED)

메서드 체이닝 (setter)

@Accessors(chain = true)

Lombok 사용	바닐라 자바
`@Getter @Setter public class Person { String name; int age; }`	`public class Person { String name; int age; public Person() { } public String getName() { return this.name; } public int getAge() { return this.age; } public void setName(String name) { this.name = name; } public void setAge(int age) { this.age = age; } }`
`//접근 제어자 public class PersonAccessLevel { @Getter @Setter String name; @Setter(AccessLevel.PROTECTED) int age; }`	`public class PersonAccessLevel { String name; int age; public PersonAccessLevel() { } public String getName() { return this.name; } public void setName(String name) { this.name = name; } protected void setAge(int age) { this.age = age; } }`
`//메서드 체이닝 @Setter @Accessors(chain = true) public class PersonSetterChain { String name; int age; }`	`public class PersonSetterChain { String name; int age; public PersonSetterChain() { } public PersonSetterChain setName(String name) { this.name = name; return this; } public PersonSetterChain setAge(int age) { this.age = age; return this; } }`

@ToString

클래스의 toString 메서드를 자동으로 생성해주고 옵션을 주어 toString에 제외 시킬 필드 속성도 지정할 수 있습니다.

메서드에서 제외시킬 필드 지정

@ToString.Exclude

메서드에서 추가하고 싶은 필드 지정

Lombok 사용

바닐라 자바

@ToString
public class Person {
    String name;
    int age;
}

public class Person {
    String name;
    int age;

    public Person() {
    }

    public String toString() {
        return "Person(name=" + this.name + ", age=" + this.age + ")";
    }
}

@ToString
public class PersonExclude {
    @ToString.Include
    String name;

    @ToString.Exclude
    int age;
}

public class PersonExclude {
    String name;
    int age;

    public PersonExclude() {
    }

    public String toString() {
        return "PersonExclude(name=" + this.name + ")";
    }
}

@EqualsAndHashCode

equals()와 hashCode()를 자동 생성해주는 어노테이션입니다.

제외시킬 필드 지정

@EqualsAndHashCode.Exclude

바닐라 자바 코드가 너무 길어서 간출렸습니다. 실제 코드는 컴파일된 클래스 파일으로 확인해보세요.

Lombok 사용

바닐라 자바

@EqualsAndHashCode
public class Person {
    String name;
    int age;
}

public class Person {
    String name;
    int age;

    public Person() {
    }

    public boolean equals(Object o) {
        ….
    }

    protected boolean canEqual(Object other) {
        return other instanceof Person;
    }

    public int hashCode() {
        int PRIME = true;
        int result = 1;
        Object $name = this.name;
        int result = result * 59 + ($name == null ? 43 : $name.hashCode());
        result = result * 59 + this.age;
        return result;
    }
}

@EqualsAndHashCode
public class PersonExclude {
    String name;
    @EqualsAndHashCode.Exclude
    int age;
}

public class PersonExclude {
    String name;
    int age;

    public PersonExclude() {
    }

    public boolean equals(Object o) {
       ….
    }

    protected boolean canEqual(Object other) {
        return other instanceof PersonExclude;
    }

    public int hashCode() {
        int PRIME = true;
        int result = 1;
        Object $name = this.name;
        int result = result * 59 + ($name == null ? 43 : $name.hashCode());
        return result;
    }
}

@NoArgsConstructor, @AllArgsConstructor, @RequiredArgsContructor

생성자를 자동으로 생성해주는 어노테이션입니다. 필드 선언순서에 따라 생성자 인자가 정해집니다. 나중에 리펙토링을 하게 되면 인자 순서가 변경될 수 있다는 점을 기억하면 좋을 것 같습니다.

NoArgsConstructor : 인자 없는 생성자
AllArgsConstructor : 모든 필드를 인자로 받는 생성자
RequiredArgsContructor(staticName=“of") : static factory 메서드를 생성함

Lombok 사용

바닐라 자바

@NoArgsConstructor
public class PersonNoArgs {
    String name;
    int age;
}

public class PersonNoArgs {
    String name;
    int age;

    public PersonNoArgs() {
    }
}

@RequiredArgsConstructor(staticName = "of")
@AllArgsConstructor(access = AccessLevel.PROTECTED)
public class PersonArgs {
    String name;
    int age;
}

public class PersonArgs {
    String name;
    int age;

    private PersonArgs() {
    }

    public static PersonArgs of() {
        return new PersonArgs();
    }

    protected PersonArgs(String name, int age) {
        this.name = name;
        this.age = age;
    }
}

@Data

@Data 어노테이션은 아래 모든 어노테이션이 적용되는 어노테이션입니다.

@ToString
@EqualsAndHashCode
@Getter, @Setter
@RequiredArgsConstructor

Lombok 사용

바닐라 자바

@Data
public class Person {
    String name;
    int age;
}

public class Person {
    String name;
    int age;

    public Person() {
    }

    public String getName() {
        return this.name;
    }

...
    public String toString() {
        return "Person(name=" + this.getName() + ", age=" + this.getAge() + ")";
    }
}

@Builder

어노테이션 하나로 Builder Pattern을 생성해줍니다. 빌더 패턴은 여러 설정하고 객체를 만들어주는 패턴입니다. 더 자세한 내용은 아래 참조를 확인해주세요.

Lombok 사용

바닐라 자바

@Builder
@ToString
public class Car {
    private int wheels;
    private String color;

    public static void main(String[] args) {
        System.out.println(Car.builder().color("red").wheels(2).build());
    }
}

/* OUTPUT
Car(wheels=2, color=red)
*/

public class Car {
    private int wheels;
    private String color;

    public static void main(String[] args) {
        System.out.println(builder().color("red").wheels(2).build());
    }

    Car(int wheels, String color) {
        this.wheels = wheels;
        this.color = color;
    }

    public static Car.CarBuilder builder() {
        return new Car.CarBuilder();
    }

    public String toString() {
        return "Car(wheels=" + this.wheels + ", color=" + this.color + ")";
    }

    public static class CarBuilder {
        private int wheels;
        private String color;

        CarBuilder() {
        }

        public Car.CarBuilder wheels(int wheels) {
            this.wheels = wheels;
            return this;
        }

        public Car.CarBuilder color(String color) {
            this.color = color;
            return this;
        }

        public Car build() {
            return new Car(this.wheels, this.color);
        }

        public String toString() {
            return "Car.CarBuilder(wheels=" + this.wheels + ", color=" + this.color + ")";
        }
    }
}

@Slf4j, (@Log, @Log4j, @Log4j2, etc)

원하는 로깅 프레임워크를 선택해서 선언하면 보다 쉽게 로그를 사용할 수 있습니다.

Lombok 사용

바닐라 자바

@Builder
@ToString
public class Car {
    private int wheels;
    private String color;

    public static void main(String[] args) {
        System.out.println(Car.builder().color("red").wheels(2).build());
    }
}

/* OUTPUT

Car(wheels=2, color=red)

public class Car {
    private int wheels;
    private String color;

    public static void main(String[] args) {
        System.out.println(builder().color("red").wheels(2).build());
    }

    Car(int wheels, String color) {
        this.wheels = wheels;
        this.color = color;
    }

    public static Car.CarBuilder builder() {
        return new Car.CarBuilder();
    }

    public String toString() {
        return "Car(wheels=" + this.wheels + ", color=" + this.color + ")";
    }

    public static class CarBuilder {
        private int wheels;
        private String color;

        CarBuilder() {
        }

        public Car.CarBuilder wheels(int wheels) {
            this.wheels = wheels;
            return this;
        }

        public Car.CarBuilder color(String color) {
            this.color = color;
            return this;
        }

        public Car build() {]
            return new Car(this.wheels, this.color);
        }

        public String toString() {
            return "Car.CarBuilder(wheels=" + this.wheels + ", color=" + this.color + ")";
        }
    }
}

Lombok Configuration

Lombok에서 제공하는 기능에 대해서 사용하지 못하게 하는 설정등이 가능합니다. 프로젝트 루트에 lombok.config 파일을 생성해서 원하는 설정를 key=value 형식으로 작성하면 됩니다. 구체적인 설정은 해당 Lombok Configuration system을 참조해주세요.

예 - 설정(@NonNull 사용 금지)

lombok.nonNull.flagUsage=error

IDE에서는 표시되지 않지만, 컴파일시 오류가 발생합니다.

4. 참고

Lombok

Lombok Pitfall

Lombok Config

https://projectlombok.org/features/configuration

Builder 패턴

https://en.wikipedia.org/wiki/Builder_pattern#Java

관계형 데이터베이스에서 조인(join)이란?

kenshin579 — Sun, 9 Dec 2018 23:54:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1.JOIN에 대한 기본 개념

관계형 데이터베이스에서는 중복 데이터를 피하기 위해서 데이터를 쪼개 여러 테이블로 나눠서 저장합니다. 이렇게 분리되어 저장된 데이터에서 원하는 결과를 다시 도출하기 위해서는 여러 테이블을 조합할 필요가 있습니다. 관계형 데이터베이스에서는 조인(JOIN) 연산자를 사용해 관련 있는 컬럼 기준으로 행을 합쳐주는 연산입니다. 조인에 대해서 공부하다 보면 종류도 많아서 처음에는 많이 헷갈릴 때가 종종 있어서 다시 정리를 해보았습니다.

2. 샘플 데이터

이 포스팅에서 사용한 데이터는 MySql 사이트에서 제공한 샘플 데이터를 참고해서 수정한 버전을 사용했습니다.

MySql dummy 데이터

https://github.com/datacharmer/test_db

수정 버전 - 예제로 작성한 sql도 확인할 수 있다

https://github.com/kenshin579/books-database-intro/tree/master/02_join

주어진 샘플 데이터로 직접 SQL을 쳐보면서 여러 조인 타입을 스터디하면 더 좋을 것 같습니다.

3. 조인의 종류

MySQL에서 지원하는 조인 연산입니다. 그외 조인은 설명 위주로 말씀을 드리겠습니다.

내부 조진 (INNER JOIN)

교차 조인 (CROSS JOIN - CARTESIN JOIN)
등가/동등/동일 조인(EQUI JOIN)
비등가 조인(NON-EQUI JOIN)
자연 조인 (NATURAL JOIN)

외부 조인 (OUTER JOIN)

완전 외부 조인 (FULL OUTER JOIN)

왼쪽 (LEFT OUTER)
오른쪽 (RIGHT OUTER)

셀프 조인 (SELF JOIN)
안티 조인 (ANTI JOIN)
세미 조인 (SEMI JOIN)

SQL 조인 쉽게 이해하기 위한 다이어그램입니다.

3.1 내부 조인

내부 조인을 더 세부적으로 분류하면 아래와 같습니다.

교차 조인 (CROSS JOIN - CARTESIN JOIN)
동등/동일 조인(EQUI JOIN)
비등가 조인(NON-EQUI JOIN)
자연 조인 (NATURAL JOIN)

3.1.1 교차 조인 (CROSS JOIN - CARTESIN PRODUCT)

교차 조인은 두 테이블의 카티션 프로덕트(곱집합)를 한 결과입니다. 특별한 조건없이 테이블 A의 각 행과 테이블 B의 각 행을 다 조합한 결과입니다.

조인 SQL 구문은 두가지 표현법으로 만들 수 있습니다. 구체적인 SQL 구문이 있는 명시적 표현법과 암묵적인 표현 방식이 있습니다.

-- 교차 조인 (CROSS JOIN)

# 명시적 표현법 (explicit notation)
SELECT *
FROM employees
  CROSS JOIN dept_emp;

# 암묵적 표현법 (implicit notation)
SELECT *
FROM employees, dept_emp;

참고로 교차 조인은 암묵적인 표현법에서 WHERE 문구가 없습니다.

조인 결과

3.1.2 내부 조인 (INNER JOIN)

내부 조인은 가장 많이 사용되는 조인 구문중에 하나입니다. 내부 조인은 조인 조건문에 따라 2개의 테이블(A, B)의 컬럼을 합쳐 새로운 테이블을 생성합니다. 즉, 교차 조인을 한 결과에 조인 조건문을 충족시키는 레코드를 반환한다고 생각하시면 됩니다. 내부 조인을 벤 다이어그램으로 표현하면 아래와 같이 하이라이트된 부분이 조건문을 충족시키는 부분입니다.

SQL은 명시적 표현법과 암묵적 표현법 2가지 구문으로 지정할 수 있습니다.

-- 내부 조인 (INNER JOIN)

# 명시적 표현법 (explicit notation)
SELECT *
FROM employees
  INNER JOIN dept_emp
    ON employees.emp_no = dept_emp.emp_no;

# 암묵적 표현법 (implicit notation)
SELECT *
FROM employees, dept_emp
WHERE employees.emp_no = dept_emp.emp_no;

조인 결과

3.1.3 등가 조인 (EQUI JOIN)

등가 조인은 비교기반 조인의 특정 유형으로 동등비교(=)를 사용하는 조인입니다. 이미 위 3.1.2에서 설명한 조인을 등가 조인(=동일 조인)이라고 합니다.

3.1.2 비등가 조인 (NON-EQUI JOIN)

비등가 조인은 동등비교(=)를 사용하지 않는 조인으로 조건문이 크거나 작거나 같이 않은 비교등을 사용하면 비등가 조인이라고 합니다.

-- 비등가 조인 (NON-EQUI JOIN)

# 암묵적 표현법 (implicit notation)
SELECT *
FROM employees, departments
WHERE employees.emp_no between 10003 and 10004;

조인 결과

3.1.5 자연 조인 (NATURAL JOIN)

자연 조인은 동등 조인의 한 유형으로 두 테이블의 컬럼명이 같은 기준으로 조인 조건문이 암시적으로 일어나는 내부 조인입니다.

같은 이름을 가진 컬럼은 한 번만 추출된다

동등 조인에서는 emp_no가 두번 추출된 것을 확인할 수 있다 (#3.1.2: 그림1)

-- 자연 조인 (NATURAL JOIN)
# 명시적 표현법 (explicit notation)
SELECT *
FROM employees NATURAL JOIN dept_emp;

조인 결과

3.2 외부 조인 (OUTER JOIN)

내부 조인의 경우에는 공통 컬럼명 기반으로 결과 집합을 생성합니다. 반면에 외부 조인은 조건문에 만족하지 않는 행도 표시해주는 조인입니다. 그래서, 조인을 했을 때 한쪽의 테이블에 데이터가 없어도 조인 결과에 포함시키는 조인입니다. 외부 조인은 아래와 같이 3가지 종류가 있고 각각에 대해서 예제를 통해서 알아보도록 하겠습니다.

외부 조인 (OUTER JOIN)

왼쪽 (LEFT OUTER)
오른쪽 (RIGHT OUTER)
완전 외부 조인 (FULL OUTER JOIN)

MySql에서는 이걸 지원하지 않지만, SQL UNION 구문으로 사용하면 된다

3.2.1 왼쪽 외부 조인 (LEFT OUTER JOIN)

왼쪽 외부 조인은 테이블 A의 모든 데이터와 테이블 B와 매칭이 되는 레코드를 포함하는 조인입니다.

이해하기 쉽게 간단한 예제를 추가해봤습니다.

SELECT *
FROM table1
  LEFT OUTER JOIN table2
    ON table1.n = table2.n;

조인 결과 = table1의 모든 데이터 + table1과 table2 컬럼(n)과 매칭이 되는 데이터

-- 왼쪽 외부 조인 (LEFT OUTER JOIN)
# 명시적 표현법 (explicit notation)
SELECT *
FROM employees
  LEFT OUTER JOIN departments
    ON employees.dept_no = departments.dept_no;

조인 결과

내부 조인 결과

3.2.2 오른쪽 외부 조인 (RIGHT OUTER JOIN)

왼쪽 외부 조인은 테이블 B의 모든 데이터와 테이블 A와 매칭이되는 레코드를 포함하는 조인입니다.

SELECT *
FROM table1
  RIGHT OUTER JOIN table2
    ON table1.n = table2.n;

조인 결과 = table2의 모든 데이터 + table1과 table2 컬럼(n)과 매칭이 되는 데이터

-- 오른쪽 외부 조인 (RIGHT OUTER JOIN)
# 명시적 표현법 (explicit notation)
SELECT *
FROM employees
  RIGHT OUTER JOIN departments
    ON employees.dept_no = departments.dept_no;

조인 결과

3.2.3 완전 외부 조인 (FULL OUTER JOIN)

완전 외부 조인은 MySQL에서는 명시적인 SQL 구문은 지원하지 않지만, UNION을 사용해서 완전 외부 조인을 할 수 있습니다.

# 방법1 : JOIN와 UINION
SELECT *
FROM table1
  LEFT OUTER JOIN table2
    ON table1.n = table2.n
UNION
SELECT *
FROM table1
  RIGHT OUTER JOIN table2
    ON table1.n = table2.n;

# 방법2 : UNION ALL and exclusion join
SELECT *
FROM table1
  LEFT OUTER JOIN table2
    ON table1.n = table2.n
UNION ALL
SELECT *
FROM table1
  RIGHT OUTER JOIN table2
    ON table1.n = table2.n
WHERE table1.n IS null;

조인 결과 - 왼쪽 외부 조인 + 오른쪽 외부 조인

테이블 employees와 departments의 완전 외부 조인문과 그 결과입니다.

SELECT *
FROM employees
  LEFT OUTER JOIN departments
    ON employees.dept_no = departments.dept_no
UNION
SELECT *
FROM employees
  RIGHT OUTER JOIN departments
    ON employees.dept_no = departments.dept_no;

조인 결과

3.3 셀프 조인 (SELF JOIN)

셀프 조인은 자기 자신과 조인하는 조인입니다. 예를 들면, 임직원중에 같은 부서에서 일하는 직원을 알고 싶으면 셀프 조인을 사용하면 좋습니다.

-- 셀프 조인(SELF JOIN)
# 암묵적 표현법 (implicit notation)
SELECT A.first_name AS EmployeeName1, B.first_name AS EmployeeName2, A.dept_no
FROM employees AS A, employees AS B
WHERE A.emp_no <> B.emp_no
AND A.dept_no = B.dept_no;

조인 결과

3.4 안티 조인 (ANTI JOIN)

안티 조인은 서브 쿼리내에서 존재하지 않는 데이터만 추출하여 메인 쿼리에서 추출하는 조인입니다. 간단한 예제로 부서 번호(dept_no)가 2 이상이 아닌 데이터와 임직원 번호(emp_no)가 10002이상인 임직원을 추출하기로 보겠습니다. NOT EXISTS나 NOT IN을 사용해서 작성할 수 있습니다.

-- 안티 조인 (ANTI JOIN)

SELECT *
FROM employees AS e
WHERE emp_no >= 10002
      AND NOT EXISTS(SELECT *
                     FROM departments AS d
                     WHERE e.dept_no = d.dept_no
                           AND d.dept_no >= 2);

조인 결과

3.5 세미 조인 (SEMI JOIN)

세미 조인은 안티 조인과 반대로 서브 쿼리 내에서 존재하는 데이터만을 가지고 메인 쿼리에서 추출하는 방식입니다.

-- 세미 조인 (SEMI JOIN)
# EXISTS 사용
SELECT *
FROM departments as d
WHERE EXISTS(SELECT *
             FROM employees AS e
             WHERE e.dept_no = d.dept_no
                   AND e.emp_no >= 10003);

# IN 사용
SELECT *
FROM departments as d
WHERE d.dept_no IN (SELECT e.dept_no
                    FROM employees AS e
                    WHERE e.emp_no >= 10003);

조인 결과

4. 참고

조인 종류

FULL JOIN

https://www.xaprb.com/blog/2006/05/26/how-to-write-full-outer-join-in-mysql/

ANIT JOIN

https://thebook.io/006696/part01/ch06/02/03/

SEMI JOIN

http://wiki.gurubee.net/pages/viewpage.action?pageId=1966761

조인 사용시 주의사항

http://gywn.net/2012/05/mysql-bad-sql-type/

곱집합

https://www.codewars.com/kata/cartesian-product

데이터베이스의 키 종류

kenshin579 — Sun, 25 Nov 2018 22:34:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 데이터베이스의 키 종류

이번 포스팅에서는 데이터베이스의 여러 키 종류를 정리해보겠습니다.

키 종류에 대한 설명을 위해 아래 샘플 데이터를 사용합니다. 샘플 데이터는 자동으로 생성해주는 dummy data 사이트에서 얻어왔어요.

수퍼키 (super key)

유일성의 특성을 만족하는 속성들의 집합으로 이루어진 키를 수퍼키라 한다

유일성이란? - 하나의 키로 어떠한 행을 바로 찾아낼 수 있는 성질을 의미한다

예. authors 테이블

id, {id, first_name}, {first_name, last_name}, email 등이 수퍼키가 된다

후보키 (candidate key)

유일성과 최소성을 만족하는 속성 또는 속성들의 집합이다. 즉, 수퍼키중에서 최소성을 만족하는 것이 후보키가 된다

최소성이란? - 레코드를 식별하는데 꼭 필요한 속성들로만 구성한다

예. authors 테이블

id와 email이 후보키가 된다

기본키 (primary key)

후보키중에 특별히 선택된 키이다
키본키는 NULL 값이나 중복된 값을 가질 수 없다
예. authors 테이블

후보키중에 id를 기본키로 선정할 수 있다. (중복값이나 NULL 값이 없다)

대체키 (alternate key)

대체키란 기본키로 선택되지 못한 후보키를 의미하고 보조키라고도 한다
예. authors 테이블

email가 대체키가 된다.

외래키 (foreign key)

어떤 릴레이션에 있는 속성이 다른 릴레이션의 기본키가 되는 키를 의미한다
외래키 속성의 도메인과 참조되는 기본키 속성의 도메인은 같아야 한다
외래키는 같은 릴레이션을 참조할 수도 있다
외래키는 NULL 값을 가질 수 있다
예. posts 테이블

authors_id가 외래키가 된다

2. 참고

키 종류

자바 커스텀 어노테이션 만들기

kenshin579 — Sun, 18 Nov 2018 23:00:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 어노테이션이란

스프링 프레임워크를 사용하면 어노테이션을 자주 사용하게 됩니다. 아래는 스프링 웹 MVC를 사용한 예로 GET HTTP 요청(/helloworld)이 있으면 “Hello World”를 담아서 뷰에 전달되는 코드입니다. 이런 어노테이션은 내부적으로 어떻게 코드화되어 사용되는지 알아봅시다.

@Controller
public class HelloWorldController {
    
    @RequestMapping(value="/helloworld", method=RequestMethod.GET)

    public ModelAndView example() {
        return new ModelAndView("helloworld", "message", "Hello World");
    }
}

자바 어노테이션은 JDK5부터 추가된 기능입니다. 어노테이션은 자바 소스코드에 추가적인 정보를 제공하는 메타데이터입니다. 어노테이션은 클래스, 메서드, 변수, 인자에 추가할 수 있습니다. 메타 데이타이기 때문에 비즈니스 로직에 직접적인 영향을 주지 않지만, 이 메타데이터 정보에 따라서 실행 흐름을 변경할 수 있는 코딩이 가능하여 단지 어노테이션 추가만으로 더 깔끔한 코딩이 가능해집니다. 위 예제를 어노테이션 없이 코딩하려면 코딩량도 길어지고 가독성도 많이 떨어지겠죠.

자, 기본적인 어노테이션 선언과 어디에 사용할 수 있는지 간단하게 알아봅시다.

본 포스팅에 작성한 예제 코드는 github에 작성되어 있습니다.

2. 어노테이션의 기본 사용

2.1 어노테이션 타입

어노테이션은 3가지 타입이 존재합니다.

마커 어노테이션 (Maker Annotation)

@NewAnnotation

싱글 값 어노테이션 (Single Value Annotation)

@NewAnnotation(id=10)

멀티 값 어노테이션 (Multi Value Annotation)

@NewAnnotation(id=10, name=“hello”, roles= {“admin”, “user"})

2.1.1 마커 어노테이션

@Override 나 @Deprecated와 같은 어노테이션처럼 표시만 해두는 어노테이션입니다. 메서드없이 선언하면 마커 어노테이션이 됩니다.

public @interface MakerAnnotation {
}

추가 정보 없이 클래스나 메서드위에 추가합니다.

@MakerAnnotation
public class UsingMakerAnnotation {
}

2.1.2 싱글 값 어노테이션

하나의 값만 입력받을 수 있는 어노테이션입니다.

@SingleValueAnnotation(id = 1)
public class UsingSingleValueAnnotation {
}

어노테이션 선언에 하나의 메서드만 있으면 싱글 값 어노테이션으로 선언됩니다.

public @interface SingleValueAnnotation {
    int id();
}

2.1.3 멀티 값 어노테이션

어노테이션에 여러 값들을 지정할 수 있습니다.

@MultiValueAnnotation(id = 2, name = "Hello", roles = {"admin", "users"})
public class UsingMultiValueAnnotation {

    @MultiValueAnnotation(id = 10) //name = user, roles = {“anonymous’}로 지정된다
    public void testMethod() {
    }
}

여러 값을 입력받으려면 여러 메서드를 선언하면 됩니다. 추가로 default 키워드로 기본값을 선언할 수 있습니다. 위 코드 라인 #4번에 user와 roles을 지정하지 않아 기본값으로 name = “users”, roles = {“anonymous”}로 지정되었습니다.

public @interface MultiValueAnnotation {
    int id();
    String name() default "user”; //미지정시 기본 값으로 user가 지정된다
    String[] roles() default {"anonymous"};
}

2.2 어노테이션 배치하는 곳

아래 예제처럼 어노테이션은 클래스, 필드 변수, 메서드 인자, 로컬변수위에 선언할 수 있습니다.

@MakerAnnotation
public class AnnotationPlacement {

    @MakerAnnotation
    String field;

    @MakerAnnotation
    public void method1(@MakerAnnotation String str) {
        @MakerAnnotation
        String test;
    }
}

커스텀 어노테이션을 어떻게 생성하고 사용할 수 있는지 알아보기 전에 기본적으로 자바에서 제공하는 어노테이션을 한번 살펴보겠습니다.

3. 빌드인 어노테이션

자바 언어에서 제공되는 어노테이션들입니다.

자바 코드에 적용되는 어노테이션

@Override

어버라이드되는 메서드로 표시하는 역할을 한다
어노테이션을 추가한 메서드가 부모 클래스나 인터페이스에 존재하지 않으면 컴파일 오류를 발생시킨다

@Deprecated

메서드를 더 이상 사용하지 않음으로 표시한다
메서드가 사용되면 컴파일 경고를 발생시킨다

@SuppressWarnings

컴파일시 발생하는 경고를 무시하도록 컴파일에게 알려주는 역할을 한다

자바7이후부터 추가된 어노테이션

@SafeVarargs

자바7에 추가된 어노테이션이다
메서드가 가변인자인 경우에 잘 못 실행될 수 있는 경고 문구를 무시하도록 하는 어노테이션이다.

어버라이드가 안되는 메서드에만 사용 가능하다

final, static 메서드, 생성자, private 메서드 (자바9부터)

예제 코드 참조

@FunctionalInterface

자바8부터 추가된 어노테이션으로 함수 인터페이스로 선언할때 사용된다

@Repeatable

같은 어노테이션을 여러번 선언할 수 있도록 해주는 어노테이션이다

예제 코드 참조

다른 어노테이션에 적용되는 어노테이션 - 메타 어노테이션(Meta Annotation)

@Retention
@Documented
@Target
@Inherited

위 메타 어노테이션은 커스텀 어노테이션을 작성할 때 사용하는 어노테이션입니다. 각각 어떤 역할을 하는지는 다음 섹션에서 알아보도록 하겠습니다.

4. 커스텀 어노테이션

4.1 메타 어노테이션

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.TYPE)
public @interface MyAnnotation {
    String name();
    String value();
}

@MyAnnotation(name = "someName", value = "Hello World")
public class TheClass {
}

2개의 String 값을 받을 수 있는 간단한 커스텀 어노테이션 예제입니다. 각각의 메타 어노테이션이 어떤 의미를 가지고 있는지 알아볼게요.

@Target

이 어노테이션은 선언한 어노테이션이 적용될 수 있는 위치를 결정한다
ElementType Enum에 선언된 값

TYPE : class, interface, enum에 적용된다.
FIELD : 클래스 필드 변수
METHOD : 메서드
PARAMETER : 메서드 인자
CONSTRUCTOR : 생성자
LOCAL_VARIABLE : 로컬 변수
ANNOTATION_TYPE : 어노테이션 타입에만 적용된다
PACKAGE : 패키지
TYPE_PARAMETER : 자바8부터 추가된 값으로 제네릭 타입 변수에 적용된다. (ex. MyClass<T>)
TYPE_USE : 자바8부터 추가된 값으로 어떤 타입에도 적용된다 (ex. extends, implements, 객체 생성시등등)

자바8 타입 어노테이션

MODULE : 자바9부터 추가된 값으로 모듈에 적용된다

@Retention

어노테이션이 어느레벨까지 유지되는지를 결정짓는다.
RetentionPolicy Enum에 선언된 값

SOURCE : 자바 컴파일에 의해서 어노테이션은 삭제된다
CLASS : 어노테이션은 .class 파일에 남아 있지만, runtime에는 제공되지 않는 어노테이션으로 Retention policy의 기본 값이다
RUNTIME : runtime에도 어노테이션이 제공되어 자바 reflection으로 선언한 어노테이션에 접근할 수 있다

@Inherited

이 어노테이션을 선언하면 자식클래스가 어노테이션을 상속 받는다

@Documented

이 어노테이션을 선언하면 새로 생성한 어노테이션이 자바 문서 생성시 자바 문서에도 포함시키는 어노테이션이다.

@Repeatable

자바8에 추가된 어노테이션으로 반복 선언을 할 수 있게 해준다

4.2 커스텀 어노테이션 생성

커스텀 어노테이션을 이용해 생성한 예제들입니다.

예제1 - 클래스에 선언

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.TYPE)
public @interface MyAnnotation {
    String name();
    String value();
}

@MyAnnotation(name = "someName", value = "Hello World")
public class TheClass {
}

예제2 - 클래스 필드에 선언

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.FIELD)
public @interface MyAnnotation {
    String name();
    String value();
}

public class TheClass {
    @MyAnnotation(name = "someName", value = "Hello World")
    public String myField = null;
}

예제3 - 메서드에 선언

@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.METHOD)
public @interface MyAnnotation {
    String name();
    String value() default "기본 값";
}

public class TheClass {
    @MyAnnotation(name = "doThisMethod", value = "Hello World")
    public void doThis() {
    }

    @MyAnnotation(name = "doThatMethod")
    public void doThat() {
    }
}

4.3 자바 리플렉션으로 커스텀 어노테이션 사용해보기

프로그램 실행 시 커스텀 어노테이션을 사용한 곳과 지정한 값들을 얻어오려면 자바 리플렉션을 사용해야 합니다. 자바 리플렉션을사용해서 선언한 어노테이션 값을 얻어오는 건 비슷비슷해서 예제 3번으로만 설명하도록 하겠습니다.

public class MethodAnnotationExecutor {
    public static void main(String[] args) throws NoSuchMethodException {
        Method method = TheClass.class.getMethod("doThis”); //자바 리플렉션 getMethod로 메서드 doThis를 얻어온다
        Annotation[] annotations = method.getDeclaredAnnotations(); //메서드에 선언된 어노테이션 객체를 얻어온다


        for (Annotation annotation : annotations) {
            if (annotation instanceof MyAnnotation) {
                MyAnnotation myAnnotation = (MyAnnotation) annotation;
                System.out.println("name: " + myAnnotation.name()); //어노테이션에 지정한 값을 프린트한다

                System.out.println("value: " + myAnnotation.value());
            }
        }

        Annotation annotation = TheClass.class.getMethod("doThat") 
                            .getAnnotation(MyAnnotation.class); //메서드 doThat에 선언된 MyAnnotation의 어노테이션 객체를 얻어온다


        if (annotation instanceof MyAnnotation) {
            MyAnnotation myAnnotation = (MyAnnotation) annotation;
            System.out.println("name: " + myAnnotation.name());
            System.out.println("value: " + myAnnotation.value());
        }
    }
}

커스텀 어노테이션을 어떻게 생성하고 사용하는지 간단하게 알아보았습니다. 커스텀 어노테이션을 생성해서 사용하면 반복적으로 코딩해야 하는 부분들도 많이 줄일 수 있고 더 비즈니스로직에 집중할 수 있는 장점이 있습니다. 스프링에서도 자주 사용되고 또한 최근 몇년 사이에 많이 뜨고 있는 롬보크(Lombok)도 여러 어노테이션을 많이 지원하는 라이브러리입니다.

지금 개발하는 프로젝트가 있다면 한번 커스컴 어노테이션으로 적용해보는 것도 좋을 것 같습니다.

5. 참고

자바 어노테이션

SafeVarargs 어노테이션

https://beginnersbook.com/2018/05/java-9-safevarargs-annotation/

Repeable 어노테이션

사용예

맥 환경에서 여러 JDK 버전 설치하고 변경하기

kenshin579 — Sun, 11 Nov 2018 16:11:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바 개발을 하다 보면 하나의 JDK 버전이 아니라 여러 버전을 설치해야 할 때가 종종 있습니다. 진행하는 프로젝트마다 개발하는 JDK 버전이 조금씩 다를 수 있고 새로 릴리스한 버전을 설치해서 스터디하고 싶을 때 여러 버전이 존재하게 됩니다. 한 시스템에 여러 버전이 존재하지만, 쉽게 한 버전에서 다른 버전으로 변경할 수 있는 명령어를 JDK에서는 제공하지는 않습니다. 개발자가 알아서 수동으로 변경해야 합니다.

본 포스팅에서는 맥 환경을 대상으로 어떻게 여러 버전의 JDK로 쉽게 변경할 수 있는지 알아보겠습니다.

1. 여러 JDK 버전 설치하기

일단, 먼저 여러 JDK 버전을 설치해 볼까요? brew 명령어로 3가지 JDK 버전을 설치하도록 하겠습니다.

># brew cask install java java8 zulu8

java : OpenJDK 11
java8 : Oracle JDK 8
zulu8 : Azul Zulu Java JDK

2. 여러 버전으로 변경해보기

현재 설치된 모든 JDK를 확인하려면, java_home -V 명령어로 확인할 수 있습니다. 제 맥에서는 총 4가지 JDK가 설치되어 있습니다.

># /usr/libexec/java_home -V

원하는 버전의 JDK로 자바 프로그램을 컴파일하고 실행하려면 기본적으로 아래 2가지를 기본적으로 해줘야 합니다.

JAVA_HOME 환경 변수를 수정한다

JAVA_HOME=“/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home"

PATH에도 JDK/bin 폴더를 추가한다

PATH=$PATH:$JAVA_HOME/bin

환경변수는 대부분 사용하는 shell의 환경 파일을 손 보면 됩니다. 저는 zsh shell을 사용해서 .zshrc를 아래처럼 수정했습니다.

* 참고로 code 명령어는 Visual Studio Code 어플리케이션입니다.

># code ~/.zshrc

실행 화면입니다. 명령어 도움말에 여러 예제로 이해하게 쉽게 설명되어 있어서 별도의 부연 설명은 생략하겠습니다.

3. 참고

OS X에서 기본 자바 JDK 변경하기 - https://stackoverflow.com/questions/21964709/how-to-set-or-change-the-default-java-jdk-version-on-os-x

파이썬 : 커맨트 라인에서 명령어 옵션들 argparse 모듈를 이용해서 쉽게 파싱하기

kenshin579 — Sun, 4 Nov 2018 18:54:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. argparse 모듈이란?

셀이나 리눅스 명령어를 실행할 때 많은 옵션이 존재합니다. 아래는 pip 명령어(파이썬 패키지 관리자)의 옵션 목록입니다. Flag 형태의 옵션(ex. --no-color)이나 입력값을 받을 수 있는 옵션(ex. --log <path>)도 있습니다.

이런 옵션을 파이썬에서 구현하려면 어떻게 해야 할까요? 실제 구현한다면, 실행 명령어를 인자로 받아서 parse 하는 과정이 필요합니다. 직접 구현하기는 좀 부담스럽죠. 셀이나 여러 언어에서 이런 부분들을 별도의 모듈로 제공합니다. 파이썬에서 커맨트parsing 라이브러리는 getopt, argparse, docopt가있습니다. 이 중에서 파이썬에서 많이 사용되는 argparse를 알아보도록 하겠습니다.

2. argparse 옵션 알아보기

argparse는 파이썬 표준 라이브러리에 포함되어 있어 별도로 설치할 필요는 없습니다. 모듈을 사용하기 위해 import로 추가만 해주면 됩니다.

import argparse

2.1 help 도움말 옵션 추가하기

커맨트 라인에서 대부분의 명령어는 도움말을 제공합니다. 옵션 -h 이나 --help 으로 명령어 옵션들에 대한 설명을 확인할 수 있습니다. argparse 모듈에서는 도움말 옵션은 기본으로 추가됩니다.

parser = argparse.ArgumentParser(description="This is test script”) # 실행하는 스크립트의 설명 내용도 담을 수 있다
parser.parse_args()

-h 옵션을 주면 argparse 모듈에서 알아서 명령어에 대한 기본 설명과 옵션을 잘 정리해서 보여줍니다.

2.2 Flag 형태 옵션 추가하기

커맨트 라인에서 flag 형태의 옵션이 가장 많이 사용됩니다. Flag 옵션(-v, --verbosity)이 주어졌을 때 실행하는 옵션입니다. add_argument() 함수를 통해서 여러 옵션에 대해서 설정할 수 있습니다. 아래와 같이 dash 입력으로 short와 long 옵션을 지정할 수 있고 해당 옵션에 대한 설명은 help= 키워드에 지정하면 됩니다. action 키워드에 ’store_true’로 지정하면 해당 옵션이 명시될 때 True 값이 지정되고 없으면 False로 지정됩니다.

Short Option : single dash (-)
Long Option : double dash (--)

parser = argparse.ArgumentParser()
parser.add_argument("-v", "--verbosity", action='store_true', help="enable verbosity")
args = parser.parse_args()
if args.verbosity: # True인 경우에 실행 된다. 
    print("verbosity enabled")

2.3 옵션에 Value 값 입력 받기

특정 옵션에 대한 value 값도 입력을 받을 수 있습니다. 예를 들면, 아래와 같이 날짜, 숫자, String 값등을 입력받을 수 있습니다.

># ./08_argparse_get_value_options2.py --date 2018-09-22 -m hello -n 1234

parser = argparse.ArgumentParser()
parser.add_argument("--date", action='store', dest="date", help="date input")
parser.add_argument("-m", action='store', dest="message", type=str, help="enter message")
parser.add_argument("-n", action='store', dest="number", type=int, help="enter number")
args = parser.parse_args()
print("args", args)

action=’store’ : action을 store로 지정하면 입력한 값을 dest 변수에 저장한다
dest : 입력한 값이 저장되는 변수이다

ex. message 변수에 입력한 메시지가 저장된다

type: 입력한 값에 대한 타입도 지정할 수 있다

입력한 값이 정수가 아닌 경우에는 ‘error: argument -n invalid int value’ 오류가 출력된다

2.4 입력한 값에 대한 유효 검사하기

int나 String과 같은 타입(ex. int)에 대해서는 기본적으로 유효 검사를 해줍니다. 하지만, 날짜와 같은 타입은 별도의 함수 구현이 필요합니다. 입력한 날짜가 YYYY-MM-DD 포맷인지는 strptime() 함수를 실행해서 포맷이 아닌 경우에는 Exception을 띄우도록 해서 체크를 할 수 있습니다.

def valid_date_type(arg_date_str):
    try:
        datetime.datetime.strptime(arg_date_str, "%Y-%m-%d")

        return arg_date_str
    except ValueError:
        msg = "Given Date ({0}) not valid! Expected format, YYYY-MM-DD!".format(arg_date_str)

        raise argparse.ArgumentTypeError(msg)

parser = argparse.ArgumentParser()
parser.add_argument("--date", action='store', dest="date", type=valid_date_type, help="date input")
parser.add_argument("-m", action='store', dest="message", type=str, help="enter message")
parser.add_argument("-n", action='store', dest="number", type=int, help="enter number")
args = parser.parse_args()
print("args", args)

2.5 선택 집합 세트에서 입력값을 선택하기

choices 키워드로 정해진 선택 집합 세트에서만 입력값을 줄 수 있도록 설정할 수 있습니다.

parser = argparse.ArgumentParser()
parser.add_argument("--count", action='store', choices=["ack-time", "send-time"],

                    help="count the given string from log files")
args = parser.parse_args()
print("args", args)

choices : list에 정해진 값중에 하나면 선택할 수 있다

ex. choices=[‘apple’, ‘orange’]

이 외에도 다양한 옵션 설정이 있지만, 자주 사용되는 옵션으로만 정리해보았습니다.

소스 코드는 github를 참조해주세요.

3. 참고

Parsing LIbraries, https://realpython.com/comparing-python-command-line-parsing-libraries-argparse-docopt-click/
Argparse 모듈

Algorithm : 정수값에서 1이 설정된 bit를 카운트하기

kenshin579 — Sun, 28 Oct 2018 23:24:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. Problem

정수값에서 1인 비트를 카운트하는 문제입니다.

1.1 입력 / 결과

7 : 111 —> 3
23 : 10111 —> 4
13 : 1101 —> 3

2. Solution

2.1 Approach 1

컴퓨터 공학과 수업 중에 assembly를 다루는 과목은 꼭 필수로 들었던 기억이 납니다. 매우 오래전 얘기긴 하지만, assembly로 과제를 하면서 자연스럽게 비트 연산을 익혔던 것 같습니다.

다시 문제를 풀려고 하니, 솔직히 기억은 나지 않네요. 그래도 AND, OR만 알아도 쉽게 풀 수 있는 문제들이 많이 있습니다.

이진수에서 1이 있는지 확인하려면 맨 끝자리에서 1과 AND 연산하면서 비트를 카운트하면 쉽게 카운트를 할 수 있습니다.

public static int countBits1(int n) {
    int count = 0;
    while (n > 0) {
        count += n & 1; //마지막 bit가 1이면 count함 (AND로 확인)
        n >>= 1; //마지막 bit를 삭제함
    }
    return count;
}

이 알고리즘은 정수 값이 0이 될때까지 반복하기 때문에 복잡도는 O(n)이 됩니다. 이것보다 더 빠른 방법은 없을 까요?

브라이언 커니핸 교수님이 고안한 알고리즘은 O(log n)으로 비트를 카운트 할 수 있습니다.

2.2 Approach 2 - Brian Kernighan’s Algorithm

처음 들어보신 분도 계실 수 있지만, 브라이언 커니핸 (Brian Kernighan)이란 분은 초창기 UNIX를 개발하셨고 유닉스에서 자주 사용하는 AWK 명령어도 개발하신 분이십니다. 2000년 이후부터 쭉 프린스턴 대학교에서 교수직으로 일하고 계십니다. 구현은 쉽지만, 이걸 생각해냈다는 게 정말로 대단한 것 같습니다. 기본 알고리즘을 알아보죠.

N = N AND (N-1)를 정수값이 0이 될때까지 반복한다.
반복하는 카운트를 세면 1인 비트를 얻을 수 있다.

public static int countBits2(int number) {
    int count = 0;
    while (number > 0) {
        number &= number - 1;
        count++;
    }
    return count;
}

알고리즘은 간단한데 어떻게 이런 결과가 되는지 스텝으로 알아보죠.

알고리즘 예제

N = 23 (10111)

AND 22 (10110) —> 22 (10110)

COUNT = 1

N = 22 (10110)

AND 21 (10101) —> 20 (10100)

COUNT = 2

N = 20 (10100)

AND 19 (10011) —> 16 (10000)

COUNT = 3

N = 16 (10000)

AND 15 (01111) —> 0 (00000)

COUNT = 4

이 방법 외에도 다양한 알고리즘은 더 많이 존재 합니다 (참고: Bit Twiddling Hacks). 누군가 정말로 열심히 연구하고 공부한 것 같아요.

전체 소스는 github를 참조해주세요.

3. Reference

Algorithm : 2개의 array에서 common value 찾기

kenshin579 — Sun, 21 Oct 2018 22:14:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. Problem

2개의 array에서 common value값을 찾아 결과를 반환하는 문제입니다. 메서드 정의는 아래와 같이 2개의 array를 받고 결과를 Set으로 반환합니다.

public Set<Integer> solution(int[] A, int[] B) {
}

1.1 입력 / 결과

간단한 입력과 결과 예제입니다. 반환 결과에서는 중복된 값은 포함되지 않습니다.

[1, 1, 1, 1, 2, 2] & [3, 3, 4, 1, 2] -> [1,2]
[2, 7, 1, 4, 5, 6, 9, 8, 7] & [4, 6, 8, 2, 3, 5, 3, 1] -> [4, 6, 8, 2, 5, 1]

unit test를 미리 작성해서 쉽게 실행하면서 로직을 짜는게 좋겠죠.

@Test
public void test_find_common_values() 
    int[] A = {1, 1, 1, 1, 2, 2};
    int[] B = {3, 3, 4, 1, 2};

    Set<Integer> expectedResult = new HashSet<>(Arrays.asList(1, 2));
    Set<Integer> result = new CommonSet().solution(A, B);
    assertEquals(expectedResult, result);
}

2. Solution

2.1 Approach

이 문제를 가장 쉽게 푸는 방법은 첫번째 Array의 각 요소가 두번째 Array에 존재 하는지 확인하고 있으면 결과에 추가하면 되는 문제입니다. 하지만, 이런 알고리즘의 복잡도는 O(n2)가 됩니다.

최소 O(n)으로 풀수 있는 방법은 없을 까요? 생각해보면 쉽습니다. HashTable 데이터 구조를 이용해서 Lookup 타임을 O(1)으로 하면, 전체 복잡도는 O(n)이 됩니다.

알고리즘은 다음과 같습니다.

두번째 array를 hashtable로 만든다 —> O(n)
첫번째 array의 요소가 hashtable에 있는지 확인하고 있으면 결과값에 넣는다 —> O(n)

public Set<Integer> solution(int[] A, int[] B) {
    Set<Integer> result = new HashSet<>();
    Map<Integer, Boolean> mapB = new HashMap<>();

    for (int x : B) {
        if (!mapB.containsKey(x)) { //중복되는 값은 제거
            mapB.put(x, true);
        }
    }

    for (int x : A) {
        if (mapB.containsKey(x)) {
            result.add(x);
        }
    }
    return result;
}

전체 소스코드는 github를 참조해주세요.

3. Reference

https://codereview.stackexchange.com/questions/189504/finding-common-elements-in-two-arrays

Algorithm : 괄호 기호가 Valid한지 체크하기

kenshin579 — Mon, 15 Oct 2018 23:36:50 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. Problem

면접에서도 자주 나올 수 있는 문제중에 하나입니다. 여러 조합의 괄호 기호가 OPEN, CLOSE 매칭이 딱딱 맞아 떨어지는지 체크하는 문제입니다.

public boolean solution(String str) {
...
}

1.1 입력 / 결과

스택 자료 구조

입력 가능한 String 값은 아래와 같습니다.

()()() —> true
((()))()() —> true
)( —> false
((())))) —> false

2. Solution

2.1 Approach 1

String의 한 char씩 스킨한다
OPEN_괄호 ‘(‘ 을 만나면 스택에 push한다
CLOSE_괄호 ‘)’를 만나면 스택에서 pop을 한다
스택에 아무것도 남아 있지 않으면, valid한 괄호인것으로 판단할 수 있다

public boolean solution(String str) {
    char[] chars = str.toCharArray();
    Stack<Character> stack = new Stack<>();

    if (str.length() % 2 != 0) {
        return false;
    }

    if (chars[0] == ')') {
        return false;
    }

    for (char ch : chars) {
        if (ch == '(') {
            stack.push(ch);
        } else {
            // close parenthesis
            stack.pop();
        }
    }
    return stack.isEmpty();
}

소스코드는 github에서도 확인할 수 있습니다.

이 문제에서는 소괄호 (, )만 사용했지만, 여러 괄호 { [ ( ) ] }가 더 있는 경우에도 여러 조합이 valid한지를 체크하는 코드로 더 문제를 키울 수 있을 것 같습니다. 기존 아이디어와 같이 스택을 사용하면 업그레이된 문제도 쉽게 해결하면 가능합니다. 이건 독자분들에게 남겨두도록 하겠습니다.

({{}}(())) --> true
({}[[[]]{}) --> true

3. Reference

https://hongku.tistory.com/251

자바8 Optional이란

kenshin579 — Sun, 14 Oct 2018 20:04:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. Optional이란

자바로 개발하다 보면 NullPointerException(NPE)을 자주 만나게 됩니다. 아래 코드와 같이 객체가 null이고 null이 된 값을 쓰게 되면 NPE가 발생합니다.

@Test(expected = NullPointerException.class)
public void testOldJavStyle_throw_NPE() {
    String str = null;
    System.out.println(str.charAt(0)); //NPE 발생
}

NPE를 해결하기 위해서는 null에 대한 조건문을 추가해야 합니다. Null은 값이 없음을 나타내려는 의도로 개발되었지만, null를 도입함으로써 코드의 가독성이 많이 떨어지고 유지보수가 어렵다는 문제점만 가지게 되었습니다. Optional 클래스를 사용하면 코드가 어떻게 달라지는지 확인해보겠습니다. Null 체크하는 조건문이 없어지면서 코드가 훨씬 깔끔해집니다.

null 조건문

Optional 사용

@Test
public void testOldJavStyle_checkNull() {
    String str = "test";
    if (str != null) {
        System.out.println(str.charAt(0));
    }
}

@Test
public void testOptionalJavaStyle_checkNull() {
    String str = "test";
    Optional<String> optStr = Optional.ofNullable(str);
    optStr.ifPresent(s -> System.out.println(s.charAt(0)));
}

2. Optional 사용해보기

2.1 Optional 객체 생성하기

Optional 클래스에서는 3가지 정적 팩토리 메서드를 제공합니다.

Optional.empty() : 빈 Optional 객체 생성한다
Optional.of(value) : value값이 null이 아닌 경우에 사용한다
Optional.ofNullable(value) : value값이 null인지 아닌지 확실하지 않은 경우에 사용한다

1. Optional.empty()

Optional<String> optStr = Optional.empty();

Optional.empty()는 empty Optional 객체를 생성합니다.

2. Optional.of(value)

String str = "test";
Optional<String> optStr1 = Optional.of(str);

Optional.of()는 null이 아닌 객체를 담고 있는 Optional 객체를 생성합니다.

null이 아닌 객체를 생성하기 때문에 null을 넘겨서 생성하면 NPE이 발생하게 됩니다.

String nullStr = null;
Optional<String> optStr2 = Optional.of(nullStr); //NPE 발생

3. Optional.ofNullable(value)

String str = "test";
Optional<String> optStr1 = Optional.ofNullable(str);

null인지 아닌지 확신할 수 없는 객체를 담고자 할 때 Optional.ofNullable()를 통해서 Optional 객체를 생성합니다.

null이 넘어 올 경우에는 empty Optional 객체를 생성합니다.

Optional<String> optStr2 = Optional.ofNullable(null); //empty Optional 객체를 반환함

2.3 Optional이 담고 있는 객체에 접근 및 사용방법

Optional이 담고 있는 객체에 접근하는 여러 메서드의 사용방법에 대해서 알아보겠습니다.

ifPresent(함수)
null인 경우에 default 값 반환

orElse(T other) : 비어 있으며 인자를 반환한다
orElseGet(Supplier<? extends T> other) : 함수형 인자의 반환값을 반환한다

null인 경우에 예외를 throw

orElseThrow(Supplier<? extends X> exceptionSupplier) : 인자 함수에서 생성된 예외를 던진다

1. IfPresent(함수)

Optional 객체가 non-null이 경우에 인자로 넘긴 함수를 실행하는 메서드입니다. Optional 객체가 null이면 인자로 넘긴 함수는 실행되지 않습니다.

@Test
public void test_1_otional_usage_ifPresent() {
    String str = "test";
    Optional<String> optStr1 = Optional.ofNullable(str);
    optStr1.ifPresent(s -> System.out.println(s.charAt(0))); //t 프린트

    Optional<String> optStr2 = Optional.ofNullable(null);
    optStr2.ifPresent(s -> System.out.println(s.charAt(0))); //print 안됨
}

2. orElse

Optional에 담고 있는 객체가 null이 경우에 대신할 수 있는 값을 반환하는 메서드입니다.

@Test
public void test_2_otional_usage_orElse() {
    Optional<String> optStr = Optional.ofNullable(null);
    String result = optStr.orElse("test”); //null이면 test를 반환함
    System.out.println(result); //tes
}

3. orElseGet

orElse와 유사하지만, 다른 점은 메서드를 인자로 받고 함수에서 반환한 값을 반환하게 되어 있습니다.

@Test
public void test_2_otional_usage_orElseGet() {
    Optional<String> optStr = Optional.ofNullable(null);
    String result = optStr.orElseGet(this::getDefaultValue);
    System.out.println(result); //default
}

private String getDefaultValue() {
    LOG.info("calling getDefaultValue");
    return "default";
}

4. orElse와 orElseGet의 차이점

결과적으로 사용하는데 orElse와 orElseGet의 차이점이 없어 보이지만, 아래 코드를 보면 orElseGet()의 경우에는 null인 경우에만 인자로 넘긴 함수가 실행되는 것을 알 수 있습니다. orElse 메서드 사용 시에만 주의하면 됩니다.

@Test
public void test_optional_usage_diff_orElse_orElseGet() {
    String str = "test";
    String result1 = Optional.ofNullable(str).orElse(getDefaultValue()); //null이 아니여도 getDefaultValue() 함수는 실행함
    LOG.info("orElse result: {}", result1);

    String result2 = Optional.ofNullable(str).orElseGet(this::getDefaultValue);// getDefaultValue() 실행하지 않음
    LOG.info("orElseGet result: {}", result2);
}

5. orElseThrow

null인 경우에 기본 값을 반환하는 대신 예외를 던질 수 있습니다.

@Test(expected = IllegalArgumentException.class)
public void test_3_optional_usage_orElseThrow() {
    String str = null;
    String result = Optional.ofNullable(str).orElseThrow(IllegalArgumentException::new);
    LOG.info("result {}", result);
}

3. Stream에서 Optional 사용법

3.1 filter(Predicate) : 조건에 따라 요소들 필터링하기

filter()는 인자로 받은 Predicate 함수의 결과가 true인 모든 요소만을 새로운 스트림으로 반환하는 Stream API입니다. 즉, 조건에 맞는 것만 필터링한다고 이해하시면 됩니다. Optional 없이 구현한 버전과 Optional을 사용한 예제입니다.

Optional 없이 사용

Optional 사용

private boolean isLastNameFrank(Person person) {
    if (person != null && person.getLastName() != null) {
        return person.getLastName()
                .toLowerCase().equals("frank");
    }
    return false;
}

private boolean isLastNameFrank(Person person) {
    return Optional.ofNullable(person)
            .map(Person::getLastName)
            .map(String::toLowerCase)
            .filter(s -> s.equals("frank")).isPresent();
}

@Test
public void test_1_stream_usage_filter_with_optional() {
    Map<Person, Boolean> personVsExpectedMap = new HashMap<Person, Boolean>() {{
        put(new Person("Frank", "Oh"), true); //Person 객체와 기대 결과를 저장함

        put(new Person(null, "Oh"), false);
        put(new Person("David", "Oh"), false);
        put(new Person("John", "Oh"), false);
    }};

    boolean expectedResult;
    for (Person person : personVsExpectedValueMap.keySet()) {
        expectedResult = personVsExpectedValueMap.get(person);
        assertEquals(expectedResult, isLastNameFrank(person));
    }
}

Stream의 여러 API를 더 잘 이해하기 위해서는 실제 구현 코드를 보면 람다 함수가 내부적으로 어떻게 호출되는지 이해하기가 더 쉽습니다. filter는 Predicate 함수를 인자로 넘겨주고 스트림에서 Predicate으로 넘긴 함수를 실행하고 그 결과가 true이면 스트림의 this를 넘기고 아닌 경우에는 실제 반환하는 결과는 Optional 타입임을 확인할 수 있습니다.

public Optional<T> filter(Predicate<? super T> predicate) {
    Objects.requireNonNull(predicate);
    if (!isPresent()) {
        return this;
    } else {
        return predicate.test(value) ? this : empty(); //predicate 함수를 호출해서 결과가 true이면 this를 반환한다

    }
}

@FunctionalInterface
public interface Predicate<T> {
   boolean test(T t); //T 타입을 인자로 받고 boolean을 반환함

   ...(생략)...
}

참고로 Predicate<? super T>의 의미는 Predicate의 유형 매개변수가 T 또는 T의 상위유형이어야 한다는 의미이다. T에 들어갈 수 있는 lower bound가 정해집니다. 예를 들면, List<? super Integer>인 경우에는 List<Integer>, List<Number>, List<Object>가 포함됩니다. Integer 클래스는 Number와 Object를 상속받은 자식 클래스입니다. 제네릭에 대한 더 자세한 내용은 StackOverflow를 참조해주세요.

3.2 map() : 요소들의 값 형태 변환하기

map(Function<? super T,? extends R> mapper)

map()은 요소 값의 형태를 변환하는 Stream API입니다. 아래 코드에서는 String 리스트를 Optional로 랩핑해서 map으로 size를 얻어올 수 있습니다. null인 경우에는 orElse() 메서드로 default 값을 반환합니다.

@Test
public void test_2_stream_usage_map_with_optional() {
    List<String> strArray = Arrays.asList("frank", "angela", "david");
    Optional<List<String>> optArray = Optional.of(strArray);

    int size = optArray
          .map(List::size) //map에서 list를 size로 변환함
          .orElse(0);
    assertEquals(3, size);

    optArray = Optional.ofNullable(null);
    size = optArray.map(List::size).orElse(1);
    assertEquals(1, size);
}

filter() 함수의 경우에는 Predicate 함수 인터페이스이기 때문에 결과를 boolean을 반환해야 하지만, map() 함수는 Function 함수 인터페이스를 사용하기 때문에 여러 형태의 결과로 반환할 수 있습니다. 코드에서는 List를 int 형태로 변환해서 반환합니다.

@FunctionalInterface
public interface Function<T, R> {
    R apply(T t); //R 타입을 반환함<
   ...(생략)...
}

3.3 flatMap() : 요소를 flat하고나서 map으로 값 형태를 반환하기

flatMap(Function<? super T,? extends Stream<? extends R>> mapper)

flatMap의 경우에는 요소가 Primitive 타입이 아니라 여러 Optional<Optional>>으로 된 타입인 경우에는 flatMap을 사용해야 합니다. Optional의 외에 Stream인 경우에도 [[1,2,3], [2,3,4]]이런 형태의 데이터는 flatMap을 사용해서 처리합니다. 더 자세한 설명은 아래 링크를 참조해주세요 (Map Vs. FlatMap)

@Test
public void test_3_stream_usage_flatMap() {
    PersonOpt person = new PersonOpt("Oh", "Frank");
    Optional<PersonOpt> personOpt = Optional.of(person);

    Character firstCharOfFirstName = personOpt
            .flatMap(PersonOpt::getFirstName) //getFirstName의 반환값이 Optional이기 때문에 flatMap을 사용해야 함
            .map(s -> s.charAt(0)) //요소가 pritimive 타입이기 때문에 map을 사용함
            .orElse('0');
    assertEquals(new Character('F'), firstCharOfFirstName);
}

4. 자바9에 추가된 Optional 메서드

JDK9에서 3가지 메서드가 추가되었습니다. 각각 기존 사용을 알아봅시다.

or() : Optional이 empty인 경우에 다른 Optional을 반환한다
ifPresentOrElse() : Optional에 값이 존재하면 action 수행하고 아닌 경우에는 else 부분을 수행한다
stream() : Optional 객체를 Stream 객체로 변환하기 위해 사용된다

4.1 or() : Optional이 empty인 경우에 다른 Optional을 반환

JDK9 이전에는 Optional 객체가 empty이면 orElse()나orElseGet()을 사용해서 default 값을 반환했습니다. JDK9부 터는 or() 메서드로 Optional이 empty이면 값 대신 다른 Optional을 반환하는 메서드가 추가되었습니다. 예제를 보면 더 쉽게 이해할 수 있습니다.

@Test
public void test_jdk9_optional_or() {
    String str = null;
    Optional<String> defaultOpt = Optional.of("default");
    Optional<String> strOpt = Optional.ofNullable(str);

    Optional<String> result = strOpt.or(() -> defaultOpt); //default optional을 반환함
    assertEquals("default", result.get());
}

4.2 ifPresentOrElse() : Optional에 값이 존재하면 action 수행하고 아닌 경우에는 else 부분을 수행

JDK9이전에는 IfPresent 메서드만 있었다면 JDK9부터는 Optional이 empty인 경우에 Else로 추가되어 많이 편리해졌습니다.

@Test
public void test_jdk9_ifPresentOrElse() {
    String str = null;
    Optional<String> strOpt = Optional.ofNullable(str);
    strOpt.ifPresentOrElse(
            s -> System.out.println("string : " + s),
            () -> System.out.println("null value”) //empty인 경우에 이 부분 수행됨
    );
}

4.3 stream() : Optional 객체를 Stream 객체로 변환하기 위해 사용

JDK8에 추가된 Stream은 여러 API를 통해 collection을 함수형 방식으로 쉽게 조작할 수 있게 하는 기능입니다. Optional에 stream()을 추가함으로써 기존의 Stream API를 사용할 수 있게 되었습니다. 이 예제에서는 Optional을 Stream으로 변경한 이후 Stream의 함수를 사용한 예제입니다.

@Test
public void test_jdk9_stream() {
    String str = "frank";
    Optional<String> strOpt = Optional.of(str);
    strOpt.stream().map(String::toUpperCase).forEach(System.out::println);
}

5. 참고

포스팅 작성된 소스 코드는 github에서 확인가능합니다.

함수형 인터페이스

Scala에서 Option

https://danielwestheide.com/blog/2012/12/19/the-neophytes-guide-to-scala-part-5-the-option-type.html

Optional 사용법

Streams

https://m.blog.naver.com/PostView.nhn?blogId=2feelus&logNo=220695347170&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F

Generis syntax

https://stackoverflow.com/questions/2827585/what-is-super-t-syntax

Map vs FlatMap

JDK9 optional

자바 Garbage Collection이란

kenshin579 — Sun, 7 Oct 2018 21:39:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 가비지 컬랙션이란?

C/C++ 언어와 달리 자바는 개발자가 명시적으로 객체를 해제할 필요가 없습니다. 자바 언어의 큰 장점이기도 합니다. 사용하지 않는 객체는 메모리에서 삭제하는 작업을 Gargabe Collection(GC)라고 부르며 JVM에서 GC를 수행합니다. 기본적으로 JVM의 메모리는 총 5가지 영역(ex. 클래스, 스택, 힙, 네이티브 메서드, PC)으로 나뉘는데, GC는 힙 메모리만 다룹니다.

코드상에서 어떨 때 객체가 가비지 대상이 될까요? 간단하게 생각해보면 프로그램이 실행되면서 코드상에서 참조되지 않는 객체들이 대상이 될 것입니다. 일반적으로 아래 같은 경우에 가비지대상이 됩니다.

객체가 null인 경우 (ex. String str = null)
블럭 안에서 생성된 객체는 블럭 실행 종료후 대상이 된다
부모 객체가 null이 되면, 포함하는 자식 객체들도 자동으로 가비지 대상이 된다

JVM에서 가비지 대상을 어떻게 결정하는지는 링크 #3을 참조해주세요.

1.1 Heap 영역의 구조

Heap 영역은 크게 2가지 영역으로 나뉩니다. Permanent Generation 영역은 Heap 영역은 아닙니다.

Young Generation - 객체 사용 시간이 짧은 객체들

영역의 종류

Eden
Survivor 2개

새롭게 생성한 객체는 여기에 위치한다
매우 많은 객체가 Young 영역에 생성되었다가 사라진다
이 영역에서 객체가 살아지면 Minor GC가 발생했다고 한다

Old Generation (Tenured space) - 오래 사용되는 객체들

Young 영역에서 살아남은 객체가 여기로 복사된다
Young 영역보다 크게 메모리가 크게 할당되어 Young 영역보다 GC는 적게 발생한다
이 영역에서 객체가 살아지면 Major GC (Full GC)가 발생했다고 한다

(Non-heap) Permanent Generation

이 영역에는 JVM에 의해서 사용하는 클래스와 메서드 객체 정보를 담고 있다
JDK8부터는 PermGen은 Metaspace로 교체된다

일반적으로 객체를 생성하면, Young 영역에 먼저 위치하게 되고 오랫동안 사용되는 객체는 GC 과정을 통해서 Old 영역으로 이동하게 됩니다.

Heap 영역을 왜 두 가지 영역으로 나뉘서 관리하게 되었을까요? 여러 연구를 진행한 결과 애플리케이션에서 객체가 생성되고 살아지는 패턴은 크게 2가지 특징을 가지게 된다고 합니다.

대부분의 생성된 객체는 금방 사용하지 않는다
객체들은 대개 (아주) 오랜 시간 동안 남아 있지 않는 것들이다 (객체 짧게 사용됨)

아래 그래프에서 보이는 것처럼 객체의 라이프는 짧게 사용되다가 오랫동안 남은 것들은 계속 쌓이게 되는 것을 볼 수 있습니다. 이런 특징으로 두 영역으로 나뉘어서 관리하고 GC 알고리즘도 이 기반으로 설계되었습니다.

2. Garbage Collection 타입

각 영역에 따라서 실행되는 GC는 다릅니다. Minor나 Major GC가 실패하게 되면 Full GC가 발생할 수도 있습니다.

Minor GC

대상 : Young 영역
트리거 되는 시점 : Eden이 full이 경우에

Major GC

대상 : Old 영역
트리거 되는 시점 : Minor GC가 실패하는 경우

Full GC

대상 : 전체 Heap + MetaSpace(Permanent 영역)

트리거 되는 시점 : Minor나 Major GC가 실패하는 경우

3. Garbage Collection 알고리즘

GC 알고리즘은 오랫동안 개선됐고 아래와 같이 여러 종류로 발전해 왔습니다. 최근 자바에서 기본적으로 사용되는 GC 알고리즘은 G1 GC를 사용합니다. 각각의 알고리즘이 어떻게 동작하는지 알아보겠습니다.

Serial
Parallel
Parallel Old(Parallel Compacting GC)

JDK5u6부터 제공

Concurrent Mark & Sweep (CMS)
G1(Garage First)

JDK7u4부터 도입
JDK9부터 기본 GC로 변경됨

GC에서 자주 사용되는 용어로 stop-the-world가 있습니다. GC를 실행하면 JVM이 애플리케이션 실행을 멈추게 되는데, 이를 stop-the-world라고 합니다. GC가 일어나면 GC를 실행하는 쓰레드를 제외한 나머지 쓰레드는 모두 멈추게 됩니다. 이런 멈추는 시간에 의해 애플리케이션 성능에 많은 영향을 주게 됩니다. 여러 GC 알고리즘에서 이 부분을 개선하려고 큰 노력을 해왔습니다.

3.1 Serial (-XX:+UseSerialGC)

Serial collector는 single 쓰레드로 동작하며 Young와 Old를 serial 하게 GC을 합니다. Young과 Old 영역에서 객체가 어떻게 관리되는지는 조금 더 구체적으로 알아보겠습니다.

Young 영역 (single thread)

mark and copy

Old 영역 (single thread)

mark-sweep-compact : 안쓰는 객체를 표시한 이후 삭제하고 한 곳으로 모으는 알고리즘이다

Young 영역의 Minor GC 절차 - mark and copy

처음에 생성된 객체는 Eden에 쌓인다
Eden이 어느 정도 쌓이면 GC가 발생하고 살아남은 객체는 Survisor(Empty) 영역으로 이동한다

Survisor 영역중에 한 영역은 반드시 비어 있어야 한다

Survisor 영역이 차게 되면 GC가 발생하고 Eden 영역에 있는 객체와 꽉 찬 Survisor 영역에 있는 객체가 비어 있는 다른 Survisor 영역으로 이동한다
이 과정을 반복하다가 계속 살아남아 있는 객체들은 Old 영역으로 이동한다

GC 전	GC 이후

3.2 Parallel (-XX:+UseParallelGC)

Parallel collector는 serial collector의 동작과 유사합니다. 다른 점은 GC 속도를 높이기 위해 Young 영역을 multiple 쓰레드로 GC를 수행합니다. 이로 인해 stop-the-world하는 시간이 줄려 애플리이케이션 성능을 개선하였습니다.

Young 영역 (multi thread)

mark and copy

Old 영역 (single thread)

mark-sweep-compact

3.3 Parallel Compacting Collector (- XX:+UseParallelOldGC)

Parallel compacting collector는 JDK5u6부터 제공되었으면 JDK7u4부터는 XX:+UseParallelGC 사용 시에도 -XX:+UseParallelOldGC로 설정됩니다. Young과 Old 영역이 병렬로 처리됩니다. 쓰레드 개수는 -XX:ParallelGCThreads=n 옵션으로 조정 가능합니다.

Young 영역 (multi thread)

mark and copy

Old 영역 (multi thread)

mark-summary-compact

mark : 살아 있는 객체를 식별하여 표시한다
summary : 이전에 GC를 수행하여 컴팩션된 영역에 살아 있는 객체의 위치를 조사한다

compact : 쓰레기 객체들을 수거하고 살아있는 객체들을 한곳에 모은다

3.4 Concurrent Mark Sweep(CMS) (-XX:+UseConcMarkSweepGC)

CMS collector는 heap 메모리 영역의 크기가 크고 2개 이상의 프로세서를 사용하는 서버에 적합합니다. XX:+CMSIncrementalMode 옵션은 Young 영역의 GC를 더 잘게 쪼개어 서버의 대기 시간을 줄일 수 있지만, 예기치 못한 성능 저하가 발생할 수 있습니다. CMS는 Old 영역에 대한 compact 작업을 하지 않기 때문에 memory fragmentation이 발생할 수 있습니다. CMS collector의 경우에는 추후 릴리스에서 제거되는 거로 결정이 되었습니다. (JEP 291)

Young 영역 (multi thread)

mark and copy

Old 영역 (multi thread)

mark-sweep-remark

initial mark (stop-the-world) : 애플리케이스 코드에서 직접/바로 접근 가능한 객체를 판단하고 initial set을 만든다
concurrent mark : initial 단계에서 만든 set의 객체에서 transitively 접근 가능한 모든 객체를 체크한다
remark (stop-the-world) : concurrent mark 단계에서 변경된 객체를 다시 체크한다
concurrent sweep : 표시한 객체들 삭제한다

3.5 G1 (-XX:+UseG1GC : JDK9부터 기본으로 설정됨)

G1 (Garbage First) collector는 메모리가 큰 multi core 머신을 타켓으로 설계되었습니다. G1 GC는 JDK7u4부터 도입 되었고 안정화 기간 거쳐 현재 JDK9에서는 기본 GC로 채택 되었습니다. G1에서는 아래 그림과 같이 heap 메모리 영역을 작은 단위의 region으로 나눠서 관리합니다. 기본 region 개수 수치는 2K(2048)개 공간으로 나눕니다. 예를 들면 Heap Size가 8GB로 지정하면, 각 region의 크기는 4MB (ex. 8192MB/2048 = 4096)가 됩니다.

Young 영역 (multi thread)

-XX:ParallelGCThreads로 thread 갯수를 조정할 수 있다
살아 남은 객체들은 survivor region으로 이동(evacuation/compacting)한다

정의된 aging threshold 값을 넘으면, survivor region의 오래된 객체는 Old 영역 region으로 이동한다
매번 Minor GC를 수행할때마다 Eden과 Survivor 영역 크기는 자동으로 계산하여 정해진다

Old 영역 (multi thread)

-XX:ConcGCThreads로 marking 단계에 사용되는 GC 쓰레드 갯수 조정 가능하다
전체 heap에 대해서 GC를 하지 않고 일부 region에서만 GC를 수행한다
Old region 영역의 GC 선택 기준은 liveness(살아 있는 객체/사용하는 객체)를 기준으로 판단한다

GC 효율을 높이기 위해 liveness가 높은 것은 재사용 될 가능성이 높다고 판단하기에 liveness가 적은 것을 GC하도록 한다. 따라서 Garbage First, G1이라는 이름이 붙었다

GC하는 과정

initial mark (stop-the-world)

Old GC가 필요해지면 Young GC때 함께 실행된다
survivor region(root region)에서 Old 영역에 있는 객체를 참조하는 survivor 영역을 표시한다

root region scanning

어플리케이션 실행중단없이 첫번째 단계에서 표시한 survivor 영역을 스캔한다

concurrent mark

전체 heap 영역에서 사용하는 객체를 표시한다
이 단계에서 young GC가 발생하면 멈출수도 있다
region별 live object 비율(재사용이 높은 값)을 계산해둔다

remark (stop-the-world)

빈 region들은 삭제(객체를 이동하면서 빈 region이 생김)해서 free로 만든다
전체 region들의 live object 비율이 계산된다

copy/cleanup (stop-the-world)

가장 빨리 청소가 가능한 live object 비율이 낮은 region들을 선택한다

Young과 Old 영역이 모두 cleanup되고 선택된 region들은 모두 새로운 region으로 compaction되어 위치한다

after copy/cleanup

Full GC

Old GC를 통해서도 필요한 Young 영역을 확보하지 못하면, 어쩔수 없이 Full GC를 실행한다

참고

Garbage Collection

자바 메모리

Generation의 차이점

https://stackoverflow.com/questions/2129044/java-heap-terminology-young-old-and-permanent-generations

GC의 대상

GC 알고리즘

ParallelGC와 ParallelOld의 차이점

자바에서 final에 대한 이해

kenshin579 — Tue, 11 Sep 2018 20:15:13 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. 개요

final 키워드를 떠올릴 때면 그냥 상수로만 생각할 때가 종종 있습니다. final을 클래스, 메서드, 변수에 선언하면 조금씩 할 수 있는 부분들이 제안됩니다. 너무 당연한 내용이지만, 시간이 지니니까 기억에서 사라져버려서 이번에 다시 한번 상기하기 위해 정리를 해보았습니다.

자바에서 final 키워드는 여러 컨텍스트에서 단 한 번만 할당될 수 있는 entity를 정의할 때 사용됩니다. (위키피니아)

final 키워드는 총 3가지에 적용할 수 있습니다. 각각에 대해서 세부적으로 알아보죠.

final 변수

원시 타입
객체 타입
클래스 필드
메서드 인자

final 메서드
final 클래스

2. Final 변수

2.1 원시 타입

로컬 원시 변수에 final로 선언하면 한번 초기화된 변수는 변경할 수 없는 상수값이 됩니다.

@Test
    public void test_final_primitive_variables() {
        final int x = 1;
        //x = 3; //한번 assign되면 변경할 수 없음.
    }

2.2 객체 타입

객체 변수에 final로 선언하면 그 변수에 다른 참조 값을 지정할 수 없습니다. 원시 타입과 동일하게 한번 쓰여진 변수는 재변경 불가합니다. 단, 객체 자체가 immutable하다는 의미는 아닙니다. 객체의 속성은 변경 가능합니다.

@Test
    public void test_final_reference_variables() {
        final Pet pet = new Pet();
//        pet = new Pet(); //다른 객체로 변경할수 없음

        pet.setWeight(3); //객체 필드는 변경할 수 있음

    }

2.3 메서드 인자

메서드 인자에 final 키워드를 붙이면, 메서드 안에서 변수값을 변경할 수 없습니다.

public class Pet {
    int weight;
    public void setWeight(final int weight) {
//        weight = 1; //final 인자는 메서드안에서 변경할 수 없음
    }
}

2.4 맴버 변수

클래스의 맴버 변수에 final로 선언하면 상수값이 되거나 write-once 필드로 한 번만 쓰이게 됩니다. final로 선언하면 초기화되는 시점은 생성자 메서드가 끝나기 전에 초기화가 됩니다. 하지만, static이냐 아니냐에 따라서도 초기화 시점이 달라집니다.

static final 맴버 변수 (static final int x = 1)

값과 함께 선언시
정적 초기화 블록에서 (static initialization block)

instance final 맴버 변수 (final int x = 1)

값과 함께 선언시
인스턴스 초기화 블록에서 (instance initialization block)
생성자 메서드에서

2.4.1 인스턴스 초기화 블록 vs 정적 초기화 블록

정적 초기화 블록과 인스턴스 초기화 블록의 차이점을 간단하게 알아봅니다.

인스턴스 초기화 블록	정적 초기화 블록
객체 생성할때마다 블록이 실행됨 부모 생성자이후에 실행됨 생성자보다 먼저 실행됨	클래스 로드시 한번만 블록이 실행됨

@Test
public void initializeBlockTest() {
    Cat.s_value = 5; //static 초기화 블록 호출됨
    System.out.println("s_value: " + Cat.s_value);

    System.out.println("");
    System.out.println("Cat 객체 생성1");
    Cat cat1 = new Cat();=

    System.out.println("");=
    System.out.println("Cat 객체 생성2");
    Cat cat2 = new Cat();
}

public class Pet {
    public Pet() {
        System.out.println("super construtor : Pet");
    }
}

실행결과는 다음과 같습니다. 정적 초기화 블록은 클래스가 로딩되는 시점에 한 번만 호출되고 static 블록 안에서 static 맴버변수를 초기화 할 수 있습니다.

인스턴스 초기화 블록은 객체를 생성할 때마다 호출되고 자식 객체의 생성자가 호출되기 전에 그리고 부모 생성자 이후에실행됩니다.

public class Cat extends Pet {
    final int i_value;
    static int s_value;

    {
        System.out.println("instance initializer block");
        i_value = 3;
        System.out.println("i_value: " + i_value);
        System.out.println("s_value: " + s_value);
    }

    static {
        System.out.println("static initializer block");
//        System.out.println("i_value: " + i_value); //static 블록에서 필드 접근 안됨
        System.out.println("s_value: " + s_value);
    }

    public Cat() {
        System.out.println("contructor: Cat");
    }
}

내용이 길었네요. 다음은 메서드와 클래스에 final을 선언하면 어떤 차이가 있는지 알아봅시다.

3. Final 메서드

메서드를 final로 선언하면 상속받은 클래스에서 오버라이드가 불가능하게 됩니다. Dog 객체는 Pet의 makeSound() 메서드를 재정의할 수 없습니다. 언제 사용하면 좋을까요? 구현한 코드의 변경을 원하지 않을 때 사용합니다. side-effect가 있으면 안 되는 자바 코어 라이브러리에서 final로 선언된 부분을 많이 찾을 수 있습니다.

public class Pet {
    public final void makeSound() {
        System.out.println("ahaha");
    }
}

public class Dog extends Pet {
    //final로된 메서드는 override할수 없음
     public void makeSound() { 

     }
}

4. Final 클래스

클래스에 final을 선언하면 상속 자체가 안됩니다. 그냥 클래스 그대로 사용해야 합니다. Util 형식의 클래스나 여러 상수 값을 모아둔 Constants 클래스을 final로 선언합니다.

public final class Pet {
}


//Pet 클래스가 final 클래스로 선언되어 상속할 수 없음
public class Dog extends Pet {
}

4.1 상수 클래스

상수 값을 모아준 클래스는 굳이 상속해서 쓸 이유는 없겠죠?

public final class Constants {
    public static final int SIZE = 10;
}

//public class SubConstants extends Constants {
//}

4.2 Util 형식의 클래스

JDK에서 String도 final 클래스로 선언되어 있습니다. 자바의 코어 라이브러리이기 때문에 side-effect가 있으면 안 되겠죠. 다른 개발자가 상속을 해서 새로운 SubString을 만들어 라이브러리로 다른 곳에서 사용하게 되면 유지보수, 정상 실행 보장이 어려워질 수 있습니다.

public final class String
    implements java.io.Serializable, Comparable<String>, CharSequence {
}

여기서에 작성된 코드는 github를 참고해주세요.

참고

final

초기화 블록

새로운 기능 및 개선 사항 목록 - 자바10에서의 변화

kenshin579 — Tue, 11 Sep 2018 13:23:11 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바10

언어

JEP 286: Local Variable Type Inference

JVM/Compiler

JEP 304: Garbage-Collector Interface
JEP 307: Parallel Full GC for G1
JEP 316: Heap Allocation on Alternative Memory Devices
JEP 317: Experimental Java-Based JIT Compiler

기타 변경 및 개선사항

JEP 296: Consolidate the JDK Forest into a Single Repository
JEP 310: Application Class-Data Sharing
JEP 312: Thread-Local Handshakes
JEP 313: Remove the Native-Header Generation Tool (javah)
JEP 314: Additional Unicode Language-Tag Extensions
JEP 319: Root Certificates
JEP 322: Time-Based Release Versioning

자바10에 추가된 여러 기능 및 개선 사항은 다음 링크를 참조해주세요.

JEP 286: Local Variable Type Inference

타임 추론이란 자바 컴파일러가 각 메서드 호출과 정의된 메서드 선언문을 보고 인자의 타입을 추론하는 기능을 말합니다. 타임 추론(type inference)은 자바5부터 지속적으로 개선해 왔었습니다.

Java 5 : 제네릭 메서드와 타입 인지 타입추론
Java 7 : 다이아몬드 연산자(<>)
Java 8 : 람다식 인자 타입
Java 10 : 지역변수 타입추론

타입추론 개선 내역

Java 5 : 제네릭 메서드 타입 추론

List<String> cs = Collections.<String>emptyList();

Java 7 : 다이아몬드 연사자(<>)

Map<String, List<String>> myMap = new HashMap<String,List<String>>();

Java 8 : 람다식 안자 타입

Predicate<String> nameValidation = (String x) -> x.length() > 0;

Java 10 : 지역변수 타입 추론

자바에서도 var를 도입하여 암시적 타이핑을 지원하게 되었습니다. var는 keyword(ex.abstract)가 아니라 reserved type name이라서 변수, 함수 이름으로도 사용할 수 있습니다.

추가로 var의 도입으로 dynamic type을 지원하는 것은 아닙니다. compiler가 알아서 타입을 추론해서 compile 해주는 것입니다.

//이전 자바
Map<User, List<String>> userChannels = new HashMap<>();

//자바10
var userChannels = new HashMap<User, List<String>>();

이전 자바

자바10

Path path = Paths.get("src/web.log");
try (Stream<String> lines = Files.lines(path)){
    long warningCount
            = lines
                .filter(line -> line.contains("WARNING"))
                .count();
    System.out.println("Found " + warningCount + " warnings in the
log file");
} catch (IOException e) {
    e.printStackTrace();
}

var path = Paths.get("src/web.log");
try (var lines = Files.lines(path)){
    var warningCount

            = lines
                .filter(line -> line.contains("WARNING"))
                .count();
    System.out.println("Found " + warningCount + " warnings in the
log file");
} catch (IOException e) {
    e.printStackTrace();
}

제약사항으로 타입 추론이 안되는 경우도 있습니다.

nulll로 assign하는 경우

```
test = null;
```

local 변수가 아닌 경우

```
public var x = “hello;
```

explicit initialization이 없는 경우

```
var x;
```

initiailization이 있어도 안되는 경우도 있음 - array initializer

```
var arr = {1, 2, 3};
```

method의 인자로도 안됨

```
public void foo(var x) {}
```

람다 표현식에는 explicit target type이 필요함

var p = (String str) -> str.length() > 1;

var를 사용할때는 주의가 필요합니다. var를 사용하면 어떤 타입인지를 알수 없게 되어 가속성이 떨어지게 됩니다.

// ORIGINAL
List<Customer> x = dbconn.executeQuery(query);

//BAD
var customer = dbconn.executeQuery(query);

// GOOD
var custList = dbconn.executeQuery(query);

변수이름에 타입을 추가하여 이름을 사용하여 가독성을 높여주는게 좋습니다.

더 자세한 사항은 java.net에서 제공한 가이드라인(Style Guidlines for Local Variable Type Inference in Java)을 참조해주세요.

참고

로컬 변수 타입 추론

reserved type이란

https://stackoverflow.com/questions/49102553/what-is-the-conceptual-difference-between-a-restricted-keyword-and-reserved-t

새로운 기능 및 개선 사항 목록 - 자바Beyond에서의 변화

kenshin579 — Sun, 9 Sep 2018 23:30:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바Beyond

JEP 301: Enhanced Enums - 현재 보류중

JEP 302: Lambda Leftovers - Candidate

JEP 305: Pattern Matching - Candidate
JEP ???: Data Classes
JEP 312: Switch Expressions - Proposed to Target (JDK12)
JEP 326: Raw String Literals - Candidate

자바의 릴리스 주기가 6개월로 변경되면서 새로운 기능, 개선사항들이 빠르게 반영될 것으로 기대하고 있습니다. 아직 반영되지는 않았지만, 추후 자바 버전에서 반영될 것으로 기대되는 부분을 정리해보았습니다.

JEP 301: Enhanced Enums - 현재 보류 상태

이 제안 문서는 현재 보류된 상태입니다. 나중에 도입될 수 있어서 어떤 개선 사항인지 간단하게 알아봅니다.

Enum에서도 제너릭을 지원하고 Enum에 정의된 상수 값에 대해 보다 정교한 타입(shaper type)을 지원하는 것입니다.

참고로, Enum은 자바5에 추가된 기능으로 JVM에서는 Enum에 대한 별로의 처리는 없고 컴파일러가 Enum을 일반 클래스로 변환합니다.

개선전	개선후
enum Foo { ONE; TWO; }	enum Bar<X> { ONE<>(String.class), TWO<>(Integer.class); Bar(X x) { ... } } Class<String> cs = Bar.ONE.getClazz(); // uses shaper typing of enum constant

참고

Enum 개선사항

JEP 302: Enhancements to Lambda Expressions : Lambda Leftovers - 상태: Candidate

1. 사용하지 않는 lambda 인자를 underscore로 표현

람다 인자에서 사용되지 않는 변수는 underscore로 표현해 가독성을 높여주는 기능입니다.

개선전	개선후
Map<String, Integer> numbers = new HashMap<>(); numbers.forEach((k, v) -> System.out.println(v*2)); //k를 사용하지 않음	numbers.forEach((_, v) -> System.out.println(v*2));

2. 인자 은닉화

변수 은닉화(variable shadowing)란 inner 스코프에서 정의된 변수가 outer 스코프에서 정의된 동일한 변수 이름을 가지는 경우를 일컫습니다.

public class Shadow {
        private int value = 0;

        public void shadowTheVar(){
            int value = 5; //위 field의 값은 숨겨지게 됨

        }\
}

인자 은닉화 개선 내용은 Inner 스코프에서도 동일한 변수를 선언할 수 있도록 하는 것입니다.

개선전	개선후
String s = "hello"; if(finished) { String s = "bye"; // 오류, s 변수는 이미 선언됨 } Predicate<String> ps = s -> s.isEmpty(); // 오류, s 변수는 이미 선언됨	Map<String, Integer> map = /* ... */ String key = "theInitialKey"; map.computeIfAbsent(key, _ -> { String key = "theShadowKey"; // 이게 가능해짐 return key.length(); });

3. 옵션: 함수 호출에 대한 명확성에 대한 개선

오버로딩된 여러 메서드를 호출할 타임을 명시하지 않아도 컴파일러가 알아서 잘 추론하여 컴파일 해주는 기능입니다.

개선전	개선후
private void m(Predicate<String> ps) { /* ... / } private void m(Function<String, String> fss) { / ... */ } private void callingM() { m((String s) -> s.isEmpty()); //타입으로 바로 알 수 있음 m(s -> s.isEmpty()); //컴파일러는 어떤 메서드를 호출할지 모름 }	private void m(Predicate<String> ps) { /* ... / } private void m(Function<String, String> fss) { / ... */ } private void callingM() { m(s -> s.isEmpty()); //가능하게 하겠다. }

참고

람다 개선 작업

JEP ???: Data Classes

데이터 클라스란 데이터를 담고 로직 구현이 없는 순수한 데이터 객체를 말합니다. 데이터 속성에 접근하기 위한 여러 메서드(ex. getter, setter)를 가집니다.

DTO(Data Transfer Object)나 VO(Value Object)이라고도 합니다.

데이터 클라스 작성하려면 기본적으로 getter, setter, equals, hashCode등과 같은 메서드를 개발자가 만들어줘야 했는데, 이 JEP에서 제안하는 것은 컴파일러가 알아서 생성하도록 하는 기능입니다. 이 아이디어는 스칼라의 case, 코틀린의 데이터 클래스에서 가져왔습니다.

Scala - 케이스 클래스

case class Coordinate (lat: Double, lon : Double)

Kotlin - 데이터 클래스

data class Coordinate(val lat: Double, val lon: Double)

개선전	개선후
public class Coordinate { private double lat; private double lon; public Coordinate(double lat, double lon) { this.lat = lat; this.lon = lon; } // Getters/Setters, toString(), equals(), hashCode(), etc. 필요 }	//자바 데이터 클래스 (제안) record Coordinate(double lat, double lon) {}

데이터 클래스를 지원함으로써 코드도 더 간결해지는 장점도 생기게 됩니다. 객체 패턴 매칭(JEP 305)을 지원하면 더 쉽고 빠르게 코드를 작성할 수 있게 됩니다.

interface Shape { }
record Point(int x, int y);
record Rect(Point p1, Point p2) implements Shape;
record Circle(Point center, int radius) implements Shape;

switch (shape) {
     case Rect(Point(var x1, var y1), Point(var x2, var y2)): ...
     case Circle(Point(var x, var y), int r): ...
     ....
}

참고

데이터 객체

https://refactoring.guru/smells/data-class
https://jungwoon.github.io/common%20sense/2017/11/16/DAO-VO-DTO/
http://cr.openjdk.java.net/~briangoetz/amber/datum.html
https://www.infoq.com/news/2018/02/data-classes-for-java
https://gist.github.com/ihoneymon/7d379066bfbb409ebf4a8f3475bc250e

다른 언어

https://www.baeldung.com/kotlin-data-classes

JEP 305 : Pattern Matching - Candidate

이 JEP에서는 matches 키워드를 도입하고 switch 패턴 매칭 개선 작업을 다루고 있습니다. 컴파일러는 x matches Integer i 구문을 개선전의 코드(아래코드)로 인식합니다. Integer i 문은 type test pattern이라고 하고 i은 새로운 변수의 선언으로 인식합니다.

타켓 변수(ex. obj)가 Integer 인스턴스이면 Integer로 캐스팅하고 i 변수를 블록에서 사용할 수 있는 코드로 해석합니다.

개선전

개선후

String formatted = "unknown"; if (obj instanceof Integer) { int i = (Integer) obj; formatted = String.format("int %d", i); } else if (obj instanceof Byte) { byte b = (Byte) obj; formatted = String.format("byte %d", b); } else if (obj instanceof Long) { long l = (Long) obj; formatted = String.format("long %d", l); } else if (obj instanceof Double) { double d = (Double) obj; formatted = String.format(“double %f", d); } else if (obj instanceof String) { String s = (String) obj; formatted = String.format("String %s", s); }

String formatted = "unknown"; if (obj matches Integer i) { formatted = String.format("int %d", i); } else if (obj matches Byte b) { formatted = String.format("byte %d", b); } else if (obj matches Long l) { formatted = String.format("long %d", l); } else if (obj matches Double d) { formatted = String.format(“double %f", d); } else if (obj matches String s) { formatted = String.format("String %s", s); }

기존 자바에서의 switch문은 Number, String, Enum만 매칭이 가능했는데, 이 개선작업이 포함되면 객체도 매칭이 가능해집니다.

String formatted;
switch (obj) {
    case Integer i: formatted = String.format("int %d", i); break;
    case Byte b:    formatted = String.format("byte %d", b); break;
    case Long l:    formatted = String.format("long %d", l); break;
    case Double d:  formatted = String.format(“double %f", d); break;
    default:        formatted = String.format("String %s", s);
}

참고

개선작업

새로운 기능 및 개선 사항 목록 - 자바11에서의 변화

kenshin579 — Sun, 9 Sep 2018 23:14:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바11

JEP 181: Nest-Based Access Control
JEP 309: Dynamic Class-File Constants
JEP 315: Improve Aarch64 Intrinsics
JEP 318: Epsilon: A No-Op Garbage Collector
JEP 320: Remove the Java EE and CORBA Modules
JEP 321: HTTP Client (Standard)
JEP 323: Local-Variable Syntax for Lambda Parameters
JEP 324: Key Agreement with Curve25519 and Curve448
JEP 327: Unicode 10
JEP 328: Flight Recorder
JEP 329: ChaCha20 and Poly1305 Cryptographic Algorithms
JEP 330: Launch Single-File Source-Code Programs
JEP 331: Low-Overhead Heap Profiling
JEP 332: Transport Layer Security (TLS) 1.3
JEP 333: ZGC: A Scalable Low-Latency Garbage Collector (Experimental)
JEP 335: Deprecate the Nashorn JavaScript Engine
JEP 336: Deprecate the Pack200 Tools and API

자바11에 추가된 여러 기능 및 개선 사항은 다음 링크를 참조해주세요.

http://openjdk.java.net/projects/jdk/11/

JEP 321: HTTP Client (Standard)

자바 9 & 10에서 incubated된 HTTP client는 자바11에서는 표준화된 버전으로 릴리스 되었습니다.

패키지 : java.net.http

HTTP2에 대한 더 자세한 사항은 나만 모르고 있던 - HTTP/2를 참조하세요.

JEP 323: Local-Variable Syntax for Lambda Parameters

JDK 10에서 var가 도입되었지만, 암묵적 타입의 람다 표현식에는 사용할 수 없었습니다. 자바11부터는 람다 표현식에서도 var 키워드를 사용할 수 있게 되었습니다.

@Test
public void test_JEP323() {
    var xs = new in[]{3, 2, 6, 4, 8, 9};
    int x = Arrays
            .stream(xs)
            .filter((var a) -> a < 5)
            .sum();
    System.out.println(x);
}

참고

자바11

새로운 기능 및 개선 사항 목록 - 자바9에서의 변화

kenshin579 — Sun, 2 Sep 2018 21:55:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바9

Java Platform Module System

JEP 222: Jshell - REPL
JEP 158: Unified VM logging

JVM component에 대한 공통 로깅 시스템 제공 (-Xlog)

HTML5 Javadoc

HTML5 형식의 API를 생성할 수 있는 도구

Language Update

try-with-resources 개선
private interface method

interface에서는 항상 public로 정의해야 했는데, private도 가능하도록 함

diamond operator

익명 내부 클래스에서도 diamond operator가 가능하도록 함

New Core Libraries

Process API
JEP264: Platform Logging API and Service

http://openjdk.java.net/jeps/264

CompletableFuture API 강화
Reactive Streams - Flow API

https://thepracticaldeveloper.com/2018/01/31/reactive-programming-java-9-flow/

Collections(List, Set, Map)를 위한 팩토리 메소드 (Factory Method for Collections: List, Set, Map)

정적 팩토리 메소드로 작성된 콜렉션은 불변임

Enhanced Deprecation
Stack-Walking API
Other Improvements

Stream 개선

iterate(), takeWhile()/dropWhile(), ofNullable()

Optional 개선

JEP 11 : HTTP 2.0 (Incubator Modules)

http://openjdk.java.net/jeps/110

Client Technologies

Multi-Resolution Images
TIFF Image I/O Plugins

Internationalization

Unicode 8.0

Java 8은 Unicode 6.2을 지원

UTF-8 Properties files
Default Localte Data Change

자바9에 추가된 여러 기능 및 개선 사항은 다음 링크를 참조해주세요.

https://docs.oracle.com/javase/9/whatsnew/toc.htm#JSNEW-GUID-C23AFD78-C777-460B-8ACE-58BE5EA681F6

자바9에서의 큰 변화중에 하나는 모듈 시스템의 도입입니다. 이 부분도 큰 변화이고 스터디할 부분이 많아서 정리되는 대로 포스팅할 계획입니다.

새로운 기능 및 개선 사항 목록 - 자바8에서의 변화

kenshin579 — Sun, 2 Sep 2018 21:52:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

자바8

언어

람다식 표현
스트림
Method Reference
Default Method
Type inferece 개선
Optional

새 자바스크립트 엔진 (Nashorn)

JDK11에서 제거될 예정

Joda Time 방식의 새 날짜 API 변경
JavaFX
메타 데이터 지원 보완
IO/NIO 확장
Concurrency API 개선
Heap에서 영속 세다(Permanent Generation) 제거

자바8에 추가된 여러 기능 및 개선 사항은 다음 링크를 참조해주세요.

자바8에서는 정말로 많은 기능과 개선사항이 있었습니다. 자바8에서의 가장 큰 변화는 자바 언어에 있지 않을 까 싶습니다. 자바8부터 함수형 패러다임을 지원하게 되어 개발자라면 필수적으로 스터디해야 하는 부분입니다. 시간되는대로 다시 정리를 해보려고 합니다.

전후처리를 위한 자바 메서드 래퍼 메서드 생성하기 - pre and post processing for java wrapper method

kenshin579 — Sun, 26 Aug 2018 21:19:00 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1.개요

코딩을 하다 보면 어떤 작업을 하기 전에 전후 처리가 필요할 때가 종종 생깁니다. 전처리(pre-processing)에서는 실제 작업을 수행하기 전에 필요한 세팅을 하고 후처리(post-processing)에서는 cleanup 정도의 작업을 하게 됩니다. 이런 전후 처리를 여러 번 할 때에는 별도의 메서드로 구현해두면 좋습니다. 몇 개의 예제를 보면서 알아보죠.

2.예제

2.1 파일에 텍스트 String 값 쓰기

파일에 쓰려면 기본적으로 파일 스트림을 열고 텍스트를 쓰고 나서 파일 스트림을 닫아야 합니다. 파일 스트림을 여닫는 부분을 전후처리로 만들어봅시다.

writeLineToFile 메서드는 3개의 인자로 받습니다. 파일 이름, 스트링 값, 그리고 람다 함수를 인자로 넘겨주고 있습니다. 람다 함수로 넘겨주는 메서는 전후처리 중간에 실행될 부분입니다.

@Test
public void testWriteLineToFileWrapper() throws IOException {
    writeLineToFile("output.txt", "this is a test", (printWriter, line) -> {
        printWriter.print(line);
    });
}

람다 함수로 넘겨줄 인터페이스를 정의합니다.

private interface FileWrite {
    void writeToFile(PrintWriter pw, String line);
}

writeLineToFile 메서드에서는 전처리 코드, 넘겨 받은 함수 실행, 그리고 마지막으로 후처리 코드로 마무리합니다.

private static void writeLineToFile(final String fileName, String line, FileWrite fileWrite) throws IOException {
    LOG.info("pre 처리 : open file");
    FileWriter fileWriter = new FileWriter(fileName);
    PrintWriter printWriter = new PrintWriter(fileWriter);

    fileWrite.writeToFile(printWriter, line);

    LOG.info("post 처리 : close file");
    printWriter.close();
}

2.2 Unit test에서 static final로 선언된 상수값을 변경하여 테스트하기

기존에 선언한 static final 상수 값을 변경하면서 unit test를 작성하려면 reflection을 사용해서 상수 값을 변경해줘야 합니다. static final 값을 한번 변경하면 변경된 값으로 계속 유지되기 때문에 다른 unit test의 결과가 fail로 떨어질 수 있습니다. 그래서 테스트 이후에는 기존 값으로 원복시켜줘야 합니다. 실제 작성된 코드를 보죠.

static final로 선언된 상수 값입니다.

public class Constants {
    public static final Integer SIZE = 10;
}

Unit Test에서 상수 값을 다른 값으로 변경하고 테스트하는 코드를 짠다면, 아래 코드와 같겠죠.

@Test public void testExecuteAndResetConstantValueWithoutInterface() throws Exception { int newSize = 3; int originalSize = Constants.SIZE; setFinalStaticIntField(Constants.class, "SIZE", newSize); LOG.info("pre 처리 - SIZE: {}", Constants.SIZE); //변경된 값으로 테스트함. assertEquals(newSize, Constants.SIZE); setFinalStaticIntField(Constants.class, "SIZE", originalSize); LOG.info("post 처리 - SIZE: {}", Constants.SIZE); }

매번 다른 SIZE 값으로 unit test를 작성한다면, #2.1에서 했던 것처럼 인터페이스를 정의하고 refactoring하는게 낫겠죠.

@Test
public void testExecuteAndResetConstantValue() throws Exception {
    int newId = 3;

    //내부적으로 Constant값을 3으로 세팅했다가 기존값으로 원복시킴
    executeAndResetConstantValue(newId, () -> {
        LOG.info("Constants: {}", Constants.SIZE);
    });
}

전후처리 하는 코드아래 메서드로 refactoring합니다.

private static void executeAndResetConstantValue(int newSize, Task task) throws NoSuchFieldException, IllegalAccessException {
    int originalSize = Constants.SIZE;
    //pre 처리 - 인자 값으로 세팅함
    setFinalStaticIntField(Constants.class, "SIZE", newSize);
    LOG.info("pre 처리 - SIZE: {}", Constants.SIZE);

    //실행
    task.execute();

    //post 처리 - 기존 값으로 원복함
    setFinalStaticIntField(Constants.class, "SIZE", originalSize);
    LOG.info("post 처리 - SIZE: {}", Constants.SIZE);
}

reflection을 이용해서 static final을 상수값을 변경하는 메서드는 dzone 사이트에서 참조하였습니다. (참고 - static final field 변경)

private static void setFinalStaticIntField(Class<?> clazz, String fieldName, Object value) throws NoSuchFieldException, IllegalAccessException {
    Field field = clazz.getDeclaredField(fieldName);
    field.setAccessible(true);

    Field modifiers = Field.class.getDeclaredField("modifiers");
    modifiers.setAccessible(true);
    modifiers.setInt(field, field.getModifiers() & ~Modifier.FINAL);

    field.set(null, value);
}

인터페이스 선언하는 부분입니다.

private interface Task {
    void execute();
}

인터페이스는 인자도 없고 반환 값도 없는 void 이여서 Runnable 인터페이스를 그냥 사용해도 무방합니다.

private static void executeAndPrePostProcessWithRunnable(int newSize, Runnable r) throws NoSuchFieldException, IllegalAccessException {
    int originalSize = Constants.SIZE;
    //pre 처리 - 인자 값으로 세팅함
    setFinalStaticIntField(Constants.class, "SIZE", newSize);
    LOG.info("pre 처리 - SIZE: {}", Constants.SIZE);

    //실행
    r.run();

    //post 처리 - 기존 값으로 원복함
    setFinalStaticIntField(Constants.class, "SIZE", originalSize);
    LOG.info("post 처리 - SIZE: {}", Constants.SIZE);
}

지금까지 작성된 코드는 github에 올려줘 있습니다.

com.java.examples.prepost

Constants
PrePostTest
FinalFieldChangeTest

3. 참고

전후처리

static final field 변경

https://dzone.com/articles/how-to-change-private-static-final-fields

함수 인터페이스

http://multifrontgarden.tistory.com/125

Heroku에 Node.js+MongoDB App 배포하기

kenshin579 — Tue, 21 Aug 2018 13:09:41 +0900

Gatsby로 블로그 마이그레이션을 하여 이 링크를 클릭하면 해당 포스팅으로 갑니다.

감사합니다.

http://blog.advenoh.pe.kr

1. Heroku란

헤로쿠(Heroku)는 PaaS(Platform as a Service)형태의 클라우드 서비스입니다. 헤로쿠는 터미널이나 웹에서 필요한 여러 티어(ex. DB)를 쉽게 생성하고 연동시킬 수 있습니다. 최초 버전에서는 Ruby 언어만 지원하였지만, 현재는 메이저급 언어 대부분을 지원하고 있습니다.

1.1 Heroku Features

Git 명령어로 앱을 배포함
앱 배포 시 경량 가상화 컨테이너인 Dynos에서 실행됨
여러 언어를 지원함 (Ruby, Java, Node.js, Scala, Clojure, Python, Php, Go)
애드온(Add-ons)

DB와 같은 여러 백엔드 서비스를 제공함(ex. redis, mongodb, mysql)
Elements 마켓장소에서 필요한 애드온을 찾아 설치할 수 있음

구독 가격

무료

공짜 Dyno 시간이 주어짐(ex. 기본 550 hrs부터 시작)
30분 동안 사용하지 않는 경우에는 sleep 모드로 전환됨
재 접속시에는 wakeup하는 시간으로 응답시간이 늦어질 수 있음

유료 - 3가지 구독 서비스가 있음

2. Heroku 시작하기

2.1 Heroku 계정 만들기

먼저 Heroku 사이트에 들어가 계정을 만들어야 합니다.

2.2 Heroku CLI 설치

터미널에서 Heroku 앱을 관리할 수 있도록 Heroku CLI (Command Line Interface)를 설치합니다.

이 포스팅에서는 맥 기반으로 설명되어 있습니다. 그외에 OS는 Heroku 설치 가이드를 참조해주세요.

$ brew install heroku
$ heroku --version
heroku/7.7.10 darwin-x64 node-v10.8.0

2.3 Heroku 로그인

Heroku관련 작업을 하려면 먼저 로그인 명령어로 Heroku 계정에 로그인해야 합니다.

$ heroku login

2.4 필수 명령어

Heroku를 배포할때 git를 사용하기 때문에 git가 있어야 합니다. 맥 OS에서는 Xcode가 설치되어 있으면 기본적으로 터미널에서 사용할 수 있습니다.

$ git —version
git version 2.15.2 (Apple Git-101.1)

3. Sample 코드 생성, 코드 수정 및 배포

실제 개발과정을 보면 처음에 프로젝트 생성한 이후 코드 수정, 개발환경에서의 테스트, 서버로 배포하는 이런 과정을 계속 반복하게 됩니다.

Heroku 클라우드에 개발하는 코드 어떻게 쉽게 반영할 수 있는지 알아보죠.

3.1 Sample 프로젝트 생성

Heroku에서 기본적으로 제공하는 샘플 프로젝트를 다운로드합니다.

$ mkdir -p ~/src
$ cd src
$ git clone https://github.com/heroku/node-js-getting-started.git
$ cd node-js-getting-started

3.2 개발환경에서 실행하기

앱에 필요한 Node.js 모듈를 설치하고 앱을 구동해보죠.

$ npm install
$ npm start

3.3 Heroku 클라우드에 배포하기

$ heroku create
Creating app... done, ⬢ nameless-falls-97478
https://nameless-falls-97478.herokuapp.com/ | https://git.heroku.com/nameless-falls-97478.git

먼저 create 명령어로 Heroku에 관련 Git 저장소와 빈 앱을 생성합니다.

앱 주소

https://nameless-falls-97478.herokuapp.com/

Heroke Git 저장소

https://git.heroku.com/nameless-falls-97478.git

create 옵션에 이름을 지정하지 않으면 임의의 이름(ex. 여기서는 nameless-falls-97478로 생성)으로 생성합니다. 앱 생성 이후에도 apps:rename 옵션으로 앱 이름 변경이 가능합니다.

$ heroku apps:rename newname

이제 실제로 Heroku 클라우드에 배포해보죠. Git 명령어로 Heroku 저장소에 푸시하면 배포가 완료됩니다. 참 쉽죠? ㅋㅋ

$ git push heroku master

소스가 올라가면 빌드 과정을 거치고 공개 주소에 접속해 웹 앱에 접속할 수 있습니다. 빌드 과정이후 Heroku에서 웹 앱을 시작하는 시작점은 Procfile 파일에 정의되어 있습니다.

$ cat Procfile
web: node index.js

Procfile이 없은 경우에는 package.json에 정의된 start script로 시작합니다.

3.3 배포된 사이트 오픈하기

잘 배포되었는지 브라우저에서 확인해봅니다. 브라우저가 오픈되고 공개 주소로 접속되고 페이지가 정상적으로 로드되는 것을 볼수 있습니다.

$ heroku open

3.4 코드 수정이후 다시 배포하기

이제 코드 수정한 이후에 다시 배포하는 과정을 거쳐보죠. 메인 페이지 (views/pages/index.ejs)에서 타이틀 부분을 수정합니다.

로컬환경에서 수정이 잘됐는지 확인 이후 이상없으면 코드를 commit합니다.

$ npm start

$ git add .
$ git commit -m “Update index.”
[master cd8508b] Update index.
2 files changed, 1003 insertions(+), 1 deletion(-)
create mode 100644 package-lock.json

Heroku에 배포하고 반영 잘됐는지 브라우저를 오픈해서 확인합니다. 변경한 타이틀이 잘 로드가 되네요.

$ git push heroku master
$ heroku open

웹 앱이 Heroku에서 구동될 때 로그를 확인하고 싶으면, logs 옵션으로 확인이 가능합니다.

$ heroku logs --tail

4. Add-on MongoDB 설치후 Node.js와 연동하기

Add-on 마켓장소에는 많은 수의 데이터 저장소(ex. Postgres, Redis, MongoDB, MySQL)를 지원하고 있습니다.

이 예제에서는 MongoDB add-on을 설치하고 작성하고 있는 Node.js와 연동하는 부분을 다루어 보도록 하겠습니다.

4.1 MongoDB 설치

MongoDB add-on을 추가합니다.

$ heroku addons:create mongolab

명령어외에도 직접 마켓장소에서 접속해서 add-on을 추가할 수 있습니다.

4.2 MongoDB와 연동

mLab MongoDB를 추가하면 Heroku 환경변수에 MONGODB_URI가 추가됩니다. MongoDB 주소는 아래와 같습니다.

$ heroku config:get MONGODB_URI
mongodb://heroku_vfwj5vcl:spb8kerqhucborfd974cdbiqe8@ds125862.mlab.com:25862/heroku_vfwj5vcl

명령어로 MongoDB에 접속할 수도 있지만, 개인적으로 MongoDB GUI client(Studio 3T)로 접속해보았습니다. 아래는 Studio 3T에서 새로운 연결 정보를 입력하는 화면입니다.

DB에 연결이후 앱에 필요한 데이터를 입력합니다. dummy 데이터로는 기존에 작성된 데이터를 사용하였습니다. (데이터 링크)

db.timers.insert([
{
  "timer_description": "한글 단어 공부",
  "timer_interval": {
    "hours": 0,
    "minutes": 30
  },
  "timer_total": {
    "hours": 2,
    "minutes": 30,
    "seconds": 30
  },
  "timer_status": true,
  "start_date": "2017-04-01"
},
…
]

4.3 코드 수정

앞서 MongoDB에 입력한 데이터를 브라우저에서 /timers에 접속시 json값을 가져오는 코드를 작성해보도록 하겠습니다.

먼저 MongoDB를 Node.js에서 사용하기 위해서는 mongoose 모듈이 필요합니다. Npm 명령어로 mongoose 모듈를 설치합니다.

$ npm install --save mongoose

앱에서 MongoDB로 접속하는 데 필요한 파일을 생성하고 기존 코드를 수정합니다.

원하는 document 구조에 맞게 schema 파일을 생성합니다.

$ mkdir -p models
$ vim models/timer.js

const mongoose = require('mongoose');
const Schema = mongoose.Schema;

const timerSchema = new Schema({
    timer_description: {
        type: String, unique: true
    },
    timer_interval: {
        hours: {type: Number},
        minutes: {type: Number}
    },
    timer_total: {
        hours: {type: Number},
        minutes: {type: Number},
        seconds: {type: Number}
    },
    timer_status: {
        type: Boolean
    },
    start_date: {
        type: Date,
        default: Date.now
    }
});

module.exports = mongoose.model('timer', timerSchema);

메인 index.js 파일을 수정합니다. RESTful API /timers 접속 시 모든 데이터를 조회 가능하도록 구현합니다.

$ vim index.js

const express = require('express')
const path = require('path')
const PORT = process.env.PORT || 5000
const mongoose = require('mongoose');

// CONNECT TO MONGODB SERVER
MONGODB_URI='mongodb://heroku_vfwj5vcl:spb8kerqhucborfd974cdbiqe8@ds125862.mlab.com:25862/heroku_vfwj5vcl'
mongoose.connect(MONGODB_URI);

// DEFINE MODEL
const Timers = require('./models/timer');

express()
  .use(express.static(path.join(__dirname, 'public')))
  .set('views', path.join(__dirname, 'views'))
  .set('view engine', 'ejs')
  .get('/', (req, res) => res.render('pages/index'))
  .get('/timers', (req, res) => {
    Timers.find((err, timers) => {
      if(err) return res.status(500).send({error: 'database failure'});
      res.json(timers);
    })
  })
  .listen(PORT, () => console.log(`Listening on ${ PORT }`))

지금까지 작성한 코드는 github에 업로드 되어 있습니다.

4.4 재배포 확인

다시 Heroku에 배포하고 확인해보죠.

$ npm start
$ git add .
$ git commit -m "added mongodb code"
[master 0bf189b] added mongodb code
  5 files changed, 194 insertions(+), 1 deletion(-)
  create mode 100644 models/timer.js

$ git push heroku master
$ heroku open

5. Appendix

5.1 기존 App Heroku에 배포하기

기존에 작성한 Node.js 프로젝트에 Heroku를 배포해보았습니다. 실제 적용 과정은 위 샘플 프로젝트와 크게 다르지 않습니다.

https://github.com/kenshin579/app-keep-countdown-timer

먼저 Procfile 파일 생성합니다.

$ vim Procfile
web: node app.js

create 명령어로 Heroku 앱을 생성합니다.

$ heroku create app-keep-countdown-timer
Creating ⬢ app-keep-countdown-timer... done
https://app-keep-countdown-timer.herokuapp.com/ | https://git.heroku.com/app-keep-countdown-timer.git

MongoDB add-on을 생성해서 주소를 얻어옵니다.

$ heroku addons:create mongolab
$ heroku config:get MONGODB_URI

새로 얻은 MongoDB 주소를 코드에 반영하고 MongoDB에 dummy 데이터를 로드합니다.

$ node data/populate.js

로컬 환경에서 이상이 없으면, commit해서 Heroku에 배포합니다.

$ git add .
$ git commit -m "added mongodb code"
[master 0bf189b] added mongodb code
 5 files changed, 194 insertions(+), 1 deletion(-)
 create mode 100644 models/timer.js

$ git push heroku master
$ heroku open

5.2 명령어 모음

이미 언급된 Heroku 명령어외에 사용시 알면 유용한 명령어를 모아 보았습니다.

heroku run bash - 실행중인 app에 bash 실행합니다.
heroku ps - 실행중인 process를 볼수 있습니다. 현재 남아 있는 dyno 시간도 알 수 있습니다.
heroku list - Heroku으로 등록된 앱을 보여줍니다
heroku ps:stop - 실행중인 app을 멈춥니다

6. 참고

IaaS, PaaS, SaaS

https://blogs.msdn.microsoft.com/eva/?p=1383

Heroku Docs

https://devcenter.heroku.com/categories/reference