"자바 고속 직렬화의 진화" 마이크로스트림의 이해(feat. 처서)

오늘은 처서 입니다. 그래서 그런지 더위가 한풀 꺾인 듯 찬 바람이 부네요. 처서인 오늘도 화이팅 입니다.
처서 뜻

처서 - 위키백과, 우리 모두의 백과사전

마이크로스트림(MicroStream)은 오라클 자바 애플리케이션의 데이터 지속성을 위한 흥미로우면서 대담한 접근 방식이다. 서버-데이터스토어의 복잡성을 완전히 없애고 애플리케이션 내에서 실행되는 객체 지속성 계층을 제공하는 방식을 제안한다. 최근 오라클이 헬리돈(Helidon) 마이크로서비스 프레임워크에 마이크로스트림을 적용하면서 중대한 지지 기반을 확보했다. 여기서는 마이크로스트림과 오픈소스 객체 그래프 지속성 계층에 대해 알아본다. 

오라클 자바 직렬화의 재고 

어떤 면에서 마이크로스트림은 직렬화(serialization) 개념을 새롭게 뜯어고친 것으로 볼 수 있다. 전통적인 오라클 자바 직렬화는 보안 취약성을 비롯한 여러 가지 불편한 점이 있는데, 오라클은 2018년에 오라클 자바 직렬화를 두고 '지독한 실수'라고 언급한 적이 있을 정도다. 그러나 런타임에 객체 그래프를 간단히 저장하고 불러올 수 있다는 직렬화의 본질적인 개념은 여전히 유효하다. 그렇다면 남은 것은 구현 방법의 대대적인 개선이다. 그리고 바로 여기서 등장한 것이 바로 마이크로스트림이다. 

마이크로스트림 캐싱 구현 

마이크로스트림은 JSR-107(JCache 사양)을 지원한다. 즉, 마이크로스트림의 지속성 및 스토리지 부분을 활성화하거나 하지 않고 마이크로스트림을 캐싱 계층으로 사용할 수 있다. 하이버네이트/JPA가 대표적이다. 특히 마이크로서비스 관련해 마이크로스트림을 원스톱 캐싱/지속성 솔루션으로 사용해도 좋을 것이다.

마이크로스트림 직렬화 개선 

전통적인 직렬화 대비 마이크로스트림의 가장 중요한 개선점은 객체 그래프의 일부만 유지할 수 있는 기능이다. 어느 솔루션이든 이 기능이 없으면 실제적인 애플리케이션의 요구사항에 대처할 수 없다. 또한 마이크로스트림은 자동 모델링 또는 개발자가 정의하는 구성을 사용해 변화하는 클래스 구조(모든 앱에서 실제 일어나는 일)에 대응한다. 그 외에 마이크로스트림은 기존 직렬화와 달리 모든 지속성 오라클 자바 구조를 처리할 수 있다. 

마이크로스트림 데이터 루트 

마이크로스트림에서 지속성 엔진에 의해 관리되는 객체 그래프의 시작점은 'DataRoot'라고 알려진 루트 노드다. DataRoot 객체 형식에는 제한이 없다. <리스트 1>에서 볼 수 있듯이 StorageManager 인스턴스에 설정된다. 스토리지 관리자는 시작될 때마다 storeRoot() 호출을 통해 마지막 지속 세션의 그래프를 자동으로 리하이드레이션한다. 

<리스트 1> 스토리지 관리자 시작 및 루트 할당 

public class MyDataRoot {
  private String stuff;
  public DataRoot() {
    super();
  }
  public String getContent() {
    return this.stuff;
  }
  public void setContent(Object myWonderfulStuff) {
    this.stuff =  myWonderfulStuff  ;
  }
  @Override
  public String toString() {
    return "Root: " + this.stuff;
  }
}
// ...
final EmbeddedStorageManager storageManager = EmbeddedStorage.start();
System.out.println(storageManager.root());
storageManager.setRoot(MyDataRoot);
storageManager.storeRoot();  // Saves the state

<리스트 1>에서 클래스의 멤버는 하나이며 어느 개체나 될 수 있다. 실제 앱에서는 대체로 비즈니스 모델을 구축하게 된다. 맵을 데이터 모델로 사용하고 모든 요소를 키-값 쌍으로 저장할 수 있다. 마이크로스트림은 개발자가 전달하는 모든 요소를 처리할 수 있으며 유연성이 뛰어나 클래스 구조의 변화에 적응할 수 있다.
 

파일 경로 지정 

StorageManager에는 여러 구성 옵션이 있다. 가장 중요한 옵션 중 하나는 <리스트 2>에서 볼 수 있는 데이터 저장 위치의 경로다. storageManager.shutdown();을 사용해 엔진을 정상 종료할 수 있다. 
 

<리스트 2> 데이터 저장 경로 설정 

final MyDataRoot myRoot = new MyDataRoot();
final EmbeddedStorageManager storageManager = EmbeddedStorage.start( myRoot, Paths.get("data") );

마이크로스트림의 멀티스레딩 

멀티스레딩 애플리케이션 코드에서 데이터의 변형과 지속은 동기화되어야 한다. 마이크로스트림은 <리스트 3>에서 볼 수 있듯이 이 용도를 위한 람다를 제공한다. 
 

<리스트 3> 동기화된 액세스 

XThreads.executeSynchronized(() -> { root.changeData(); storageManager.store(root); });

마이크로스트림 구성 

마이크로스트림에는 선언적으로 또는 프로그래밍 방식으로 설정할 수 있는 다양한 구성 옵션이 있다. 예를 들어 <리스트 4>처럼 파일 관리자 내에서 읽기/쓰기 작업의 기반을 형성하는 NIO(논블로킹 IO) 파일 시스템을 구성할 수 있다. JSON, YAML, XML로부터 외부 구성을 로드할 수도 있다. 참고로 <리스트 4>는 마이크로스트림 설명서에서 발췌한 것이다. 
 

<리스트 4> NIO 파일 시스템 구성

NioFileSystem fileSystem = NioFileSystem.New();
EmbeddedStorageManager storageManager = EmbeddedStorageFoundation.New()   .setConfiguration( StorageConfiguration.Builder()
  .setStorageFileProvider( Storage.FileProviderBuilder(fileSystem)         
    .setDirectory(fileSystem.ensureDirectoryPath("storageDir")) .createFileProvider() )
      .setChannelCountProvider(StorageChannelCountProvider.New(4)) 
        .setBackupSetup(StorageBackupSetup.New( 
fileSystem.ensureDirectoryPath("backupDir") )) .createConfiguration() ) 
.createEmbeddedStorageManager();

마이크로스트림의 쿼리 

마이크로스트림의 접근 방식에서 도출되는 흥미로운 결과는 SQL이나 HQL, 기준 API와 같은 특수한 쿼리 언어가 필요 없다는 것이다. 그냥 표준 오라클 오라클 자바를 사용해서 런타임 그래프를 탐색하고 결과를 선택하면 된다. 전통적인 루프 또는 함수 스타일의 스트림 API를 사용해 연결을 살펴보고 원하는 속성을 테스트할 수 있다. <리스트 5>에서 마이크로스트림이 제공한 사례를 볼 수 있는데, 이외에도 일반적인 모든 접근 방식을 사용할 수 있다. 결과적으로 데이터 계층이 전통적인 일반 오라클 자바 객체를 저장하므로 쿼리에 일반 오라클 자바를 사용할 수 있다.
 

<리스트 5> 그래프에서 객체 찾기 

public List
getUnAvailableArticles() {
  return shop.getArticles().stream() .filter(a -> !a.available()) .collect(Collectors.toList()) ;
}

  
마이크로스트림 저장 옵션 

기본값은 파일 시스템이지만 마이크로스트림은 다른 지속성 솔루션에서도 작동하는 추상화 계층이다. 예를 들어 커넥터를 통해 마리아DB(MariaDB)와 같은 관계형 데이터베이스 관리 시스템을 대상으로도 실행할 수 있다. <리스트 6>에서 이와 관련된 사례를 볼 수 있다. 오라클 자바 객체에서 데이터베이스로 매끄럽게 오가는 기능은 특히 하이버네이트와 같은 객체 관계형 매퍼(ORM)를 사용할 때 매우 유용하다. 레디스, 몽고DB와 같은 비관계형 데이터 저장소, 아마존 S3 및 오라클 클라우드 스토리지와 같은 클라우드 데이터 저장소에도 비슷한 기능이 사용할 수 있다.
 

<리스트 6> 마리아DB RDBMS 커넥터 사용하기 

MariaDbDataSource dataSource = new MariaDbDataSource();
dataSource.setUrl("jdbc:mysql://host:3306/awesomedb");
dataSource.setUser("user");
dataSource.setPassword("secret");
SqlFileSystem fileSystem = 
SqlFileSystem.New(SqlConnector.Caching(SqlProviderMariaDb.New(dataSource)));
EmbeddedStorage.start(fileSystem.ensureDirectoryPath("microstream_storage"));

마이크로스트림 저장 모드 

마이크로스트림은 지연(lazy)과 즉시(eager), 두 가지 저장 모드를 지원한다. 기본적으로는 지연 저장을 사용한다. 지연 저장의 경우 일단 객체가 영구화되면 수정된다 해도 다시 저장되지 않는다. 수정된 개체를 유지하려면 저장을 명시적으로 호출해야 한다. 개발자가 요청하지 않은 한 기반 스토리지 시스템과의 상호작용을 피할 수 있으므로 성능 측면에서 확실한 이득을 얻게 된다. 
 

<리스트 7> 즉시 저장하기

Storer storer = storage.createEagerStorer(); storer.store(myData); storer.commit();

즉시 저장 모드의 마이크로스트림은 지속 인스턴스가 변경되면 자동으로 업데이트한다. <리스트 7>에서 즉시 저장을 활성화하는 방법을 볼 수 있다. 한편 마이크로스트림은 임시 한정자를 투명하게 구현하며 해당 멤버는 엔진에 의해 영구화되지 않는다. 이는 저장을 해제하는 간편한 방법이다. 
 

마이크로스트림 성능 

마이크로스트림 수석 개발자가 제공하는 프레임워크의 성능에 관한 간결한 설명을 여기서 확인할 수 있다. 읽어볼 가치가 있는 글이다. 시스템이 클래스 레이아웃 메타데이터를 한 번 읽은 다음 변경을 모니터링하는 방법으로 참조 무결성을 잃지 않으면서 어떻게 동종 최고의 성능을 달성하는지를 설명한다. 또한 마이크로스트림이 리플렉션의 한계를 어떻게 완화하는지 이해하는 데도 도움이 된다. 

마이크로스트림의 또 하나 흥미로운 측면은 그래프에서 분리됐고(즉, 가비지 수집됨) 따라서 스토리지에서 삭제해야 하는 개체를 추적하는 방식이다. 마이크로스트림에서 하우스키핑(housekeeping)이라고 부르는 과정으로, 기술적 측면에서 중대한 개선이다. 

정리하면 실행 중인 객체 그래프를 저장하고 로드하는 마이크로스트림의 접근 방식은 혁신적이며, 향후 오라클 자바 개발 환경에 변화를 일으킬 잠재력을 지녔다. 전통적인 서비스-데이터스토어 아키텍처에서 벗어나는 방식이지만, 복잡성의 주 원인을 없애는 매우 유용한 기술이다. 마이크로스트림은 오라클 자바 애플리케이션의 지속성 요건을 고려할 때 진지하게 살펴볼 만하다. 

처서인 오늘도 고생하셨습니다.