Progress to Acquire MarkLogic - Learn More
BLOG ARTICLE

AWS Glue用MarkLogicコネクタ、AWS Marketplaceから提供開始

Back to blog
04.07.2021
0 minute read
Back to blog
04.07.2021
0 minute read

AWS Glue用MarkLogicコネクタの提供が開始されたことを、喜んでお知らせいたします。AWS GlueはサーバーレスのETLツールで、AWSのクラウドエコシステムにおいてマネージドサービスとして提供されています。MarkLogicと接続することにより、AWS Glueの視覚的およびコードベースのインターフェイスを使って、MarkLogicにデータを入出力するデータパイプラインを簡単に構築できます。これを利用するには、AWS Marketplaceで「MarkLogic Connector for AWS Glue」をサブスクライブしてください。

AWS Glueとは?

AWS Glueは、フルマネージドのサーバーレスなApache Sparkインフラにより、視覚的にETLパイプラインを作成/実行/モニタリングします。GUIである「Glue Studio」はコードを自動生成するので、Sparkジョブのコーディングや最適化に関する作業と時間を削減できます。

AWS Glueでは、AWSサービス(Aurora、RDS、S3、Redshift、Kinesis、DynamoDBなど)やサードパーティのデータベース(オラクルやSnowFlakeなど)用のコネクタを使ってETLパイプラインを構築できます。データカタログおよびリッチなデータ変換(フィルタ、ジョインなど)が標準装備されており、Glue Studio内でETLパイプラインを簡単にモデリングできます。また、データパイプラインのコーディングにはScalaかPythonのいずれかを選択できます。

MarkLogicでApache Sparkを使用したいけれど、AWS Glueサービスは使わない場合のために、今回Apache Spark用MarkLogicコネクタもリリースしています。

MarkLogicにおけるAWS Glueの使用

今後MarkLogicユーザーは、AWS Glueを使用することで高速なデータ読み込み/エクスポート用のSpark ETLパイプラインを簡単に実装できます。

MarkLogic Connector for AWS Glue

高パフォーマンスなデータ読み込み

AWS Glue用MarkLogicコネクタにより、リレーショナル/非リレーショナルデータを「そのまま」変更せずに、MarkLogicに簡単にバルクロード/ストリーミングできるようになります。また、Glueのデータ変換機能を使うと、MarkLogicに読み込む前に、複数ソースからの表形式のデータを組み合わせて階層型データ(JSON)に柔軟に変換できます。

例えば、今回の新しいGlueコネクタを使用すると、バッチあるいは変更データ捕捉パイプラインを構築し、複雑なデータ(あるいはソースエンティティ)をMarkLogicデータハブサービスに簡単に読み込むことができます。読み込みが終わると、データハブサービスの機能によってソースデータを持続性のあるデータアセットに統合し、将来的にオペレーショナル(業務用)あるいは分析用アプリケーションで利用できます。

安全なデータ共有

またAWS Glue用MarkLogicコネクタにより、MarkLogicからのデータを完全に安全かつガバナンスが効いた状態で簡単に利用できます。Sparkライブラリ(機械学習、SQLなど)をMarkLogic内にあるガバナンスが効いたキュレーション済みのクリーンなデータに対して使用することで、複雑な分析処理のための拡張性の高いデータパイプラインを簡単に構築できます。またMarkLogicのマルチモデルクエリ機能を利用して、目的に応じて調整されたデータをさまざまなAWSサービス(SageMaker、Redshift、S3など)やサードパーティのデータストア(Snowflakeなど)と安全に共有できます。

始めてみましょう

AWS Glue用MarkLogicコネクタを使用するには、AWS Marketplaceでこれをサブスクライブしてください。申し込みが終わると、AWS Glue Studio内にMarkLogicコネクタが表示されるので、これを使って視覚的にデータパイプラインを構築できます。

AWS Glue用MarkLogicコネクタの設定に関する詳細な情報については、こちらのマニュアルをご確認ください。またAWS Glueのマニュアルはこちらにあります。

Share this article

Read More

Related Posts

Like what you just read, here are a few more articles for you to check out or you can visit our blog overview page to see more.

Product

MarkLogic Connector for Apache Spark Now Available

The MarkLogic Connector for Apache Spark provides full access to Spark libraries for data ingestion and complex analytical processing on data in MarkLogic.

All Blog Articles
Product

MarkLogic Connector for AWS Glue Now Available on AWS Marketplace

The MarkLogic Connector for AWS Glue makes it simple to build data pipelines for ingesting and exporting data from MarkLogic Data Hub.

All Blog Articles
Tools

Build a Geospatial Data Hub with the MarkLogic Esri Connector

Combining Esri’s best-of-breed geospatial capabilities with the MarkLogic Data Hub platform allows organizations to analyze and visualize location information with any shape of data, such as structured, unstructured, and semantic, all in real-time and in a highly secure data platform.

All Blog Articles

Sign up for a Demo

Don’t waste time stitching together components. MarkLogic combines the power of a multi-model database, search, and semantic AI technology in a single platform with mastering, metadata management, government-grade security and more.

Request a Demo