We’ve joined forces with Smartlogic to reveal smarter decisions—together.

AWS Glue用MarkLogicコネクタ、AWS Marketplaceから提供開始

AWS Glue用MarkLogicコネクタの提供が開始されたことを、喜んでお知らせいたします。AWS GlueはサーバーレスのETLツールで、AWSのクラウドエコシステムにおいてマネージドサービスとして提供されています。MarkLogicと接続することにより、AWS Glueの視覚的およびコードベースのインターフェイスを使って、MarkLogicにデータを入出力するデータパイプラインを簡単に構築できます。これを利用するには、AWS Marketplaceで「MarkLogic Connector for AWS Glue」をサブスクライブしてください。

AWS Glueとは?

AWS Glueは、フルマネージドのサーバーレスなApache Sparkインフラにより、視覚的にETLパイプラインを作成/実行/モニタリングします。GUIである「Glue Studio」はコードを自動生成するので、Sparkジョブのコーディングや最適化に関する作業と時間を削減できます。

AWS Glueでは、AWSサービス(Aurora、RDS、S3、Redshift、Kinesis、DynamoDBなど)やサードパーティのデータベース(オラクルやSnowFlakeなど)用のコネクタを使ってETLパイプラインを構築できます。データカタログおよびリッチなデータ変換(フィルタ、ジョインなど)が標準装備されており、Glue Studio内でETLパイプラインを簡単にモデリングできます。また、データパイプラインのコーディングにはScalaかPythonのいずれかを選択できます。

MarkLogicでApache Sparkを使用したいけれど、AWS Glueサービスは使わない場合のために、今回Apache Spark用MarkLogicコネクタもリリースしています。

MarkLogicにおけるAWS Glueの使用

今後MarkLogicユーザーは、AWS Glueを使用することで高速なデータ読み込み/エクスポート用のSpark ETLパイプラインを簡単に実装できます。

MarkLogic Connector for AWS Glue

高パフォーマンスなデータ読み込み

AWS Glue用MarkLogicコネクタにより、リレーショナル/非リレーショナルデータを「そのまま」変更せずに、MarkLogicに簡単にバルクロード/ストリーミングできるようになります。また、Glueのデータ変換機能を使うと、MarkLogicに読み込む前に、複数ソースからの表形式のデータを組み合わせて階層型データ(JSON)に柔軟に変換できます。

例えば、今回の新しいGlueコネクタを使用すると、バッチあるいは変更データ捕捉パイプラインを構築し、複雑なデータ(あるいはソースエンティティ)をMarkLogicデータハブサービスに簡単に読み込むことができます。読み込みが終わると、データハブサービスの機能によってソースデータを持続性のあるデータアセットに統合し、将来的にオペレーショナル(業務用)あるいは分析用アプリケーションで利用できます。

安全なデータ共有

またAWS Glue用MarkLogicコネクタにより、MarkLogicからのデータを完全に安全かつガバナンスが効いた状態で簡単に利用できます。Sparkライブラリ(機械学習、SQLなど)をMarkLogic内にあるガバナンスが効いたキュレーション済みのクリーンなデータに対して使用することで、複雑な分析処理のための拡張性の高いデータパイプラインを簡単に構築できます。またMarkLogicのマルチモデルクエリ機能を利用して、目的に応じて調整されたデータをさまざまなAWSサービス(SageMaker、Redshift、S3など)やサードパーティのデータストア(Snowflakeなど)と安全に共有できます。

始めてみましょう

AWS Glue用MarkLogicコネクタを使用するには、AWS Marketplaceでこれをサブスクライブしてください。申し込みが終わると、AWS Glue Studio内にMarkLogicコネクタが表示されるので、これを使って視覚的にデータパイプラインを構築できます。

AWS Glue用MarkLogicコネクタの設定に関する詳細な情報については、こちらのマニュアルをご確認ください。またAWS Glueのマニュアルはこちらにあります。

Start a discussion

Connect with the community

STACK OVERFLOW

EVENTS

GITHUB COMMUNITY

Most Recent

View All

Facts and What They Mean

In the digital era, data is cheap, interpretations are expensive. An agile semantic data platform combines facts and what they mean to create reusable organizational knowledge.
Read Article

Truth in ESG Labels

Managing a portfolio of investments for your client has never been simple - and doing so through an ESG lens raises the complexity to an almost mind-boggling level. Learn the signs your team has hit the wall with current tools - and how a semantic knowledge graph can help.
Read Article

4 Signs You’ve Got a Transaction Reconciliation Challenge

Many firms manage transaction reconciliation using smart people armed with spreadsheets - but that doesn't scale well. Learn what to look for, to know if you're creating new forms of risk for your firm.
Read Article
This website uses cookies.

By continuing to use this website you are giving consent to cookies being used in accordance with the MarkLogic Privacy Statement.