Gartner Cloud DBMS Report Names MarkLogic a Visionary

AWS Glue用MarkLogicコネクタ、AWS Marketplaceから提供開始

AWS Glue用MarkLogicコネクタの提供が開始されたことを、喜んでお知らせいたします。AWS GlueはサーバーレスのETLツールで、AWSのクラウドエコシステムにおいてマネージドサービスとして提供されています。MarkLogicと接続することにより、AWS Glueの視覚的およびコードベースのインターフェイスを使って、MarkLogicにデータを入出力するデータパイプラインを簡単に構築できます。これを利用するには、AWS Marketplaceで「MarkLogic Connector for AWS Glue」をサブスクライブしてください。

AWS Glueとは?

AWS Glueは、フルマネージドのサーバーレスなApache Sparkインフラにより、視覚的にETLパイプラインを作成/実行/モニタリングします。GUIである「Glue Studio」はコードを自動生成するので、Sparkジョブのコーディングや最適化に関する作業と時間を削減できます。

AWS Glueでは、AWSサービス(Aurora、RDS、S3、Redshift、Kinesis、DynamoDBなど)やサードパーティのデータベース(オラクルやSnowFlakeなど)用のコネクタを使ってETLパイプラインを構築できます。データカタログおよびリッチなデータ変換(フィルタ、ジョインなど)が標準装備されており、Glue Studio内でETLパイプラインを簡単にモデリングできます。また、データパイプラインのコーディングにはScalaかPythonのいずれかを選択できます。

MarkLogicでApache Sparkを使用したいけれど、AWS Glueサービスは使わない場合のために、今回Apache Spark用MarkLogicコネクタもリリースしています。

MarkLogicにおけるAWS Glueの使用

今後MarkLogicユーザーは、AWS Glueを使用することで高速なデータ読み込み/エクスポート用のSpark ETLパイプラインを簡単に実装できます。

MarkLogic Connector for AWS Glue

高パフォーマンスなデータ読み込み

AWS Glue用MarkLogicコネクタにより、リレーショナル/非リレーショナルデータを「そのまま」変更せずに、MarkLogicに簡単にバルクロード/ストリーミングできるようになります。また、Glueのデータ変換機能を使うと、MarkLogicに読み込む前に、複数ソースからの表形式のデータを組み合わせて階層型データ(JSON)に柔軟に変換できます。

例えば、今回の新しいGlueコネクタを使用すると、バッチあるいは変更データ捕捉パイプラインを構築し、複雑なデータ(あるいはソースエンティティ)をMarkLogicデータハブサービスに簡単に読み込むことができます。読み込みが終わると、データハブサービスの機能によってソースデータを持続性のあるデータアセットに統合し、将来的にオペレーショナル(業務用)あるいは分析用アプリケーションで利用できます。

安全なデータ共有

またAWS Glue用MarkLogicコネクタにより、MarkLogicからのデータを完全に安全かつガバナンスが効いた状態で簡単に利用できます。Sparkライブラリ(機械学習、SQLなど)をMarkLogic内にあるガバナンスが効いたキュレーション済みのクリーンなデータに対して使用することで、複雑な分析処理のための拡張性の高いデータパイプラインを簡単に構築できます。またMarkLogicのマルチモデルクエリ機能を利用して、目的に応じて調整されたデータをさまざまなAWSサービス(SageMaker、Redshift、S3など)やサードパーティのデータストア(Snowflakeなど)と安全に共有できます。

始めてみましょう

AWS Glue用MarkLogicコネクタを使用するには、AWS Marketplaceでこれをサブスクライブしてください。申し込みが終わると、AWS Glue Studio内にMarkLogicコネクタが表示されるので、これを使って視覚的にデータパイプラインを構築できます。

AWS Glue用MarkLogicコネクタの設定に関する詳細な情報については、こちらのマニュアルをご確認ください。またAWS Glueのマニュアルはこちらにあります。

Start a discussion

Connect with the community

STACK OVERFLOW

EVENTS

GITHUB COMMUNITY

Most Recent

View All

Digital Acceleration Series: Powering MDM with MarkLogic

Our next event series covers key aspects of MDM including data integration, third-party data, data governance, and data security -- and how MarkLogic brings all of these elements together in one future-facing, agile MDM data hub.
Read Article

Of Data Warehouses, Data Marts, Data Lakes … and Data Hubs

New technology solutions arise in response to new business needs. Learn why a data hub platform makes the most sense for complex data.
Read Article

5 Key Findings from MarkLogic-Sponsored Financial Data Leaders Study

Financial institutions differ in their levels of maturity in managing and utilizing their enterprise data. To understand trends and winning strategies in getting the greatest value from this data, we recently co-sponsored a survey with the Financial Information Management WBR Insights research division.
Read Article
This website uses cookies.

By continuing to use this website you are giving consent to cookies being used in accordance with the MarkLogic Privacy Statement.