Data Hub 5.1にモデルドリブンマッピングが追加

Data Hub 5.1は、データを読み込み、ハーモナイズ、マスタリング、アクセスするMarkLogicソフトウェアインターフェースの最新リリースです。MarkLogicサーバーをベースとするData Hub 5.1は、ミッションクリティカルなデータ統合のユースケースに適した統合データハブプラットフォームを提供します。

今回のリリースでは、開発者以外のユーザーもデータ統合のプロセスに関与しやすくなるモデルドリブンマッピングが追加されました。モデルドリブンマッピングにより、一切コードを記述せずにデータハブのUIの中でソースからターゲットへデータをハーモナイズするためのマッピング式を短時間で定義することができます。

最新リリースでは、モデルドリブンマッピング追加の他にも、データハブのSmart Mastering機能のパフォーマンスとユーザービリティが大幅に改善されています。Smart Masteringの設定をマッチとマージという2つのシンプルなステップに分割することで、デッドロックを防止し、並列処理によってパフォーマンスを高めることが可能になりました。これはパフォーマンスのSLAが満たされていないシナリオで重要となる機能です。

これらの機能は、データ統合を全てのユーザーにとってシンプルにするというMarkLogicのロードマップを先に進めるものです。データ探索についての新機能の詳細は、2020年第一四半期の発表を予定しています。

モデルドリブンマッピングによるデータハーモナイズの改善

Data Hub 5.1では、モデルドリブンマッピングにより、「そのまま（アズイズ）」のソースデータのエンティティをハーモナイズされたデータにマッピングするUIドリブンアプローチが実現しました。

データハブの場合は、複数のデータキュレーションステップを作成します。各ステップでデータの読み込み、ハーモナイズ、マスタリングが行われます。このステップにより、外部のソースデータ（ソースエンティティ）のデータモデルを、ハーモナイズ後の状態（カノニカルエンティティ）についてユーザーが定義したモデルにマッピングします。モデルドリブンマッピングでは、豊富な宣言式を使って、UIからマッピングとハーモナイズロジックを簡単に定義することができます。

これまでは、技術者ではないユーザーがデータハブのカスタムコードを記述し、かつ、データマッピングの処理には別ツールを使用する必要がありました。この新機能により、技術者ではないユーザーもデータハブの中でアジャイルデータ統合プロセスに参加し、必要に応じて様々なフォーマットのデータをハーモナイズできるようになりました。複雑なETLは不要です。

データハーモナイズは、ソースデータを変換、翻訳、エンリッチしてハーモナイズデータを作成する重要なデータキュレーションステップです。モデルドリブンマッピングはユーザーエクスペリエンスをシンプルにするだけでなく、データガバナンスのための出自とリネージのトラッキングを可能にします。

Smart Masteringの改善

Data Hub 5.1には、MarkLogicのマスタデータ管理（MDM）であるSmart Masteringの重要な改善が多数含まれています。改善点は次のとおりです。

• • Smart Masteringの設定をマッチングとマージという2つのシンプルなステップに分割することで、パフォーマンスSLAを達成できます。このシンプルなステップにより、デッドロックを防止し、並列処理でパフォーマンスを改善することができます。
  • 特定のエンティティ インスタンスのマージとアンマージが可能になりました。マスタリングプロセス中の変更（MDMではよくあることです）を元に戻すことができます。これにより、マスタリングされたデータを最新の状態に保つことが容易になり、リアルタイムで操作することができます。不正確さを解消できずシステムへの信頼が失われるという、MDMによくある問題が解決されます。
  • マスタリングステップにおいていつ、どのように、なぜプロパティがマッチ、マージされたかについて、詳しいトラッキング情報を入手できます。

主なリソース

Hub 5.1のダウンロード – https://developer.marklogic.com/products/data-hub/
Data Hubのクイックスタートチュートリアル – https://developer.marklogic.com/learn/data-hub-quickstart/
モデルドリブンマッピングのドキュメント – https://docs.marklogic.com/datahub/flows/about-mapping.html