dltHub

dltHubは、データパイプライン構築のためのオープンソースPythonライブラリdltと、それらをデプロイ、監視、スケールするエージェントプラットフォームdltHub Proを提供し、数千の開発者に利用されています。

オープンソースデータパイプライン Pythonライブラリデータエンジニアリングエージェントプラットフォーム

dltHubとは

dltHubは、データパイプライン構築のためのオープンソースPythonライブラリ dlt と、それらのパイプラインをデプロイ・監視・スケーリングするエージェント型プラットフォーム dltHub Pro の2つの中核製品を提供します。開発者が自然言語で要件を記述すると、AIエージェントがソース、宛先、スキーマ、インクリメンタルロード、テストを含むパイプライン全体を純粋なPythonで自動生成します。単一のコマンドで、dltHub Proはスケジューリング、アラート、可観測性が自動設定されたパイプラインを本番環境にデプロイします。このプラットフォームは数千の開発者に利用され、9,700以上のデータソースをサポートしています。

アプリケーションシナリオ

CRMデータ統合: dltを使用してCRMの連絡先と商談をデータウェアハウスにロードするパイプラインを構築。
REST API取り込み: REST APIパイプラインワークフローを介して任意のAPIに接続し、データを自動ロード。
プロトタイピングと検証: 中級エンジニアがプロトタイプを立ち上げ、ローカルのDuckDBワークスペースで生データを参照し、上級者の監督なしにSQLスキーマを検証可能。
本番デプロイ: 自動スケジューリング、アラート、可観測性を含むパイプラインを単一コマンドでデプロイ。
データ探索: インタラクティブノートブックでロード済みデータの参照、スキーマの検査、結果の検証。
変換ワークフロー: ソースの注釈付け、オントロジーの作成、共通データモデルの生成、変換の作成。

主な機能

エージェント型ワークフロー
単なるオートコンプリートやチャットボットではなく、データエンジニアリングの各フェーズに対応したスキル、コマンド、ルール、MCPの完全なガイド付きシーケンス。
自然言語プロンプト
平易な英語で要件を記述すると、エージェントがdltパイプライン全体を自動生成。
ワンコマンドデプロイ
スケジューリング、アラート、可観測性が自動設定されたパイプラインを本番環境にデプロイ。
エージェント向けドキュメント
AIエージェントが読み取り、実行できるよう設計された専用ドキュメント。
インタラクティブノートブックワークスペース
dltHub Pro内で直接、ロード済みデータの参照、スキーマの検査、結果の検証が可能。
エージェント用ガードレール
dltHubが管理し、エージェントとパイプラインが動作するインフラを制御。
9,700以上のソース
データ移動のための豊富なプリビルドソースコネクタライブラリ。
オープンソースコア
dltはバックエンド不要の無料オープンソースPythonライブラリ。

対象ユーザー

データパイプラインを迅速に構築、プロトタイピング、デプロイする必要があるデータエンジニア、中級エンジニア、スタッフデータエンジニア。このプラットフォームは、経験の浅いエンジニアが上級者の監督なしにプロトタイプを立ち上げ、スキーマを検証できるようにすることで、チームのボトルネックを解消するよう設計されています。また、AIエージェントを直接サポートし、エージェント型データワークフローを実現します。

dltHubの使い方

dltのインストール: pip install dlt を実行してオープンソースライブラリを入手。
パイプラインの記述: エージェントに自然言語でプロンプトを送信（例：「dltを使用してCRMの連絡先と商談をウェアハウスにロードするパイプラインを構築して」）。
エージェントがパイプラインを作成: エージェントがソース、宛先、スキーマ、インクリメンタルロード、テストを純粋なPythonで自動生成。
dltHub Proでデプロイ: pip install dlt[hub] を実行し、単一コマンドでスケジューリング、アラート、可観測性を備えた本番環境にデプロイ。
結果の確認: インタラクティブノートブックワークスペースでロード済みデータの参照、スキーマの検査、結果の検証。

効果レビュー

Tasman Analyticsからの実際のフィードバックは、重要なブレークスルーを示しています。中級エンジニアが独立してプロトタイプを作成し、DuckDBで生データを検査し、上級スタッフを巻き込まずにスキーマを検証できるようになったのです。この「プロトタイプ作成、検査、修正、再実行」のループこそが、プラットフォームの真の価値とされています。エージェント型ワークフローは単なるオートコンプリートを超え、エージェントがスキップできないガードレール付きのガイド付きシーケンスを提供します。大規模なデータパイプラインを構築するチームにとって、dltHubは本番品質の信頼性を維持しながら、上級エンジニアへの依存を減らす実用的なエージェントファーストのアプローチを提供します。

よくある質問

dltとは何ですか？

dltは、スキーマを自動的に推論し、データの読み込みを処理することで、データパイプラインの構築を簡素化するオープンソースのPythonライブラリです。

dltHub Proとは何ですか？

dltHub Proは、本番パイプライン向けにデプロイ、監視、スケーリング機能を拡張するエージェンティックプラットフォームです。

dltは無料で使用できますか？

はい、dltはオープンソースで無料です。dltHub Proはエンタープライズ向けの追加有料機能を提供しています。

誰がdltを使用していますか？

dltは、何千人もの開発者がデータパイプラインを効率的に構築・管理するために使用しています。

dltの主な利点は何ですか？

dltは手動コーディングを削減し、スキーマの進化を自動的に処理し、さまざまなデータ出力先をサポートします。