Apache_OODT
Apache Object Oriented Data Technology（OODT）は、Apache SoftwareFoundationによって管理されるオープンソースのデータ管理システムフレームワークです。OODTは元々、NASAの科学アーカイブのデータのキャプチャ、処理、共有をサポートするためにNASAジェット推進研究所で開発されました。 Apache OODT 開発者
Apache Software Foundation
安定リリース
1.2.5 / 2018年9月6日 ; 3年前 （2018-09-06）
リポジトリ
OODTリポジトリ
で書かれている Java オペレーティング・システム
クロスプラットフォーム
タイプ
検索およびインデックス API
ライセンス
Apacheライセンス2.0
Webサイト
oodt .apache .org
コンテンツ
1 歴史
2 特徴
2.1 ファイルマネージャー 2.2 ワークフローマネージャー 2.3 リソースマネージャー 2.4 ファイルクローラー 2.5 カタログおよびアーカイブクロールフレームワーク 2.62.6 カタログおよびアーカイブサービスプロダクションジェネレーションエグゼクティブ（CAS-PGE） 2.7 CASRESTfulサービス 2.8 OPSUIモニターダッシュボード
3 注目すべき用途
4 参考文献
5 外部リンク
歴史
このプロジェクトは、ダニエルJ.クリクトン、ショーンケリー、スティーブヒューズによって開始されたNASAジェット推進研究所の内部プロジェクトとして始まりました。この取り組みの初期の焦点は、2000年のCODATA会議でのCrichton etal。の論文に記載されているXMLを使用した情報統合と検索にありました。
OODTをPlanetaryDataSystemとNationalCancer InstituteEDRN またはEarlyDetection Research Networkプロジェクトに展開した後、2005年にOODTは、NASAの軌道上炭素観測衛星（OCO）プロジェクトを介した大規模なデータ処理と管理の時代に移行しました。OCOでのOODTの役割は、1日あたり数十のジョブと数十ギガバイトのデータの代わりに1日あたり10，000のジョブと数百テラバイトのデータを処理する新しいデータ管理処理フレームワークの先駆けとなることでした。これには、これらの新しい要件をサポートするためにOODTのオーバーホールが必要でした。博士クリスMattmann NASA JPLでは、これらの新しい要件をサポートするために2005年から2009年、完全に再設計OODT間3-4開発者のチームを率いていました。
Mattmannが参加したApacheNutchとHadoopでの新たな取り組みの影響を受けて、OODTはオーバーホールされ、Apache SoftwareFoundationのようなプロジェクトに適したものになりました。また、Mattmann博士と密接な関係だったジャスティン・エレンクランツ時には、Apache Software Foundationの理事長、およびApacheソフトウェア財団にOODTを持参するアイデアとして浮上し、。2009年、マットマンと彼のチームは、NASAとJPLから、OODTをApacheに導入することを承認され、財団が管理する最初のNASAプロジェクトになりました。7年後、プロジェクトはバージョン1.0をリリースしました。
特徴
OODTは、ビッグデータ処理と情報統合という2つの標準的なユースケースに焦点を当てています。どちらも、MattmannのICSE 2006 およびSMC- IT2009 の論文に記載されています。3つのコアサービスを提供します。
ファイルマネージャー
ファイルマネージャは、ファイルの場所とそのメタデータを追跡し、ステージング領域から制御されたアクセスストレージにファイルを転送する役割を果たします。
ワークフローマネージャー
ワークフローマネージャーは、複雑なプロセスの制御フローとデータフローをキャプチャし、再現性と科学的なパイプラインの構築を可能にします。
リソースマネージャー
リソースマネージャーは、ワークフロータスクやその他のジョブの基盤となるリソースへの割り当てを処理します。たとえば、PythonジョブはPythonがインストールされているノードに移動します。大きなディスクまたはCPUを必要とするジョブは、これらの要件を満たすノードに適切に送信されます。
3つのコアサービスに加えて、OODTは、これらのサービスに基づいて構築された3つのクライアント指向のフレームワークを提供します。
ファイルクローラー
ファイルクローラーは自動的にメタデータを抽出し、Apache Tikaを使用してファイルの種類を識別し、関連する情報をファイルマネージャーに取り込みます。
カタログおよびアーカイブクロールフレームワーク
プッシュ/プルフレームワークはリモートファイルを取得し、システムで利用できるようにします。
カタログおよびアーカイブサービスプロダクションジェネレーションエグゼクティブ（CAS-PGE）
科学的アルゴリズムラッパー（カタログおよびアーカイブサービスProduction Generation Executiveの場合はCAS-PGEと呼ばれます）は、科学的コードをカプセル化し、環境に依存せずに実行できるようにします。その際、来歴を取得し、アルゴリズムを本番システムに簡単に統合できます。
CASRESTfulサービス
ファイルマネージャー、ワークフローマネージャー、およびリソースマネージャーコンポーネントの機能を公開するRESTfulAPIのセット。
OPSUIモニターダッシュボード
JAX-RS 仕様を介して、基盤となるOODT製品/ワークフロー/リソース管理制御システムからサービスを公開するためのWebアプリケーション。この段階では、Apache Wicket コンポーネントを使用して構築されています。
OODTの再設計の全体的な動機は、Mattmannによる2013年のNature（journal）の論文、A Vision for DataScienceに記載されています。
OODTはJavaで記述されており、Python（プログラミング言語）を含む他の言語で使用されるREST API を介して記述されています。
注目すべき用途
OODTは最近含むNASAのミッションに貢献として強調されてきた土壌水分アクティブパッシブと新しい地平線。 OODTは、スクエアキロメートルアレイ望遠鏡に電力を供給するのにも役立ち、地球科学、惑星科学、電波天文学、およびその他の分野への使用範囲を拡大します。OODTはバイオインフォマティクスでも使用されており、Knowledgentビッグデータプラットフォームの一部です。
参考文献
^ 「ASFGitリポジトリ-oodt.git / commit」。
^ クリクトン、ダニエル; ヒューズ、ジョン; ヒョン、ジェイソン; ケリー、ショーン（2000）。「XMLを使用した科学検索と検索」。科学技術データに関する第2回全国会議、米国CODATA全国委員会、全米研究評議会。
^ Mattmann、Chris A。; クリクトン、ダニエルJ。; Medvidovic、Nenad; ヒューズ、スティーブ（2006-01-01）。高度に分散されたデータ集約型の科学アプリケーションのためのソフトウェアアーキテクチャベースのフレームワーク。ソフトウェア工学に関する第28回国際会議の議事録。ICSE’06。米国ニューヨーク州ニューヨーク：ACM。pp。721–730。土井：10.1145 /1134285.1134400。ISBN 978-1595933751。S2CID 7699385。
^ マットマン、カリフォルニア; フリーボーン、D。; Crichton、D。; フォスター、B。; ハート、A。; ウーラード、D。; Hardman、S。; ラミレス、P。; ケリー、S。（2009-07-01）。軌道上炭素観測衛星とNPPサウンダーPEATEミッションのための再利用可能なプロセス制御システムフレームワーク。情報技術のための宇宙ミッションの課題に関する第3回IEEE国際会議、2009年。SMC-IT2009。pp。165–172。土井：10.1109 /SMC-IT.2009.27。ISBN 978-0-7695-3637-8。S2CID 705732。
^ “RESTful Webサービス用のJava API” 、、2019年3月22日には、取得した2019年4月25日を
^ 「Apacheのウィケット」、、2018年12月23日取り出され、2019年4月25日
^ Mattmann、Chris A.（2013-01-24）。「コンピューティング：データサイエンスのビジョン」。自然。493（7433）：473–475。Bibcode：2013Natur.493..473M。土井：10.1038 / 493473a。ISSN 0028から0836まで。PMID 23344342。 ^ 「ApacheOODTAPI-OODT-Apache SoftwareFoundation」。cwiki.apache.org 。
^ 「Apache-TwitterのASF」。
^ 「Apache-TwitterのASF」。
^ 「Apache-TwitterのASF」。
^ 「OODTの利点に関するQ＆A-オブジェクト指向データ技術-知識のある視点」。2014-07-30 。
外部リンク
http://oodt.apache.org