開発基盤部会 Blog

開発基盤部会 Blog >> 記事詳細

2020/11/18

.NET for Apache Sparkで見えた、配管工おじさん入門への道

Tweet ThisSend to Facebook | by nishino
 丁度、先日、分散処理系の理解を深め終わったので、


 (分散処理、ザックリ、RDBMSのファイル・グループとか、シャーディングとか、そういう系の話を、別のNoSQLとか分散ストレージ上で行う感じの話だ。...と言う所まで理解できれば、後は、プランが自動生成されるので、ウワモノ屋さんにとっては、ソレだけで十分というような気がしました。)

 イザ、Azure HDInsightとか、Azure Databricksとか、ソレ系に着手しよう。...として、チュートリアルを色々と漁っていたら、.NET for Apache Sparkのv1.0が、先月の 2020/10/14 にリリースされていたようで、色々調べていたら、「あー、コレで(、.NET屋さんにも)、配管工おじさん入門への道が開けた感あるなぁ。」などと思ったりしました。


 Apache Spark、バッチからストリーミング処理、機械学習まで、結構、万能ですね。...で、コレを.NETで利用できる。って言うのは弊部会にとっては、非常にありがたいことでした。


 引き続き、この分野、リサーチを続けていって、オイオイ、Open棟梁 for ホゲホゲ的なモノをリリース出来るような感じになるかも知れません。「ホゲホゲ」部には、「DX」とか、なんか、そんな感じの文字列が入るンじゃないか?等と思ったりしています。

 (...が、ビッグデータの配管部分については、サンプルやテンプレート作成位しかヤルことが無いような気も、現時点では、しています。あと、Spark SQLがLINQっぽくて、思ったことをやるのにチョット、色々と、考えないとイケナイのが大変のように思ったりしました)。
09:00 | 投票する | 投票数(0) | コメント(0) | ご報告