Find Communities by: Category | Product

Dell EMCは、IDC社による最新の調査レポートを発表しました。Dell EMCIntel社の委託によりIDC社が実施したこの調査では、レガシー インフラストラクチャの隠れたコストITトランスフォーメーションが収益に与えるインパクトについて、2つのレポートで説明しています。

 

主な調査結果は次の通りです。

 

  • 平均でIT予算の3分の1が技術的負債に陥り、その規模は年間4,000万ドルにのぼる。本来であればビジネスに価値をもたらす使い方ができる
  • 調査対象となった企業は、インフラストラクチャをモダナイズ(最新鋭化)することでインフラストラクチャ コストの23%削減と計画外停止による生産時間ロスの73%減少を実現
  • IDC社は、調査対象企業がITトランスフォーメーション イニシアチブを進めることによって、今後5年間で1社あたり年間2600万ドルの収益増を実現すると予測

これらの結果は、CIO(最高情報責任者)とCFO(最高財務責任者)の関係がITトランスフォーメーションのビジネスへの成果に与えるインパクトを明らかにすることを目的に、Dell EMCForbes Insightsが昨年10月に発表した調査『IT Transformation: Success Hinges on CIO/CFO Collaboration』をベースにしています。この調査では、63%の調査対象企業が、CIOCFOがうまく連携できていない場合の最も大きなリスクは、競合他社に後れを取ることであると回答しています。一方で、CIOの基本的な役割に対するCFOの古い考え方が、両者の協力関係を阻害する要因になっていると回答しています。両者が良好な関係を築くためには、CIOITトランスフォーメーションの確固とした財務プランを策定し、CFOに提案する、ということでCIOCFOの両者が同意しています。IDC社による本調査レポートの詳細は、以下からご覧ください。

 

また、IDC社のディレクタであるジェニファー クック(Jennifer Cooke)氏は、ITトランスフォーメーションの経済的なインパクトを測定することがいかに重要かを以下のブログを公開しています。原文はこちらからご覧ください。

 

なぜITトランスフォーメーションの経済的インパクトを評価することがそこまで重要なのか ?

 

企業がITトランスフォーメーションに向けて一歩を踏み出すとき、その目標は、「ITの効率と効果を高め、より俊敏になり、イノベーションに対する自社のニーズをサポートする」という意欲的なものです。ほとんどの企業は、現在のプロセスを総点検すべきであること、またこのようなトランスフォーメーションを実現するために環境を刷新し足並みを揃える基盤となるプラットフォームがあることを知っています。その一方で、ITトランスフォーメーション(ITX)の経済的なインパクトを評価して測定する能力が、これらの取り組みの全体的な成功に大きく影響する要素であることは、あまり知られていません。

 

進捗状況を評価する上で、例えばダイエットのように「ビフォー」と「アフター」の写真は欠かせないツールであるだけでなく、しばしばこれらの写真は良い習慣を続けていくモチベーションとしての役割も果たします。これと同じように、企業のIT部門は消費や健康状態、位置、パフォーマンスなどへのリアルタイムの知見を提供するインテリジェントなインフラストラクチャへ、ますます高い信頼を寄せるようになるでしょう。

 

  多くの企業は、変化に対する社内の抵抗を克服するとともにプロセスの向上を実現することに多大な努力を払っています。最近

IDC社が実施した調査*では、46%の企業が、クラウドを最優先する自社の方針によってオンプレミスデータセンターへの投資が限られていると回答しています。パブリッククラウドが無条件に速い、安い、質が高いというイメージは一般的によくある誤解です。そこには、本当に速く、安く、質が高いITサービスを正しく識別する上で欠かせない、確かな情報に基づいてコストとパフォーマンスを評価するためのツールとプロセスが、大部分の企業にはないという視点が欠けています。このような理由から、企業がITリソースについて最適な判断をするためには、すべてのITオプションを把握して評価する能力が不可欠です。既存のデータセンター、サービス プロバイダが運用している施設、またすべてのエッジ データセンターにおけるITリソースの消費について、ITリーダーシップには新たな考え方を推進することが、かつてないほど必要とされています。このようなシフトへ適切に対応することが、社内全体を横断したより適切な調整と、変化を推進するIT部門の能力の向上につながります。

 

IDC社が最近実施した別の調査では、すでに大規模なITトランスフォーメーションを実行した企業への詳細なインタビューを行っています。この調査は、各社の経験から学ぶとともに、その経済的インパクトを評価することを目的としたものです。本調査で明らかになった重要な点は、技術的負債に関係するもので**、簡単には解消することができないこの負債はIT予算全体の32%を消費し、これがイノベーションを制限していることがわかりました。ITXがもたらすプラスの効果をわかりやすく見せながら改善すべき分野を明らかにしていくことは非常に有効な手段であるだけでなく、変化に向けたビジネスケースの構築をサポートしてくれます。

 

さらに、調査対象企業はITインフラストラクチャ コストが23%削減した一方で、セキュリティとソフトウェア開発を含むIT運用効率が35%向上したことを報告しています。このようにITXという「テコ」を活かして新たなワークロードを展開すると同時にコストを削減するスピードを速めることで、ビジネスの優先事項とより的確に足並みを揃えられるようになり、ひいては会社にとって信用できる信頼のアドバイザとしてのIT部門の位置づけを確立することができます。ダイエットに効果的な「ビフォー&アフター」の写真のように、ITXITにおける将来の投資へのモチベーションとなります。

 

 

*IDC MaturityScape Benchmark: Smarter Datacenter Facilities in the United States, 2018

**「技術的負債」: 企業にほとんどまたはまったく価値をもたらさないレガシーITの目に見えない隠れたコスト、トランスフォーメーションをしないことによるコスト


Dell EMC

アジア太平洋および日本(APJ)地域マーケティング担当シニア バイスプレジデント

カリン ブラニガン(Karinne Brannigan)

 

 

 

 

 

 

 

 

 

 

 

数多くの研究調査から、女性とテクノロジーの組み合わせは高い能力を発揮することが確認されています。事実、女性に指導的役割を担わせることは企業の収益にプラスの効果をもたらすことが実証されています。なぜでしょうか。それは、トップのポジションに男性と女性の両方を置くことは多様性を受け入れるオープンな企業文化を醸成し、このような企業文化は収益を生み出す強力な基盤になるからであると考えられます。

 

国際会計事務所のグラントソントンが発行した「Women in Business(女性経営幹部)」(2017年3月)レポートによると、世界の企業で女性の上級管理職が占める割合は、2016年から2017年の12カ月で24%から25%へ1%上昇しており、過去5年間では4%上昇しています。ただし、その一方で女性の上級管理職がまったくいないという企業も、2016年の33%から2017年の34%へと同じく1%上昇しています。正しい方向にむけて変化していくことは素晴らしいことです。調査によって女性管理職の価値が実証されれば、このような変化のペースを上げることでさらに高い価値を得ることができるでしょう。

 

多様性のある職場は多才で主体性があり、男女両方のリーダーがエンパワメント、説明責任、謙虚さ、勇気をもって自身のスタッフの能力を最大限に引き出すことができます。多様性は性別の違いだけに限定されるものではありませんが、真にオープンな職場づくりをしようとしている企業にとって、男女の平等な機会は間違いなく最初に手をつけるべき分野の1つです。

 

女性は、管理職への昇進を妨げていたこれまでの壁を壊し、テクノロジーの世界で男性社員と肩を並べて目覚しい成果をあげています。彼女たちの存在は、テクノロジー関連のキャリアパスは男性のみに開かれているという固定観念を打ち砕いています。また、女性ならではの感性やスキルセットが、テクノロジーの分野では価値を発揮できないというこれまでの通説を一掃することにつながっています。また、女性にもテクノロジー分野で成功する機会があり、熱意があるなら投資する価値があるということを、それほどテクノロジーに精通していない女性が認識し、その行動を促す役割も果たしています。

 

世界的に見て、テクノロジー分野で働こうとしている女性と男性の間には大きな格差があることを私はよく知っています。そして、この問題はテクノロジー業界に限らずあらゆる分野に存在しています。これらの格差の背景には、何世代にもわたり発展してきた社会的、心理的、制度的な要因があります。このテーマは、個人として、またプロフェッショナルとしてもとても共感できる話題です。なぜなら、私たちは女性管理職としてより多様性を受け入れるオープンな職場づくりに大きく貢献することができるからです。

 

ただし、女性管理職が少ない問題を単独で解決することはできません。男女の管理職の数に偏りがある現状は短期間で打開できる問題ではなく、数世代を経て変化していきます。しかしながら、私たちも早い時期にテクノロジー分野への女性の積極的な参加を促すプログラムに時間と資金を投資することで、問題の解消にむけて貢献することができます。

 

テクノロジー分野の内外でキャリアのオプションとゴールを考えている若年層の女性は、まず自己分析を行った後に業界研究を行うと良いでしょう。以下は私の経験に基づくアドバイスです。

 

  1. テクノロジー分野に情熱と関心を持つことができる場合にのみ、このキャリアを選ぶこと。テクノロジー業界は、私たちが生きている世界を文字通り変革するすばらしい業界です。
  2. 若い女性は、プログラミングに人生を捧げなくてもテクノロジー分野で成功を収め、インパクトあるキャリアを築くことができると知ることが重要です。たとえソフトウェア主導の時代であっても、コードを書く以外の仕事でテクノロジー部門に付加価値をもたらす方法はいくらでもあります。例えば私は、マーケティングですばらしいソリューション ポートフォリオを提供しています。
  3. 一般的に、カスタマー サービスやエンジニアリングの分野で活躍する女性が増えるほど、提供するテクノロジー ソリューションはより堅牢でより細やかな気の利いたものになります。女性の脳や人としての経験は男性とは根本的に異なっているため、直観的かつ哲学的に、男女の強みをうまく活かすことで、開発チームや製品チームがより強力になることはほとんどの人が同意するでしょう。
  4. メンターを見つけること ―― 自らの経験を伝え、進む道を示してくれる存在を見つけることはすばらしいことです。ただし、注意すべきことは、プロとして成長するという目的のためだけにメンターを見つけるのではなく、あくまでも1人のプロフェッショナルな人間として成長するためのメンターを見つけるように意識することです。
  5. 次の言葉を常に忘れないでください ―― 成果や結果に男も女も関係ありません。

 

デルは、多様なバックグラウンドを持つ人材の供給ルートを確立・維持する上で、会社は大きな役割を担うと考えています。社内の研修や多様性を活かし一体化を醸成するプログラムによって、従業員は常にIT業界のトレンドの先端を行くことができるだけでなく、男女平等な職場づくりにおける無意識のバイアス(偏見・先入観)を克服することができます。2010年、デルは女性起業家の国際的な成長と事業拡張に必要なテクノロジー、資本、ネットワークを活用するための基盤として、Dell Women’s Entrepreneur Network (DWEN)を創設しました。毎年開催される『DWEN Summit』では、同じ意識を持った女性たちがベスト プラクティスを共有するとともにコラボレーションを通じたビジネス チャンスの構築、国際的な事業拡張にむけた調査、ビジネスの成長をサポートする新たなリソースの発見を行っています。また、デルがグローバルに実施しているYouth Learning(若年層むけ学習)プログラムでは、特にSTEM(科学、技術、工学、数学)教育において今後を担う世代の女性参加を促すことを、従業員に奨励しています。

 

デルは企業の多様性に関する統計において業界平均並みかそれ以上で、全世界を通じて社内の女性およびマイノリティの従業員、またお客様とサプライヤーが、グローバルなビジネスシーンで成功するために必要なツールを提供するための絶え間ない努力を続けています。女性管理職を増やしたいと考えている企業は、社内の昇進プロセスにおいて女性の昇進を妨げている文化的・組織的問題に取り組まなければなりません。

 

この世界で最も素晴らしいいくつかのテクノロジー企業で長年働いてきた1人の女性として、私はこれまでテクノロジーの分野で多くの機会と経験に恵まれたことを素直に感謝しているとともに、これからもっと多くのすばらしい女性たちがこの分野に進出して、さらに革新的で強固な業界になることを期待しています。

MDS(CiscoのFCスイッチ)のお問い合わせをいただく際に、Dell EMCのサポートでは、"show tech-support details"を収集してね、とお願いすることが多いと思います。

 

えっ、tac-pacじゃないの?と、思われる方もいらっしゃると思います。

実際のCiscoさんのサイトにある、Cisco TAC へお問い合わせの前に”にはtac-pacの取得が書かれています。

 

コマンドは違いますが、取得される内容は"show tech-suport detail"と同じです。

tac-pacでは以下の点が考慮されています。

  • 任意のディレクトリ、ファイル名に書き出し可能
  • 取得時に圧縮もしてくれる

ですので、MDSからネットワーク経由でのファイルのコピーが可能な環境であれば、tac-pacの方が圧縮もしてくれるので、いいですね。

画面のコピーで取得する必要がある場合は、"show tech-support detail"の実行になります。

 

最後にtac-pacの実際の実行例です。


1. 何もオプションをつけずに実行すると、volatile:show_tech_out.gzが生成されます。

MDS9509# tac-pac

Show tech details will take  4-8 minutes to complete. Please Wait ...

MDS9509# dir volatile:

    3326330    Apr 04 23:54:27 2018  show_tech_out.gz

 

 

Usage for volatile://sup-local

    3338240 bytes used

  206376960 bytes free

  209715200 bytes total

MDS9509#

 

2. ディレクトリ(bootflash)とファイル名(showTech_04052018.gz)を指定して実行

MDS9509# tac-pac bootflash:showTech_04052018.gz

Show tech details will take  4-8 minutes to complete. Please Wait ...

MDS9509# dir bootflash://sup-local/showTech_04052018.gz

    3282936    Apr 05 00:19:48 2018  showTech_04052018.gz

 

 

Usage for bootflash://sup-local

  444506112 bytes used

  456650752 bytes free

  901156864 bytes total

MDS9509#

 

3. scpを指定して、別ホスト(IP:10.22.33.44)の/KURO/showTech_101904052018gzへ出力

MDS9509# tac-pac scp://10.22.33.44/KURO/showTech_101904052018.gz

Show tech details will take  4-8 minutes to complete. Please Wait ...

Enter username: root

root@10.22.33.44's password:

show_tech_out.gz                              100% 3225KB  40.3KB/s   01:20  

MDS9509#

 ホスト側で確認

kuro# ls -l /KURO

total 3228

-rw-r--r--. 1 root root 3302558 Apr  5 10:39 showTech_101904052018.gz

kuro#

 内容を確認

kuro# less /KURO/showTech_101904052018.gz

---- show tech-support details ----

`show switchname`

MDS9509

`show interface mgmt0`

mgmt0 is up

    Hardware is GigabitEthernet

    Address is c89c.1d41.4ffc

。。。以降略。。。

 

以上になります。

今までの流れでタイトルを"IsilonianTech 第7回 Isilonとオープンソース ~Isilon Hadoop tools~"にするか悩んだのですが、昨今Hadoopという言葉だけでは収まりきれずデータアナリティクス全般の基盤として採用頂くことも多いので"Isilonとデータアナリティクス"というタイトルにしました。

Isilonはデータアナリティクス基盤(データレイク)としての相性が非常に良い製品です。各ベンダが提供している様々な商用のアナリティクス製品の基盤として幅広く採用されているだけでなくオープンソースとの組み合わせも多いので、今後もストリーミングなどのワークロードとの連携を強化していく予定です。

Analytics.png

     Isilonは、HDFSをネイティブに統合するために2012年1月(OneFS 6.5.5)からHDFSに対応しており現在まで他の追随を許していません。

     事実、昨年の段階でデータアナリティクス基盤として220PB、440社以上の実績があります。

 

Isilonがデータアナリティクス製品と相性が良い理由は幾つもあるのですが、主だった点としては拡張が容易(スケールアウト)、マルチプロトコル、インプレース分析、ディザスタリカバリ、コンピュートとデータを分離することによるライフサイクルやデータ移行からの解放などが挙げられます。またHadoopに関しては複数ディストリビューションをサポートしているためマルチディストリビューションでの使用も可能としています。更にIsilonの全ノードが、Name Node(メタデータを格納するノード)とData Nodeの役割を担うことになり可用性や容量の効率面に於いてもメリットが出てきます。(Hadoop分析にDellEMC ISILONを選ぶ主な理由

Role.png


今回は、あらためてClouderaのCDH(Cloudera Distribution with Apache Hadoop)との組み合わせに関する基本的な設定についてご紹介します。最低限用意するものはCDH用のLinux1台とIsilonSD Edge(またはシミュレータ)となります。Hadoopをあまりご存知ないかたや、動かすために何から始めれば良いのかわからないというかたも、本ブログでセットアップの流れをご確認頂き、出来れば一度セットアップして頂けるとIsilonとHadoopの良さをご理解いただけると思います。なお、導入にあたっては下記の導入ガイドおよびベストプラクティスが参考になります。

EMC ISILON ONEFS WITH CLOUDERA HADOOP INSTALLATION GUIDE

EMC ISILON BEST PRACTICES GUIDE FOR HADOOP DATA STORAGE


CDH_ENV.png

 

 

1. Isilonの設定

はじめにIsilonから準備していきます。HDFS(無償)ライセンスが入っているかを確認し、SmartConnectやAccessZoneの設定をしていきます。


1.1 ライセンスの確認

HDFSとSmartConnect Advancedのライセンスが入っているかを確認します。IsilonSD Edgeを使う場合は既にライセンスが有効になっており下記のように表示されます。なお、Isilonは全プロトコルライセンスが無償です。

sdedge-1# isi license list

OneFS License ID: -

Valid Signature: Yes


Module                Licensed node count  Actual node count  Status     Expiration date

-----------------------------------------------------------------------------------------

SMARTQUOTAS           6 Nodes              3 Nodes            Licensed   -   

SNAPSHOTIQ            6 Nodes              3 Nodes            Licensed   -   

SMARTCONNECT_ADVANCED 6 Nodes              3 Nodes            Licensed   -  

SYNCIQ                6 Nodes              3 Nodes            Licensed   -   

SMARTPOOLS            6 Nodes              3 Nodes            Licensed   -   

SMARTLOCK             0 Nodes              0 Nodes            Unlicensed -   

HDFS                  6 Nodes              3 Nodes            Licensed   -   

SMARTDEDUPE           6 Nodes              3 Nodes            Licensed   -   

CLOUDPOOLS            0 Nodes              0 Nodes            Unlicensed -   

SWIFT                 6 Nodes              3 Nodes            Licensed   -   

HARDENING             0 Nodes              0 Nodes            Unlicensed -   

ONEFS                 6 Nodes              3 Nodes            Licensed   -   

-----------------------------------------------------------------------------------------

Total: 12

 

1.2 Access Zoneの作成

ベストプラクティスでは、デフォルトのSystem Zoneとは別にHDFS専用のAccess Zoneを用意することを推奨しています。Access ZoneとはIsilonを論理的に分割することでネットワークや共有、認証基盤を分離する機能です。今回は、zone1-cdhというAccess Zoneを作成します。

sdedge-1# isi zone zones create --name=zone1-cdh --path=/ifs/zone1/cdh --create-path

sdedge-1# isi zone zones modify --user-mapping-rules="hdfs=>root" --zone zone1-cdh

sdedge-1# isi zone zones view zone1-cdh

                       Name: zone1-cdh

                       Path: /ifs/zone1/cdh

                   Groupnet: groupnet0

              Map Untrusted: -

             Auth Providers: lsa-local-provider:zone1-cdh

               NetBIOS Name: -

         User Mapping Rules: hdfs=>root

       Home Directory Umask: 0077

         Skeleton Directory: /usr/share/skel

         Cache Entry Expiry: 4H

Negative Cache Entry Expiry: 1m

                    Zone ID: 2

 

1.3 SmartConnectの設定

今回は、SmartConnect Zone Nameをsc.isilonian.localという名前で作成します。なお、CDHのマシンとDNSで名前解決(正引き/逆引き)出来るようにしておきます。

sdedge-1# isi network pools create --id=groupnet0:subnet0:hadoop-pool-cdh --ranges=<IPレンジを入力します> --access-zone=zone1-cdh --alloc-method=dynamic --ifaces=1:ext-1,2:ext-1,3:ext-1 --sc-subnet=subnet0 --sc-dns-zone=sc.isilonian.local --description=hadoop

 

作成したSmartConnectの確認

sdedge-1# isi network pools view --id=groupnet0:subnet0:hadoop-pool-cdh

                     ID: groupnet0.subnet0.hadoop-pool-cdh

               Groupnet: groupnet0

                 Subnet: subnet0

                   Name: hadoop-pool-cdh

                  Rules: -

            Access Zone: zone1-cdh

      Allocation Method: dynamic

       Aggregation Mode: lacp

     SC Suspended Nodes: -

            Description: hadoop

                 Ifaces: 1:ext-1, 2:ext-1, 3:ext-1

              IP Ranges: <IPレンジ>

       Rebalance Policy: auto

SC Auto Unsuspend Delay: 0

      SC Connect Policy: round_robin

                SC Zone: sc.isilonian.local

    SC DNS Zone Aliases: -

     SC Failover Policy: round_robin

              SC Subnet: subnet0

                 SC TTL: 0

          Static Routes: -

 

1.4 HDFSブロックサイズの設定

ブロックサイズを大きくすることにより殆どのケースでパフォーマンスを向上させることができるのでHDFSのブロックサイズを変更します。(デフォルトは64MB)

sdedge-1# isi hdfs settings modify --zone=zone1-cdh --default-block-size=128M

sdedge-1# isi hdfs settings view --zone=zone1-cdh

                 Service: Yes

      Default Block Size: 128M

   Default Checksum Type: none

     Authentication Mode: all

          Root Directory: /ifs/zone1/cdh

         WebHDFS Enabled: Yes

           Ambari Server: -

         Ambari Namenode: -

             Odp Version: -

    Data Transfer Cipher: none

Ambari Metrics Collector: -

 

1.5 ACL設定の変更

sdedge-1# isi auth settings acls modify --group-owner-inheritance=parent

 

1.6 HDFSユーザとグループの作成

ADやLDAPがない環境では、IsilonおよびCDHのLinuxに同じUID、GIDを持つユーザとグループを作成する必要がありますが、ローカルユーザを簡単に作成するためにDellEMCではIsilon Hadoop toolsを用意しています。Isilon Hadoop toolsの詳細についてはGitHub(https://github.com/isilon/isilon_hadoop_tools/)を参照ください。

sdedge-1# mkdir -p /ifs/zone1/cdh/scripts

sdedge-1# cd /ifs/zone1/cdh/scripts

sdedge-1# wget https://raw.githubusercontent.com/Isilon/isilon_hadoop_tools/master/isilon_create_users.sh --no-check-certificate

sdedge-1# wget https://raw.githubusercontent.com/Isilon/isilon_hadoop_tools/master/isilon_create_directories.sh --no-check-certificate

sdedge-1# chmod u+x *

 

ユーザの作成を実施します。CDHなのでdistはcdh、UIDとGIDの開始は501とし、zoneは作成したzone1-cdhとします。

sdedge-1# bash isilon_create_users.sh --dist cdh --startuid 501 --startgid 501 --zone zone1-cdh

 

ディレクトリの作成を実施します。CDHなのでdistはcdh、zoneはzone1-cdhとします。

sdedge-1# bash isilon_create_directories.sh --dist cdh --zone zone1-cdh

 

1.7 ユーザ、グループのコピー

Isilonで作成したユーザおよびグループをCDHのLinuxへコピーします。

まず、下記のファイルの中身をCDHのLinuxの/etc/passwdへ追記します。

sdedge-1# cat zone1-cdh.passwd

# use this file to add to the passwd file of your clients

hdfs:x:501:501:hadoop-svc-account:/home/hdfs:/bin/bash

mapred:x:502:502:hadoop-svc-account:/home/mapred:/bin/bash

yarn:x:503:503:hadoop-svc-account:/home/yarn:/bin/bash

HTTP:x:504:504:hadoop-svc-account:/home/HTTP:/bin/bash

hbase:x:505:505:hadoop-svc-account:/home/hbase:/bin/bash

hive:x:506:506:hadoop-svc-account:/home/hive:/bin/bash

impala:x:507:507:hadoop-svc-account:/home/impala:/bin/bash

hue:x:508:508:hadoop-svc-account:/home/hue:/bin/bash

cloudera-scm:x:509:509:hadoop-svc-account:/home/cloudera-scm:/bin/bash

accumulo:x:510:510:hadoop-svc-account:/home/accumulo:/bin/bash

flume:x:511:511:hadoop-svc-account:/home/flume:/bin/bash

httpfs:x:512:512:hadoop-svc-account:/home/httpfs:/bin/bash

apache:x:513:513:hadoop-svc-account:/home/apache:/bin/bash

kafka:x:514:514:hadoop-svc-account:/home/kafka:/bin/bash

kms:x:515:515:hadoop-svc-account:/home/kms:/bin/bash

keytrustee:x:516:516:hadoop-svc-account:/home/keytrustee:/bin/bash

kudu:x:517:517:hadoop-svc-account:/home/kudu:/bin/bash

llama:x:518:518:hadoop-svc-account:/home/llama:/bin/bash

oozie:x:519:519:hadoop-svc-account:/home/oozie:/bin/bash

solr:x:520:520:hadoop-svc-account:/home/solr:/bin/bash

spark:x:521:521:hadoop-svc-account:/home/spark:/bin/bash

sentry:x:522:522:hadoop-svc-account:/home/sentry:/bin/bash

sqoop:x:523:523:hadoop-svc-account:/home/sqoop:/bin/bash

sqoop2:x:524:524:hadoop-svc-account:/home/sqoop2:/bin/bash

zookeeper:x:525:525:hadoop-svc-account:/home/zookeeper:/bin/bash

anonymous:x:526:526:hadoop-svc-account:/home/anonymous:/bin/bash

cmjobuser:x:527:527:hadoop-svc-account:/home/cmjobuser:/bin/bash

admin:x:528:528:hadoop-svc-account:/home/admin:/bin/bash

 

続いて下記のファイルの中身をCDHのLinuxの/etc/groupへ追記します。

sdedge-1# cat zone1-cdh.group

# use this file to add to the group file of your clients

hdfs:x:501:

mapred:x:502:

yarn:x:503:

HTTP:x:504:

hbase:x:505:

impala:x:507:

hue:x:508:

cloudera-scm:x:509:

accumulo:x:510:

flume:x:511:

httpfs:x:512:

apache:x:513:

kafka:x:514:

kms:x:515:

keytrustee:x:516:

kudu:x:517:

llama:x:518:

oozie:x:519:

solr:x:520:

spark:x:521:

sentry:x:522:

zookeeper:x:525:

anonymous:x:526:

cmjobuser:x:527:

admin:x:528:

hadoop:x:529:hdfs,mapred,yarn,HTTP,hbase,

supergroup:x:530:hdfs,mapred,yarn,HTTP,hbase,

sqoop:x:523:sqoop2

sqoop2:x:524:sqoop

hive:x:506:impala

Isilonの設定は以上で終了です。次にClouderaのセットアップを実施します。

 

 

2. Clouderaのセットアップ

続いてclouderaのセットアップを実施します。今回、私のほうではCDH 5.14.1とOneFS 8.1.0.2で構築しました。IsilonとClouderaのバージョンに関しては下記を参照ください。

Product Compatibility Matrix for EMC Isilon(Cloudera)

Hadoop Distributions and Products Supported by OneFS

 

2.1 Cloudera Managerのインストール

はじめにインストーラをダウンロードします。なお、現時点での最新版は5.14.1となります。

[root@cdh ~]# wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin

 

ダウンロードしたインストーラに実行権限を付与して実行します。

setup1.png

 

ClouderaおよびOracle(Java)のライセンス規約が表示されますので同意する場合はNextで進んでいきます。

JDKからインストールが始まり、次にCloudera Manager Serverのインストールとなります。

setup2.png

 

以下の画面が表示されたらインストール完了となります。

setup3.png


インストール後にCloudera Managerが起動しているか確認します。

[root@cdh ~]# systemctl status cloudera-scm-server.service

 

2.2 CDHのセットアップ

Cloudera Manager(GUI)にアクセスします。

http://<IPアドレスもしくはホスト名>:7180、ユーザ名/パスワードはadmin/adminでログインします。

Cloudera_Login.png


バージョンの選択画面が表示されますので適切なものを選択します。(私のほうではEnterpriseの評価版を選択しました。)

Cloudera_Select_Enterprise.png

 

CDHをインストールするホストを検索します。複数ホストを検索する場合はホスト名を改行して入力もしくはパターンマッチングで登録できます。

Install1.png

 

検出したホストに対してCDHをインストールする場合はチェックボックスをチェックします。

Install2.png

 

エージェントのインストールが開始されます。

Install3.png

 

続いてParcelのインストールが開始されます。

Install4.png

 

インストール完了後、ホストの正常性をチェックします。エラーが出ている場合は指示に従って修正後に正常性チェックを再実行します。

Install5.png

 

インストールするサービスを選択します。今回はカスタムサービスを選択します。

Install51.png

 

使用するサービスをチェックしていきます。中段あたりにIsilonという名前のサービスがありますので選択します。また、IsilonがHDFSの役割を司るのでHDFSのサービスのチェックは外します。(インストールしません)

Install52.png

 

各サービスをどのホストに割り当てるか選択していきます。今回はLinuxマシンが1台だけですので全てのサービスを1台のホストに割り当てていきます。

Install6.png

 

各サービスで使用するデータベースを選択します。今回は組み込みのデータベース(PostgreSQL)を選択しました。

Install_DB.png

 

Isilonに必要な項目を入力していきます。

Default File System URI    hdfs://sc.isilonian.local:8020

WebHDFS URL                 http://sc.isilonian.local:8082/webhdfs/v1

Install7.png

 

各サービスがインストールされ開始されます。

Install8.png

 

以上で、セットアップ完了となります。万が一、インストール中にエラーが出た場合は殆どがネットワークの問題(名前解決)か、CPU、メモリ、ディスク容量などリソースが足りていなものと思われます。

Install9.png

 

 

3. インストール後の確認

今回のように1台で構築した際には幾つかのアラームが出ていると思いますので、内容を確認して沈静化(Suppress)します。

CM_dashboard.png

 

セットアップ直後の段階では、Isilonの所を見るとスパナマークが必ず2つ表示されます。内容は下記の画面キャプチャとなりますが、HDFSとしてIsilonを用いる際にはHDFS Trash(ゴミ箱機能)は使わずIsilonのスナップショットで対応しますので、これらは無効にして問題ありません。

Isilon_Use_Trash.png

 

以上でセットアップは完了となります。

CM_dashboad2.png

 

 

4. 動作確認

最後に簡単にHBaseを使って動作確認を実施したいと思います。HBaseでテーブルを作成するとHDFSでIsilon側にファイルとして作成されるのが確認できます。

 

Isilonianテーブルの作成

hbase(main):001:0> create 'Isilonian','hoge1','hoge2'

0 row(s) in 1.3990 seconds


=> Hbase::Table - Isilonian

hbase(main):002:0> list

TABLE

Isilonian

1 row(s) in 0.0210 seconds


=> ["Isilonian"]

 

hdfsコマンドで確認

[root@cdh ~]# hdfs dfs -ls /hbase/data/default

Found 1 items

drwxr-xr-x   - hbase hbase          0 2018-04-02 23:34 /hbase/data/default/Isilonian

 

Isilon側から確認

sdedge-1# ls -l /ifs/zone1/cdh/hbase/data/default

total 2

drwxr-xr-x    5 505  505  100 Apr  2 23:34 Isilonian

 

 

おわりに

いかがでしたでしょうか?Isilonではあればコンピューティングとデータを分離することができマルチプロトコルでアクセスができることがお解り頂けたかと思います。また、Cloudera Managerなどの各ディストリビューションの管理ツールとも統合されていますし、Cloudera、Hortonworks(Pivotal、IBM)等の主要ディストリビューションとの互換性情報やセットアップガイド、ホワイトペーパやHadoop用のユーザ、グループを迅速にセットアップするためのツール(Isilon Hadoop tools)を提供していますので企業でのHadoopの導入や運用のに対する工数を低減することができます。なお、最新のOneFSではCloudera Navigatorとの統合が出来ており、今後も各ディストリビューションと更に連携を強化していきますので、その辺につきましても本ブログでご紹介していきたいと思います。

 

 

参考情報

互換性情報など

Product Compatibility Matrix for EMC Isilon(Cloudera)

Hadoop Distributions and Products Supported by OneFS

Isilon Hadoop tools

Isilon Hadoop tools

導入ガイド(Cloudera)

EMC ISILON ONEFS WITH CLOUDERA HADOOP INSTALLATION GUIDE

EMC ISILON ONEFS WITH HADOOP AND CLOUDERA FOR KERBEROS INSTALLATION GUIDE

ベストプラクティスガイド

EMC ISILON BEST PRACTICES GUIDE FOR HADOOP DATA STORAGE

Isilon Info Hub(IsilonとHadoopに関する様々な情報)

Using Hadoop with Isilon - Isilon Info Hub

その他

ビッグデータにEMC ISILONスケールアウトNASを選ぶ理由

Hadoop分析にDellEMC ISILONを選ぶ主な理由

EMC ISILONスケールアウトNAS上のHadoop

HADOOP分析向けにDELL EMC ISILONベースのスケールアウトデータレイクストレージを導入する主な理由

EMC ISILON SCALE-OUT NAS FOR IN-PLACE HADOOP DATA ANALYTICS(日本語)

DELL EMC ISILON & CLOUDERA ENTERPRISE を使用したHADOOPソリューション

Dell EMC PowerEdgeサーバとスケールアウト NAS “Dell EMC Isilon” によるデータレイクソリューション



バックナンバー

IsilonianTech 第1回 Isilonとオープンソース ~REX-Ray編~

IsilonianTech 第2回 Isilonとオープンソース ~OpenStack Manila編~

IsilonianTech 第3回 Isilonとオープンソース ~Isilon Data Insights Connector~

IsilonianTech 第4回 Software Defined Storage ~IsilonSD Edge~

IsilonianTech 第5回 Isilonとオープンソース ~Isilon-POSH~

IsilonianTech 第6回 Isilonとオープンソース ~Elastic Stack編~

IsilonianTech 第7回 Isilonとデータアナリティクス ~Cloudera編~

IsilonianTech 第8回 Elastic Cloud Storage (ECS) ~ECS Community Edition~

IsilonianTech 第9回 ISILON + ECS = UNLIMITED ~Isilon CloudPools~

 

安井 謙治

Dell EMC Unstructured Data Solutions

UDS事業本部 SE

Filter Blog

By date:
By tag: