第17回 CloudStack 勉強会 in 東京

CloudStackは、IaaS型クラウドを実現するソフトウェアとして、多くのクラウド事業者や 北海道大学アカデミッククラウド をはじめとした学術機関などで実績があるソフトウェアです。 5/20-22に開催されるLinuxCon/CloudOpen Japan開催に併せて、第17回ユーザー会を開催します。
今回は初心者の方にも優しいコンテンツをご用意しました!

申し込みはこちらから
http://atnd.org/events/50662

IMG 4130

続きを読む

Tweet about this on TwitterShare on Facebook41

Cloudstack collaboration conference – 2日目

このエントリは、CloudStack Advent Calendar jp: 2013 12月9日分のエントリです。


2日目といっても、1日目はハッカソンなどでしたので、本来このカンファレンスの1日目になります。

そんな2日目ですが、Chip Childers のキーノートで始まりました。Apache CloudStack 開発状況や、コミュニティーなどを話していましたが、その中でもうれしかったのは、2014年3月14日に行われる「CloudStack Day Japan 2014」の紹介があったことです。
Untitled

Chip Childersの次は、DevOps界の巨匠John Willisの、NetworkでもDevOpsが重要になってくるという話でした。重要性はわかりますが、Johnの話はあまり印象に残ってません^^;
Untitled

キーノートの後はそれぞれ部屋に分かれて興味のあるセッションを聞くことになりました。ここからは興味深いセッションの紹介をしていき対と思います。

Paul Angus – From the Frontline (youtube, slideshare)

Paulは、ShapeBlueという会社のCloud Architectです。ShapeBlueは米国を拠点とするSIerです。CloudStackを使ったクラウド基盤の構築を得意としているようです。
ここでは、そんなShapeBlueが手がけた!?クラウドのユースケースを紹介していました。

Trader Media

このTrader MediaはAutoTraderと呼ばれるオンラインで自動車を検索、購入できるサイトを運営しており、1000万ユニークユーザーのアクセス、8.3億のページビューがあるとか。こちらのサイトでCloudStackを構築中との事。このサイト、よくありがちですが、1日のトラフィックが一定ではなく、ピークが夕方~夜にくるようです。
こちらのクラウド基盤はこのような構成をしているとの事。興味深い点は、MySQLのReplicationとして、Galera Clusterを使っていることでしょうか。

また、クラウドバースト対策としてRightScaleを利用して、AWSでもバースト時のインスタンスを展開できるようにしているとの事。いわゆるZyngaモデルですね。

Paddy Power

アイルランドにある出版社とのことです。(ホームページをみるとオンラインで競艇や競馬などのベッティングシステムを提供しているように見えますが)
Paddy PowerはCloudStackを使って、システムの展開を迅速に行いたかったとの事。そこで、ShapeBlueは様々なアプリケーションテンプレートを作成したとの事です。
また、Paddy PowerはNetFlexのChaos Monkeyのコンセプトのファンだったという事で、Chaos Monkeyのように恣意的にいくつかのインスタンスを落としてシステムが継続的に実行できるかを確かめるような方法もとっているとの事です。
さらに、開発環境から、本番環境に迅速に以降するための方法として、開発環境では、仮想ネットワークアプライアンスを利用して、コンフィグレーションをそのまま利用できるようにしたとの事でした。

Yoshikazu Nojima – VXLAN Integration with CloudStack Advanced Zone (youtube, slideshare)

こちらは、NTT Communicationsの安達さんとVerioの能島さんによるセッションです。最初に足立さんによるNTT Communicationsのクラウドの紹介がありました。さすが、世界のNTT Communications (ノ*゚o゚)ノ オォォォ!!
次に、能島さんによる、現在進めているCloudStackでのVXLANの実装についての解説がありました。

Lunch

この日から、展示もオープンしていました。広い会場の真ん中に簡単なランチが出されて周りを取り囲む形で、各スポンサーが展示を行っていました。

Lunch in the Big Hall

ランチの後は、Hugo CorreiaのTalk on using Cloudstack through Vagrant for a speedy test environment (youtube, slideshare) やAled SageのHow and When to Cloudburst: Real-world Contention (youbube, slideshare)などを聞いてました。HugoのセッションはVagrantと言う開発環境構成ツールの話で、Aledの話は、brooklynとよばれる自動化ツールの話でした。このCloudStack Collaboration Conferenceの特徴でもあるのですが、DevOps系のセッションが非常に多かったです。Chef, Vagrant, jcloud, Ansibleなどなど。

Shinichiro Kashiwagi – Building AWS-Compatible Public Cloud Service    (youtube, slideshare)

こちらは、NTT Communicationsの柏木さんによるセッションです。Cloudnでの経験を元にAWS互換クラウドの構築方法を解説されていました。CloudPlatform (CloudStack)にはAWS EC2に相当する機能があり、AWS API互換も提供しているが、その他については、自分で実装するか、エコシステムの製品を利用する必要があるという事について解説されていました。

  • Compute: CloudPlatform (CloudStack) 3.0.6を利用。CloudPlatformのAWS API互換機能も利用
  • LB:  CloudPlatform (CloudStack)のLBには、LBのAWS API互換機能がないため、自社で実装
  • Dynamic DNS: 同じく、 CloudPlatform (CloudStack)のDNSには、LBのAWS API互換機能がないため、自社でRoute 53 互換APIをもつDNSを実装
  • Monitoring:  同じく、 AWS CloudWatch 互換APIをもつ、監視機能を実装
  • AutoScale: NetScalerが必須であったため、自社で実装
  • Provisioning: 自社で実装
  • Object Storage: Cloudian Object Storageを使い実装
  • RDS: MySQLベース。AWS RDS互換APIも実装
  • PaaS: CloudFoundaryをIaaS上に提供

Dinner

展示ブースがあった会場でのディナーで、合間にスポンサーの方々が簡単なLTをしたり、最後にShapeBlueの人がCloudStack Songを歌ったりしていました。さっくり終わって、後はいける人で飲みに行くという感じでした。

Evening Event held by IamAmsterdam
<2日目のDinner>

2U Raspberry Pi carrier
<CloudStack on Raspberry PI>

以上

Tweet about this on TwitterShare on Facebook41

Splunkを使ったCloudStackのログ解析入門

このエントリは、CloudStack Advent Calendar jp: 2013 12月7日分のエントリです。


みなさまは、CloudStackのログをどのように解析していますか?

管理者ガイドにも下記のような記載がありますが、lessコマンド、grepコマンドを駆使し、解析していくのが一般的です。

CloudStack では、ジョブ ID を使用して要求を処理します。ログでエラーを発見して問題をデバッグしたい場合は、管理サーバーロ グ中のジョブ ID を grep で検索します。たとえば、次のエラーメッセージを発見したとします。

010-10-04 13:49:32,595 ERROR [cloud.vm.UserVmManagerImpl] (Job-Executor-11:job-1076) Unable to find any host for [User|i-8-42-VM-untagged

ジョブ ID が 1076 であることに注意してください。次の grep 検索によって、ジョブ 1076 に関連するイベントを追跡することができます。

grep “job-1076)” management-server.log

目grepの達人になると、ログを一瞬みただけで、どこでなにが起きているか分かると言います。w( ̄▽ ̄;)wワオッ!!

私も含め、普段そんなにログと接してない人には、なかなか、達人の域に達する事は難しいので、ここでは、最近はやりのビッグデーター解析ツールSplunkをつかって、CloudStackのログを解析してみる事にします。

まず、Splunkをダウンロードします。私は、management server (centos 6.3)にインストールするので、splunk-6.0-182037-linux-2.6-x86_64.rpmを選びました。

rpm -i splunk-6.0-182037-linux-2.6-x86_64.rpm
cd /opt/splunk/bin/
./splunk start

http://management server:8000/ にアクセスし、First time signing inをクリックし、アカウントの設定を行います。

最初に、Manage inputs > データの追加 > または、データソースを選択してください ファイルとディレクトリから > サーバーを参照で、
/var/log/cloudstack/management/management-server.log を選択します。
続行ソースタイプの選択 > 既存のソースタイプの適用 > log4j を選択し、続行。
さらに、保存他のデータを追加で、同様にapilog.logも追加しておくだけで準備完了!
サーチを開始し、Data Summury > ホスト名を選択すると、ログが表示されます。

サーチフィールドで、様々なキーワードを使ってサーチ可能です。例えば、下記は、listvpcs APIを実行した時のログを、listvpcsでフィルタし表示したときの結果です。いいなと思ったのは、management-server.logとapilog.logが時系列に並んでいるところです。

その他にも、チャートなども表示できるようですが、Splunkのコマンドをあまり知らないので、どなたか教えてください (;^_^A アセアセ・・

また、Splunk DB Connectorを使えば、MySQLに接続し、データを可視化する事も可能みたいです。CloudStack Usage Serverをインストールし、設定しておけば、このDB Connectorで、インスタンスやテンプレートの使用率などをチャートで表示できるかもしれません。また、機会があれば試してみたいとおもいます。

Splunk DB Connectorのインストール手順


参考資料

http://ja.splunk.com/goto/book

Tweet about this on TwitterShare on Facebook41

Cloudstack collaboration conference – 1日目

このエントリは、CloudStack Advent Calendar jp: 2013 12月1日分のエントリです。


11月20日〜22日、オランダのアムステルダムで、3回目のCloudStackの国際カンファレンスCloudStack Collaboration Conference (CCCEU13)が開かれました。ヨーロッパでは初の開催になりました。Beurs van Berlageというカンファレンスセンターで行いましたが、この建物は、世界初の証券取引所であったという事もあり、歴史ある雰囲気で、狭い廊下、煉瓦、ステンドグラスなどが印象的でした。

会場のBeurs van Berlage
Untitled

このイベントは、普段CloudStackに関わっている人達のコラボレーションが目的で、世界中から500名くらいの参加がありました。約80もの様々なセッションがあり、開発、DevOps、事例、コミュニティ、ワークショップなどのカテゴリに分かれていました。日本人の参加は6名あり、そのうち4名がセッションスピーカーでした。

今回の日本人参加者(講師)達
Untitled
左からNTT Communications安達氏、Verio 能島氏、Citrix 今井氏、NetOne Systems 千葉氏

11月19日(火) – 前夜祭

@CCCEU13 (CloudStack Collaboration Conference Europe 2013公式Twitterアカウント) によれば、色々なバーで前夜祭が行われていたようですが、私はアムステルダムについたのが夜10時を過ぎていたので、参加しませんでした。聞くところによると、夜中3時くらいまで飲み歩いていたようです。

今回CCCEU13のお薦めホテル
Untitled

11月20日(1日目)

最初に、Chip Childersの挨拶の後、各部屋では、ワークショップが開催されました。私は、ChefとJenkinsのワークショップに参加しました。ワークショップにもよりますが、1、2時間程度で個人のPCを使って、与えられた課題を実際にやってみる形で行われていたようです。

Chip Childersの挨拶
Untitled

WS – Chef and CloudStack
Chefのワークショップでは、Chefの環境をセットアップし、knife-cloudstackの使い方を勉強しましたが、そもそもwifiが不安定にもかかわらず、参加者同時にダウンロードするのでさらに不安定という環境なので、必要なバイナリのダウンロードがなかなか進みませんでした。
講師がダウンロードし、参加者にバイナリを配布する方法を取ろうとするが、個人個人のPCが、Windows、Mac、Ubuntu、Debian、RedHat系と様々で、四苦八苦していました(笑
参加者は、そんな形のワークショップに慣れているのか、特に文句は言わず、それぞれの作業を行っていました。

Chefワークショップの様子
Untitled

WS – Workshop Jenkins
Jenkinsのワークショップでは、30くらいのJenkinsの環境が参加者用に準備されていて、それを使ってJenkinsの使い方を勉強しました。実際は、講師のオペレーションがあまりにも早く、ハンズアウトなどもないため、誰一人として、講師のオペレーションについていける人はいませんでしたが(笑
JenkinsのワークショップはCloudbeesという会社の方が行っていました。カンファレンスで聞いたのですが、Cloudbeesという会社は、Jenkinsの開発者である川口耕介氏がいる会社でもあり、JenkinsをベースとしたCIのホスティングサービスと、企業向けのJenkinsを提供している会社だということです。

Jenkinsワークショップの様子
Jenkins User Track at CloudStack Collaboration Conference

以上

Tweet about this on TwitterShare on Facebook41