tech http://techyuzuru.posterous.com Most recent posts at tech posterous.com Thu, 09 Jun 2011 02:25:00 -0700 レッドハット、“データ仮想化”ソリューションを含む「JBoss Enterprise SOA Platform 5.1」をリリース : ソフトウェア&サービス - Computerworld.jp http://techyuzuru.posterous.com/jboss-enterprise-soa-platform-51-computerworl http://techyuzuru.posterous.com/jboss-enterprise-soa-platform-51-computerworl

 JBoss Enterprise Data Services Platformは、フォーマットが異なるさまざまなデータ・ストアに基づくデータ・サービスの作成に利用できる。このデータ・サービスからのフィードは、ESBを介してほかのアプリケーションに取り込むことができるため、企業は、各種ソフトウェア・プログラム間でデータをやり取りするワークフローを構築できる。

 Red Hat幹部は、こうした各種ソースからのデータ・フィードの作成を、「データの仮想化」と呼んでいる。

 「幅広い異種データ・ソースからの有用な情報を統合し、同期することは、企業にとって依然として困難な課題だ」と、Red Hatのミドルウェア担当副社長兼ゼネラル・マネジャー、クレイグ・ムジラ(Craig Muzilla)氏は声明で述べている。「JBoss Enterprise Data Services Platformにより、企業はデータを十二分に活用できる」(同氏)。

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Thu, 09 Jun 2011 02:23:00 -0700 データ仮想化で分析の幅が広がったBI~Informatica 9 - @IT http://techyuzuru.posterous.com/biinformatica-9-it http://techyuzuru.posterous.com/biinformatica-9-it
データ仮想化技術を採用した点だ。Informatica 9では、新製品として複数のシステムが持っているデータを1つのデータセットとして利用できるサービス「Informatica Data Services」を追加。Informatica Data Servicesを利用することで、マルチドメインに存在しているデータをあたかも1つのデータであるかのように利用することが可能となる。これにより、ERPやCRM、クラウド上など複数のデータソースに分散したデータや、東京や大阪など物理的に離れたデータソースであっても、同一データオブジェクトのように検索や統合、管理が可能になるという。

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Wed, 08 Jun 2011 19:38:00 -0700 アメリカ市場では 28% の組織が、すでにクラウドを使用している « Agile Cat — in the cloud with openness http://techyuzuru.posterous.com/28-agile-cat-in-the-cloud-with-openness http://techyuzuru.posterous.com/28-agile-cat-in-the-cloud-with-openness
最近の CDW(民間/行政/教育/医療などをプロダクトとサービスを提供)のレポートによると、アメリカ国内における組織の 28% が、今日現在でクラウド・コンピューティングを利用している。

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Thu, 19 May 2011 19:18:00 -0700 ソフトウェアテスト - Wikipedia http://techyuzuru.posterous.com/-wikipedia http://techyuzuru.posterous.com/-wikipedia

命令網羅(C0) [編集]

命令網羅基準を用いてテストを行う場合は、すべての命令を実行すればよい。上記のabs関数では、x = -1 を用いてテストすれば命令網羅基準に従ってテストできたことになる。

分岐網羅(C1) [編集]

判定条件網羅とも。分岐網羅基準を用いてテストを行う場合は、すべての分岐において、すべての分岐の方向を実行すればよい。上記のabs関数では、x=-1、x=0を用いてそれぞれテストすれば、分岐網羅基準にしたがってテストできたことになる。

条件網羅(C2) [編集]

条件網羅基準を用いてテストを行う場合は、複数条件で起こりうる真・偽と分岐の組み合わせ経路を実行すればよい。

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Wed, 13 Apr 2011 03:19:00 -0700 Cloudera Releases New Version of Its Apache Hadoop Distribution as Competition Mounts - ReadWriteCloud http://techyuzuru.posterous.com/cloudera-releases-new-version-of-its-apache-h http://techyuzuru.posterous.com/cloudera-releases-new-version-of-its-apache-h

The announcement follows recent announcements that DataStax, Hadapt and Mapr are joining the growing number of companies competing with Cloudera.

At the GigaOM Structure Big Data event earlier this month, Datastax announced a new product called Brisk earlier this month. Brisk is a fork of Apache Hadoop that replaces the Hadoop file system and Hbase datastore with Apache Cassandra, another BigTable-inspired database. Datastax is the sponsor company of Cassandra and sells enterprise support and management tools.

At the same event two new Hadoop-focused startups, Hadapt and Mapr, were also announced. Mapr replaces the Apache Hadoop file system with its own proprietary alternative, and Hadapt aims to bring SQL-like functionality to the platform. Appistry also offers an alternative file system for Hadoop.

These companies join IBM in selling Hadoop-related products and services. IBM has its own Hadoop distribution, and sells a Hadoop-powered InfoSphere product geared towards making Hadoop easier to use.

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Wed, 13 Apr 2011 01:50:00 -0700 InfoQ: Structure Big DataでのHadoopの未来:DataStax Brisk, EMC, MapR http://techyuzuru.posterous.com/infoq-structure-big-datahadoopdatastax-brisk http://techyuzuru.posterous.com/infoq-structure-big-datahadoopdatastax-brisk

InfoQは氏にCassandraの成熟について、また、HBaseとの比較について話を聞いた。 特に、Cassandraを作ったFacebookは大規模なメッセージングリアルタイム分析にHBaseを利用している。氏はHadoopは大きなコミュニティを持っているが、HBaseのコミュニティは小さく、そして、Cassandraは大きなコミュニティと勢いを持っていると主張する。DataStaxはバグ修正や未修正バグのバックログ、コミュニティでの議論をマトリクスとして利用し、比較を行っている。過去に起きたCassandraの配置の問題(Diggのような)について尋ねると氏は、"速く成熟"する技術は時期尚早な利用や間違った利用をされる場合があるが、DataStaxはCisco、Rackspace、Constant Contact、Real Networks、Netflixのような広く成功を納めた企業を顧客にしていると答えた。氏はまた、FacebookはHBaseに投資してきたので、CassandraよりもHBaseを使うという決定は実際はたんなる内部決定以上のことだと述べた。氏の考えではストレージの一貫性は単に注目を集めるものにすぎない。というのは、Cassandraは結果整合性をサポートしているし、強い一貫性も実現できるからだ。

Briskはまだ、内部でテストをしている段階だと氏は言う。まだ、ベータ版を利用している顧客もいない。Cassandraの大規模利用について尋ねると、氏が言うには実際に運用している最大の環境は、政府機関によって使われてる700ノードのクラスタだそうだ。トランザクション量からいうと、Twitterは1秒間に200,000回のデータ書き込みを行っている。ストレージでは"数百テラバイト"のデータを保持するクラスタがあるという。

InfoQは氏とリーダエンジニアであるJake Luciani氏にBriskとファイルシステムの実装であるCassandraFSに話を聞いた。現在のHadoop DFS (HDFS)のバージョンとの大きな違いや、HDFSの可能な改善点、CassandraFSの計画は下記の通り。
現在のHDFS HDFSの可能な改善点 CassandraFS
ネームノード(NN)が単一障害点(SPOF) NN SPOFを取り除くためのいくつかの方法を開発中。 CassandraFSはCassandraにデータを保存する。CassandraにはSPOFはない。
ファイルのメタデータは単一のプロセス内のRAMに保持されるので、全体のファイル数は制限される。 連結したHDFSとBookKeeperを使うことでHDFSをスケールする方法を開発中。 CassandraFSは制限のない仮想ファイル環境を提供する。
WANレプリケーションはサポートしない。 WANレプリケーションはサポートしない。 Cassandraは複数のデータセンター間のレプリケーションをサポートする。
Appendをサポート(Hadoop 3のClouderaのディストリビューションとApache Hadoop 0.21) n/a Appendをサポートできるように設計されているが、初回リリースにはサポートされない予定。しかしHDFSのAppendはほとんどHBaseをサポートするために使われてきた。これはBriskが利用している技術とは似ていない。
技術的にはCassandraFSはpathをキーに、inodeをファイルオーナやパーミッション、ブロックのリストなどのメタデータを含むバリューとして扱うテーブルを作成する。そしてこのテーブルがブロックのIDをキーとし、シリアライズされたブロックをバリューとするもうひとつのテーブルを保持する。

Werther氏はBriskは他のHadoopのエコシステムのコードに取り組んでいると言う。Cassandraが生成しなかったログデータを読み込むにはどうすればいいかという質問に対しては、ClouderaのFlumeが使えると答えた。彼らの検証によれば、Briskでも利用できるようだ。また氏はClouderaのHue

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Wed, 13 Apr 2011 01:44:00 -0700 ビッグデータにこれから起きること11の予想 - Publickey http://techyuzuru.posterous.com/11-publickey http://techyuzuru.posterous.com/11-publickey

1. We’ll hark the chips, not the hardware.
チップレベルの話をよく聞くようになるだろう

ムーアの法則によって進化するチップに対して、ソフトウェアはその能力を活かすまでに至っていない。十分な性能を実現するために、多くの企業はサーバの増強によって解決してきたが、チップレベルでの改善はさらに進むだろう。

2. Chip scale-out will date MPP and shrink big data networks.
チップレベルのスケールアウトによる大規模並列処理が実現し、巨大なデータネットワークは縮小していくだろう

1チップに256コア、512コアが実現されるようになれば大規模分散処理が可能になるため、数十のサーバによって実現されていたネットワークは不要になっていく。

3. Memory will go RAM.
記憶装置はRAMになる

ボトルネックはディスクからRAMへと移っていく。いまやすべての記憶装置をRAM化することも現実になる。そしてSSDの利用も広まっていくだろう。

4. Chip companies will spend more on R&D in 2011.
チップメーカーはさらに研究開発費を増やすだろう

大規模なビジネスデータのためのソリューションを開発するため、チップのテクノロジーにはさらに開発費が投入されるだろう。

5. Acceleration of analytics will support the agile enterprise.
分析の増加が俊敏な企業経営をサポートするだろう

分析技術はビジネスをより支援することになり、ビジネスの差別化要因となっていくだろう。

6. Businesses will sponsor their own analytical capabilities.
分析能力を持つことはビジネスによって支えられるだろう

7. Analytics gets more embedded into business applications.
業務アプリケーションの中に分析機能が組み込まれていくだろう

8. Open source moves to more hybrid models.
オープンソースはハイブリッドモデルとなっていくだろう

JasperSoft、SugarCRM、Ingresなどが採用している、いくつかの製品はオープンソースとして提供され、特定の機能は有償で提供されるようなハイブリッドモデルが広がっていくだろう。

9. Subscriptions stack up by the hour.
サブスクリプションは時間単位になっていくだろう

10. Self-service BI gets more attention.
セルフサービスBIへの注目が高まるだろう

11. Users want to be “in the moment” with data insights.
ユーザーは「いま起きていること」を分析したくなる

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Sun, 15 Aug 2010 20:04:24 -0700 簡単&便利 Capistranoのススメ (導入編) http://techyuzuru.posterous.com/capistrano http://techyuzuru.posterous.com/capistrano

Capistranoって何?

簡単に言うと「複数の環境に同じ処理を同時に実行させる」ツールです。

・昔はSwitchTowerと呼ばれてました。

・RoR環境でしか使えないと誤解されがちだが、他の環境でも十二分に便利。

・(サービスがPerlで書かれてる)はてなでも導入

・RoR環境だと基本的なコマンドが揃っているため特に便利。

 

何がうれしいの?

WebアプリでよくあるパターンとしてAPサーバが複数ある場合に各サーバに対して全く同じ処理(APを転送&APサーバ再起動...etc)を行う場合ってありますよね?

そういう場合にCapistranoを導入すれば以下のようなメリットが生まれます。

・複数サーバに対する処理をコマンド一回で出来るようになる

・ほとんどの処理をCapistranoを介して行うように出来るので、運用がわかりやすくなる

 

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Sun, 08 Aug 2010 21:50:40 -0700 秒間120万つぶやきを処理、Twitterシステムの“今” - @IT http://techyuzuru.posterous.com/120twitter-it http://techyuzuru.posterous.com/120twitter-it

1つは「fan out」と呼ぶメール配送に似たアーキテクチャを使うこと(fan outは漢字で書くと“扇出”か。風で一気にまき散らすようなイメージ)。各ユーザーのタイムラインをメールの受信箱のように見立てて、そこにメッセージを配信する。つぶやきはいったんmemcachedに保存され、それが各受信箱(タイムライン)に送られるが、その配送処理は非同期のオフライン処理だという。ただ、オフラインといっても夜間バッチのような半日単位というものではなく、秒単位の遅延を上限としたものであるという。

twitter06.png 現在Twitterではメール配送に似た仕組みでフォロワーにつぶやきを配送しているという

 もう1つの工夫は、フォローと被フォローの関係をそれぞれ別にデータに持つこと。論理的には片方向のグラフだけ持っておけば十分だが、あえて「誰をフォローしているか」「誰にフォローされているか」に分けてデータ化しておく。データの整合性に気を付ける必要はあるものの、こうしておけばクエリは特定パーティションへのアクセスで完結するため、メモリに乗り切らないという問題も解消するのだという。

 こうした仕組みにより、書き込み側のデッドロック(すべてのつぶやきは巨大な単一のデータセットに放り込まれる)を解消しつつソーシャル・グラフがメモリに乗り切らないという課題を乗り越えて、リアルタイム性の高いサービスを実現できている。

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Sun, 08 Aug 2010 21:41:47 -0700 Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」 - Publickey http://techyuzuru.posterous.com/twittercassandra-publickey http://techyuzuru.posterous.com/twittercassandra-publickey

Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。

しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくなってきた

Permalink | Leave a comment  »

]]>
http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
Sun, 08 Aug 2010 04:09:34 -0700 yebo blog: クラウドセキュリティについてプロバイダに尋ねるべき12の質問 http://techyuzuru.posterous.com/yebo-blog-12 http://techyuzuru.posterous.com/yebo-blog-12
  • 私のデータはどこに格納されているのか?
  • 私の重要なデータに誰がアクセスできるのか?
  • 私のデータの安全を確保するためにどんな管理を行っているか?
  • 従業員/契約社員を雇う前に実施している審査は何をやっているか?
  • 私のデータは世界中の他のデータセンターにコピーされているのか? (もしされているなら、それはどっち?)
  • 災害普及やビジネス継続にどんな戦略があるのか?
  • クラウドコンピューティングサービスはSAS 70基準か? (SAS 70はアウトソーシングなどの受託業務に関わる内部統制について評価で、米国公認会計士協会が定めたもの)
  • サービスでシングルサインオンを提供しているか?
  • アプリケーションが攻撃されたらどのように検知し、私や従業員にどのように報告されるのか?
  • 私は自分のデータの完全な所有権を保持するか?
  • PDF、Excel、Accessなど可読可能なフォーマットで私のデータを提供できるか?
  • 私があなたのアプリケーションをローカルに動作する方法を提供するか? どのくらい速くローカル導入に戻すことができるか?
  • Permalink | Leave a comment  »

    ]]>
    http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
    Sun, 08 Aug 2010 04:03:28 -0700 クラウドの利用者に保証されるべき6つの権利、ガートナーが提唱 - Publickey http://techyuzuru.posterous.com/6-publickey http://techyuzuru.posterous.com/6-publickey

    The right to retain ownership, use and control one's own data
    ユーザーが保有するデータの管理と利用に関する所有権保持の権利

    利用者は、データに関する所有権と利用権を保持しなければならない

    The right to service-level agreements that address liabilities, remediation and business outcomes
    負担、改善、業務上の成果の取り組みに関するサービスレベル契約の権利

    サービスに障害が発生したときでも、クラウド事業者はリカバリにかかる時間や手順をコミットすることはほとんどない。むしろサービスレベル契約は、提供されるサービスに応じたビジネス上の課題に関する包括的なものするべきだ。

    The right to notification and choice about changes that affect the service consumers' business processes
    利用者のビジネスプロセスに影響がある変化について、告知を受け選択する権利

    サービスの重要なアップグレードや変更に際して、利用者のビジネスプロセスを守るために事前の告知が求められる。

    The right to understand the technical limitations or requirements of the service up front
    事前に技術的な制約や要件を理解する権利

    特に利用者の長期にわたるプロジェクトや大きな投資を伴う複雑なプロジェクトでは、利用者と事業者の双方が技術的な制約や要件についてよく情報交換をするべきである。

    The right to understand the legal requirements of jurisdictions in which the provider operates
    事業者が則る法的管轄を理解する権利

    もしも事業者がデータを海外で扱ったり転送する場合、利用者はよく知らない法律や規制の支配下に置かれることになる。

    The right to know what security processes the provider follows
    事業者が行うセキュリティプロセスを知る権利

    事業者のセキュリティプロセスを理解しなければ、利用者が、事業者の責任外の部分でセキュリティ違反をする恐れがある。

    The responsibility to understand and adhere to software license requirements
    適切なソフトウェアライセンスの要件を理解する義務

    クラウド事業者、利用者の双方が、ソフトウェアライセンスについて適切に理解しなければならない。

    Permalink | Leave a comment  »

    ]]>
    http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
    Thu, 22 Jul 2010 05:04:38 -0700 Hadoopは耐障害性に課題があるが実用性十分 - @IT http://techyuzuru.posterous.com/hadoop-it http://techyuzuru.posterous.com/hadoop-it
    具体的には、細かく分けられたデータの塊であるチャンク(Hadoopではブロック)について、一定のタイミングでバックグラウンドでチェックサムを取りファイルが壊れていないことを保証する自動チェックサム検査がHadoopで実装されていなかったり、分散ノードを管理するマスターサーバ(NameNode)が異常終了した場合、Hadoopでは手動で復旧させる必要があることなど、HDFS(Hadoop Distributed Filesystem)ではGFSほど耐障害性の機能が提供されていないという。Hadoopではディスク使用量が偏らないようチャンクを再配置するバランシング作業も自動化されていない。

    Permalink | Leave a comment  »

    ]]>
    http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
    Mon, 12 Jul 2010 19:26:25 -0700 Google、コードを書かずにAndroidアプリが作れる App Inventorを公開 http://techyuzuru.posterous.com/googleandroid-app-inventor http://techyuzuru.posterous.com/googleandroid-app-inventor
    プログラミング言語を習得していなくても「ブロック」の配置でロジックを組んでアプリを製作できるいわゆるビジュアルプログラミング環境。「ブロック」にはシンプルなアクションだけでなく条件分岐やくり返し、データ保存といった機能もあるため、UI を配置してブロックと結びつけることで「ちゃんとした」アプリを開発することができます。

    また Android端末の機能や高度なタスクに対応したコンポーネントがあらかじめ用意されていることも特徴のひとつ。利用できる機能はたとえば GPS、傾きセンサー、電話やSMS送信、バーコードスキャナー、データベースアクセス、Twitter ほか外部サイトとの連携、テキスト読み上げなど。


    Permalink | Leave a comment  »

    ]]>
    http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru
    Mon, 12 Jul 2010 19:20:43 -0700 Master Data Management - Wikipedia, the free encyclopedia http://techyuzuru.posterous.com/master-data-management-wikipedia-the-free-enc-0 http://techyuzuru.posterous.com/master-data-management-wikipedia-the-free-enc-0
    In computing, master data management (MDM) comprises a set of processes and tools that consistently defines and manages the non-transactional data entities of an organization (which may include reference data). MDM has the objective of providing processes for collecting, aggregating, matching, consolidating, quality-assuring, persisting and distributing such data throughout an organization to ensure consistency and control in the ongoing maintenance and application use of this information.

    Permalink | Leave a comment  »

    ]]>
    http://files.posterous.com/user_profile_pics/368140/__.jpg http://posterous.com/users/3sOfpOC5xSnL yuzuru yuzuru yuzuru