2015/09/27

Hadoop : CPU system 使用率高騰 "zone_reclaim_mode = 1" 編

›
はじめに 　会社で PB 級の Hadoop クラスタを運用していますが、ある日から Datanode の CPU system (Kernel 内での CPU 使用率) が高騰し、Job が遅延するという症状が発現しました。Hadoop で CPU system 高騰...
2015/07/16

FreakOut DSP 入札サーバの CPU 使用率を 30% 削減する Performance Tuning

›
はじめに 　勤務先の FreakOut 社では RTB で広告枠を買い付ける DSP の開発・運用を行っています。RTB とは、インターネット広告のインプレッションが生じる毎に、広告枠の競争入札を行う仕組みです。 DSP とは、 RTB において、競争入札をする側のシス...
2014/07/24

Linux システムコールのブロック・ノンブロックまとめ

›
はじめに Linux にはブロックするシステムコールとノンブロックなシステムコールがあります。さて、システムコールが「ブロックする」とはどういうことでしょうか。よく、ブロックするシステムコールとは「処理が完了するまでプロセスの動作が中断され待たされること」という説明を見ますが...
2014/05/12

Docker を支える Linux Kernel の機能 (概要編)

›
はじめに Docker はコンテナ型仮想化技術を使ってOSレベル仮想化を実現するコンテナ管理ソフトウェアです。類似のコンテナ管理ソフトとしては、Docker の他にも libvirt、 lxc-tools などがありますが、 Docker には以下の大きな特徴があります。 ...
2014/05/08

Docker のビルド方法に見る Golang の利点

›
以前、Docker をビルドしていて、以下の事実に気づきました。 事実： Docker は自身をビルドするのに Docker を用いてコンテナ内でビルドしている 実際、ソースコード直下に、以下の Dockerfile が置いてあります。中を参照すると、ubuntu の...
2014/02/26

Erlang VM(BEAM) スレッド構成

›
Erlang の実行環境である BEAM の動作を理解するため、BEAM のスレッド構成を調査しました。 BEAM は SMP(マルチコア) 環境と非 SMP 環境では動作が大きくことなります。SMP環境と非SMP環境に分けてスレッド構成を記載します。 調査対象の OTP ...
2014/01/16

Erlang/OTP crypto モジュールエラー on Fedora 19

›
Fedora 19 環境で自分でインストールした Erlang/OTP を使って、rebar を利用したところ、以下のようなエラーが出ました。 Uncaught error in rebar_core: {'EXIT', ...