Subscribed unsubscribe Subscribe Subscribe

Hateburo: kazeburo hatenablog

Operations Engineer / Site Reliability / 運用系小姑 / Perl Monger

GCP HTTP(S) load balancing 配下のnginxでクライアントIPを取得する方法

GCP HTTP(S) load balancing の X-Forwarded-For ヘッダは少し変わっているのでメモ。 X-Forwarded-For とクライアントIP ELBや他のproxyを使って、その配下のサーバにリクエスト元のIPアドレスを伝える際には、X-Forwarded-For ヘッダが使われます。 X-Forw…

N秒間だけクエリ実行ログを取りたい

pt-query-digestだったり調査のために、N秒間だけmysqlの全クエリのログを取得したいということはよくありますよね そんな時はこんなコマンドを使うと簡単に指定の秒数slowlogを切り替えて保存、取得後に元に戻してくれます。 $ slowlog.pl --duration 10 --…

【29年ぶりの大雪】YAPC::Hokkaido 2016 SAPPORO へ行ってきた! 【試される大地】

JPAの新しいメンバーのもと、REBOOTされたYAPC::Asia、YAPC::Hokkaido 2016 SAPPOROに、ゲストスピーカーとして呼んでいただけたので、行ってきました。 発表資料はこちら。 メルカリの技術ブログで紹介したSRE、1年たってエンジニアの新しいロールとして少…

libeatmydataを使ってpostfixを劇速にする [用法用量要確認]

libeatmydataというLD_PRELOADを使って、起動したプロセスのfsyncを無効化するライブラリがあったので試してみています。 libeatmydata - disable fsync and SAVE! fsyncがないと何が嬉しいかというとクラウドのようなIOまわりの環境が弱いところで、安全性…

Ruby 2.4.0 preview3 での pico_http_parser のベンチマーク

Ruby 2.4.0-preview3 で Hash まわりの改善があったということで、pico_http_parser のベンチマークを取ってみた Ruby 2.4.0-preview3 リリース GitHub - kazeburo/pico_http_parser: Fast HTTP Parser using picohttpparser ベンチマークは。pico_http_pars…

最近の Plack のパフォーマンス改善まとめ 2015年11月版

OSS活動の成果発表のお時間です。 Plackの 1.0038と2015年11月27日時点のmasterにはPlack::Request、Plack::Responseのパフォーマンスをあげる変更が入ってます。その紹介とベンチマークです。 github.com Plack 1.0038 で HTTP::Headers::Fast 0.20 につけ…

crontabのsyntax checkをTravis-CIで行う

crontabファイルをrespositoryで管理していますが、テストができてなかったので、それを解消すべくTravis-CIでやってみました。 .travis.yml language: ruby script: - cat crontab.ok.txt | crontab - cat crontab.fail.txt | crontab travisで実行された様…

2007-2015 YAPC::Asia Tokyo で喋ってきたまとめ

今年のblogはまだ書いてないけど書きました、これまでYAPC::Asia Tokyo で喋ってきたblog記事をまとめてみました 2007年から2015年まで10回中9回、トーク(2007年はLT)をさせて頂きました。 2015 ISUCONの勝ち方 isucon優勝するぞー! 「100万円欲しいかー!…

Rhebok, a High Performance Rack Handler/Server 2x faster than Unicorn

Last December I released Rhebok to rubygems. Rhebok is a High Performance Rack Handler/Server. rhebok | RubyGems.org | your community gem host kazeburo/rhebok · GitHub Rhebok is a standalone Preforking Web Server. This server is optimized …

SqaleでRailsアプリを高速サーバ「Rhebok」を使って起動する

Herokuに続き、Unicornの2倍のパフォーマンス発揮するRackサーバ「Rhebok」をパパボさんのPaaSであるSqaleで動かしてみる。15日間は無料お試しが出来るそうですよ。 Sqale Sqale - 開発者のためのホスティングサービス【スケール】 Ruby on Rails 対応。 Gem…

HerokuでSinatraのアプリを「Rhebok」で起動する

Unicornの2倍のパフォーマンス発揮するRackサーバ「Rhebok」をherokuで動かしてみる アプリケーションは heroku で Sinatra のアプリを動かす - Please Sleep を参考にさせて頂きました。 Gemfile まずGemfileを用意します $ cat Gemfile source 'https://ru…

picohttpparserのRubyバインディングとPreforkサーバを書く時に便利なgemをリリースしたので、Rackサーバ書いてみた

GazelleでやったことをRubyでもやってみようと思い、まず picohttpparser の Ruby バインディングと、perforkなサーバを書く時に便利なモジュールであるParallel::PreforkのRuby版を書いてリリースしました。 pico_http_parser http://rubygems.org/gems/pic…

Released Gazelle, new Simple and Fast Plack Handler

I released Gazelle, new Plack handler Gazelle - Preforked Plack Handler for performance freaks - metacpan.org Gazelle - Preforked Plack Handler for performance freaks - metacpan.org Gazelle is a Plack Handler/PSGI server. This server is op…

ISUCON4 予選アプリケーションの復習した結果

本選までの間に地道に復習をした結果です。 repositoryはここで公開されています https://github.com/kazeburo/isucon4-elimination-myhack 最終スコア 派手な点ではありませんが、63000弱となりました $ ~/benchmarker bench --workload 8 07:26:29 type:in…

ISUCON4 予選でアプリケーションを変更せずに予選通過ラインを突破するの術

AMIが公開されたのでもう一度やってみた。 AMIについてはこちらのエントリに書かれています ISUCON4 予選問題の解説と講評 & AMIの公開 : ISUCON公式Blog ISUCON4 予選問題の解説と講評 & AMIの公開 : ISUCON公式Blog まず ami-e3577fe2 を m3.xlargeで起…

「記憶に残る風景」 #地元発見伝

伊豆長岡の方から祖父の家がある内浦に出たところ。 左に曲がると三津シーパラダイス。右は沼津市内に戻る 「記憶に残る風景」 #地元発見伝 沼津市, 静岡県県道17号線地元の魅力を発見しよう!特別企画「地元発見伝」

Run any Perl applications on Heroku

I made a simple heroku-buildpack for perl. With using this buildpack you can run any perl application from Procfile.github: https://github.com/kazeburo/heroku-buildpack-perl-procfile Sample and Usage This sample runs a PSGI server and a wo…

Web::Module::CoreList

I created Web::Module::CoreList. This site provides Web interface of Module::CoreList. You can know what modules shipped with versions of perl through this web site.http://corelist.rpee.be/Web::Module::CoreList is created based on tokuhiro…

(解決済み) DBIx::TransactionManager + File::RotateLogsで意図せずトランザクションが終了してしまう件

DBIx::TransactionManager 1.13で子プロセスでrollbackを実行しないような変更が入っています。https://metacpan.org/release/NEKOKAK/DBIx-TransactionManager-1.13TengやDBIx::Sunnyなどでトランザクションを使用し、File::RotateLogsでログを書き出してい…

Router::BoomとRouter::Simpleの文字列エンコードまわりの動作

昨日気付いた。Router::Simpleはいわゆるutf8 flaggedな内部文字列を渡すと、キャプチャしたテキストも内部文字列として得られるけど、Router::Boomはバイナリ列となる。 use Router::Boom; use Router::Simple; use Encode; use Test::More; use utf8; subt…

通信先が明確な内部APIなどのURIを構築するときはURI.pmを使わなくても良いんじゃないかな

通信先が明確な内部APIなどのURIを構築するときはURI.pmを使わなくても良いというかURI.pmはあまり速くないので、文字列連結だけで十分だと思います #!/usr/bin/perl use strict; use warnings; use Benchmark qw/:all/; use URI; use URI::Escape; use URL:…

application/x-www-form-urlencoded パーサーの動作を決める

深淵な理由があって2014年に application/x-www-form-urlencoded のパーサーを作ることになるとして仕様を考える基本はW3CのSPECを参考にしつつ、これまでのアプリケーションとの互換性を保つことを目標とする application/x-www-form-urlencoded ペイロード…

Released POSIX::strftime::Compiler. GNU C library compatible strftime for loggers and servers

I released POSIX::strftime::Compiler v0.10 to CPAN.https://metacpan.org/release/POSIX-strftime-Compiler https://github.com/kazeburo/POSIX-strftime-CompilerPOSIX::strftime::Compiler provides GNU C library compatible strftime(3). But this mo…

Apache::LogFormat::Compiler v0.22 has been released. Fixed bug around DST

Apache::LogFormat::Compiler v0.22 has been releasedcpan: https://metacpan.org/release/Apache-LogFormat-Compiler github: https://github.com/kazeburo/Apache-LogFormat-CompilerFixed bug around Daylight Saving Time(DST). Older version shows in…

POSIX::tzset and Windows

When changing timezone in perl script. POSIX::tzset is required. local $ENV{TZ} = 'Asia/Tokyo'; POSIX::tzset(); localtime(); But Windows does not support this. old Windows dies with "not implemented" error. newer Windows does not die. But …

Starlet / How to listen to Unix Domain Socket without Server::Starter

Define $ENV{SERVER_STARTER_PORT} in your script. if (-S $socket) { warn "removing existing socket file:$socket"; unlink $socket or die "failed to remove existing socket file:$socket:$!"; } unlink $socket; my $sock = IO::Socket::UNIX->new( …

Amon2でKossy::Request/Responseを使う

使う事があるかどうかは置いといて、使えた package MyApp::Web; .. # request/response use Kossy::Request; use Kossy::Response; sub create_request { Kossy::Request->new($_[1]) } sub create_response { shift; Kossy::Response->new(@_) } メリット…

データベースのmasterとslaveの使い分けの話。2014年版

社内で少し話題になったので。運用上の話はfujiwaraさんのMySQLをmaster:slave=1:1構成にして参照をslaveに向けるのがなぜ良くないか - 酒日記 はてな支店 MySQLで参照の負荷分散を行うslaveは3台から構成するのがよいのでは - 酒日記 はてな支店をみてくだ…

Starlet + Server::Stater で UNIX domain socketに対応しました

Starlet-0.21がリリースされました。Starlet-0.21 - a simple, high-performance PSGI/Plack HTTP server - metacpan.org - Perl programming languageこのバージョンからServer::Staterとの組み合わせでUNIX domain socketをListenすることができるようにな…

ISUCON3 予選のAMIでスコア 65000点以上を出す方法 #isucon

ISUCON3 の予選AMIが公開されてから、ごにょごにょとHackした結果、スコアで65000まで出す事ができました。(一回だけ66000でけどたぶんインスタンスガチャ)「ISUCON 本戦出場者決定のお知らせ」をみると予選の時のトップのスコアが3.3万(自分たちは1.5万ぐら…

How to automate CPAN.pm configuration on Travis

I want to automate CPAN.pm configuration on Travis. I wrote .travis.yaml like this language: perl before_install: - cpanm -n CPAN - (echo y;echo y;echo o conf commit)|cpan - cpanm -n Module::Install Module::Install::Repository Module::Inst…

Kossy-0.24 Trial has been released. It contains new BodyParser

I released Kossy-0.24-Trial. It contains new request-body parser Kossy::BodyParser.https://metacpan.org/release/KAZEBURO/Kossy-0.24-TRIALKossy::BodyParser is based on tokuhirom's Plack::BodyParser https://github.com/plack/Plack/pull/434I t…

アプリケーションに手を入れずに #isucon 2013 予選のperlアプリケーションのスコアをあげてみようの巻

セッション管理モジュールやルーティングライブラリが速くなる事で何もしなくても isucon3 予選のperlのアプリケーションが高速化していく— masahiro nagano (@kazeburo) October 10, 2013ということで、やってみた。 初期 「オンライン予選で使用した問題が…

Monoceros-0.26 and Plack::Middleware::Static::OpenFileCache

Monoceros-0.26 uses sendfile(2) for sending file if Sys::Sendfile is available.https://metacpan.org/release/MonocerosPlack::Middleware::Static::OpenFileCache can cache opened file handles like nginx's open_file_cache. Static::OpenFileCache…

Plack::Middleware::Session::Simple has been released

English document is available on metacpan! Plack::Middleware::Session::Simpleをリリースしました。Plack::Middleware::Session(Store::Cache & State::Cookie)と互換性を保ちながら、効率よく動作することを狙っています。 必要なときに必要なだけ Set-…

Kossy::Validator

I released Kossy::Validator to CPAN. It was separated from Kossyhttps://metacpan.org/release/Kossy-ValidatorYou can use Kossy::Validator modules w/o Kossy.ぜひ毎日通って下さいww RT @mackee_w: Kossy::Validator分離してくだされ〜〜〜〜〜〜〜…

Cache::Memcached::Fast::Safe 0.04 was out. It has get_or_set()

I added get_or_set() to Cache::Memcached::Fast::Safe and released as ver. 0.04https://metacpan.org/release/Cache-Memcached-Fast-SafeI saw some people make a module that inherits Cache::Memcached::Fast::Safe only for adding get_or_set(). sa…

Released Kossy-0.23. Improve Performance

Kossy-0.23 gets 2x or more faster. https://metacpan.org/release/KossyI made these changes. Cache Kossy::Request->base. URI->canonical is slow. Use Router::Boom for router Use HTTP::Headers::Fast Optimize Kossy::Response->finalize Benchmark…

Plack::Middleware::Session uses Cookie::Baker

Plack::Middleware::Session 0.21 uses Cookie::Baker for improve performance. Cookie::Baker is simple cookie generator/parser module. https://metacpan.org/release/Plack-Middleware-SessionPrevious version of Plack::Middleware::Session uses Pl…

Released Cookie::Baker to CPAN

I released Cookie::Baker that provides HTTP cookie generator and parserhttp://search.cpan.org/~kazeburo/Cookie-Baker/ https://metacpan.org/release/Cookie-Baker### synopsis use Cookie::Baker; $headers->push_header('Set-Cookie', bake_cookie(…

Monoceros supports accept4(2)

tokuhirom released Linux::Socket::Accept4 that provides accept4(2) Monoceros-0.25 uses accept4 if Linux::Socket::Accept4 is avaliable.accept4(2) can set FD_CLOEXEC and O_NONBLOCK in one system call.Monoceros-0.24 select(16, [4 10], NULL, N…

ISUCON3 予選に参加してきました。無念ばかり残る

isucon3予選に @sugyan @tagomorisとLINE選抜チームを組んで参加しました。共催枠なので結果に関わらず本戦には出れるのですが、結果は総合8位。無念です やったこと sugyanのエントリが詳しいのですが、自分がやったのは nginx(openresty)への入れ替え mysq…

The number of item that memcached-1.4.15 can keep is less than older version?

I decided to downgrade memcached because there was trouble several times in 1.4.15. After downgrading to 1.4.14, the memcached keeps item 7% more than 1.4.15.1.4.15 has a bug around slab allocator? ref: https://code.google.com/p/memcached/…

Nginx gzip and Vary. How to

I want to output "Vary: Accept-Encoding,User-Agent". But gzip_vary only adds Accept-Encoding. "add_header Vary" does not merge headers.My answer is.. location / { gzip on; gzip_disable "MSIE [1-6]\."; gzip_types text/css application/x-java…

xbuildとCartonを利用したPerlアプリケーションのデプロイ環境の構築

最近、新しいサーバでサービスを動かしたりベンチマークを取る場合には、モリスさんのxbuildを使ってるhttps://github.com/tagomoris/xbuildxbuildを使うとローカルの任意のディレクトリにPerl(Ruby,Node.js,PHP,Pythonにも対応)のランタイムを設置してくれ…

Released Plack::Middleware::ServerStatus::Lite 0.30, includes server-status command

I released Plack::Middleware::ServerStatus::Lite 0.30. This version includes `server-status` command.https://metacpan.org/release/Plack-Middleware-ServerStatus-Liteserver-status command is able to display server status without HTTP request…

Released Cache::Memcached::Fast::Safe 0.03, fixed connection leak bug

I released Cache::Memcached::Fast::Safe 0.03 to cpanhttps://metacpan.org/module/Cache::Memcached::Fast::Safeversion 0.02 has a connection leaking bug. Please update if you use this.

Starlet and Monoceros reached 100kreqs/sec

Preforking Plack::Handler, Starlet and Monoceros reached 100kreq/sec on my "Hello World" benchmark. Starlet $ plackup -s Starlet -E produnction --max-workers 40 --max-reqs-per-child 50000 \ -max-keepalive-reqs 10000 -e 'sub{[200,[],["Hello…

Plack < 1.0029 and http_proxy

Plack $ no_proxy=www.cpan.org http_proxy=http://localhost:3941 cpanm --test-only MIYAGAWA/Plack-1.0028.tar.gz --> Working on MIYAGAWA/Plack-1.0028.tar.gz Fetching http://www.cpan.org/authors/id/M/MI/MIYAGAWA/Plack-1.0028.tar.gz ... OK Conf…

Starlet 0.20 supports HTTP/1.1 / Benchmark by wrk

PSGI/Plack HTTP server Starlet 0.20 that was released last week, supports HTTP/1.1.https://metacpan.org/release/Starlet https://github.com/kazuho/StarletPrevious versions of Starlet only support HTTP/1.0 and HTTP/1.0 keepalive, but finally…