ひょうたん

前回 の続き。 先日のサッポロビーム で活動してきた。 今回はほとんどコードを読んでいない。 postgres.c の PostgresMain の query とか parse とは？というあたりを調べた。 あとはPostgreSQLのドキュメントを色々読んでた。 "簡易問い合わせ"と"拡張問い合わせ" PostgreSQLのドキュメントの「フロントエンド/バックエンドプロトコル」が参考になります。通常利用される問い合わせプロトコルに"簡易問い合わせ"と"拡張問い合わせ"があるとのこと。 フロントエンド/バックエンドプロトコル 接続開始 通常操作 簡易問い合わせ Query 拡張問い合わせ Parse Bind Execute 関数呼び出し FunctionCall（非推奨らしい、Bind & Executeを利用せよとのこと） その他特殊な操作向け Copy など... 接続終了 PostgresMain ではこのプロトコルの内、接続開始後の各サブプロトコルの種類を判別してそれぞれのサブプロトコルで定義される操作を呼び出している模様。 簡易問い合わせと拡張問い合わせの概要は次の通り。 "簡易問い合わせ"プロトコルでは、フロントエンドはテキストで問い合わせ文字列を単に送信し、バックエンドによって解析され、即実行されます。 "拡張問い合わせ" プロトコルでは、問い合わせの処理は、解析、パラメータ値の結び付け、そして実行という複数の段階に分離されます。 これは複雑性が加わりますが、柔軟性と性能という点で利点が生まれます。 このあたりを念頭に各操作の内容を読んでいけばなんとかなりそう。 その他 演算子クラス/演算子族 ひたすらドキュメントを読んでたらインデックス周りで演算子クラスとか演算子族というのが出てきた。 インデックスの種類やデータ型ごとに演算子クラスをユーザが定義することで、独自にインデックスを拡張できる？らしい。演算子クラスをまとめたのが演算子族？なのかな？インデックス周りを確認するときにもうちょっとちゃんと調べる予定。 htt...

昨年末からちびちびとPostgreSQLのコードを読み始めた。 ちびちび読んでいるので、次読むときにどこ読めばいいか忘れるのでその記録。 とは言ってもそんなに C に堪能ではないので、結構飛ばしつつ流れを追っている段階。。。 まずはインデックスとかDBの物理ファイルあたりにたどりつくのが目標。 前回までに読んだところ src/backend/main/main.c コマンドでサーバーを起動したときの開始ポイント。まずはここから src/backend/postmaster/postmaster.c#PostmasterMain マスタープロセスの起動部分。マスタープロセスから起動時に各種バックエンドプロセスが、コネクション接続時にバックエンドプロセスがフォークされる模様 今回読んだところ src/backend/tcop/postgres.c#PostgresMain コネクション毎にpostmasterからフォークして作成されるバックエンドプロセスのメイン部分。コネクションを通してクエリを受け取ったりする。。。はず 次回 https://github.com/postgres/postgres/blob/master/src/backend/tcop/postgres.c#L3969 ここから。バックエンドでコマンドを受け取って種類ごとにゴニョゴニョするっぽい。 疑問 次回読み始める箇所のコマンドにあたるものの位置づけがまだ把握できていない（queryの他にparseとかある。parseは何のparse?） ディレクトリ名のtcopってなんだ？ DBの物理ファイルとかバッファプール関連の初期化箇所をすっ飛ばしたっぽい。。。 Windows の場合は fork する代わりに exe ファイルを起動しまくっている？ 役立つもの milkode  - とりあえず選択して Shift + S！ 内部構造から学ぶPostgreSQL 設計・運用計画の鉄則  - 概要がわかる。よい なるほどUnixプロセス ― Rubyで学ぶUnixの基礎  - fork とか signal とかめっちゃでてくる！

もひゃです！先日開催された  RubyKaigi2014  に参加してきました！ ジュンク堂RubyKaigi支店に貢献してきました。帰り道は重みがつらい。。。自制心、大事。 初の The RubyKaigi 参加かつ、東京にあまり知り合いもいないしで緊張したのですが、 いつもの札幌勢＆元札幌勢がたくさんいたので、さほどぼっちにはならず。ありがたいー。 @nagachika さんの CRuby Committers Who's Who in 2014 （ @see 2013 ）が生で見れたり、@tenderlove 氏の生駄洒落クラブを見れたり、@kakutani さん（緊張したり、元気だったり疲れたりとせわしない）を見れたりと、"お約束"的な所はひと通り堪能し、聞きたいセッションもだいたい聞けたので満足でした！ 全体としては、半分強くらいが英語のセッションだった印象。 英語セッションはちょっと聞き逃すと話の筋を理解できないことが多かったので、ちょっと鍛錬しておいたほうがより楽しめそう。。。 以下、いくつか聞いた中で特に面白かったなぁというセッションをちょっと紹介。

たまたま図書館にあったのでなにとなく借りたのだけれど、とても良かった。 ぼんやりとは知っているけど、ちゃんとわかっていなかったインフラ関係のあれこれを整理することができた。 インフラ冗長化の仕組み インフラ冗長化構成の一例 Reverse Proxy 等の意義と役割 サーバーのチューニング 運用 ちょうど、先日  +Naoya Ito  さんが書いてた  "Reverse Proxy がなぜ必要か"  とかその辺りの話についても詳しく書いてある。（該当箇所はまさに naoya さんが執筆している） 本人が "（とっても）素晴らしい本" と紹介しているが、実際インフラまわりの知識を俯瞰することができる良書だと思う。かなりよかった。 ただし、発行年がちょっと古い(2008)ので、ちょっと内容が古くなってしまっている箇所があるのには注意が必要そう。今だと nginx を使うよぜーという箇所で Apache を使うような構成が紹介されていたりということがあるので、その点については新しい情報を追う必要がありそうです。 個人的には Reverse Proxy の役割とか、ロードバランサーの冗長化ってどうやってるの？みたいな箇所が fmfm なるほどー！でした。インフラ気になる人には大変オススメ。

Symfony2 では xdebug を導入しなくても、簡易なプロファイラーを利用できます。 "タイムライン"で各処理が消費した時間を見ることができるのですが、コントローラーから呼び出された各処理については自動で時間を取得してはくれません。 Symfonyで提供しているプロファイラーのタイムライン ・・・というわけで独自項目をタイムラインへ追加する方法について調査しました。 タイムラインへの追加手順は次の通り。 タイムラインに追加したい処理を行うオブジェクトに "debug.stopwatch" を DI $stopWatch = $this->get('debug.stopwatch'); $event = $stopWatch->start('hogehoge'); ...(任意の処理)...; $event->stop() こんな感じになります 残念ながら ドキュメント にはこのあたり書いてないのですよね。。。 以下、調査メモ

Symfony2では設定ファイルで定義したDIの内容を、キャッシュ時にコードとして埋め込む"コンパイル"を利用することができる。・・・のだけれど、実際使用方法とかカスタマイズ方法とかが今ひとつ理解しきれていないので、確認してみる。 多分その気になれば、かなり色々なことができるのではないかと期待しているのだけれど。。。 とりあえずは別途記載した SQL ファイルの内容をクラスに埋め込むというのを目標としてみる。 まずは公式ドキュメントを参考に概要と使用方法を確認してみる。 （翻訳） http://docs.symfony.gr.jp/symfony2/cookbook/service_container/tags.html （原文） http://symfony.com/doc/master/components/dependency_injection/tags.html 概要 設定ファイルのタグに記載した設定をPHPコードとしてキャッシュできる ChainOfResponsibility パターンなどで利用できる 使用時にはタグを設定する PHPコードにできるということはAPCの恩恵に預かれるということなので、できればぜひとも便利に使っていきたいところ。きっと ChainOfResponsibility パターン以外でも利用できる箇所は多い・・・よね？ 使用方法 コンパイルを利用するサービスクラスを作成、DI設定を記載 1で設定したサービスにぶち込むクラスを作成、DI設定を記載、タグを付ける Bundle クラスに build メソッドを追加、XxxxCompilerPass の利用を宣言 XxxxCompilerPass クラスを作成、どのタグに対してどんな処理を行うのか記載 サービス生成ロジックのキャッシュコード生成時に、2のDI設定がPHPコードとして固定で記載される XxxxCompilerPass のあたりが肝のようなので、ここで他にどんな処理が可能なのか確認してみるつもり。 http://docs.symfony.gr.jp/symfony2/cookbook/service_container/tags.html#compilerpass それにしても、こ...

久々にシェルスクリプトを書いた。 こんなのを書いたら結構遅かった。 区切り文字がもともとスペースだったので配列にしてみたら大分早くなった。 #!/bin/sh MIN=$1 while read i; do # 入力文字中のスペース区切りのn番目の数値を判定してフィルタリング VAL=`echo $i | cut -d " " -f 11` if [ $VAL -ge $MIN ]; then echo $i fi done #!/bin/sh MIN=$1 while read i; do items=($i) if [ ${items[10]} -ge $MIN ]; then echo $i fi done そっかー、配列かー シェルスクリプトの配列って扱いづらくて苦手の感じある。 分岐をなくせばもっと早くなりそうだけど、、、それはちょっと難しそう。