Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要…
LLC(合同会社)の設立・運営ができる本作者:五十嵐 博一日本実業出版社Amazon 7万5千円で会社を作ったった【前編】のまとめ 7万5千円で会社を作ったった【前編】 - Yuta.Kikuchiの日記 @yutakikuchi_です。7万5千円で合同会社を作った話の続きをします。後編…
LLC(合同会社)の設立・運営ができる本作者:五十嵐 博一日本実業出版社Amazon 退職エントリー後 Yahoo!を退職します。 - Yuta.Kikuchiの日記 同窓会連絡のノウハウをブログに書いたら2chでdisられた@yutakikuchi_です。 月日が経つのは早いもので「退職エント…
16年ぶりの再会 LevelInfinity.Labという会社の代表をやっています@yutakikuchi_です。2014年1月3日に新潟市のANAクラウンプラザホテルという素晴らしい会場にて新潟市立小新中学校同窓会を実施しました。今回は幹事代表として全員への連絡や会の企画等全て…
DSP/RTBオーディエンスターゲティング入門 (Next Publishing)作者:横山 隆治,菅原 健一,楳田 良輝インプレスR&DAmazon DSP/RTBオーディエンスターゲティング入門読了 あどてくやってます@yutakikuchi_です。 今日は帰省中の新幹線で読んだ「DSP/RTBオーディ…
Redis in Action作者:Carlson, Josiah L.Manning PublicationsAmazon Redis 広告配信やっています@yutakikuchi_です。 Redisの内部処理が1スレッドで受けているようなので、マルチプロセスからRedisに書き込み処理を大量に流した時にどうなるのかを検証して…
Apacheクックブック 第2版 ―Webサーバ管理者のためのレシピ集作者:Ken Coar,Rich BowenオライリージャパンAmazon Request Parameter取得とDB接続 母校の同窓会幹事代表を務めています@yutakikuchi_です。 最近C++のエントリーを書く事が多いですが、今日もAp…
C++プログラミング入門作者:サティア,グレゴリー,ブラウン,ダウグオライリー・ジャパンAmazon お手軽暗号 @yutakikuchi_です。 今日はcppで暗号/復号するためのエントリーを書きます。PHPやPythonにはcrypt標準モジュールがありドキュメントも充実しているの…
Cu-hackerとは あどさーばーを開発中の@yutakikuchi_です。 今日はビジネスマンの面倒くさいスケジュール管理を強力にサポートしてくれる「Cu-hacker」の仮登録機能を紹介したいと思います。前もってスケジュール候補をたくさん抑えたい人には超お勧め機能な…
C++ Apache Module Tutorial あどさーばー作っています@yutakikuchi_です。 広告配信等の処理高速化の実現手段としてCを使ってApache/NginxのModuleレイヤーで処理を書く事があります。Apache/NginxのModuleはCを基本としているんですが、char*の処理は面倒…
避難所 防災情報 全国避難所ガイド | ホーム 避難所マップ - Yahoo!天気・災害 @yutakikuchi_です。オープンデータへの貢献という大義名分っぽい事を掲げ、避難所データを構造化テキストで作成し、更にはポイントを地図上へのマッピングします。避難所という…
僕が22,3歳の頃はちょうどLivedoorでホリエモンが大活躍をしていた時で、「俺も30歳になる時は六本木ヒルズに住んでやる！ホリエモンの部屋の隣に住んでやる！」って夢を大きく語っていた、そんな大志を抱いていた時期もありました。あれから7年近く経って30…
ギーク野郎 ギーク野郎とは開発用Terminalを常に立ち上げてプログラミング言語をいじっている人の事をここでは意味します。ギーク野郎はモニターを複数台所有し、それぞれがTerminal用、ネットサーフィン用、ニコニコ動画専用というような使い分けをしていま…
追記 PHPでdefineのかわりにhidefをつかう必要はない - id:k-z-h トラックバックに対して反応を書いた事が無いんですが、ちゃんとした内容が掲載されていたのでこちらでも追記しておきます。エントリーアップ時にdefineを辞めてhidefに切り替えることを強く…
謝罪 Object Oriented JavaScriptの入門 - Yuta.Kikuchiの日記 2013/08/27に公開したObject Oriented JavaScriptの記事ですが、prototype周りの説明がいい加減だったため内容を一旦削除することにしました。多くの方にBookmarkして頂いたお陰でホットエント…
Index 一言 Terminalログアウト後もプロセスを残す プロセスの2重起動防止 簡単に不要なプロセスをkillする tmuxの薦め 一言 はてなって不思議なコミュニティーで具体的な実装や調査分析よりも便利なコマンドとかを紹介するネタが何故か重宝されるようなので…
Index RealTimeAccess集計 Capped Collection Tailable Cursor まとめ RealTimeAccess集計 RealTimeAccess集計をするためにMongoDBの利用を考えます。サーバーの構成は上図のようなイメージで各種ApplicationServerからFluentdでLogAggregatorにRealTimeでLo…
Index 検索結果のリンクは単なるRedirectorでは無かった 検索結果のhttps化 httpsからhttpページへの遷移ではブラウザはRefererを送らない Google先生はRerererを送る仕組みを実装してくれた Refererが送信される処理の流れを追う httpsからhttpsページへの…
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計…
Log集計の設計を再考 【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記 人生を前向きに楽しむことを心に誓った@yutakikuchi_です。最近はこのブログで【進撃の巨大データ】というタイトルで何回かBigDataに関する記…
[:W560] Log集計用DB設計 考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので…
BrowserID管理の必要性 BehaviorTargeting調査レポート - Yuta.Kikuchiの日記 進撃の巨人とADTechnologyの面白さを最近の楽しみとしている@yutakikuchi_です。BigDataという言葉が大変流行っていますが、巨大な力を持つ大量のユーザーアクセスとそれから生ま…
日付型の変換処理 Date/Timestamp変換のまとめ - Yuta.Kikuchiの日記 10言語のプログラミング言語に対してそこそこの知識を保有している@yutakikucです。いろんなプログラミング言語を使用していると文法を覚えるのは大変ですよね。PHP書いている途中からJav…
Mogodb集計 MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記 1月程前にMongoDBを使った集計機能の紹介をさせていただいた@yutakikucです。内容は全く大した事無かったのですが、タイトルで誘導を引っ張って200近いbookmarkを集める事が…
起業前に こんにちは、広告配信の最適化で常に頭が一杯な@yutakikucです。平日の深夜に読み進めた本は起業前の初歩的な知識がまとまっているものでした。具体的な起業手順が分かりやすく書いてあるので、実際の作業にとても参考になると思います。[必要なも…
WEB+DB PRESS Vol.72作者: 近藤宇智朗,生井智司,Dr.Kein,tokuhirom,森田創,中島聡,堤智代,A-Listers,はまちや2,竹原,川添貴生,久保達彦,道井俊介,飯田祐基,中村知成,規世やよい,後藤秀宣,天野祐介,奥野幹也,WEB+DB PRESS編集部出版社/メーカー: 技術評論社発…
エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド作者: 奥野幹也出版社/メーカー: 技術評論社発売日: 2010/06/12メディア: 大型本購入: 16人 クリック: 204回この商品を含むブログ (31件) を見る 重要なデータはMysqlへ CentOSでNginxのロ…
FuelPHP入門作者: 早川聖司出版社/メーカー: ソーテック社発売日: 2012/06/02メディア: 単行本購入: 10人 クリック: 192回この商品を含むブログ (9件) を見る 様々な技術を求められる開発現場 じゃあ、いつRails始めるの？... 今でしょ！ - Yuta.Kikuchiの日…
実践 Rails ―強力なWebアプリケーションをすばやく構築するテクニック作者: Brad Ediger,株式会社クイープ出版社/メーカー: オライリージャパン発売日: 2008/10/27メディア: 大型本購入: 7人 クリック: 90回この商品を含むブログ (43件) を見る Index はじめ…
MongoDBイン・アクション作者: Kyle Banker,Sky株式会社玉川竜司出版社/メーカー: オライリージャパン発売日: 2012/12/14メディア: 大型本購入: 5人 クリック: 55回この商品を含むブログ (4件) を見る MongoDB集計機能 CentOSでNginxのログをFluentdを使って…
