Server

d3.jsで通信トラフィック可視化をやってみた

ゼミでSparkのノード間通信を可視化しようという話になった。 肝心のクラスタがグローバルネットワークから隔離されており、ログインノードからしかアクセスできないという環境だったので、 クラスタで収集したパケットキャプチャログをログインノードに送る…

Apache Sparkで特異値分解

Slacaなんて2年ぶりくらいに書いたし、ぶっちゃけほとんど何も覚えてなかったので、今後Sparkを使う可能性がある上で備忘録として。 ちなみに、Scala, sbt, Sparkのセットアップについては触れない。 import org.apache.spark.SparkContext import org.apach…

HTTPリクエストで画像をPOST送信

普段formを使っているとPOSTでどうやってパラメータが送信されてるとかあんまり意識しないので、Pythonで画像ファイルをPOST経由で送ろうとしたら一瞬で詰んだ。 とりあえずはWiresharkとか使ってHTTPモニタリングして、どんなパケットを送受信してるか観察…

capistrano 3.xでrails appをdeployするときにハマったこと

railsアプリをデプロイするときに最近流行のCIってやつに乗ってみるかと思って、普段なら手動デプロイしていたところを自動デプロイすることにした。 調べてみたらどうやらcapistranoという、ほぼデファクトスタンダードになっているgemがあるとのことだった…

さくらレンタルサーバのプラン移行

バイトで立て込んでたので久しぶりの投稿です。 あ、今関わっているアプリはなんとかリリースにこぎつけたので、概ね一件落着です。今回は備忘録的なもの。さくらのレンタルサーバについて。 とある団体のサーバを管理することになって、折角だから容量増や…

SQLでカラムの値が重複しないレコードをカウントする

個人的メモに近い何か。MySQLって意外とビルトインの関数が豊富だったりするので、思ったよりいろいろなことが各種スクリプト言語の助けを借りずにできてしまうっぽい。 というわけで、カラムの値が重複しないレコードのカウント。(例)ログイン履歴のテー…

LDAPの導入

共用サーバではSSHにFTPになんやらかんやらアカウントをたくさん管理せねばならず、どうにも面倒… そんな悩みを解決してくれるLDAPというツールがあるという情報を小耳に挟んだ。LDAPとは… エルダップ LDAP 【 Lightweight Directory Access Protocol 】 イ…

ホームディレクトリ以下のファイルへのシンボリックリンクが読み込めない

今回はtipsということで短く。 ApacheのDocumentRootを逐一変更するのは面倒だと思ったとき、実際のwebrootのシンボリックリンクをDocumentRootへはることがあると思う。 例えば、/home/levelfour/wwwがwebrootになっているとき、$ ln -s /home/levelfour/ww…