PythonのGlobal Interpreter Lock (GIL) について

ソフトウェア開発

Python (CPython) では、インタープリターはひとつしかない。このため、複数のスレッドを走らせた場合、ある時点ではひとつのスレッドしか動かない。このためのスレッド同期機構を、Global Interpreter Lock (GIL) という。PythonでのGIL自体は、1992年の初…

2016-10-20

　Pythonのバイトコードまで

ソフトウェア開発

PythonスクリプトからPythonのバイトコードまで、どうなっているかを追いかけてみた。具体的には、Pythonスクリプトから、pycファイルが保存されるまでである。コマンドラインやスクリプトで実行する場合は以下に相当する # python -m compileall file.py …

2016-09-05

Heat/Autoscaling

ソフトウェア開発

HeatのAutoScalingは、Ceilometer (Newtonからは、Aodh)のサーバ等の負荷の信号を用いて、スケールさせる。フローとしては、以下の通り Heat EngineからCeilometerにシグナルを登録 Ceilometerから、Heat_API_CFNに変更を通知 Heat_API_CFNから、Heat Engin…

2016-09-03

Python2*3(six)での違い(printの改行)

ソフトウェア開発

Pythonの版数が、2から3になったことに伴いprint文の位置づけが、ステートメントから関数に変わっている。このためか改行の方法も、変わっている。版数違いの互換性を確保するためには、sixを使って動くように直す必要がある。 Six: Python 2 and 3 Compati…

2016-08-19

OpenStackでのoslo_service/eventlet/greenlet

ソフトウェア開発

OpenStackの各コンポでWSGI (Web Service Gateway Interface) をどう実現しているか?の観点で見ると、eventlet.wsgiを使っている場合が多い。そして、eventlet.wsgiを効率的に動かすために、Greenletを使っている。なお、Greenletは、C言語拡張モジュールに…

2016-08-13

OpenStackでのPythonコーディング規約チェック

ソフトウェア開発

OpenStackの場合hackingモジュールでPythonコード規約をチェックする。ただし、個別のコード規約は、モジュール毎のHACKING.rstに記載されている。そして、実際の個別チェックツールもhackingディレクトリにスクリプトがおかれている。出力されるエラーコー…

2016-08-11

　深層学習のセミナーにて(学習法とか)

ソフトウェア開発

Techfeedさんが開催した深層学習のセミナー(8/10 東京駅近く)にちょっと参加してみた。 TechFeed - Technology-specific information gathering & sharing service. 機械学習を学習する場合、アルゴリズムだけでなく、データも必要であり、どのように調達す…

2016-06-27

　PDFファイルの版数変換

ソフトウェア開発

PDFファイルの版数変換は、ghostscriptで出来ることを今更ながら知る。なお、Windows版だと、gsの代わりにgswin32を実行すればよい。 Use Ghostscript to convert PDF files | Notes to myself これを知らないと、コンビニでの印刷が出来無かったりと、いろ…

2016-04-22

cURLでOpenStackを操作する。

ソフトウェア開発

DevStack環境を構築した後、cURLで、OpenStackを操作してみた。これにより、OpenStackでの基本的な認証フローがわかるようになる。 keystoneに接続してtokenを取得する。下が出力例 curl -X POST http://aaa.bbb.ccc.ddd:5000/v2.0/tokens -H "Content-Type:…