鴫内🚴‍♂️

10/18 (土) 午後から鴫内でトレニーニング走。 1-2% くらいの ゆるいーい坂を 30-40分ほど走って山のふもとにアプローチして、そこから +300m の獲得標高を稼ぐ感じなので 2時間くらいでちょいっと走るのにちょうどボリュームがいい 山に向かって一本に伸び…

第12回 コンテナ技術の情報交換会@オンラインにて 「cgroup と sysfs ファイル - トラブルシューティングから cgroup を深追いする」を発表しました

第12回 コンテナ技術の情報交換会@オンラインに発表しました! ct-study.connpass.com スライド 発表のスライドは下記で公開しております speakerdeck.com speakerdeck でフォントがしゃばしゃばになるのを解決できていないので、PDF でも公開しています ... …

八溝山 🚴‍♂️

10/3(土) 福島・茨城の県境に位置する八溝山を登ってきた (茨城の最高峰らしいですね!) 走行距離 113km, 獲得標高 1960m 小ぶりな山/谷を経て、かなり厳しい八溝山の林道を登るコースになって なかなかしんどかった

那須岳 峠の茶屋駐車場 🚴‍♂️

9/27(日) 那須高原の峠の茶屋駐車場までヒルクライム 走行距離 79km 獲得標高 1280m 2016年、2017年に訪れていて、3年たって今回3度目 hiboma.hatenadiary.jp hiboma.hatenadiary.jp

【続 Vol. 2】 Linux Kernel: cgroup 削除後も残り続ける slab キャッシュ についての調べ物 - upsteam は修正パッチが入って解決済み

どんどんタイトルが長くなっていますが... 先のエントリで書いた問題の補足記事エントリです。 hiboma.hatenadiary.jp 5.9-rc1 以降、slub_memcg_sysfs は何も機能しない slub_memcg_sysfs は、cgroup に関連する sysfs ファイル ( /sys/kernel/cgroup ... )…

【続】 Linux Kernel: cgroup 削除後も残り続ける slab キャッシュ についての調べ物 - upsteam は修正パッチが入って解決済み

以前に下記のエントリを書きました。勉強会に登壇するネタとして調べ直したところ 新しい Linux カーネルでは問題が解決されていました。 hiboma.hatenadiary.jp hiboma.hatenadiary.jp hiboma.hatenadiary.jp hiboma.hatenadiary.jp どんな問題ですか? 「cg…

八方ヶ原大間々台 🚴‍♂️

9/22 栃木県矢板市の八方ヶ原大間々台へヒルクライム。コロナのせいで遠方に出かけるのを控えていたので、ようやく今年初の山。 走行距離 61km, 獲得標高 1143m。在宅の合間で、ランニングやサイクルトレーナーでトレーニングしてものの、すっかり足が衰えて…

会社のテックブログに記事を書きました: ペパボ トラブルシュート伝 - TCP: out of memory -- consider tuning tcp_mem の dmesg から辿る 詳解 Linux net.ipv4.tcp_mem

以下の記事です。 tech.pepabo.com TCP our of memory memory pressure モード net.ipv4.tcp_mem 以上の三つの詳細を扱ったエントリです。TCP で大規模なトラフィックを扱っているサーバを扱われている場合、問題がないかどうかを確かめてみるとよいかと思い…

ピアノと楽しい駆動 - 楽しいはあなた個人でつかむもの

ピアノを弾き始めた。二ヶ月半になる。楽しい COVID-19 の緊急事態宣言で(あるいはその前から) 自宅での時間を持て余して、何か新しい趣味に手を伸ばした人は、相当の数いるだろう。私もその1人だ。 二ヶ月半前、最初は Handel の HWV 440 1. Allmenand の右…

会社のテックブログに記事を書きました : ペパボ トラブルシュート伝 - node プロセスの general protection fault を追う - abort(3) の意外な実装

以下のエントリです。 tech.pepabo.com テーマがテーマなだけに「せいぜい 10ブックマークくらいかなぁと」思ったてけど、もうちょっと増えたのでニコニコ。 今後も、いままで本ブログに書いていたような Linux の低いレイヤでのトラブルシューティングや、…

CD を処分した

CD を処分 (売却した) 押入れに眠っていた大量の CD をせっせとインポートして、自宅待機・自宅勤務の空き時間を使い3ヶ月ほどかけてようやく全作業 (インポート、盤の掃除、箱詰め、業者へ送り出す) を終えた。 扱った CD のほとんどが、音楽サブスクリプシ…

Linux Kernel: cgroup 削除後も残り続ける slab キャッシュ についての調べ物

タイトルの通りで、コンテナの生成と削除が頻繁におこなわれているホストで、 cgroup 削除後も特定の slab キャッシュ ( + sysfs のファイル = kobject ) が残るという現象を調べていました 環境 vagrant@bionic:~$ uname -a Linux bionic 5.4.1-050401-gene…

Linux Kernel: cgroup, sysfs, kobject, uevent についての調べ物 - (3) slub_memcg_sysfs ブートパラメータについて

以下のエントリの続きです hiboma.hatenadiary.jp hiboma.hatenadiary.jp cgroup 内で生成される slab キャッシュに対応する sysfs のファイルが /sys/kernel/slab/<キャッシュの名前>/cgroup/... 以下に生成されることを追っていました。 kernel のブートパ…

Linux Kernel: cgroup, sysfs, kobject, uevent についての調べ物 - (2) 実験編

前回のエントリの続きです hiboma.hatenadiary.jp 実験用のカーネルモジュールを作り、cgroup v1 のメモリコントローラーで制限をかけた状態で sysfs の kobject (slab) が生成されるかどうかを確かめます 実験用のカーネルモジュール 適当な名前の slab キ…

Linux Kernel: cgroup, sysfs, kobject, uevent についての調べ物

cgroup v1 + memory コントローラーで制限を課した際に、sysfs のファイル = kboject が生成/削除されるタイミングやその仕組みを調べていました 例えば下記のような sysfs のファイルです /sys/kernel/slab/dentry/cgroup/dentry(979:@hogehoge)/objects /s…

Linux Kernel: PSI - Pressure Stall Information /proc/pressure/memory で メモリのストールを観察する

下記の続きエントリです hiboma.hatenadiary.jp 今回は PSI - Pressure Stall Information の /proc/pressure/memory についてのエントリ PSI を使うと CPU, メモリ, IO で stall した時間(割合) を計測できるってなことですが、どういった実装で「memory st…

cgroup v1 の kmem.limit_in_bytes は deprecated and will be removed

5.4-rc7 で cgroup v1 の memory.kmem.limit_in_bytes を触っていたら下記のメッセージに遭遇した [ 5627.054183] kmem.limit_in_bytes is deprecated and will be removed. Please report your usecase to linux-mm@kvack.org if you depend on this functi…

松本〜安曇野〜木崎湖〜白馬 🚴‍♂️

11/2(土) 〜11/4(月) 二泊三日の松本旅行の2日目 松本から安曇野〜木崎湖〜白馬まで走った. 後半は天気が崩れてしまった ちょいと消化不良だったので、来年またリベンジだな 走行距離 79km 獲得標高 977m

strace -c を使う際に -w オプションを使い分けよう

strace を使う際に -c をつけると、システムコール呼び出しの統計を取れる vagrant@xenial:~$ strace -c find >/dev/null % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 47.43 0.03…

Linux Kernel: PSI - Pressure Stall Information /proc/pressure/io で IO 待ちを観察する

www.kernel.org Linux Kernel 4.20 で導入された PSI - Pressure Stall Information の /proc/pressure/io について気になることがあったので調べていました イントロダクション PSI を使うと CPU, メモリ, IO で stall した時間(割合) を計測できるってなこ…

小淵沢〜霧ヶ峰〜松本 🚴‍♂️ (1)

11/2(土) 〜11/4(月) で松本に二泊三日して、あちこちの山を走ってきた。その1日目 小渕沢から霧ヶ峰にのぼって松本まで走った. 山梨・長野は秋も最高だ 走行距離 97km 獲得標高 1668m

Linux Kernel: cgroup v1 の制限下で slab_out_of_memory を発生させて観察する

イントロダクション cgroup v1 の memory コントローラーで memory.kmem.limit_in_bytes を制限すると slab_out_of_memory を起こすことができるので、それを調べたり観察したエントリです 不具合・バグの調査ではないです ソースやコマンドの結果を大量に貼…

Linux Kernel: カーネルモードで CPU 掴んでるタスクのバックトレースをとりたい

表題の通りなのだが、結論からいうと sysrq-trigger を使うのがいいみたい 「特定のタスクがクリティカルセクションを実行していてボトルネックとなっているが、どのタスクなのか分からない」という事象を正確に観測したくて、このテーマで調べました カーネ…

Linux Kernel: rtnl_mutex を長時間 ロックして刺さった状態を観察する (2) with bpftrace

前回の続き hiboma.hatenadiary.jp rtnl_mutex でロックを獲得してクリティカルセクションを実行中のタスクを何らかの方法でトレースしたり、時間を計測したいと思って、あれこれ調べたり、試行錯誤していた 最終的に bpftrace でがちゃがちゃと試すまでを記…

八ヶ岳〜清里〜野辺山〜軽井沢 🚴‍♀️

ちょっと前に書いて出し忘れていた 10月5日(土) の記録 甲府〜八ヶ岳〜清里〜野辺山〜軽井沢のコースを走った. 今年の5月にも同じ場所を走ったのだが途中のコースをかえて楽しんだ hiboma.hatenadiary.jp 台風でたいへんなことになった千曲川沿いも走ってた…

strace 5.2 で追加された -z -Z オプション

strace.io strace 5.2 で追加された -z -Z オプションが面白かったので書いておきます (注意: この記事を書いた時点では 5.3 が最新です ) -Z 失敗したシステムコールだけフィルターしてくれるオプション root@xenial:~/strace-5.3# ./strace -Z ls >/dev/nu…

Linux Kernel: rtnl_mutex を長時間 ロックして刺さった状態を観察する

Linux Kernel で struct net_device や Routing Netlink の処理を排他制御する mutex である rtnl_mutex を任意の時間 ロックするカーネルモジュールを作成して、rtnl_mutex のロックがユーザランドのプロセスやカーネルスレッド等にどういった影響を及ぼす…

Proof of Concept: Linux カーネルモジュールで特定のディレクトリ以下の dentry キャッシュを破棄する (2)

hiboma.hatenadiary.jp 前回の続きのエントリです カーネルのバージョンを変えつつ ソースを読み込んでみたところ理解が進んだ点が2つあったのでまとめます ファイルシステム(マウントポイント?) を remount すると dentry を破棄できる evict_inodes() を…

Proof of Concept: Linux カーネルモジュールで特定のディレクトリ以下の dentry キャッシュを破棄する

動機 社内の同僚がカーネル周りの問題を調べていて slab キャッシュ ( = dentry, inode ) に関する内容を追っていた。 その問題自体の内容は、アレがコレで、伏せておく。 その問題をみているうちに 「特定のディレクトリ以下の slab キャッシュ = dentry / …

軽井沢〜嬬恋村〜菅平高原〜長野市 (1) 🚴‍♀️

少し時間が経ったが 9/15 (日) の記録. 群馬の横川から出走、碓氷峠を越えて軽井沢に入り、浅間山〜嬬恋村〜菅平高原と山岳なコースを経て、長野市まで走った 走行距離 104km 獲得標高 1871m 長野市に一泊して翌日も走り、二日間かけて浅間山をぐるっと取り…