Skip to content

Mapperで生成されるファイル数に注意 #16

Description

@takeohoshi

Mapperを使っている方への注意です.
Mapperでは,膨大な数のファイルが生成される場合があります.例えば,100万個のmesh点の計算をすると,数千万個のファイルが生成されます.一方,コンピュータには,扱えるファイル数に限界があります.あまり多すぎると,システム的に問題になるようです.ohtakaではファイル総数への制限(ファイルの合計容量ではなくて)は,現状ではかかっていないようですが,気をつけてください.具体的には,mapperで計算が終わったら,ファイルを(必要に応じてダウンロードした上で)消すか,directroryごと1ファイルにして元ファイルは消す,と言う手段が有効だと思います.「directroryごと1ファイルにする」と言う作業は,zip, tarコマンドでできます.
参考:UNIXコマンド、ディレクトリごとzip圧縮したい時
https://rukiadia.hatenablog.jp/entry/2014/02/17/020300

大局的には,ファイル生成があまり起こらないように,コードを改変する予定です.が,それまでは,気をつけていただけると幸いです.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions