samples化

[littlemex]

• image tagをlatestから乱数にする
• モデルコンパイル用のJupyter Notebook準備
• モデルのS3へのアップロードができるようにする
• サーバではimageにモデルを固めているがS3から起動時にモデルを取ってこれるようにする、選択肢で切り替えられるようにする
• CI/CD方法について、モデルだけの更新の場合だとどうするのがベストなのか
• gunicornの使い方について
• 現状の作りだとtraceが修正しづらいのでNotebookから修正できるようにする, S3にptを配置する -> Issue化
• Security GroupにMYIP指定できるようにする
• イメージスキャンのCVE対応
• パイプラインモードを入れる
• GPU/CPU 利用できるようにする
• triton対応
• MME

[littlemex]

neuron 機能

https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-tools/getting-started-tensorboard-neuron-plugin.html

https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-tools/neuron-monitor-user-guide.html

https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuron-tools/tutorial-neuron-check-model.html

https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-guide/neuronperf/index.html

[littlemex]

https://aws.amazon.com/jp/blogs/news/achieve-12x-higher-throughput-and-lowest-latency-for-pytorch-natural-language-processing-applications-out-of-the-box-on-aws-inferentia/

パフォーマンス比較