完全に理解した.com

【2025 年 12 月】読んだ本の記録

Sun, 04 Jan 2026 03:38:45 GMT

個人の記録として、2025 年 12 月に読んだ本をまとめます。

【2025 年 4 月】読んだ本の記録

Thu, 01 May 2025 02:21:28 GMT

個人の記録として、2025 年 4 月に読んだ本をまとめます。

AI×ソフトウェア開発

AI駆動開発完全入門ソフトウェア開発を自動化するLLMツールの操り方

上流から下流まで生成AIが変革するシステム開発

AI×ソフトウェア開発の分野で2冊の書籍を読みました。

『AI駆動開発完全入門』のほうは副題通りツールの使い方の解説、『上流から下流まで生成AIが変革するシステム開発』のほうは著者が実施している工夫の解説といった内容でした。

このようなツールがあることは知っていても、具体的な使い方はイメージがつかないという方に参考になるかもしれません。

【2025 年 3 月】読んだ本の記録

Tue, 01 Apr 2025 08:07:53 GMT

個人の記録として、2025 年 3 月に読んだ本をまとめます。

生成ＡＩのしくみ　〈流れ〉が画像・音声・動画をつくる

画像生成などで使われる拡散モデルのしくみを扱ったこちらの書籍を読みました。

数式がないことをウリにした書籍であり詳細な理解は難しいですが、この分野のとっかかりとして読んでみるのは悪くないかもしれません。

おわりに

以上、今月は 1 冊の本を読みました。

なかなか読書の時間をとれない期間が続いていますが、少しずつ読書の時間をとるようにしていきたいです。

【2025 年 1 月】読んだ本の記録

Sat, 01 Feb 2025 04:09:21 GMT

個人の記録として、2025 年 1 月に読んだ本をまとめます。

［入門］ドメイン駆動設計――基礎と実践・クリーンアーキテクチャ

ソフトウェアデザイン誌の特集をまとめたこちらの書籍を読みました。

解説の仕方・内容とも参考になる点がたくさんありました。

おわりに

以上、今月は 1 冊の本を読みました。

ここのところ読書の時間を全然とれていないので、週 1 冊ぐらいを目標に読書の習慣を取り戻していきたいです。

Azure Easy Auth 調査メモ

Wed, 01 Jan 2025 06:19:48 GMT

Azure Easy Auth について調べたメモです。

概要

Azure App Service や Container Apps では、「Easy Auth」を使うと簡単に認証ができる。

開発者が構築したコンテナの前段でリバースプロキシのようなコンテナが起動し、/.auth 以下のエンドポイントが追加されるとのこと。

認証方法

認証については、たとえば自社のユーザーしか使えないようにしたい場合、Azure Entra ID に登録済みのユーザーしか使えないようなことは簡単にできそう。

Azure AD B2C を使えば、Cognito・Auth0・Supabase Auth を導入するのと同じように、社外のユーザーに対しても認証を構築できそう。

ローカル開発

ローカルでは /.auth というエンドポイントがないので、そこをどうするかが課題。

ローカルでの開発用に、/.auth 以下へのアクセスを Azure にプロキシする例がある模様。

実際に Easy Auth を使う開発をする際は、このようなプロキシを使うか、ローカルでは /.auth 以下へのリクエストに固定のトークンを返すような実装があるとよさそう。

参考

2024 年 10 月から 12 月のふりかえり

Wed, 01 Jan 2025 01:07:08 GMT

2024 年 10 月から 12 月で実施したことをふりかえってまとめます。

出版

11 月に共著書『LangChainとLangGraphによるRAG・AIエージェント［実践］入門』が出版されました。

刊行イベントも 5 つぐらい実施しました。

読書

読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
10	2	【2024 年 10 月】読んだ本の記録
11	0	-
12	4	【2024 年 12 月】読んだ本の記録

ということで、合計 6 冊でした。

大規模言語モデル入門の輪読会をしてしっかり理解していったのがとてもよかったです。

ランチタイム勉強会

ランチタイムの勉強会を継続しました。

AIエージェントキャッチアップの勉強会を 13 回開催
LangChainゆる勉強会を #14 と #15 の 2 回開催しました。

StudyCo

勉強会グループ「StudyCo」では、以下の勉強会で登壇しました。

【LT大会#9】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれよう【登壇者も募集】 - 大幅アップデートされたRagas 0.2をキャッチアップ
【2024年12月】OpenAI・GoogleのAI関連アップデートをキャッチアップ！

StudyCo というグループとしては、

connpass のグループメンバー約 7400 名 (3 ヶ月前 + 400)
YouTube チャンネルの登録者数が約 3750 名 (3 ヶ月前 + 350)

となっています。

総括

以上、2024 年 10 月から 12 月でやったことをまとめると…

出版 1 冊 + 刊行イベント 5 つぐらい実施
ビジネス書・技術書を 6 冊読んだ
ランチタイム勉強会 15 回
勉強会で 2 回登壇

といったあたりになります。

読書が全然できていないのを改善していきたいです。

【2024 年 12 月】読んだ本の記録

Wed, 01 Jan 2025 00:53:06 GMT

個人の記録として、2024 年 12 月に読んだ本をまとめます。

AITuberを作ってみたらプロンプトエンジニアリングがよくわかった件

『AITuberを作ってみたらプロンプトエンジニアリングがよくわかった件』を献本いただき読みました。

AITuber に興味がある方にはぜひ手にとってほしいです。

ローカルLLM実践入門

ローカル LLM (BERT あたりは除く) をテーマとした書籍は見覚えがないので読ませていただきました。

ローカル LLM の概要やエコシステムについて、さくっとつかむのによかったです。

はじめての知識グラフ構築ガイド

GraphRAG が話題なこともあり、知識グラフに関する書籍を読みました。

タイトル通り、知識グラフの基礎から構築方法までまとめられており、知識グラフに興味がある方は手にとってみるとよさそうです。

トップセールスは教えてくれなかった！営業は台本が9割

営業についての書籍を 1 冊読みました。

今後も技術書以外の書籍もある程度読んでいくつもりです。

おわりに

以上、今月は 4 冊の本を読みました。

今月も忙しく読書の時間をほとんどとれず、月の最後のあたりで 4 冊読んだ程度となりました。

移動時間などで読書する習慣を戻していきたいです。

【2024 年 10 月】読んだ本の記録

Tue, 05 Nov 2024 11:52:51 GMT

個人の記録として、2024 年 10 月に読んだ本をまとめます。

大規模言語モデル入門

『大規模言語モデル入門』を復習として読み返しました。

じっくり読んだので、Attention の構造など、前回読んだときよりさらに理解が深まりとてもよかったです。

AIエディタCursor完全ガイド ―やりたいことを伝えるだけでできる新世代プログラミング―

Cursor の解説書を読みました。

とりあえず使ってみるだけだと知らない機能もあると思うので、こういった書籍にさっと目を通すのもいいと思います。

おわりに

以上、今月は 2 冊の本を読みました。

今月も忙しく、ほとんど読書の時間をとれませんでした。

少しずつ読書の時間を取り戻していきたいです。

2024 年 7 月から 9 月のふりかえり

Tue, 01 Oct 2024 07:15:38 GMT

2024 年 7 月から 9 月で実施したことをふりかえってまとめます。

インプット

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
7	1	【2024 年 7 月】読んだ本の記録
8	0	-
9	1	【2024 年 9 月】読んだ本の記録

ということで、合計 2 冊でした。

ここ 3 ヶ月はとにかく忙しく、読書の時間をほとんどとれませんでした。

ランチタイム勉強会

ランチタイムの勉強会を 2 つ立ち上げました。

もくもくDify での勉強会を 10 回開催
AIエージェントキャッチアップの勉強会を 3 回開催

アウトプット

StudyCo

勉強会グループ「StudyCo」では、以下の勉強会で登壇しました。

ノーコード・ローコードLLMアプリ開発ツールの実際！Difyなど4つのツールの概要とディスカッション - Zapier ChatGPT Integrationsの紹介
機械学習アプリケーション（LLMアプリケーション）の「評価」の基本を改めて整理・議論する会
【LT大会#8】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれよう【登壇者も募集】 - LangGraphでのHuman-in-the-loopの実装
Pythonで改めて考える「クラス（class）」の使いどころ

また、ランチタイムのゆるい雰囲気の勉強会として、LangChainゆる勉強会 #9 から #13 まで、5 回開催しました。

StudyCo というグループとしては、

connpass のグループメンバー約 7000 名 (3 ヶ月前 + 700)
YouTube チャンネルの登録者数が約 3400 名 (3 ヶ月前 + 400)

となっています。

他のコミュニティ

LangChain Meetup Tokyo #2 で「LangChainの現在とv0.3にむけて」というテーマで話しました。

総括

以上、2024 年 7 月から 9 月でやったことをまとめると…

インプット
- ビジネス書・技術書を 2 冊読んだ
- ランチタイム勉強会 13 回
アウトプット
- 勉強会で 10 回登壇

といったあたりになります。

忙しくて読書の時間をあまりとれない分、ランチタイムに勉強会を開催して強制的に時間をとったのは結構よかったです。

とはいえ読書の時間はしっかりとりたいので、次の 3 ヶ月は毎月 8 冊といういつもの目標でやっていきます。

【2024 年 9 月】読んだ本の記録

Tue, 01 Oct 2024 02:25:10 GMT

個人の記録として、2024 年 9 月に読んだ本をまとめます。

大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価

『大規模言語モデル入門Ⅱ』を読みました。

『大規模言語モデル入門』の続編として話題になっていたので、一通り目を通しておくことができてよかったです。

おわりに

以上、今月は 1 冊の本を読みました。

先月に引き続き今月もとても忙しく、ほとんど読書の時間をとれませんでした。

積読が増えてきたので、そろそろ読書の時間をたくさんとるようにしたいです。

【2024 年 7 月】読んだ本の記録

Thu, 01 Aug 2024 09:45:21 GMT

個人の記録として、2024 年 7 月に読んだ本をまとめます。

トップセールスが使いこなす！“基本にして最高の営業術”総まとめ営業１年目の教科書

営業についての本を一冊読みました。

技術書ばかり読んでいると思考が技術に偏りがちなので、こういった本をたまに読むのは良いなと思いました。

おわりに

以上、今月は 1 冊の本を読みました。

先月は比較的多くの本を読めていたのですが、今月は忙しかったこともあり、ほとんど読書の時間をとれませんでした。

とくに忙しかったことが落ち着いたので、来月はたくさん本を読む時間をとりたいです。

2024 年 4 月から 6 月のふりかえり

Sun, 30 Jun 2024 19:16:23 GMT

2024 年 4 月から 6 月で実施したことをふりかえってまとめます。

インプット

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
4	3	【2024 年 4 月】読んだ本の記録
2	5	【2024 年 5 月】読んだ本の記録
3	12	【2024 年 6 月】読んだ本の記録

ということで、合計 20 冊でした。

月 8 冊読むのが目標なので、目標より少し少ない冊数になってしまいました。

読んだ中で特に良かった本は、

の 3 冊です。

アウトプット

ブログ

このブログ (完全に理解した.com) には、読書の記録やふりかえりの記事以外まったく投稿しませんでした。

また、Zenn などにも投稿しませんでした。

StudyCo

勉強会グループ「StudyCo」では、以下の勉強会で登壇しました。

LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム

また、ランチタイムのゆるい雰囲気の勉強会として、LangChainゆる勉強会 #3 から #8 まで、6 回開催しました。

あとは、LT 大会で 1 度話しました。

【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれよう【登壇者も募集】 - RAGの評価フレームワーク「Ragas」をさくっとキャッチアップ

StudyCo というグループとしては、

connpass のグループメンバー 6300 人を突破 (3 ヶ月前 + 900)
YouTube チャンネルの登録者数が 3000 を突破 (3 ヶ月前 + 600)

となっています。

外部登壇

RAG MLOps LT大会！！！にて、「LangSmithを活用したRAGの評価・改善フローの整備」というタイトルで LT をしました。

総括

以上、2024 年 4 月から 6 月でやったことをまとめると…

インプット
- ビジネス書・技術書を 20 冊読んだ
アウトプット
- 勉強会で 9 回登壇

といったあたりになります。

特に LLM アプリケーションの評価に関して知見を貯めたりアウトプットしたりできました。

7 月からも 3 ヶ月で明確に詳しくなったと言える分野があるようにしたいです。

【2024 年 6 月】読んだ本の記録

Sun, 30 Jun 2024 18:56:48 GMT

個人の記録として、2024 年 6 月に読んだ本をまとめます。

LLM

LLMのファインチューニングとRAG ―チャットボット開発による実践―

Pythonと大規模言語モデルで作るリアルタイムマルチモーダル対話システム

LLM 関連分野の書籍を 3 冊読みました。

『Amazon Bedrock 生成AIアプリ開発入門』は、AWS での LLM アプリケーションの開発を非常に丁寧に解説しており、その名の通り入門書としてとても良かったです。

『Pythonと大規模言語モデルで作るリアルタイムマルチモーダル対話システム』は、AITuber の開発者の方が悩んでいる点について、専門家がまとめたような内容で勉強になりました。

その他、統計・機械学習

効果検証入門〜正しい比較のための因果推論／計量経済学の基礎

統計・機械学習に関して、その他 3 冊読みました。

強化学習は基本をおさえておきたかったので、『ゼロから作るDeep Learning ❹ ―強化学習編』を読めたのはとても良かったです。

また、評価について改めて考えを整理したく、『サンプルサイズの決め方』と『効果検証入門』を読みました。どちらもこの分野に興味がある人は一度目を通しておくと良い本だと感じました。

オンライン講座

オンライン講座を売るならこの3つから始めなさい: Udemy,teachable,国内サービス～受講者12万人講師コンサルが教える、最短15分で動画スクール＆会員サイトを作るガイド

オンライン講座のプラットフォームについての最新情報を知りたく、こちらの書籍を手に取りました。

Lekcha、Lectea といったサービスの概要を知ることができてとても良かったです。

グラフ

グラフデータベース ―Neo4jによるグラフデータモデルとグラフデータベース入門

グラフデータベースの基礎知識を身につけたく、これら 2 冊を読みました。

『グラフ理論入門』は、ひさしぶりに数学の教科書を手に取った感覚があって良かったです。

特許

実例からわかる　特許化の要点

特許の基礎知識をつけたかったので、3 冊ほど読みました。

概要は理解できましたが、なかなか難しい分野だという印象が残りました。

おわりに

以上、今月は 12 冊の本を読みました。

比較的多くの本を読めてよかったです。

書籍を購入するペースが上がっているので、来月もこのぐらいの読書量をキープしたいです。

【2024 年 5 月】読んだ本の記録

Fri, 31 May 2024 23:06:41 GMT

個人の記録として、2024 年 5 月に読んだ本をまとめます。

BPO

経理業務のBPO（ビジネス・プロセス・アウトソーシング）活用のススメ: 新しい経理部門が見えてくる50のポイント

BPO について学ぶため、こちらの一冊を読んでみました。

BPO の概要をつかむのに悪くなかったです。

DB

［改訂3版］内部構造から学ぶPostgreSQL―設計・運用計画の鉄則

PostgreSQL について、気になっていたこちらの書籍を読みました。

設定やチューニングなどの観点で丁寧に書かれていました。

スモールビジネス

金儲けのレシピ

スモールビジネスについて学ぶため、こちらの 3 冊を読みました。

どれもとても良い本でした。

とくに『スモールビジネスの教科書』は、スモールビジネスに興味のある方はもちろん、多くの方に是非ともおすすめしたい一冊でした。

おわりに

以上、今月は 5 冊の本を読みました。

今月は読書量は少なめで、積読ばかり増えてしまいました。

とくに技術書をなかなか読めていないので、6 月は技術書を読む時間を増やしたいです。

【2024 年 4 月】読んだ本の記録

Wed, 01 May 2024 00:36:20 GMT

個人の記録として、2024 年 4 月に読んだ本をまとめます。

ファイナンス

起業のファイナンス　増補改訂版

スタートアップ企業のファイナンスの基礎知識がほしかったため、『起業のファイナンス』を読みました。表現が平易で非常に読みやすく、自分がほしかった知識を得るのにぴったりでした。スタートアップ企業のファイナンスに興味がある方に是非おすすめしたいです。

社団法人

一般社団・財団法人設立完全マニュアル第3次改訂版

一般社団法人の設立を検討するため、書籍を 1 冊読みました。一般社団法人の定義や設立のメリット・デメリットなど含め、知りたかった情報を一通り得られました。

機械学習

評価指標入門〜データサイエンスとビジネスをつなぐ架け橋

機械学習の「評価」について改めて学ぶべく、『評価指標入門』読みました。とくに第 1 章が良い内容で、目的関数と評価指標と KPI のつながりなど、とても参考になりました。機械学習に少しでも関わる人に、是非おすすめしていきたい書籍でした。

おわりに

以上、今月は 3 冊の本を読みました。

仕事がかなり忙しく、読書量は少なくなってしまいました。

読みたい本はどんどん増えているので、5 月はもう少し読書の時間をとるようにしたいです。

2024 年 1 月から 3 月のふりかえり

Mon, 01 Apr 2024 00:52:15 GMT

2024 年 1 月から 3 月で実施したことをふりかえってまとめます。

インプット

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
1	13	【2024 年 1 月】読んだ本の記録
2	3	【2024 年 2 月】読んだ本の記録
3	10	【2024 年 3 月】読んだ本の記録

ということで、合計 26 冊でした。

月 8 冊読むのが目標なので、目標より少し多めに読むことができました。

読んだ中で特に良かった本は、

の 3 冊です。

アウトプット

ブログ

このブログ (完全に理解した.com) には、8 記事投稿しました。

また、Zenn に 2 つの記事を投稿しました。

StudyCo

勉強会グループ「StudyCo」では、以下の勉強会で登壇しました。

いまこそ学ぶLLMベースのAIエージェント入門―基本的なしくみ／開発ツール／有名なOSSや論文の紹介

また、ランチタイムにゆるい雰囲気の勉強会を 3 つ開催しました。

あとは、コラボ勉強会や LT 大会で、5 〜 10 分ほどの発表を 3 つしました。

【StudyCo with Momento】LLMに独自知識で回答させる「RAG」の理解を深めようにて、「RAG（Retrieval Augmented Generation）の基本」
【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンにて、「速習：LLMアプリの開発の基本とAzure&AWSの2023年の動向」
【LT大会#6】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれよう【登壇者も募集】にて、「LLMチャットボットのアプリケーション設計Tips」

StudyCo というグループとしては、

connpass のグループメンバー 5400 人を突破 (3 ヶ月前 + 1400)
YouTube チャンネルの登録者数が 2400 を突破 (3 ヶ月前 + 700)

となっています。

招待いただいた登壇

Developers Summit 2024 にて、ChatGPTでちゃんと成果を出していくというセッションに呼んでいただいて登壇しました。

総括

以上、2024 年 1 月から 3 月でやったことをまとめると…

インプット
- 技術書中心に 23 冊の本を読んだ
アウトプット
- ブログを 8 記事書いた
- Zenn の記事を 2 つ書いた
- StudyCo で 7 回登壇
- Developers Summit 2024 で登壇

といったあたりになります。

4 月からは論文・OSS 関連のインプットを増やすのと、実装面でのアウトプットを増やしていきたいです。

【2024 年 3 月】読んだ本の記録

Mon, 01 Apr 2024 00:29:38 GMT

個人の記録として、2024 年 3 月に読んだ本をまとめます。

システム設計

システム構築の大前提－－ITアーキテクチャのセオリー

システム設計関連の書籍として『ITアーキテクチャのセオリー』を読みました。

エンタープライズでのアーキテクチャについて、著者の見解が手厚く書かれていました。

生成 AI

生成AI時代を勝ち抜く事業・組織のつくり方

生成 AI 関連で話題の書籍を 3 冊読みました。

『面倒なことはＣｈａｔＧＰＴにやらせよう』は、Advanced Data Analysis の活用の解説がとてもよく、参考になりました。

研究計画

増補改訂　研究計画書デザイン―大学院入試から修士論文完成まで

研究の育て方: ゴールとプロセスの「見える化」

「研究計画」という分野を少し知りたかったので、2 冊書籍を読みました。

この 2 冊は「研究計画」の概要を知るのにちょうどよかったです。

Python

Pythonプロフェッショナルプログラミング第4版

Python を書く機会が増えているので、さらなるスキルアップにつながればと思い、『Pythonプロフェッショナルプログラミング』を読みました。

個人的にはすでに知見のある分野が多かったですが、Python をなんとなく書いている段階から実践的なアプリケーションを開発する段階までステップアップしたい方によさそうだと思いました。

クローラー

Pythonによるクローラー＆スクレイピング入門設計・開発から収集データの解析・運用まで

Pythonクローリング＆スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

クローラーについて基本をおさえたく、書籍を 3 冊読みました。

とくに Python で解説している 2 冊が自分にはあっていて、クローラーの基本を理解できました。

おわりに

以上、今月は 10 冊の本を読みました。

3 月前半は読書量多め、後半は購入だけして積読多めでした。

4 月からも月 10 冊ぐらいは読み続けたいです。

【2024 年 2 月】読んだ本の記録

Fri, 01 Mar 2024 04:51:07 GMT

個人の記録として、2024 年 2 月に読んだ本をまとめます。

要件定義・システム設計

ユーザー要件を正しく実装へつなぐシステム設計のセオリー

要件定義・システム設計の分野で 3 冊読みました。

『ユースケース駆動開発実践ガイド』は 5 年ぐらいまでにも読んだことがありましたが、今改めて読むと参考になることが多く、とても素晴らしい本だと思いました。

この分野の書籍は引き続きある程度読んでいくつもりです。

おわりに

以上、今月は 3 冊の本を読みました。

1 月はある程度本を読めたのですが、今月はかなり読書の時間が少なかったです。

しばらく忙しくなりそうですが、読みたい本は増える一方なので、読書の時間はしっかり確保していきたいです。

「The Rise and Potential of Large Language Model Based Agents: A Survey」を読んだメモ

Tue, 20 Feb 2024 07:32:18 GMT

2023 年 9 月の論文「The Rise and Potential of Large Language Model Based Agents: A Survey」を読んだメモです。

GitHub: https://github.com/WooooDyy/LLM-Agent-Paper-List

1 Introduction

AI エージェントの定義が以下のように書かれている。

Typically in AI, an agent refers to an artificial entity capable of perceiving its surroundings using sensors, making decisions, and then taking actions in response using actuators

ChatGPT (GPT-3.5) による翻訳は以下の通り。

典型的には、AIでは、エージェントはセンサーを使用して環境を感知し、意思決定を行い、アクチュエータを使用して反応的に行動を取る人工的な実体を指します。

The concept of agents originated in Philosophy

エージェントの概念の起源は哲学とのこと。

2 Background

2.1 Origin of AI Agent

In a general sense, an “agent” is an entity with the capacity to act

一般に、エージェントとは行動する能力を持つモノを指すとのこと。

While in a narrow sense, “agency” is usually used to refer to the performance of intentional actions; and correspondingly, the term “agent” denotes entities that possess desires, beliefs, intentions, and the ability to act

狭義ではエージェントは、欲望・信念・意図を持ち、行動する能力を持つモノを指すとのこと。

Importantly, the concept of an agent involves individual autonomy, granting them the ability to exercise volition, make choices, and take actions, rather than passively reacting to external stimuli.

重要な点は、個々に自律性を持っていて、意志をもって選択し行動することだとのこと。

2.2 Technological Trends in Agent Research

AI エージェントが以下のようにいくつかの方式で発展してきたことが書かれている。

Symbolic Agents
Reactive agents
Reinforcement learning-based agents
Agents with transfer learning and meta learning
Large language model-based agents

2.3 Why is LLM suitable as the primary component of an Agent’s brain?

LLM がエージェントの脳として適している理由が、以下の観点で説明されている。

Autonomy
Reactivity
Pro-activeness
Social ability

3 The Birth of An Agent: Construction of LLM-based Agents

Inspired by this, we present a general conceptual framework of an LLM-based agent composed of three key parts: brain, perception, and action (see Figure 2).

LLM ベースのエージェントのフレームワークとして、脳・知覚・アクションという構成を提案している。

これは LLM ベースのエージェントの基本構造として自分が考えていたものにかなり近い。

3.1 Brain

3.1.2 Knowledge

必要な知識を以下の 3 種類で整理している。

言語的な知識
常識的な知識
ドメインの専門知識

4 Agents in Practice: Harnessing AI for Good

Assist users in breaking free from daily tasks and repetitive labor, thereby Alleviating human work pressure and enhancing task-solving efficiency.

No longer necessitates users to provide explicit low-level instructions. Instead, the agent can independently analyze, plan, and solve problems.

After freeing users’ hands, the agent also liberates their minds to engage in exploratory and innovative work, realizing their full potential in cutting-edge scientific fields.

AI エージェントの達成すべき目標として、3 つの方向性が書かれている。

ChatGPT (GPT-3.5) による翻訳は以下のとおり。

ユーザーが日常のタスクや繰り返しの労働から解放されるのを支援し、人間の仕事の圧力を軽減し、タスク解決の効率を向上させます。

ユーザーが明示的な低レベルの指示を提供する必要がなくなります。代わりに、エージェントは独自に分析し、計画し、問題を解決できます。

ユーザーの手を解放した後、エージェントは彼らの心も解放し、先端科学分野での彼らの全能力を実現するために探求的で革新的な作業に従事できます。

4.2 Coordinating Potential of Multiple Agents

4.2.1 Cooperative Interaction for Complementarity

However, during MetaGPT’s practical exploration, a potential threat to multi-agent cooperation has been identified. Without setting corresponding rules, frequent interactions among multiple agents can amplify minor hallucinations indefinitely.

マルチエージェントが小さなハルシネーションを増幅してしまうケースがあったとのこと。

おわりに

最後まで読んだが、とくに最初のあたりの AI エージェントの歴史・定義であったり、基本構成のフレームワークが良かった。

「A Survey on Large Language Model based Autonomous Agents」を読んだメモ

Fri, 02 Feb 2024 09:23:18 GMT

2023 年 8 月の論文「A Survey on Large Language Model based Autonomous Agents」を読んだメモです。

GitHub: https://github.com/Paitesanshi/LLM-Agent-Survey

1 Introduction

Specifically, we organize our survey based on three aspects including the construction, application, and evaluation of LLM-based autonomous agents.

以下の 3 つの観点についてまとめているとのこと。

construction
application
evaluation

For the agent construction, we present a unified framework composed of four components, that is, a profile module to represent agent attributes, a memory module to store historical information, a planning module to strategize future actions, and an action module to execute the planned decisions.

エージェントの構造として、4 つのコンポーネントに整理したフレームワークを提案。

profile
memory
planning
action

2 LLM-based Autonomous Agent Construction

2.1 Agent Architecture Design

2.1.1 Profiling Module

profile の作成方法は以下の 3 つ。

手作り
LLM で生成
現実のデータセットに基づく

2.1.2 Memory Module

たとえば、短期記憶は context window、長期記憶は vector storage とのこと。

2.1.3 Planning Module

以下の構造に整理。

フィードバックなしの計画
- サブゴールの分解
- マルチパス思考
- 外部プランナー
フィードバックを伴う計画
- 環境に関するフィードバック
  - ReAct
- 人間のフィードバック
- モデルのフィードバック

2.1.4 Action Module

ここは読み飛ばした。

3 LLM-based Autonomous Agent Application

どんな分野があるかまとめられている。

大きくは以下の 3 分野。

社会科学
自然科学
エンジニアリング

4 LLM-based Autonomous Agent Evaluation

4.1 Subjective Evaluation

LLM-based agents have a wide range of applications. However, in many scenarios, there lacks general metrics to evaluate the performance of agents. Some potential properties, like agent’s intelligence and user-friendliness, cannot be measured by quantitative metrics as well. Therefore, subjective evaluation is indispensable for current research.

評価のための一般的な指標が不足しており、定量評価できない特性もあるため、現在の研究では主観的な評価は不可欠としている。

Subjective evaluation refers to the testing of the capabilities of LLM-based agents by humans through various means such as interaction, scoring, and so on.

主観的な評価とは、人間が対話したりスコア付けするものなど。

チューリングテストもある。

主観的な評価に LLM を使うこともできる。

たとえば EvaluatorGPT や ChatEval というものがある。

4.2 Objective Evaluation

客観的な評価の方法もいろいろある模様。

6 Challenges

6.2 Generalized Human Alignment

LLM は人間の正しい価値観で動くよう調整されることが多いが、それではシミュレーション用途で不適切な可能性があるとのこと。

6.5 Knowledge Boundary

人間をシミュレーションするうえでは、LLM は膨大な知識を持ちすぎている。

知識がない想定で意思決定する様子をシミュレーションするときに困る。

感想

エージェントの構成要素を以下の 4 つに整理しているのが分かりやすかった。

profile
memory
planning
action

主観的な評価は不可欠だと明言されている点は、こう言われていますと引用しやすい。

課題として、正しい倫理観を持ちすぎることや、知識がありすぎることにより、人間らしいシミュレーションをできない可能性が指摘されているのは面白い。

MRKL の論文を読んだメモ

Fri, 02 Feb 2024 01:26:25 GMT

「MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning」を読んだメモです。

[v1] Sun, 1 May 2022 11:01:28 UTC (2,143 KB)

2022 年 5 月の論文です。

1 Introduction

LLM の欠点が以下のようにまとめられている。

最新情報にアクセスできない
独自の情報源にアクセスできない
計算などのある種の推論が苦手
モデルの爆発
- この項目は、さまざまなタスクをこなせるモデルを作るには計算リソースなどが大量に必要で困難、といった意図に読める。
- この論文は 2022 年 5 月時点なので、GPT-3.5 や GPT-4 を踏まえていない意見に見える。

The solution we offer takes the form of a flexible architecture dubbed the Modular Reasoning, Knowledge and Language (MRKL, pronounced “miracle”) system, whose high-level design is depicted below.

MRKL は、柔軟なアーキテクチャのことだと書かれている。

Thus a MRKL system consists of an extendable set of modules, which we term ’experts’, and a router that routes every incoming natural language input to a module that can best respond to the input (the output of that module can be the output of the MRKL system, or be routed to another module). These modules can be:

MRKL に登場する要素として、experts や router という単語が出ている。

Grounding の汎用的なアプローチ、ということに見える。

3 Crossing the neuro-symbolic chasm: A calculator test case

3.1 Arithmetic as a test case for chasm crossing

Note that we limit their role to extracting the right arguments for the symbolic calculator, not performing the calculation itself.

言語モデルは引数の抽出に使うと書かれている。

Function calling などの原型のようなアプローチだと捉えられそう。

3.2 Training Jurassic-X to extract the arguments for basic arithmetic

ここでは算術の例だけが挙げられている。

MRKL 自体はかなり汎用的（たとえば RAG なども含む）が、この論文だけは算術のみを検証している模様。

感想

現在 LLM を使った AI エージェントのしくみの原型が提案されているように見えた。

LLM を使った AI エージェントの Survey などを見て、もう少し歴史的な流れをおさえておきたいと思った。

【2024 年 1 月】読んだ本の記録

Thu, 01 Feb 2024 02:45:09 GMT

個人の記録として、2024 年 1 月に読んだ本をまとめます。

仕事術

世界一流エンジニアの思考法

とても話題になっていた『世界一流エンジニアの思考法』を読みました。

話題なだけあって、参考になる内容がとても豊富でした。

要件定義・システム設計

経営者が参画する要求品質の確保―超上流から攻めるIT化の勘どころ

図解即戦力　要件定義のセオリーと実践方法がこれ1冊でしっかりわかる教科書

図解即戦力　システム設計のセオリーと実践⽅法がこれ1冊でしっかりわかる教科書

オブジェクト指向UIデザイン──使いやすいソフトウェアの原理

Introducing EventStorming

要件定義・システム設計の書籍をいろいろと読みました。

とくに IPA の『ユーザのための要件定義ガイド』は、現実的にこういう問題あるよねといった話や事例などが豊富で、想像していたよりとても良い内容でした。

また、『オブジェクト指向UIデザイン』は是非とも多くの方におすすめしたいです。

EventStorming の書籍は、まだ執筆途中の点も多く、書籍からしっかり学ぶのは少し大変な印象を受けました。

LLM 周辺

Azure OpenAI Service実践ガイド～ LLMを組み込んだシステム構築

Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門

ChatGPTによるプログラム制御入門

LLM 周辺分野で何冊か読みました。

『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』については、Zenn に感想記事を書きました。

https://zenn.dev/os1ma/articles/4476fd5f9fc01b

個人的に、『Vision Transformer入門』は多くの方におすすめしたいです。

現在は画像・テキストなどのマルチモーダルが話題ですが、その解説も含まれています。

Linux

systemdの思想と機能　Linuxを支えるシステム管理のためのソフトウェアスイート

発売したばかりの『systemdの思想と機能』も読んでみました。

systemdについて、この本のようにまとまった情報を見たことがなく、とても良かったです。

おわりに

以上、今月は 13 冊の本を読みました。

自分としては多めの冊数ですが、月の前半でたくさん本を読んで、後半は全然読まなかったです。

また 2 月前半から色々本を読むようにしたいです。

そして、読んでいる途中の『Linuxプログラミングインタフェース』を 1 月は全然読み進めなかったので、2 月こそは読み進めたいです。

「Voyager: An Open-Ended Embodied Agent with Large Language Models」を読んだメモ

Mon, 29 Jan 2024 12:34:25 GMT

「Voyager: An Open-Ended Embodied Agent with Large Language Models」を読んだメモです。

Abstract

1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement.

とくに 2) の動作をスキルライブラリとして保存することや、3) の検証まわりが気になった。

2 Method

2.2 Skill Library

Adding a new skill. Each time GPT-4 generates and verifies a new skill, we add it to the skill library, represented by a vector database.

スキルを生成して検証したら、ベクトルデータベースに保存するとのこと。

2.3 Iterative Prompting Mechanism

3 種類のフィードバックをするとのこと。

環境（マインクラフト）からのフィードバック
実行エラー
タスクの成功の検証

Instead of manually coding success checkers for each new task proposed by the automatic curriculum, we instantiate another GPT-4 agent for self-verification.

別の GPT-4 インスタンスに検証させるとのこと。

3 Experiments

3.2 Baselines

ベースラインとして ReAct、Reflexion、AutoGPT と比較するとのこと。

therefore we have to re-interpret them to be executable in MineDojo and compatible with our experimental setting:

「MineDojo」でプレイ可能なように実装し直した？ MineDojo は Minecraft の API のようなもの？

https://github.com/MineDojo/MineDojo

Voyager は Mineflayer を使っているとのこと。 Mineflayer は、Minecraft の JS/Python API。

https://github.com/PrismarineJS/mineflayer

3.5 Multimodal Feedback from Humans

この時点では GPT-4 は Vision がなかったとのこと。

We demonstrate that given human feedback, Voyager is able to construct complex 3D structures in Minecraft, such as a Nether Portal and a house (Fig. 10). There are two ways to integrate human feedback:

人間からのフィードバックがあると、3D の建造物を建てたりできたとのこと。

感想

Minecraft に限った要素が多いのかと思ったら、むしろ汎用的な要素が多くて驚いた。

とくにスキルを検証して保存しておくのは、元々そのようなエージェントを作りたいと思っていたので面白かった。

GPT-4V がなかったころの論文なので、視覚情報が増えたらどうなるかも気になった。

数学や科学の話で「存在しないことの証明は（悪魔の証明だから）難しい」と言うのはやめようという話

Tue, 23 Jan 2024 06:08:25 GMT

会話をしていて、「存在しないことの証明は（悪魔の証明だから）難しい」という表現を聞くことがあります。

私は「存在しないことの証明は難しいとは限らない」と考えているので、その考えをまとめておきます。

「存在しないことの証明は（悪魔の証明だから）難しい」とは？

「存在しないことの証明は（悪魔の証明だから）難しい」とよく言われます。

例えば「宇宙人が存在しないことを証明しろ」というのは難しいですね。宇宙を端から端まで調べない限り証明できないからです。

このように、存在しないことを証明するのは、端から端まで調べる必要があるから難しい、と言われることがあります。それを「悪魔の証明」と呼ぶのもよく聞きます。

しかし、存在しないことを証明するのは、必ずしも難しくないのです。

ないことの証明ができる例

たとえば、中学生・高校生レベルの数学で、「◯◯が存在しないことを証明せよ」という問題は定番ですね。「10の倍数に奇数がないことを証明せよ」と言われたら、簡単に証明できます。

また、私はITエンジニアですが、コンピュータの領域でも存在しないことを証明されているものはたくさんあります。有名な例としては「停止性問題」があり、「あらゆるアルゴリズムが有限時間で停止するか判定できるアルゴリズムは存在しない」ことが証明されています。

このように、数学や科学の文脈では、存在しないことの証明は必ずしも難しくないのです。

（もちろん、存在しないことを証明するのが難しい場合もあります。たとえば「四色問題」が挙げられるでしょう）

そもそも「悪魔の証明」とは？

そもそも「悪魔の証明」とはなんなのでしょうか？

Wikipedia には、以下のように書かれています。

悪魔の証明（あくまのしょうめい、ラテン語：probatio diabolica、英語：devil’s proof）とは、証明することが不可能か非常に困難な事象を悪魔に例えたものをいう。中世ヨーロッパのローマ法の下での法学者らが、土地や物品等の所有権が誰に帰属するのか過去に遡って証明することの困難さを、比喩的に表現した言葉が由来である。

引用元: https://ja.wikipedia.org/wiki/%E6%82%AA%E9%AD%94%E3%81%AE%E8%A8%BC%E6%98%8E

一言で言えば、法的な争いでの証明の話（とくに権利の証明の話）なんですね。

「悪魔の証明」というのは、決して数学的・科学的に認められた法則ではないのです。

まとめ

ということで、私は “数学や科学の話で「存在しないことの証明は（悪魔の証明だから）難しい」と言うのはやめよう” という意見を持っています。

2023 年 10 月から 12 月のふりかえり

Fri, 29 Dec 2023 12:31:06 GMT

2023 年 10 月から 12 月で実施したことをふりかえってまとめます。

インプット

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
10	8	【2023 年 10 月】読んだ本の記録
11	5	【2023 年 11 月】読んだ本の記録
12	3	【2023 年 12 月】読んだ本の記録

ということで、合計 16 冊でした。

月 8 冊読むのが目標だったので、目標の 2/3 程度でした。

読んだ中で特に良かった本は、

の 3 冊です。

LLM を使ったアプリケーション開発に関わることが増えたので、検索システムや BERT について知識を拡充できたのはとても良かったです。

資格

この 3 ヶ月は資格取得などは特にしませんでした。

執筆

書籍

『ChatGPT/LangChainによるチャットシステム構築［実践］入門』を執筆（共著）し、10/18 に発売されました。

自分でもかなり良い出来の書籍だと思います。

ブログ

このブログ (完全に理解した.com) には、10 記事投稿しました。

また、Zenn に 3 つの記事を投稿しました。とくに「LangChain の新記法「LangChain Expression Language (LCEL)」入門」はかなり好評いただきました。

今後も Zenn などに少しずつ記事を投稿しようと思います。

セミナー・教材作成

StudyCo

友人と作った connpass グループ (StudyCo) では、自分は主に以下の 2 つの勉強会で登壇しました。

また、「【当日開催】今朝のOpenAI DevDayでのアップデートをキャッチアップする会」という勉強会を企画し、多くの方にご参加いただきました。

LT大会では、「速習：LangChainの大きなアップデート（2023年秋〜冬）」という発表をしました。

StudyCo というグループとしては、

connpass のグループメンバー 4000 人を突破
YouTube チャンネルの登録者数が 1700 を突破

となっています。

招待いただいた登壇

Forkwell さんに企画いただき、「ChatGPT/LangChainによるチャットシステム構築［実践］入門」という勉強会もさせていただきました。

Udemy 講座

この 3 ヶ月では、以下の 1 つのUdemy 講座を公開しました。

自作シェルで学ぶLinuxシステムプログラミング―Pythonで150行の「シェル」を実装してLinuxのしくみを学ぼう

なお、こちらの講座含め、わたしが作成した講座の割引クーポンは、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

その他

OSS

OSS への貢献はまったくできませんでした…

総括

以上、2023 年 10 月から 12 月でやったことをまとめると…

インプット
- 技術書中心に 16 冊の本を読んだ
執筆
- 書籍『ChatGPT/LangChainによるチャットシステム構築［実践］入門』が発売された
- ブログを 10 記事書いた
- Zenn の記事を 3 つ書いた
発表など
- 勉強会で 5 回登壇した
- Udemy 講座を 1 つリリースした

といったあたりになります。

発売された書籍の宣伝にかなりかたよっていた気がします。

来年以降はまた新たにやりたいこともいろいろあるので、力を入れて活動していこうと思います。

【2023 年 12 月】読んだ本の記録

Fri, 29 Dec 2023 12:09:11 GMT

個人の記録として、2023 年 12 月に読んだ本をまとめます。

言語処理系

インタプリタの作り方－言語設計／開発の基本と2つの方式による実装－

インタプリタの実装方法について、丁寧に解説した書籍です。

エラー処理など、入門だと書かれてない話も多く、とても勉強になりました。

言語処理系の完全初心者向けではないので、『Go言語でつくるインタプリタ』の次ぐらいに読むのにおすすめです。

インタプリタに限らない話ですが、5 章の Visitor パターンの解説がとても面白かったです。

LLM

その仕事、AIエージェントがやっておきました。 ――ChatGPTの次に来る自律型AI革命

LLM を使った AI エージェントについて解説したビジネス書です。

BabyAGI の進化や E2B のエージェントプロトコルなど、知らない話もあり、勉強になりました。

Profile を設定してヒアリングする話なども、参考になりました。

また、「Generative Agents のリフレクションは、技術的には類似度のスコアが高くなる文面に変化しているということかも？」と色々考えたりしました。

最近「この仕事AIエージェントにやらせたいな」と思うことが多いのですが、実際に挑戦したくなりました。

システム開発

SEC BOOKS　共通フレーム2013（電子版）: ～経営者、業務部門とともに取組む「使える」システムの実現～

開発プロセスについて色々調べる必要があり、『共通フレーム2013』を読みました。

まず、共通フレームの背景や立ち位置の説明、考え方が想像していたよりもとてもよく、驚きました。

文章がお堅いので、やわらかく言い換えたらすごく良い印象になりそうだと感じました。

おわりに

以上、今月は 3 冊の本を読みました。

今月は読書量はかなり少なかったです。

今月は『Linuxプログラミングインタフェース』も読み進めていて、3 分の 1 ぐらいのところまでやってきました。

来月は『Linuxプログラミングインタフェース』をさらに読み進めたり、他にも読書量を増やしていきたいです。

Udemy で「自作シェルで学ぶLinuxシステムプログラミング」をリリースしました

Fri, 29 Dec 2023 02:19:16 GMT

Udemy で「自作シェルで学ぶLinuxシステムプログラミング―Pythonで150行の「シェル」を実装してLinuxのしくみを学ぼう」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

IT エンジニアとして活動していると、何かの機会に Bash や Zsh といった「シェル」にふれるはずです。

「シェル」についてはよく「カーネル」を囲む図で説明されたりしますが、それ以上はよく知らないという方も多いのではないでしょうか？そもそも「カーネル」についても「OSのコア」ぐらいの簡単な説明が多く、結局何なのかよく分からないという方は少なくないと思います。

さて、「シェル」で行うことといえば「コマンドの実行」ですが、そもそも「コマンドの実行」とは何なのでしょうか？他には、「何かをインストールする」というのもよく分からない、何か理解の及ばない変化がコンピュータに起こるもの、と思っている方も少なくないと思います。

そこでこの講座では… 「シェル」を自作しながら、Linux のしくみや OS に近い領域のプログラミングを学んでいきます。「シェルってなに？コマンドの実行ってなに？」といった疑問を解消していきます。

このコースで学ぶこと・学ばないこと

シェルの自作は、大きく 2 つの知識から成り立ちます。

1.「Linux システムプログラミング」（OS に近い領域のプログラミングの知識） 2.「インタプリタの作り方」（プログラミング言語の解析・実行の知識）

このコースで学ぶのは「Linux システムプログラミング」の知識です。このコースでは「インタプリタの作り方」は扱いません。

※ 実装するシェルも、あくまで学習目的の簡易的なものです

主な対象者

Linux に入門して基本的なコマンドを身につけたが、もっと詳しくしくみを理解したい方
Linux における「シェル」や「コマンドの実行」「標準入出力」などのしくみを、シェルの実装のレベルで知りたい方
OS に近い領域のプログラミングに興味がある方
プログラムをすらすら実装できるようになってきて、少し発展的な題材の実装に挑戦してみたい方

このコースの特徴

ここから、このコースの特徴を紹介します。

Python で自作シェルを実装

シェルのような OS に近い領域のプログラムの実装には、C や Go、Rust といったプログラミング言語が使われることが多いです。しかし、これらの言語よりも少ない前提知識で挑戦できるよう、このコースでは「Python」を使ってシェルを実装します。

「Python でシェルを自作できるの？」という疑問を持つかもしれませんが、Linux の動作を踏まえると、Python でも実装可能なのです。なぜ Python でもシェルを実装可能なのか、という動作のしくみについても解説していきます。

たった 150 行のコード・3 時間の講座で解説

最終的に完成する自作シェルは、Python で 150 行程度というとても小さなコードです。

また、講座全体としても 3 時間ほどで、コンパクトに学習できるようになっています。

この小さなコード、短時間の講座で、Linux のしくみや OS に近い領域のプログラミングについて、多くのことを学んでいきます。

おわりに

「シェル」の自作に興味を持つ方は多いと思いますが、私が調べた限り、少なくとも日本語では、しっかりまとまった解説が見つかりませんでした。

簡易的なシェルの自作は実はとても簡単で、プログラムの動作を学ぶのにもぴったりの題材です。ぜひ受講してみてください！

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2023 年末】自分のまわりで感じる IT トレンドの 9 のテーマ

Wed, 20 Dec 2023 08:23:03 GMT

2023 年ももう終わろうとしています。

この 1 年、私が身のまわりで感じた IT トレンドについてまとめようと思います。

機械学習関連とその他、という大きく 2 種類でまとめていきます。

機械学習関連

LLM

まず誰の目にも明らかなように、今年は LLM がトレンドでした。 2022 年 11 月末の ChatGPT の公開以来、この 1 年は ChatGPT がほぼ全てだったと言っても過言ではないでしょう。

3 月に公開された GPT-4 にふれたときは、「もう人間の仕事なんてすぐなくなるじゃん」と絶望しました。

API も使えるようになってからは、各社で LLM を使ったアプリケーション開発が流行しました。ローカル LLM に対する LoRA などの PEFT もよく目にするようになりました。

LangChain

LLM を使ったアプリケーション開発が盛り上がり、その分野では LangChain が圧倒的にトレンドを持っていったと言えると思います。

よく言われるように Production で使うかは要検討ではありますが、非常に面白いフレームワークです。

LLM を使ったアプリケーション開発を学びたい方は、まず LangChain の基本機能をさわるのがおすすめです。是非『ChatGPT/LangChainによるチャットシステム構築［実践］入門』を手に取ってください。

AITuber

LLM の流行にともない「AITuber」という新しい言葉が生まれました。個人的に関心があり、比較的早くから見ていたのですが、2 月にとある有名 AITuber の歌を聴いたときは、「自分はすごい時代に生きているんだな…」と感動しました。

AITuber と多少関連して思い当たったものとして、「ずんだもん」もとても流行っていますね。

RAG (Retrieval Augmented Generation)

LLM に独自文書をもとに回答させる「RAG」という手法も非常にトレンドになっています。

「LLM を使って我社も何かしなくては！」というところから、「社内文書に基づいて答えてくれるチャットボットが作れるらしい！ちょうどよいテーマでは？」という流れで流行っているのではないかと思います。

個人的な想像ですが、

RAG は実際にやってみるとかなり難しい
「社内文書に基づいて答えてくれるチャットボット」は、金銭的なメリットが分かりにくい
汎用的な機能は OpenAI や Azure、AWS などが提供してくる

といった理由から、徐々に流行が落ち着いてくるのではないかと思います。

AI エージェント

LLM の応用として「AI エージェント」も盛り上がっています。「Generative Agents」や「ChatDev」など、たくさんの AI エージェントが話題となりました。

まだ実用的なレベルまで達していない印象はありますが、これからさらに盛り上がる可能性は高いと思います。

マルチモーダル

OpenAI の GPT-4V や Google の Gemini など、マルチモーダルな AI も大きなトレンドでした。

AGI (汎用人工知能) という言葉もよく目にするようになりました。ちなみに「GPT-4 は AGI の初期のバージョンだ」と言われることがありますが、私も LLM は汎用性をある程度獲得しているため、近いことを考えていたりします。

ほかにも、リアルタイムで動作する高性能なボイスチェンジャー「RVC」や、音楽生成 AI の「Suno AI」なども大きな話題となり、まさに AI が話題の中心となる 1 年でした。

その他

Worldcoin

LLM の流行とある程度関係しますが、Worldcoin も話題となっていました。

個人的に、自分が生きている間に人類の仕事がなくなる可能性が結構あると思っているのですが、そのときの金銭的な問題を解決するアイデアとして非常に面白いと思います。

特化型のクラウドプラットフォーム

ここ数年、AWS や Azure、GCP といった大きなクラウドプロバイダではない、特化型のクラウドプラットフォームが話題となっています。

Cloudflare (単なる CDN としてではなく、アプリケーションの実行環境として)
Momento
Supabase

などなど、特化した分野について、非常に良い UX で使えるサービスが増えています。

事例などもかなり増えてきており、個人開発であればもちろん、企業での導入事例も増えていきそうです。

App Router・React Server Components

最後に、自分はほぼふれていませんが、Next.js の App Router という機能や、React Server Components はかなり話題になっていると思います。

徐々に React (Next.js) 一択という状況でもなくなってきているようにも感じます。

総括

以上、2023 年に自分のまわりで感じた IT トレンドについて書きました。

今年はどうしても LLM 中心の 1 年でした。

LLM といっても応用・発展の方向性はいろいろありえるので、来年はまた新しい話題が出てくるかもしれません。

【2023 年 11 月】読んだ本の記録

Fri, 01 Dec 2023 01:21:57 GMT

個人の記録として、2023 年 11 月に読んだ本をまとめます。

電子工作

雑に作る ―電子工作で好きなものを作る近道集

電子工作の書籍で話題になっていた『雑に作る』を読みました。

この本は

「最低限の基礎を理解してから始めよう！」って書いてあるけど最低限の基礎の範囲がそもそもわかんない

といった初心者を対象としています。

「これだけは気をつけよう」といった初心者向けのポイントや、「こういうことできるよ」といった例がまとまっており、本当に電子工作の本 2 冊目ぐらいにぴったりだと思いました。

最近読んだ技術書の中で一番読んでいて楽しくもあったので、電子工作に興味がある方には是非おすすめしたいです。

LLM 周辺

AITuberを作ってみたら生成AIプログラミングがよくわかった件

ツールからエージェントへ。弱いAIのデザイン　人工知能時代のインタフェース設計論

BERT入門

LLM 周辺分野で何冊か読みました。

AITuber の書籍は、まさに AITuber を作ってみたいという方にぴったりの解説でとてもよかったです。

『BERT入門』は、Attention・Transformer・BERTの入門的な説明が、今まで見た中で一番とっかかりとして理解しやすく、おすすめしたくなる書籍でした。

その他

おわりに

以上、今月は 5 冊の本を読みました。

『雑に作る』が自分にマッチしていてとても良かったのと、『BERT入門』の解説が分かりやすくて良かったです。

読んだ冊数は少なめだったので、来月はもう少したくさん読もうと思います。

【2023 年 10 月】読んだ本の記録

Wed, 01 Nov 2023 07:22:07 GMT

個人の記録として、2023 年 10 月に読んだ本をまとめます。

電子工作

検索システム・推薦システム

基礎から学ぶ推薦システム - 情報技術で嗜好を予測する

RAG (Retrieval Augmented Generation) の話をしていると、「Embedding を使ったベクトル検索と全文検索の違いは？」とよく聞かれるのですが、そもそも全文検索についてよく知らなかったので、検索システム（そして近い話題の推薦システム）について 1 冊ずつ読んでみました。

『検索システム実務者のための開発改善ガイドブック』は、全文検索エンジンのしくみの基本から、インタフェース設計や運用といった実践的な話まで書かれていて、とても良かったです。

『基礎から学ぶ推薦システム』もとても読みやすくてよかったです。機械学習のちょっと実用よりの入門書として読むのもよさそうでした。

検索システム・推薦システムに興味がある方には、この 2 冊はとてもおすすめです。（『基礎から学ぶ推薦システム』はある程度数式が出てくるので、数式に抵抗がある方はご注意ください）

LLM・AI アプリ開発

LangChain 完全入門　生成 AI アプリケーション開発がはかどる大規模言語モデルの操り方

Python×API で動かして学ぶ AI 活用プログラミング

とくに LLM を使ったアプリケーション開発について知識を補完するため、3 冊ほど手に取ってみました。

自分の場合は、すでにある程度知識のある分野なので大きな発見はありませんでしたが、細々知らない知識を得られてよかったです。

技術書以外

Discord 活用ガイド基本操作＆サーバー設営＆活用事例が丸ごとわかる本

技術書以外にも、2 冊ほど読みました。

ここ数年は技術書ばかり読んでいるのですが、たまにはこういった本を読むのもいいですね。

おわりに

以上、今月は 8 冊の本を読みました。

比較的さくさく読める本を多めに手に取ることで、読書の習慣を持ちやすかったです。

来月以降もこのくらいの量の読書を継続できればと思います。

MarioGPT の論文を読んだメモ

Mon, 30 Oct 2023 12:45:54 GMT

「MarioGPT: Open-Ended Text2Level Generation through Large Language Models」を読んだメモです。

ABSTRACT.

MarioGPT は、GPT-2 をファインチューニングしたモデルとのこと。

2.2.NEURAL NETWORK-BASED LEVEL GENERATION

先行研究では、生成したステージをプレイ可能か別途 AI エージェントでテストしていた模様。 MarioGPT はプレイ可能か（つまり、ゴールできる道があるか）も同時に生成するためその点で有利。

3.OPEN-ENDED LEVEL GENERATION THROUGH LLMS

3.1.LEVEL REPRESENTATION

Video Game Level Corpus (VGLC) という、色々なゲームのステージをテキストにしたデータセットがあるとのこと。

https://github.com/TheVGLC/TheVGLC

例えばこんな内容。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------E-----------------------------------------------------------------------------------------------------------------------
----------------------Q---------------------------------------------------------SSSSSSSS---SSSQ--------------?-----------SSS----SQQS--------------------------------------------------------XX------------
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------XXX------------
-------------------------------------------------------------------------------E----------------------------------------------------------------------------------------------------------XXXX------------
----------------------------------------------------------------S------------------------------------------------------------------------------------------------------------------------XXXXX------------
----------------Q---S?SQS---------------------<>---------<>------------------S?S--------------S-----SS----Q--Q--Q-----S----------SS------X--X----------XX--X------------SSQS------------XXXXXX------------
--------------------------------------<>------[]---------[]-----------------------------------------------------------------------------XX--XX--------XXX--XX--------------------------XXXXXXX------------
----------------------------<>--------[]------[]---------[]----------------------------------------------------------------------------XXX--XXX------XXXX--XXX-----<>--------------<>-XXXXXXXX------------
---------------------E------[]--------[]-E----[]-----E-E-[]------------------------------------E-E--------E-----------------EE-E-E----XXXX--XXXX----XXXXX--XXXX----[]---------EE---[]XXXXXXXXX--------X---
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX--XXXXXXXXXXXXXXX---XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX--XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

ソース: https://github.com/TheVGLC/TheVGLC/blob/master/Super%20Mario%20Bros/Processed/mario-1-1.txt

すごい…

3.2.MARIOGPT MODEL

MarioGPT のモデルには

no pipes, many enemies, low elevation

といったプロンプトを入力にするとのこと。

3.3.OPEN-ENDED MARIO LEVEL GENERATION WITH NOVELTY SEARCH

生成したステージをブラッシュアップするような処理をしている模様。

かなり色々工夫してるようだが、一旦読み飛ばした。

4.EXPERIMENTS AND RESULTS

4.1.RECONSTRUCTION AND SAMPLING QUALITY

(2) Measuring Playability of Levels:

「Mario AI framework」を使ってプレイ可能かテストした模様。そして、ほとんどのケースでプレイ可能だったとのこと。

https://github.com/amidos2006/Mario-AI-Framework

Mario AI framework は、商用利用はできなそう。

感想

Video Game Level Corpus (VGLC) や Mario AI framework など、面白いキーワードを見つけられてよかった。

GPT-3.5 や GPT-4 なら、ファインチューニングなしでもステージを作らせることができそう。ただ、作ったステージをブラッシュアップさせるような工夫は必要になるのかもしれない。

書籍『ChatGPT/LangChain によるチャットシステム構築［実践］入門』を執筆しました

Wed, 18 Oct 2023 02:16:58 GMT

吉田真吾さん（@yoshidashingo）と共著で『ChatGPT/LangChain によるチャットシステム構築［実践］入門』という書籍を執筆しました！

こちらの記事に、書籍の概要、どんな方におすすめか、執筆の経緯や感想などをまとめます。

書籍の概要

ChatGPT/LangChain によるチャットシステム構築［実践］入門

技術評論者さんのこちらのページで公開されていますが、目次は次のようになっています。

第 1 章大規模言語モデル（LLM）を使ったアプリケーションを開発したい！
第 2 章プロンプトエンジニアリング
第 3 章 ChatGPT を API から利用するために
第 4 章 LangChain の基礎
第 5 章 LangChain の活用
第 6 章外部検索，履歴を踏まえた応答をする Web アプリの実装
第 7 章ストリーム形式で履歴を踏まえた応答をする Slack アプリの実装
第 8 章社内文書に答える Slack アプリの実装
第 9 章 LLM アプリの本番リリースに向けて

プロンプトエンジニアリングや ChatGPT の API の基礎に始まり、LangChain の手厚い解説、Streamlit を使った Web アプリの実装、Bolt を使った Slack アプリの実装、そして本番リリースに向けて、といった内容になっています。

LLM（とくに ChatGPT の API）を使ったアプリケーション開発は大きな話題となっていますが、その基礎を一通りおさえられる一冊です。

どんな方におすすめか

書籍の中では、次のような方を対象読者と書いています。

大規模言語モデル(LLM)を活用したシステムを作ってみたいアプリケーション開発者
動くものを作りながら、大規模言語モデル(LLM)の知識体系や勘所を学び始めたいと考えている方
大規模言語モデル(LLM)アプリケーションの開発エキスパートを目指して、まず押さえておくべき技術を知っておきたい方

ですが、個人的には「すべての IT エンジニアに読んでほしい」といっても過言ではありません！ LLM を使ったアプリケーション開発は非常に面白い分野で、そこにどんな可能性があり、どのように活用できるのかを知るためにも、ぜひ多くの方に手に取っていただきたいです。

執筆の経緯

ここで少し、執筆の経緯について書かせていただきます。

本書は吉田真吾さんからお声がけがあり共著させていただきました。お声がけいただいたきっかけは、私が 4 月に開催した勉強会「プロンプトエンジニアリングから始める LangChain 入門」でした。

資料: https://speakerdeck.com/os1ma/puronputoenziniaringukarashi-merulangchainru-men

こちらの勉強会は 600 名以上の技術者・研究者の方にお申し込みいただき、大変ご好評いただきました。 LangChain をテーマにした講義形式の勉強会としては、自分の知る限り日本最速であり、クオリティも非常に高かったと自負しています。

この勉強会を主催したコミュニティ「StudyCo」は、友人と何年も継続している勉強会がもとになっています。今回の書籍の出版は、勉強会の継続がひとつかたちになったようで、とても嬉しく思います。

なお、上記の勉強会は 2023 年 4 月に開催したものですが、現在（2023 年 10 月）でも十分通用する内容です！もし書籍の前に少し LangChain を学んでみたいという方がいらっしゃれば、上記の資料・アーカイブ動画をおすすめします！（もちろん書籍はこの勉強会よりはるかに手厚い内容です）

執筆の感想

LLM を使ったアプリケーション開発という分野は、まだまだ発展途上ということもあり、変化が非常に激しいです。そのため非常に短期間での執筆となりました。

毎日のように吉田さんと Zoom をつないで作業時間をとって…とても慌ただしい日々でしたが、吉田さんが執筆された箇所や、執筆中に相談させていただいた内容は、私にもたいへん勉強になりました。

また、執筆にあたって LangChain のドキュメントに一通り目を通したり、LangChain のソースコードを確認したり、論文を読んだりしたしたことも知識に繋がりました。

ちなみに、この書籍を読んだ後のステップアップとして、LangChain のドキュメントを一通り見てみるのはとてもおすすめです！ LangChain からは、LLM を使ったアプリケーション開発の様々な工夫を学ぶことができます。（さすがにインテグレーションを全て把握する必要はないと思いますし、アップデートが激しいので私も最新版のドキュメントにすべて目を通しているわけではないですが）

おわりに

簡単ではありますが、書籍の概要、どんな方におすすめか、執筆の経緯や感想などを書かせていただきました。

少なくともしばらくは、LangChain や関連分野での勉強会の企画・登壇依頼もお受けしております！まだまだ妄想段階ですが、個人的に、この分野をがっつり学ぶハンズオン勉強会や、研修などもできないかな？と考えていたりもします。

もし何かあれば、お気軽に Twitter やお問い合わせフォームからご連絡ください！

ちなみに直近では、10 月 26 日（木）に「LangChain で AI アシスタントを動かすハンズオン」という勉強会を予定しています。（すでに満席ですが、ご興味ある方が多ければ再度開催することも検討します）

その他の関連リソース

最後に、LangChain について、私が過去に開催した勉強会の資料・アーカイブ動画や、Udemy 講座をまとめました。ご興味あればこちらも是非ご覧ください！

勉強会「プロンプトエンジニアリングから始める LangChain 入門」
- 資料: https://speakerdeck.com/os1ma/puronputoenziniaringukarashi-merulangchainru-men
- アーカイブ動画: https://youtube.com/live/8FPgoCjoenI
勉強会「LangChain ソースコードリーディング／テーマ：OpenAI Chat API を「ちゃんと」使う」
- 資料: https://speakerdeck.com/os1ma/langchainsosukodorideingu-slash-tema-openai-chat-apiwo-tiyanto-shi-u
- アーカイブ動画: https://youtu.be/D_tTCatXilA
勉強会「【書籍出版記念】LangChain から学ぶ LLM を使ったアプリケーションの工夫」
- 資料: https://speakerdeck.com/os1ma/shu-ji-chu-ban-ji-nian-langchainkaraxue-bullmwoshi-tutaapurikesiyonnogong-fu
- アーカイブ動画: https://youtu.be/oAr0dYnHllM
Udemy 講座「LangChain による大規模言語モデル（LLM）アプリケーション開発入門―GPT を使ったチャットボットの実装まで」
- Udemy: https://www.udemy.com/course/langchain-apps/?couponCode=F13D52161171BFB8E12E

2023 年 7 月から 9 月のふりかえり

Mon, 02 Oct 2023 00:24:31 GMT

2023 年 7 月から 9 月で実施したことをふりかえってまとめます。

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
7	7	【2023 年 7 月】読んだ本の記録
8	5	【2023 年 8 月】読んだ本の記録
9	3	【2023 年 9 月】読んだ本の記録

ということで、合計 15 冊でした。

月 8 冊読むのが目標だったので、目標の 2/3 程度でした。

読んだ中で特に良かった本は、

ゼロから作るDeep Learning ❷ ―自然言語処理編

です。

LLM や自然言語処理まわりは他にも色々な書籍を読んだり、大規模言語モデルのサマースクールを受講したりして、かなり知識を拡充できました。

ブログ

このブログ (完全に理解した.com) には、9 記事投稿しました。いくつか、論文や面白かった英語記事を読んだ記録を書いたりできたのが良かったです。

また、Zenn に「Pythonの開発環境の3つの観点をおさえよう」という記事を投稿して、かなり反響をいただきました。今後も Zenn などに少しずつ記事を投稿してもいいなと思いました。

資格

この 3 ヶ月は資格取得などは特にしませんでした。

友人との勉強会

友人と作った connpass グループ (StudyCo) では、自分は

「シェル」ってなに？から改めて学ぶLinuxの基本
LT大会！機械学習・LLM・その他データ分析関係の色々な話題をつまもう！にて「Pythonの「仮想環境」を完全に理解しよう」

という 2 つの発表をしました。

とくに「Pythonの「仮想環境」を完全に理解しよう」という発表は、スライドが後日かなり話題となり、多くの方に見ていただくことができました。

https://speakerdeck.com/os1ma/pythonno-jia-xiang-huan-jing-wowan-quan-nili-jie-siyou

StudyCo というグループとしては、

connpass のグループメンバー 3300 人を突破
YouTube チャンネルの登録者数が 1100 を突破

となっています。

Udemy 講座

この 3 ヶ月では、以下の 2 つのUdemy 講座を公開しました。

Pythonステップアップ速習講座―仮想環境のしくみ、開発環境を整えるツール、クラスを使ったコーディング、定番パッケージ
ChatGPTのAPIで5つのアプリを作ってみよう！JSON生成、属性抽出、独自文書Q&A、SQL生成、AIエージェント

既存の講座についても引き続き多くの方に受講していただいています。

なお、公開済み講座の講師発行クーポンが、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

書籍

この 3 ヶ月で一番大きかったのは、書籍を執筆（共著）したことです。

『ChatGPT/LangChainによるチャットシステム構築［実践］入門』という本を執筆（共著）して、10/18 に発売予定です。

この書籍の執筆過程で、LLM や LangChain まわりの知識はかなり拡充できました。

LangChain のドキュメントをあるタイミングで一通り読んだのですが、それが非常に勉強になりました。

OSS

書籍の執筆もあり、LangChain にふれる機会が多く、改善すべき点を見つけることも多かったです。

そのため、LangChain に 7 月に 3 つ (また 5 月に 1 つ) コントリビュートしました。

とくにドキュメントのビルドスクリプトが壊れていたのを読み解いて直したのは良い貢献だったと思います。

https://github.com/langchain-ai/langchain/pull/7276

（その他は処理の追加やドキュメントの修正といった小さなコントリビュートです）

総括

以上、2023 年 7 月から 9 月でやったことをまとめると…

全体
- 技術書中心に 15 冊の本を読んだ
- ブログを 9 記事書いた
発表など
- 勉強会を 1 回開催し、LT 形式で 1 回発表した
- Udemy 講座を 2 つ公開した
LangChain
- 書籍『ChatGPT/LangChainによるチャットシステム構築［実践］入門』を執筆（共著）した
- LangChain にいくつかコントリビュートした

といったあたりになります。

引き続き、色々なことを学んだりしていこうと思います。

【2023 年 9 月】読んだ本の記録

Sun, 01 Oct 2023 02:02:36 GMT

個人の記録として、2023 年 9 月に読んだ本をまとめます。

プログラミング

コードが動かないので帰れません！新人プログラマーのためのエラーが怖くなくなる本

デバッグやエラー解決についてまとめられた『コードが動かないので帰れません！』という書籍をいただいて読みました。

この視点で初心者向けにまとまっている書籍は見たことがなく、プログラミングに入門してデバッグやエラー解決で困っている人に是非おすすめしたい一冊だなと思いました。

いくつか自分が知らないことも書かれていて、勉強になりました。

自然言語処理

機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発

自然言語処理の基礎知識を拡充するため、2 冊ほど読みました。

どちらも自然言語処理を改めて勉強しようという方におすすめできる書籍でした。

おわりに

以上、今月は 3 冊の本を読みました。

今月はかなり読書量が少なめになってしまいました。来月からまた読書の習慣を取り戻していきたいです。

また、時間のかかっている『Linuxプログラミングインタフェース』も読み進めたいです。

【2023 年 8 月】読んだ本の記録

Fri, 01 Sep 2023 00:21:59 GMT

個人の記録として、2023 年 8 月に読んだ本をまとめます。

自然言語処理・LLM

ゼロから作るDeep Learning ❷ ―自然言語処理編

PyTorch自然言語処理プログラミング word2vec／LSTM／seq2seq／BERTで日本語テキスト解析！

LLM 関連でアウトプットする機会が多かったため、改めて基礎知識をつけようと、自然言語処理や LLM についての本を 3 冊読みました。

とくに『ゼロから作るDeep Learning ❷ ―自然言語処理編』は自然言語処理の入門としてとても良い本でした。多くの方におすすめしたいです。

他にも Udemy でいくつか講座を見たりして、自然言語処理の古典的な手法についてはある程度知識があったことを思い出したり、Attention (Transformer) のような比較的新しい知識を拡充したりできました。

AI のテスト

AIソフトウェアのテスト

積読になっていた『AIソフトウェアのテスト』を読みました。この分野の知識は全然なかったので、とても勉強になりました。

最近流行の LLM や自然言語処理というよりも機械学習全般が対象ですが、興味がある方にはとてもおすすめです。

ストレージ

基礎からの新しいストレージ入門基本技術から設計・運用管理の実践まで

話題になっているようだったので『基礎からの新しいストレージ入門』を読みました。自分はストレージの知識は全然ないので、とても勉強になる本でした。

ただ、少し難易度は高めだと感じたので、まだどこかのタイミングで手に取りたいです。

おわりに

以上、今月は 5 冊の本を読みました。

9 月は引き続き自然言語処理の本を何冊か読む予定なのと、なかなか読み進められていない『Linuxプログラミングインタフェース』をがっつり読みたいです。

Udemy で「ChatGPTのAPIで5つのアプリを作ってみよう！」をリリースしました

Tue, 29 Aug 2023 06:50:56 GMT

Udemy で「ChatGPTのAPIで5つのアプリを作ってみよう！JSON生成、属性抽出、独自文書Q&A、SQL生成、AIエージェント」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

2022 年末に公開されて以来、「ChatGPT」は一般にも知られるキーワードとなり、非常に盛り上がっています。 ChatGPT の API を使ったアプリケーションの開発も注目されており、多くの組織が取り組むようになっています。

ChatGPT の API などを使ったアプリケーションの例としてはチャットボットが定番ですが、実際にはチャットボットだけではなく、様々なアプリケーションへの応用が考えられます。この講座では、単なるチャットボットではない LLM の応用例として、5 つのアプリケーションの実装に挑戦します。

コースで実装するのは、以下の 5 つのアプリケーションです。

JSON 形式の文字列の生成（例：レシピ生成アプリ）
テキストからの属性抽出（例：ブログ記事への自動タグ付け）
独自データの検索結果を踏まえた Q&A（例：PDF への Q&A）
自然言語から SQL を生成・実行
AI エージェント（例：スケジュール管理の AI アシスタント）

Python で Web アプリを簡単に実装できる「Streamlit」を使い、これらのアプリケーションをできるだけシンプルに実装していきます。

このコースで学ぶこと

このコースで学ぶのは、ChatGPT の API の「チャットボット以外の応用例」です
Streamlit を使い、簡易的に Web アプリケーションを実装していきます
LangChain や LlamaIndex といった有名なフレームワークにも少しふれます

主な対象者

ChatGPT の API など、LLM を使ったアプリケーションの開発を学びたい方
LLM のチャットボット以外の応用例とその仕組みを学びたい方
LLM を使ったアプリケーションをいくつか実装してみたい方

このコースの特徴

ここから、このコースの特徴を紹介します。

LLM の「チャットボット以外」の応用例を実装

LLM を使ったアプリケーションといえばチャットボットが定番ですが、実際の応用例は非常に幅広いです。

このコースでは、単なるチャットボットではない応用例に注目して、LLM で何ができるのかを学んでいきます。

そして、受講者の方が自分なりのアイデアに繋げることを目標としています。

おさえておきたい応用例を実際に実装

この講座で扱う「JSON生成、属性抽出、独自文書Q&A、SQL生成、AIエージェント」という 5 つの例は、LLM の応用としてまずおさえたいといっても過言ではありません。

このような LLM の応用例をしっかり手を動かして理解していきます。

Stable Diffusion による画像生成との連携や、Zapier NLA といった、関連分野の面白いトピックにもふれていきます。

おわりに

LLM を使ったアプリケーション開発は急激に話題となり、多くの企業が取り組んでいます。

LLM で何ができるのか、自分なりのアイデアを考えるのに役立つ講座になっていれば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

Linux について学ぶおすすめの流れ【書籍を中心に紹介】

Thu, 10 Aug 2023 09:30:21 GMT

個人的に Linux に興味があって色々勉強してきました。

どんな流れで学ぶといいのかよく聞かれるので、Linux について学ぶおすすめの流れを書籍を中心にまとめます。

以下の 5 ステップで紹介していきます。

Linux を使えるようになろう
Linux のしくみに入門しよう
さらに学ぶのに必要な周辺知識をつけよう
OS 自作について学ぼう
もっと知識をつけるには…

Step 1. Linux を使えるようになろう

まずは Linux をある程度使えるようになるのを目指すのがおすすめです。

Linux の入門書はたくさんありますが、個人的に『新しいLinuxの教科書』がかなりおすすめです。

Linux サーバの環境構築の入門としては、『Amazon Web Services 基礎からのネットワーク＆サーバー構築　改訂3版』もおすすめします。

他には LPIC (LinuC) のレベル 1 ぐらいをとってみるのもおすすめです。参考書で有名なのは『Linux教科書 LPICレベル1 Version5.0対応』ですね。

このぐらい学んでおけば、Linux の使い方の基本は身につくと思います。

コンピュータやプログラミングの基礎知識をつけよう

このぐらいの段階で、コンピュータやプログラミングの基礎知識もつけておくと、ステップアップの内容も頭に入りやすいです。

例えば、

基本情報や応用情報の勉強
なんらかプログラミング言語の習得
PC 自作

といったあたりがおすすめです。

書籍だと以下の 2 冊はとてもおすすめです。

Step 2. Linux のしくみに入門しよう

Linux の使い方の基本が身についた後、ステップアップとして Linux のしくみに入門するための書籍を紹介します。

まず、『ふつうのLinuxプログラミング第2版　Linuxの仕組みから学べるgccプログラミングの王道』をおすすめします。プロセス・ファイル・ストリームといった概念から Linux について整理していて、難易度的にもとても読みやすい本です。

ただし、この本は C 言語のサンプルとなっているので、どうしても抵抗がある方もいると思います。 C 言語に抵抗がある場合は『Goならわかるシステムプログラミング第2版』をおすすめします。

そして、必読と言えるぐらいおすすめなのが『［試して理解］Linuxのしくみ　―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版】』です。 Linux のしくみを学ぶのに定番中の定番だと思います。

もう何冊か追加で読みたい場合は、

などがおすすめです。

Step 3. さらに学ぶのに必要な周辺知識をつけよう

さらに知識をつけようとすると、少し周辺分野の知識が必要になってきます。

CPU

OS について学んでいくには、どうしても CPU の知識が必要になっていきます。

CPU について学ぶ定番と言えば、『CPUの創りかた』だと思います。この書籍の通りの CPU を自作するには部品の入手が難しくなっていますが、読み物として読むだけでもおすすめです。

CPU の自作に挑戦できる書籍は色々ありますが、エミュレータで簡単に環境を用意できるという観点で『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』(通称: Nand2Tetris) はとてもおすすめです。 CPU とコンパイラの自作に挑戦して、そのしくみを学ぶことができます。

OS の前提知識として CPU を学ぶ上では、『32ビットコンピュータをやさしく語る　はじめて読む486』も絶対におすすめしたいです。 (CPU の基本を学んだ上でステップアップとして読むような書籍です)

この本のプロローグ (p20) には、以下のように書かれています。

CPUの持つ能力を引き出す役割を持つのが、オペレーティングシステムと呼ばれるソフトウェアです。

この記述の通り、OS についてさらに学ぶには CPU の知識が前提となってきます。この一冊を読むと、CPU の特権保護機能といった OS に必須の機能をざっと学ぶことができます。

C 言語

これ以上学んでいこうとすると、どうしても C 言語の知識が必要な場面が増えてきます。 (サンプルコードが C 言語か C++ の書籍が増えていきます)

最低限、C 言語を読んで意味が分かるくらい学んでおくのがおすすめです。ポインタとできれば関数ポインタぐらい分かれば大丈夫です。

Step 4. OS 自作について学ぼう

CPU や C 言語の知識もついてくると、OS 自作の書籍が読めるようになります。

OS 自作について、現在一番有名なのは『ゼロからのOS自作入門』でしょう。実際に自作までしなくても、一通り読んでみると OS についてとても理解が深まります。（もちろん自作するとさらに勉強になります）

ただし、この書籍は GUI で動作する OS を実装することもあり、かなりボリュームがあります。

もし比較的ボリュームが少ないものがよければ、『12ステップで作る組込みOS自作入門』がおすすめです。

タイトルに「組込みOS」と書かれていますが、そのエッセンスは組込みではない OS にも通じています。ただし、こちらはマイコンで実装することになるので、自作に挑戦しようとすると、最初のセットアップのハードルは高めです。

ここまでに詳解した OS 自作とは少し違いますが、Linux ディストリビューションの自作である「Linux From Scratch」も定番です。 (コードを書くわけではなく、既存の OSS を使ってひたすらインストール・設定していきます)

(余談) コンパイラ・インタプリタの自作

CPU や OS について勉強していると、コンパイラ・インタプリタの仕組みを知りたくなったり、自作してみたくなったりします。

コンパイラについて簡単に自作するなら、CPU について学ぶおすすめでも紹介した『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』がいいと思います。

この本ではエミュレータで動くコンパイラを作ることになりますが、その際 JVM (Java Virtual Machine) のような仮想マシンをはさむ方式となっています。そのため、仮想マシンについて学ぶこともできます。 (注意: JVM のような仮想マシンは、OS の仮想マシンとは別物です)

コンパイラの自作としてはオンラインブックの『低レイヤを知りたい人のためのCコンパイラ作成入門』も有名・おすすめです。こちらはエミュレータではなく実機で動きます。

インタプリタについては、『Go言語でつくるインタプリタ』を読みながら作ってみるのがおすすめです。

例えば「シェルを自作してみたい」といった方は、上のほうで紹介したシステムプログラミング関連の書籍を読んで、さらにインタプリタの作り方を学べば、シェルの自作に挑戦できるはずです。

Step 5. もっと知識をつけるには…

OS 自作ぐらい知識がついてくると、

『詳解 Linuxカーネル第3版』
『Linuxプログラミングインタフェース』

といった、Linux について日本語で（おそらく）最高峰の書籍も少し読めるようになってきます。

他には、OS について学んでいると、リンカ・ローダが気になってきます。その際は『リンカ・ローダ実践開発テクニック―実行ファイルを作成するために必須の技術』がおすすめです。

おわりに

Linux について学ぶおすすめの流れを書籍を中心にまとめまてきました。

こういった話になると、とくにアプリケーションエンジニアの方から「これを学んでなんの役立つの？」と聞かれることが多いです。私自身、どちらかというとアプリケーションよりの仕事をすることが多いのですが、それでもとても役に立っていると感じています。

例えば、エラーの解決力はかなり向上しました。エラーに遭遇したときに、エラーメッセージを理解して即座に解決できることが増えたり、根本原因を追いかけられる範囲が広がりました。

また、プログラムのパフォーマンスを高めたいようなケースでは、OS の知識が役立つ場面は多いです。 (個人的には、OS の知識がないとパフォーマンスについて理解できないことが多いと感じます)

あとは何より面白いですね。興味があって面白いと感じることが一番だと思います。

論文などの PDF の日本語訳に使えるクラウドサービスを調べてみた

Thu, 03 Aug 2023 11:57:16 GMT

論文などの PDF の日本語訳に使えるクラウドサービスを調べてみたまとめです。

条件として、1 日数ファイルくらいをほぼ無料で翻訳できるものを探そうとしています。

※「クラウドサービス」と言っているのは、資料請求などしなくてもオンデマンド・セルフサービスで使えるサービスだけが対象という意図です。

参考

NIST によるクラウドコンピューティングの定義

汎用的な翻訳サービス

Google 翻訳

https://translate.google.co.jp/

私が試した範囲では、PDF はうまく翻訳してくれませんでした…

テキストを翻訳させた場合の質も、最近の他の翻訳ツールと比べて劣る気もします。

ひと工夫して arXiv の論文を Google 翻訳する例はいくつか見つかりました。

DeepL

https://www.deepl.com/translator

ファイルの翻訳は、無料プランだと 1 ヶ月に 3 ファイルまででした。

月額 1000 円のプランだと 1 ヶ月に 5 ファイルとのことで、ファイル数が少なめです。

ChatGPT

https://chat.openai.com/

無料プランでは PDF をアップロードしたりできないので、手作業でコピペになります。ただ、翻訳の精度自体はなかなか良かったです。

有料プランの GPT-4 で Code Interpreter をうまく使えば、手作業でコピペしなくても最初から順に翻訳してくれるかもしれません。ただし、以下のデメリットがあります。

ある程度プロンプトの工夫が必要そう
GPT-4 は GPT-3.5 よりはるかに応答が遅い
時間あたりのリクエスト回数の制限もある

論文翻訳サービス

1paper

https://1paper.jp/index.html

論文翻訳に特化したのクラウドサービスです。

無料プランの場合 1 ヶ月で 1 ファイルまでのようです。

PDF + GPT のサービス

ChatPDF

https://www.chatpdf.com/

PDF の内容について、チャットで質問できるサービスです。

ただ、最初から翻訳してもらうのは挙動が微妙な気がしました。

PDFGPT.IO

https://www.pdfgpt.io/

こちらはふれていませんが、ChatPDF と似たサービスのようです。

その他

arXiv の翻訳サイト

Fugu-MT: arxivの論文翻訳

ライセンスの関係で本文まで翻訳されているのは一部ですが、こんなサイトもありました。

参考

Arxiv論文の翻訳サイト | ぷるーふおぶこんせぷと

pdfGPT (OSS)

https://github.com/bhaskatripathi/pdfGPT

PDF + GPT のサービスと類似したものとして、pdfGPT という OSS も見つけました。

ただ、こちらも先頭から翻訳するという使い道には適さない気がします。

まとめ

論文などの PDF の日本語訳に使えるクラウドサービスとして、1 日数ファイルくらいをほぼ無料で翻訳できるものは見つかりませんでした。

1 日や 1 ヶ月あたりのファイル数が少なければ、DeepL や 1paper はいいかもしれません。

個人的には自作しようかなと思いました。

「Patterns for Building LLM-based Systems & Products」という記事を読んだメモ

Thu, 03 Aug 2023 06:27:45 GMT

「Patterns for Building LLM-based Systems & Products」という記事を読んだメモです。

Evals: To measure performance

G-Eval is a framework that applies LLMs with Chain-of-Though (CoT) and a form-filling paradigm to evaluate LLM outputs.

GPT-4とCoTなどで評価するフレームワークがあるとのこと。あとで読みたい。

https://arxiv.org/abs/2303.16634

QRoLAの論文でも、GPT-4による評価があるとのこと。

https://arxiv.org/abs/2305.14314

Relative to human judgments which are typically noisy (due to differing biases among annotators), LLM judgments tend to be less noisy (as the bias is more systematic) but more biased.

LLMによる評価には以下のようなバイアスがあるとのこと。

Position bias: LLMs like GPT-4 tend to favor the response in the first position. To mitigate this, we can evaluate the same pair of responses twice while swapping their order. If the same response is preferred in both orders, we mark it as a win. Otherwise, it’s a tie.

位置バイアス。最初の位置にある回答を好む。順番を入れ替えて両方評価したりすべき

Verbosity bias: LLMs tend to favor longer, wordier responses over more concise ones, even if the latter is clearer and of higher quality. A possible solution is to ensure that comparison responses are similar in length.

言い回しバイアス。冗長な言い回しを好む。

Self-enhancement bias: LLMs have a slight bias towards their own answers. GPT-4 favors itself with a 10% higher win rate while Claude-v1 favors itself with a 25% higher win rate. To counter this, don’t use the same LLM for evaluation tasks.

自己強化バイアス。自分の回答にバイアスがある。

Retrieval-Augmented Generation: To add knowledge

RAGは定義としてWeb検索とかも含むのか気になった。埋め込みだけを指すのかもしれない。

以下がRAGの論文なので、あとで読みたい。 https://arxiv.org/abs/2005.11401

Web検索の論文もある模様。あとで読みたい。 https://arxiv.org/abs/2203.05115

RAG has also been applied to non-QA tasks such as code generation.

RAGはQA以外にコード生成などにも使えるとのこと。たしかに。

Why not embedding-based search only? While it’s great in many instances, there are situations where it falls short, such as:

Searching for a person or object’s name (e.g., Eugene, Kaptir 2.0)

Searching for an acronym or phrase (e.g., RAG, RLHF)

Searching for an ID (e.g., gpt-3.5-turbo, titan-xlarge-v1.01)

埋め込みベースの検索がうまくいかないケースの例。

人名
頭字語 (RAGやRLHF)
ID (gpt-3.5-turboやtitan-xlarge-v1.01)

たしかにうまくいかなそう。

Fine-tuning: To get better at specific tasks

Similar to prefix tuning, they found that LoRA outperformed several baselines including full fine-tuning. Again, the hypothesis is that LoRA, thanks to its reduced rank, provides implicit regularization. In contrast, full fine-tuning, which updates all weights, could be prone to overfitting.

完全なファインチューンは過学習しやすく、LoRAのほうがよい結果になる可能性があるとのこと。完全なファインチューンのほうがいいかと思っていたので面白い。

Caching: To reduce latency and cost

In the space of serving LLM generations, the popularized approach is to cache the LLM response keyed on the embedding of the input request.

一般的な手法として、入力の埋め込みをキーとしてキャッシュするとのこと。入力そのままではないというのが以外だった。たしかに、チャットボットなどで自由に入力できる場合は完全一致でキャッシュしても役に立たないので、埋め込みを使うのは有用そう。

GPTCacheは聞いたことはあったけどさわっていないので、さわっておきたい。 https://github.com/zilliztech/GPTCache

Guardrails: To ensure output quality

An example is the Guardrails package.

このパッケージは知らなかった。 https://github.com/ShreyaR/guardrails

NeMo Guardrails は知っていたけどさわっていないのでさわっておきたい。

Nvidia’s NeMo-Guardrails follows a similar principle but is designed to guide LLM-based conversational systems. Rather than focusing on syntactic guardrails, it emphasizes semantic ones.

この2つでは、注力している点も違うとのこと。

Guidance enforces the schema by injecting tokens that make up the structure.

Guidanceはトークンを注入することで構造を強制するとのこと。知らなかった。たしかに構造を強制するのによさそう。

Defensive UX: To anticipate & handle errors gracefully

To learn more about defensive UX, we can look at Human-AI guidelines from Microsoft, Google, and Apple.

Microsoft、Google、Appleのガイドラインが紹介されている。

make it easy to dismiss or ignore undesired AI system services

望まないAIサービスを無効にしたりできるようにする話。

it prevents it from becoming a nuisance and potentially reducing customer satisfaction in the long term.

そうすると、AIによって不便になることを防げるとのこと。たしかに。

However, I question whether chat is the right UX for most user experiences—it just takes too much effort relative to the familiar UX of clicking on text and images.

チャットはテキストや画像をクリックするだけと比べて入力が大変というのはそうだと思う。なんでもチャット（自由入力）にしてしまうと、入力がすごく面倒になりそう。

Collect user feedback: To build our data flywheel

Midjourney is another good example. After images are generated, users can generate a new set of images (negative feedback), tweak an image by asking for a variation (positive feedback), or upscale and download the image (strong positive feedback). This enables Midjourney to gather rich comparison data on the outputs generated.

画像生成で、出力に対してバリエーションを要求したかどうかがフィードバックになるのは面白い。この例を意識して考えてみると、色々応用できそう。

感想

すごく勉強になるめちゃくちゃ良い記事だった。読みたい論文とかさわりたいツールがいくつか出てきたので、そのあたりもやっていきたい。

「Generative Agents: Interactive Simulacra of Human Behavior」を読んだメモ

Wed, 02 Aug 2023 13:07:53 GMT

「Generative Agents: Interactive Simulacra of Human Behavior」を読んだメモです。

3 GENERATIVE AGENT BEHAVIOR AND INTERACTION

3.1 Agent Avatar and Communication

動作などが自然過ぎて、そのようにプログラムされているのでは？と思ってしまった。

実装のプログラムが見てみたい。少なくとも、LangChainで動かしてみようと思う。

4 GENERATIVE AGENT ARCHITECTURE

4.1 Memory and Retrieval

Memoryの重要性が想像以上に熱く語られていた。 Memoryにあらゆる知覚を記録するというのは面白い。

MemoryへのRetrieveでは以下の3つの要素を使うとのこと。

最新性
重要性 (LLMがつけたスコア)
関連性 (埋め込みのコサイン類似度)

LangChainがMemoryを大事だと考えてるという話が少し分かってきた気がする。チャットボットだとMemoryはふつうに動けばいい程度の機能だけど、ゲームとかで動かすAgentだとすごく大事で複雑な実装になりそうなんだなと思った。

4.2 Reflection

記憶の整理って完全に睡眠みたいなイメージ。

4.3 Planning and Reacting

Planを立ててからActionというのも大事そう。

5 SANDBOX ENVIRONMENT IMPLEMENTATION

サンドボックス環境はPhaserで作られているとのこと。 Phaserさわってみてもいいかも。

5.1 From Structured World Environments to Natural Language, And Back Again

サンドボックス環境が木構造というのは面白い。

image-to-textみたいなものと組み合わせたりしたらどうなんだろう。ただ、その方針ではAgentがものを処理したりするのが大変そうな気もする。

というかサンドボックス環境の実装めっちゃ大変そう。すごすぎる。

しかもエージェントが空間の認識をキャプチャとして持っている模様。記憶させてるかんじが面白い。

6.1 Evaluation Procedure

面接みたいなかたちで評価するのは面白い。質問内容を見ていると、たしかにどう答えるのか気になる。

人間がエージェントの行動を見続けたのは大変そう。

6.5 Results

Refrectionがないとうまく回答できないとか面白い。

7.2 Boundaries and Errors

何人か昼からバーでの飲むようになっちゃったということ？面白い。 LLMがそういう知識をもってたのか？？

8.3 Ethics and Societal Impact

倫理は難しいだろうなと思った。自分の考えとしては、人は確実にエージェントに感情を持つと思うので。

感想

気になっていた論文なので、読めてよかった。同じようなことをしてみたいが、とくかく実装が大変そうすぎる。ただ、LangChainの実装例を動かすくらいはやりたい。

引き続き、少しずつでも論文を読むようにしたい。

【2023 年 7 月】読んだ本の記録

Tue, 01 Aug 2023 05:33:06 GMT

個人の記録として、2023 年 7 月に読んだ本をまとめます。

Python

ハイパフォーマンスPython 第2版

Python の並列処理や非同期処理などの知識をつけたかったので、『ハイパフォーマンスPython』を手に取りました。

Web 上の情報ではまとまって学びにくい内容が書かれていて、勉強になりました。

LLM

OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門

つくりながら学ぶ！AIアプリ開発入門 - LangChain & Streamlit による ChatGPT API 徹底活用

ソフトウェア開発にChatGPTは使えるのか？――設計からコーディングまでAIの限界を探る

ChatGPT や LLM 関連で 4 冊ほど読みました。

自分は技術に新しい知識を獲得しようとしたわけではなく、どんな書籍があるのか見てみる目的で読みました。どの本もさくっと読めて、この分野にふれていない人にはとても勉強になりそうでした。

『ChatGPTの法律』は、この分野の法律関係の知識をつけたかったため手に取りました。とても勉強になる内容で、ぜひ多くのエンジニアにおすすめしたいです。 (ただし、技術的には結構誤りが多かったので注意が必要です)

Linux

動かしながらゼロから学ぶ Linuxカーネルの教科書

Linux の解説書で気になっていた『動かしながらゼロから学ぶ Linuxカーネルの教科書』を読みました。

とても読みやすく、比較的初心者にもおすすめできそうでした。

タイトル通り、カーネルのコードまで少し触れることができるのも良かったです。

経営と技術

レガシーコードとどう付き合うか

ときどき目にして気になっていた『レガシーコードとどう付き合うか』を読みました。

自分はスタートアップで何度か仕事をしているので、しっくりくる内容も多かったです。

ふだん技術的なことを中心に考えているエンジニアが読むと、とくに面白いかもしれません。

おわりに

以上、今月は 7 冊の本を読みました。

7 月は少し忙しかったのですが、そのわりにある程度本を読めてよかったです。

8 月は少し時間に余裕ができそうなので、分厚い本（『Linuxプログラミングインタフェース』）を読み進めたいなと思っています。

Udemy で「Pythonステップアップ速習講座」をリリースしました

Fri, 21 Jul 2023 03:11:43 GMT

Udemy で「Pythonステップアップ速習講座―仮想環境のしくみ、開発環境を整えるツール、クラスを使ったコーディング、定番パッケージ」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

近年、Python はデータ分析を中心にとてもよく使われています。プログラミングの入門としても、Python を学習する方はとても多いです

しかし、Python で if・for・関数といった基本的なコーディングはできても、そこからさらにステップアップした知識を身に付ける機会は多くありません。例えば、開発環境の整え方や、クラスを使ったコーディングについては、あまりよく分かっていないという方も多いです。

そこでこの講座では、Python でアプリケーションを実装するときに役立つ実践的な知識を、短時間で素早く身につけていきます。このコースでは、Python でアプリケーションを実装することを意識して、Python の様々な要素を学習します。

このコースで学ぶこと

Python の丁寧なセットアップ
venv による「仮想環境」の仕組み
Visual Studio Code での開発環境の整え方
クラスや「型」を使ったプログラミング
便利な定番パッケージ（ロガー、デバッガ、自動テストなど）

主な対象者

Python でプログラムを自分なりに書くことはできるが、開発環境の整え方やクラスの使い方などはあまりよく分かっていない方
機械学習やデータ分析で Python をよく使っているが、アプリケーションを実装するときに役立つ知識を学びたい方
他の言語の経験から Python をなんとなく書くことはできるが、Python でより実践的なコードを書くための知識をつけたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

Python で自分なりにコードを書ける前提で、ステップアップするための知識を解説

Python の入門の書籍や講座は世の中にとてもたくさんあります。

しかし、そこからステップアップするための情報源は多くありません。

この講座では、Python に入門済みの方に向けて、より実践的なコードを書けるようステップアップするための知識を解説します。

他の言語経験者がさくっと Python の基本をおさえるのにもおすすめ

機械学習などの流行により、他の言語の経験者が急に Python にふれることになるケースも多いです。

他の言語の経験者なら Python で if・for・関数といった基本的なコードを書くのは簡単ですが、しっかりしたコードを書くには Python 特有の知識が必要になります。

このコースはそのような方にも向けて、Python で実践的なコードを書くための知識を短時間で学べるようになっています。

おわりに

Python は情報源が多く入門のハードルが低いですが、さらにステップアップするための情報はあまりまとまっていません。

この講座が Python のステップアップの役に立てば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

2023 年 4 月から 6 月のふりかえり

Fri, 30 Jun 2023 07:30:14 GMT

2023 年 4 月から 6 月で実施したことをふりかえってまとめます。

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
4	7	【2023 年 4 月】読んだ本の記録
5	5	【2023 年 5 月】読んだ本の記録
6	12	【2023 年 6 月】読んだ本の記録

ということで、合計 24 冊でした。

月 8 冊読むのが目標だったので、目標ぴったりでした。

読んだ中で特に良かった本は、

『コンピュータの構成と設計』（パタヘネ）の上下
『プログラマー脳～優れたプログラマーになるための認知科学に基づくアプローチ』

の 2 つ (3 冊) です。

パタヘネは読んでおこうと言われることも多いので、一通り読めて良かったです。『プログラマー脳』は、全プログラマーにおすすめしたい素晴らしい一冊でした。

ブログ

このブログ (完全に理解した.com) には、8 記事投稿しました。ただ、読書記録や Udemy などの講座リリースの記事だけです。

最近は技術記事を書くよりも勉強会や Udemy などの講座にするモチベーションが高いので、ブログにはあまり力を入れていません。

資格

購入してあった受験チケットの期限が近づいていたので、

CKA (Certified Kubernetes Administrator)
CKAD (Certified Kubernetes Application Developer)

の 2 つを取得しました。

k8s 自体は何年も運用したことがあり、今更だけど一応とってみるか、くらいの気持ちでの受験でした。

結果どちらも 90 点以上のスコアでオーバーキルでしたが、対策として受講した Udemy 講座は結構勉強になりました。やはり英語圏の講座で評価が高いものは、圧倒的にクオリティが高いとも感じました。

友人との勉強会

友人と作った connpass グループ (StudyCo) では、自分は

プロンプトエンジニアリングから始めるLangChain入門
LangChainソースコードリーディング／テーマ：OpenAI Chat APIを「ちゃんと」使う
生成AI・LLM LT会にて「LlamaIndex で Text-to-SQL 100 本ノック！」

という 3 つの発表をしました。

とくに「プロンプトエンジニアリングから始めるLangChain入門」は約 650 名という、自分としても、StudyCo の勉強会としても、過去最多人数のお申し込みをいただきました。こちらの勉強会は、自分の中でも

注目の分野で（おそらく）日本最速の発表形式の勉強会ができた
これ以上ないくらい分かりやすく解説できた

という達成感があり、とても良かったです。

StudyCo というグループとしては、

connpass のグループメンバーほぼ 3000 人に到達
YouTube チャンネルの登録者数が 700 を突破

となっています。

Udemy 講座

この 3 ヶ月では、以下の 2 つのUdemy 講座を公開しました。

Linux再入門―カーネル、シェル、ファイルといった基本概念を理解してトラブルシューティング力を高めよう
LangChainによる大規模言語モデル（LLM）アプリケーション開発入門―GPTを使ったチャットボットの実装まで

既存の講座についても引き続き多くの方に受講していただいています。

なお、公開済み講座の講師発行クーポンが、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

Techpit 教材

また、Techpit さんで、以下の教材をリリースしました。

AWSの前に必要な基礎知識とRuby on Rails・Laravel・Spring BootのWebアプリケーションのAWSへのデプロイを学ぶ

「AWS へのデプロイに挑戦したい」という方に向けて、Web 上の記事では存在しないくらい丁寧に解説した教材しています。

低レイヤ

引き続き興味を持っている低レイヤの学習として、TCP/IP プロトコルスタックの自作に挑戦できました。公開されている資料をもとに写経的に取り組みましたが、とても勉強になりました。

最近は OS を自分なりに自作できるようになりたいという密かな目標があるので、引き続き勉強していこうと思います。

また、関連して C++ と Rust を勉強したいです。

LLM 周辺技術

この 3 ヶ月も、LLM 関連分野についてキャッチアップしたりしました。

特に LangChain と LlamaIndex について勉強会で発表できるくらいキャッチアップできたのはとても良かったです。

この分野にはとても興味があるので、引き続き注目していこうと思います。

総括

以上、2023 年 4 月から 6 月でやったことをまとめると…

全体
- 技術書中心に（？）24 冊の本を読んだ
- ブログを 12 記事書いた
発表など
- 勉強会を 2 回開催し、LT 形式で 1 回発表した
- Udemy 講座を 2 つ公開した
- Techpit 教材を 1 つ公開した
勉強
- TCP/IP プロトコルスタックの自作に挑戦した
- LangChain と LlamaIndex をキャッチアップした

といったあたりになります。

引き続き、色々なことを学んだりしていこうと思います。

【2023 年 6 月】読んだ本の記録

Fri, 30 Jun 2023 07:03:15 GMT

個人の記録として、2023 年 6 月に読んだ本をまとめます。

低レイヤ

コンピュータの構成と設計　MIPS Edition　第6版　下

自作OSで学ぶマイクロカーネルの設計と実装

低レイヤの知識の拡充のため、3 冊ほど読みました。

『コンピュータの構成と設計』パタヘネはいつか読みたいと思っていたので読めて良かったです。正直、アプリケーションエンジニアがすぐに役立てられる内容ではないですが、性能が重要なライブラリやミドルウェアを作ったりする場面では役立つかもしれません。

『Go ならわかるシステムプログラミング』は、システムプログラミングの入門としてとても良い本でした。

『自作OSで学ぶマイクロカーネルの設計と実装』は、マイクロカーネルについて全く知らなかったので勉強になりました。

システム開発

人が増えても速くならない～変化を抱擁せよ～

システム開発について非エンジニア向けに書かれた本を 2 冊ほど読みました。

『システムを作らせる技術』は、エンジニアが読んでも参考になる内容でした。ただ、本来の想定読者がこの本を読んで実践できるかというと難しそうではありました。

『人が増えても速くならない』は非常におすすめしたくなる本でした。「なんでたったこれだけのことにそんなに時間がかかるの？」などと質問されたときに説明したくなる内容が、とてもコンパクトにまとまっていて良かったです。

ビジネスモデル・個人開発

個人開発で稼ごう

個人開発で毎月1万円を稼ぐコツ

ビジネスモデルや個人開発についていくつか本を読んでみました。

ビジネスモデルなどは普段から考える機会があると何か思いついたりしやすくなる気がするので、たまにはこういった本を読むのも悪くないと思います。

プログラミング

プログラマー脳～優れたプログラマーになるための認知科学に基づくアプローチ

ロバストPython ―クリーンで保守しやすいコードを書く

プログラミングと関連して 2 冊ほど読みました。

『プログラマー脳』は、最近読んだ本の中で圧倒的に面白かったです。最近は AI の発達により、「勉強したことがなくてもプログラミングできた」といった話を耳にすることもありますが、この本を読むとやはり勉強したほうがあったほうが有利だなと思ったりしました。普段からプログラミングに関わっている人には、是非とも読んでみてほしいです。

『ロバストPython』は、前半の型をしっかり使うための解説がとても良かったです。 Python を自分なりに書ける段階からのステップアップにとてもおすすめです。

設計

エンジニアなら知っておきたいシステム設計とドキュメント

システム設計に関して 1 冊読みました。システム設計について雰囲気を知りたい方には良さそうだと思いました。

大規模言語モデル

大規模言語モデルは新たな知能か――ChatGPTが変えた世界

大規模言語モデル関連で話題になっていた『大規模言語モデルは新たな知能か』を読みました。

100 ページ程度というコンパクトな本ですが、大規模言語モデルに関してまず知りたい要素をおさえるのに良かったです。

大規模言語モデル関係は最近かなり興味があるので、今後もいろいろ本を読んだりしていくつもりです。

おわりに

以上、今月は 12 冊の本を読みました。

他には TCP/IP プロトコルスタックの自作に挑戦することもでき、個人的に勉強時間をある程度とれた月でした。

来月は少し忙しくなりそうですが、引き続き本を読む時間をとったりしていきたいです。

Techpit で「AWS へのデプロイ」をテーマとした教材をリリースしました

Thu, 15 Jun 2023 07:31:31 GMT

Techpit で「AWS へのデプロイ」をテーマとした教材をリリースしました。

どんな教材なのか、この記事で少し紹介させていただきます。

※ 著者が出したオンライン教材の一覧はこちらです。

教材概要

タイトル
- AWSの前に必要な基礎知識とRuby on Rails・Laravel・Spring BootのWebアプリケーションのAWSへのデプロイを学ぶ
教材ページ
- https://www.techpit.jp/courses/271

Web アプリケーションの実装に入門した次のステップアップとして、AWS を学ぼうと考える方は多いです。特に、自分の作ったアプリケーションを「AWS にデプロイ」する方法を学びたいという声はよく耳にします。

「AWS へのデプロイ」を学ぶには、いくつものステップがあります。その第一歩は、「AWS に Linux サーバを 1 台だけ用意して、そこで環境構築する」ことです。

そこで本教材では、「AWS へのデプロイ」を Linux サーバ 1 台という最小構成で実現することを目標として、Linux・ネットワークの基礎知識に始まり、Web アプリケーションの環境構築の基礎を学んでいきます。 その後、Ruby on Rails・Laravel・Spring Boot を使った Web アプリケーションのデプロイに実際に挑戦してみます。

主な対象者

「AWS へのデプロイ」を学びたいが、その言葉が何を指していて、どうやって学べばいいのか分からない方
AWS Certified Solutions Architect - Associate (SAA) などの資格の学習を始めたが、インフラに触れたことがなく、アプリケーション開発とどのように関係するのかよく分からない方
Web 上の情報などを参考に AWS になんとなくデプロイすることはできたが、自分が何をしたのか実はよく分かっていないという方
「インフラ」への苦手意識を克服したいアプリケーションエンジニアの方

この教材の特徴

ここから、この教材の特徴を紹介させていただきます。

Linux やネットワーク・Web の仕組みと言った基礎知識から学ぶ

「AWS へのデプロイ」を学びたいという方の多くは、実は AWS の知識ではなく、Linux・ネットワーク・Web の仕組みといった基礎知識でつまづいていることが多いです。

この教材では、「AWS へのデプロイ」の第一歩として必要な範囲で、Linux・ネットワーク・Web の仕組みといった基礎知識から学んでいきます。

Ruby on Rails・Laravel・Spring Boot の例で学ぶ

この教材では、Ruby on Rails・Laravel・Spring Boot の Web アプリケーションで実際にデプロイを体験できるようになっています。

これらの Web アプリケーションのデプロイ手順について、Web 上には様々な記事がありますが、その意味まで丁寧に説明している例はほとんどありません。

この教材では、デプロイ手順で何をしているのか、入門として知っておきたい範囲でできる限り丁寧に解説しています。

おわりに

「AWS へのデプロイに挑戦したい」という声はよく耳にしますが、何をどう学べばいいのか分からないという方は多いです。この講座がそういった方のお役に立てば嬉しいです。

最後に、著者が出したオンライン教材の一覧は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2023 年 5 月】読んだ本の記録

Thu, 01 Jun 2023 01:17:31 GMT

個人の記録として、2023 年 5 月に読んだ本をまとめます。

設計・運用

AWS運用入門　押さえておきたいAWSの基本と運用ノウハウ

システム設計や運用について、気になっていた本を読みました。

『システム設計の面接試験』は、面接に限らずシステム設計について学ぶのに良い本かもと思いました。 (一部明らかに NG な内容も混ざっていたので、そのあたりの見極めができる必要はあるかもしれません)

『AWS運用入門』は、AWS の運用についてしっかりまとめられていて、運用設計などの際に参考にできる本だと思いました。

低レイヤ

コンピュータの構成と設計　MIPS Edition　第6版　上

低レイヤの学習の一環として 2 冊の本を読みました。

『lsを読まずにプログラマを名乗るな！』はざっと読んだのですが、後日もう少し丁寧に読むと面白そうかもと思いました。

また、『コンピュータの構成と設計』（パタヘネ）の上を読み終えられました。 4 章「プロセッサ」がとても面白く、実装まで全く想像できていなかった CPU のパイプライン処理などを丁寧に学べて良かったです。

ビジネス

失敗の科学失敗から学習する組織、学習できない組織

気になっていた『失敗の科学』を読みました。自分の思考・行動についても色々考えさせられて面白かったです。かなり多くの人におすすめできそうな本でした。

おわりに

以上、今月は 5 冊の本を読みました。

パタヘネを読むのにかなり時間がかかったので、読めた冊数は少なめでした。

来月はまずパタヘネの下巻を読み切るところから始めたいなと思っています。

Udemy で「LangChainによる大規模言語モデル（LLM）アプリケーション開発入門」をリリースしました

Sat, 27 May 2023 03:42:09 GMT

Udemy で「LangChainによる大規模言語モデル（LLM）アプリケーション開発入門―GPTを使ったチャットボットの実装まで」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

2022 年末に公開されて以来、「ChatGPT」は一般にも知られるキーワードとなり、非常に盛り上がっています。 ChatGPT が使っている GPT-3.5 や GPT-4 などのモデルは、「大規模言語モデル（LLM：Large Language Model）」と呼ばれます。 2023 年現在、LLM 周辺のトピックは日々大きな話題となっています。

そんな中、LLM を使ったアプリケーションを開発するためのツールとして、「LangChain」が注目を集めています。 LLM を使ったアプリケーション開発の基礎を学びたい方は、LangChain で実際にアプリケーションを実装してみるのがおすすめです。

この講座では、LangChain の入門から始めて、実際に LLM（GPT）を使ったアプリケーションを開発していきます。コース後半では、LangChain を使って、Web アプリケーションと Slack ボットという 2 つのチャットボットを実装します。これらには「会話履歴を踏まえて応答する機能」や「プライベートな文書を検索して応答する機能」を実装します。

主な対象者

GPT などの大規模言語モデルを使ったアプリケーションの開発を学びたい方
LangChain について耳にして、基本を学びたいと思っている方
LangChain を使って Web アプリや Slack ボットを実装してみたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

内部の動作を意識して LangChain にしっかり入門

LangChain を理解するには、内部で使われる「プロンプトエンジニアリング」がポイントです。

プロンプトエンジニアリングと言うと、何かうさんくさいテクニックだと感じる方もいるかもしれませんが、実際にはとても興味深い手法が研究されていたりします。

このコースでは、LangChain の内部で使われるプロンプトエンジニアリングの基本から学習します。

LangChain の基礎で終わらず、Web アプリや Slack ボットを実装

LangChain について学ぶだけでなく、実際に何かアプリケーションを作ってみたい、という声はよく耳にします。

このコースでは、Gradio や Bolt を使い、Web アプリケーションや Slack ボットを簡単に実装できることを体験します。

また、実装したアプリケーションはローカル環境で動かすだけでなく、PaaS を使用して実際にデプロイまで実施します。

変化の激しいツールをキャッチアップして使う方法にもふれる

LangChain は毎日のように新バージョンがリリースされています。

変化の激しいツールを使う場合、最新情報をキャッチアップする方法を学ぶことも重要です。

そこで、LangChain の特定バージョンのドキュメントを参照する方法や、ソースコードの読み方にもふれます。

おわりに

LLM 周辺分野は非常に盛り上がっていますが、その中でも LangChain は最初に学ぶのにとてもおすすめです。

現時点で日本語で最も詳しい LangChain の入門講座だと思うので、ぜひ多くの方に楽しんでいただければ嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2023 年 4 月】読んだ本の記録

Mon, 01 May 2023 10:40:09 GMT

個人の記録として、2023 年 4 月に読んだ本をまとめます。

設計

ちょうぜつソフトウェア設計入門――PHPで理解するオブジェクト指向の活用

読みやすいコードのガイドライン -持続可能なソフトウェア開発のために

ソフトウェア設計などの分野の新しめの本を何冊か読みました。

この分野の本は今までにかなり色々読んだりしてきていますが、そうはいっても本を読むと改めての発見もあって勉強になります。

『ちょうぜつソフトウェア設計入門』は初心者向けではないと思いますが、ある程度知識のある人が、ソフトウェア設計について 2023 年時点の整理を学ぶのに良さそうだと思いました。

『読みやすいコードのガイドライン』は、有名な『リーダブルコード』と近い分野の本ですが、使われている例が実践的で良かったです。

税務

即効！インボイス制度対応マニュアル

インボイス制度の概要を知りたかったので、2 冊ほど読んでみました。

どちらの本も、概要を把握するには良かったです。

執筆

技術書のつくり方　本の書き方、企画書作り、出版社探し、執筆ツール、締切、著者宣伝、商業出版の全工程

技術書の執筆について、本を手に取ってみました。

個人的に何を調べるにも本を 1-2 冊読むのが好きなので、こういうことはよくやります。

Linux

入門モダンLinux ―オンプレミスからクラウドまで、幅広い知識を会得する

［試して理解］Linuxのしくみ　―実験と図解で学ぶOS、仮想マシン、コンテナの基礎知識【増補改訂版】

Udemy で Linux の講座を出したかったので、Linux 関係の書籍を 2 冊読みました。

『入門モダンLinux』は、Linux をある程度知っている人向けに、最近のトピックなどを色々出してくれる本でした。

『Linuxのしくみ』のほうは、Linux の脱初心者の本として、個人的に一番おすすめです。 IT エンジニア向けの技術書は少なく見積もっても 500 冊以上は読んでいますが、その中でもトップクラスにおすすめの本です。 IT エンジニアであれば、是非一度読むことをおすすめしたい本です。

おわりに

以上、今月は 7 冊の本を読みました。

1 月・2 月と全然本を読めていなかったので、読書の習慣を多少でも復活できて良かったです。

来月からも最低このくらいのペースで本を読んでいこうと思います。

Udemy で「Linux再入門―カーネル、シェル、ファイルといった基本概念を理解してトラブルシューティング力を高めよう」をリリースしました

Mon, 01 May 2023 10:09:37 GMT

Udemy で「Linux再入門―カーネル、シェル、ファイルといった基本概念を理解してトラブルシューティング力を高めよう」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

Linux はサーバ用の OS として非常によく使われており、システム開発の現場で関わる機会はとても多いです。近年は Docker などのコンテナ技術もよく使われますが、その背後で使われているのも Linux です。

しかし… 書籍や資格学習などで Linux に入門してコマンドを身につけたりしても、まだまだ知識が足りないと感じることは多いです。例えば、以下のようなケースはよくあります

環境構築がうまくいかないときに、エラーの原因が理解できず、解決することができない
Docker などの Linux 上で動作する技術を学ぶ際に、登場する概念が理解できない
資格学習などで学んだ知識が、実際のプログラムの動きとどう繋がるのかよく分からない

環境構築のトラブルシューティングや関連技術のキャッチアップが得意になるためには、Linux などの OS の知識がとても重要です。

そこでこのコースでは、Linux について、コマンドを覚えてなんとなくさわれる段階を卒業するための知識を学びます。とくに、カーネル・シェル・ファイルといった入門では正確に解説されない概念をもう一歩正確に学びます。このような知識をつけることで、トラブルシューティングや Docker などの Linux 上の技術のキャッチアップに非常に役立ちます。

主な対象者

Linux に入門して基本的なコマンドを身につけたが、まだ知識が足りないと感じている方
環境構築のトラブルシューティングの苦手意識を克服したい方
カーネル・シェル・ファイル・標準入出力・インストールといった、入門では曖昧にしか説明されない概念をしっかり理解したい方
Docker などのコンテナ技術を学ぼうとして、Linux 関連の用語が分からなかった方（例：マウント、システムコール）
Linux や OS に興味があり、基礎的な知識をつけたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

入門では正確に解説されない概念を、改めて解説

Linux の入門では、重要な概念について例えば

「カーネルはOS のコアのこと」
「シェルはカーネルを囲った殻のようなもの」
「標準入出力は画面やキーボードのこと」

といった曖昧な説明がされることが多く、実際に何を指しているのか分からないという方はとても多いです。

このコースでは、カーネル・シェル・標準入出力・ファイル・インストールといった、入門では正確に解説されない概念について、もう一歩正確に解説していきます。

聞いたことのある概念の繋がりを解説

資格学習などで、例えば

init プロセス (systemd)
機械語のライブラリのリンク
CPU の割り込み機能

といった要素を学んでも、それが現実の Linux マシンの動作にどう繋がるのか、イメージがつかない方は多いと思います。

このコースは、どこかで聞いたことのある概念が、プログラムの実行という目的で繋がっていくことを意識した構成となっています。

おわりに

Linux について、コマンド操作を身に付けたあと、さらにステップアップするのに丁度良い書籍などは多くありません。中級者以上の方にとっては当然のことが、暗黙の前提知識となっていることも多いです。

私自身、たくさんの書籍などをあたり、Linux にたくさんふれて、基本的なことすらそれでようやく理解したりしました。

3 時間ほどのコンパクトな講座ですが、「そうだったのか！」という発見をたくさんできる内容にしたつもりです。

とくに Linux や OS というものについて、「全然知らないが興味はある！」といった方には楽しんでいただけると思います。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

2023 年 1 月から 3 月のふりかえり

Mon, 03 Apr 2023 07:29:43 GMT

2023 年 1 月から 3 月で実施したことをふりかえって記事にまとめます。

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
1	8	【2023 年 1 月】読んだ本の記録
2	1	【2023 年 2 月】読んだ本の記録
3	2	【2023 年 3 月】読んだ本の記録

ということで、合計 11 冊でした。

月 8 冊読むのが目標だったので、2 月・3 月は目標を大きく下回りました。

読んだ中で特に良かった本は、

の 2 冊です。

この 3 ヶ月では、C 言語やパーサジェネレータ、システムプログラミングといった分野の知識をかなり拡充できました。

ブログ

このブログ (完全に理解した.com) には、12 記事書きました。

週 1 記事程度のペースで何かしらの記事を書くことができました。

もう少し記事を書く習慣をつけていきたいです。

資格

この 3 ヶ月では資格は全く取得しませんでした。

近いうちに CKA や CKAD の取得にチャレンジするか検討中です。

友人との勉強会

友人と作った connpass グループ (StudyCo) では、自分は

の 2 つの発表を行い、合計 300 名近い多くの方にお申し込みいただきました。

StudyCo というグループとしては、

connpass のグループメンバーが 2000 名を突破
YouTube チャンネルの登録者数が 400 を突破

となっています。

Udemy 講座

この 3 ヶ月では、以下の 4 つのUdemy 講座を公開しました。

AWSコンテナサービス入門―AWSの基本からECS・Copilot CLI・CI/CD・App Runnerまで
GitHub Actionsで学ぶCI/CD入門―ビルド・デプロイの基本からAPI自動テスト・AWSへの自動デプロイまで
Terraform入門ハンズオンwith AWS（v1.3使用）―Terraformの基本からモジュール化、学習方法まで
AWSで学ぶネットワーク入門―アプリケーションエンジニアも知っておきたい、トラブルシューティングの必須知識

既存の講座についても引き続き多くの方に受講していただいています。

なお、公開済み講座の講師発行クーポンが、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

システムプログラミング

最近はいわゆる低レイヤに興味があり、C 言語やシステムプログラミング、lex・yacc などの知識を拡充できたのはとても良かったです。

このレイヤについては知識がついてきているものの、実際に手を動かすのが足りていないと感じています。

公開勉強会を開催したり教材などの形式でナレッジを公開したりできるよう、トレーニングしていきたいところです。

とくに C コンパイラ、TCP/IP プロトコルスタック、RDBMS といったものの自作に興味があるので、遠くないうちに挑戦したいです。

LLM 周辺技術

この数ヶ月ほど、ChatGPT などの LLM (大規模言語モデル) 界隈が大きな話題となっています。

その分野で有名な OSS である LangChain にふれて、基本を理解することができました。

明らかに今最も注目されている分野なので、引き続きキャッチアップしていきたいです。

総括

以上、2023 年 1 月から 3 月でやったことをまとめると…

全体
- 技術書中心に 11 冊の本を読んだ
- ブログを 12 記事書いた
発表など
- 勉強会を 2 回開催した
- Udemy 講座を 4 つ公開した
勉強
- C 言語やシステムプログラミング、lex・yacc などの知識をつけた
- LangChain をキャッチアップした

といったあたりになります。

引き続き、色々なことを学んだりしていこうと思います。

【2023 年 3 月】読んだ本の記録

Mon, 03 Apr 2023 06:36:31 GMT

個人の記録として、2023 年 3 月に読んだ本をまとめます。

システム設計

はじめての設計をやり抜くための本第2版概念モデリングからアプリケーション、データベース、アーキテクチャ設計、アジャイル開発まで

以前から気になっていたシステム設計に関する書籍を読んでみました。

実装だけに関わっている段階から設計にも手を出そうとする人に向けて、非常に良い書籍でした。

他の人が設計する様子を見たりしている段階から、自分で設計する段階にステップアップするのにとても良いと思います。 (設計について全くイメージもつかないといった段階では難しそうです)

執筆

はじめての技術書ライティング―IT系技術書を書く前に読む本

技術書の執筆について概要を知りたく、こちらの本を手に取りました。

目的通り、技術書の執筆の概要を知るのに良かったです。

おわりに

以上、今月は 2 冊の本を読みました。

3 月は私用で忙しく、読書の時間をあまりとることができませんでした。

4 月からは時間がとりやすくなりそうなので、読書量も増やしていこうと思います。

Udemy で「AWSで学ぶネットワーク入門―アプリケーションエンジニアも知っておきたい、トラブルシューティングの必須知識」をリリースしました

Fri, 17 Mar 2023 03:36:39 GMT

Udemy で「AWSで学ぶネットワーク入門―アプリケーションエンジニアも知っておきたい、トラブルシューティングの必須知識」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

近年、アプリケーションの実行環境として、AWS などのクラウドが使われることが非常に多くなっています。クラウドの環境構築はアプリケーションエンジニアが担当する例も多く、その際はネットワークの基礎知識が求められます。

しかし… 例えば、ネットワークのトラブルに遭遇した場合、ネットワークの基礎知識がないと解決の方向性を考えることも難しいです。また、ネットワークについて独学して仕組みはなんとなく頭に入ったものの、実際のトラブルシューティングでは手が動かないという方も少なくありません。

ネットワークのトラブルシューティングには、ネットワークの仕組みの知識と、具体的なコマンドの知識が必要です。

そこでこのコースでは、AWS の VPC（仮想ネットワーク）にふれながら、アプリケーションエンジニアでも知っておきたい範囲で、ネットワークの基礎知識と、トラブルシューティングに必要なコマンドを学びます。最終的には、学習した知識を活用してネットワークのトラブルシューティングの例にも挑戦します。

主な対象者

ネットワークへの苦手意識を克服したい、アプリケーションエンジニアの方
ネットワークの基礎を、理屈だけでなく、具体的なコマンドやトラブルシューティングの例で学びたい方
AWS を学ぼうとして、ネットワーク関連の用語が理解できず困っている方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

アプリケーションエンジニアでも知っておきたい範囲に特化

ネットワークを学ぼうとすると、とても多くの要素が登場します。

この講座では、その中でもアプリケーションエンジニアでも知っておきたい範囲に特化して解説しています。

とくに AWS などのクラウドにふれることを意識して、AWS の入門でも必要な、TCP/IP の基本、IP、TCP、HTTP の概要と、名前解決といった範囲を解説しています。

具体的なトラブルシューティングの演習付き

ネットワークについて本を読んだりして仕組みはなんとなく理解しても、実際のトラブルシューティングでは手が動かないという方は少なくありません。

このコースでは、トラブルシューティングの場面を意識して、具体的なコマンドや設定を学んでいきます。

最後には、トラブルシューティングの演習題材を 7 つ用意してあり、実際にトラブルシューティングに挑戦したうえで、解決の流れの例を見てみることができるようになっています。

おわりに

ネットワークの基礎知識は、必要と思いながらもなかなか身につけにくい分野だと思います。

しかし、一度身につけると非常に役立ちます。

このコースが、ネットワークへの苦手意識の解消に繋がれば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

AI の急激な発達について思うこと ver 2023/03/17

Fri, 17 Mar 2023 01:09:11 GMT

昨年末に ChatGPT が公開された頃から、大規模言語モデル (LLM) の界隈が広く認知され盛り上がっています。一昨日も GPT-4 が発表され、非常に高い性能だと話題になっています。

自分の感覚としては 2023 年になったあたりからこの界隈の盛り上がりが異常で、それまで AI まわりでは数ヶ月に一回程度大きな進展のニュースがあったりしたのが、数週間に一回程度の頻度になり、今では毎日何らかの大きなニュースがあります。

そんな中、「仕事がなくなる」といった不安を感じている人は少なくないと思います。自分は少し前までは「AI を使ってうまくやる側にまわれば大丈夫だろう」と思っていたのですが、だんだんと、そんなこともない気がしてきています。正直、かなりの焦りを感じていて、頭を抱えています。

まずは今の時点で思っていることをまとめておこうと思います。

仕事はなくなると思うか？

ソフトウェア開発の環境の変化

自分が焦っている大きな理由の 1 つは、今までに身につけた知識の価値が大きく下がっていっていることです。自分には、ソフトウェア開発と関連して、生活できる程度に知見のある分野がいくつかありますが、その分野の知識の価値が小さくなっていっているように感じます。 AI に聞けば分かること、AI にやってもらえば良いことが増えているためです。

現状では、適切にググるためには相応の知識が必要なように、AI に質問したり依頼したりするにも相応な知識が必要ですが、その状況は今後変わっていく可能性が低くないと感じています。

とくにプログラミングについては人間の関わり方が大きく変わる可能性が高いと感じており、今後、今までのやり方が通用するかは怪しいです。

要件定義や設計といったフェーズであれば、今後も人間の出番があるという意見もありますが、そこを AI が担うようになるのも時間の問題で、意外と遠くないのではないかと思っています。 AI が完全に担うことはなくとも、専門知識がなくても AI に聞きながら誰でもできるようになれば、専門性の価値は小さくなります。

いわゆるシンギュラリティみたいなことかもしれませんが、AI によって AI が進化するようになるのも遠くないと思います。そうして AI が非常に賢くなった状況では、ホワイトカラーの仕事の多くが淘汰されるというのも妄想ではなくなってきたと感じています。

このような変化はいつか起こるものだとは思っていましたが、想像よりはるかに早くにやってきたことで焦っています。ソフトウェアエンジニアとしては、習得した技術要素などはある程度の年数で陳腐化するとは思っていたものの、ここまで高速な侵食を受けると思っていませんでした。自分の強みが強みではなくなっていく状況を感じ、例えば直近の仕事をどうするか、というのは悩みの 1 つです。

ブルーカラーの仕事について

現実世界に物理的に干渉しなくてよいソフトウェアの世界は、AI にとって扱いやすく、影響を受けやすいと思います。一方で、いわゆるブルーカラー的な仕事であれば影響を受けないのかと言うと、それも時間の問題かもしれないと思っています。

ソフトウェアと比べるとまだ先になるとは思いますが、AI によって研究開発のスピードもどんどん上がると考えると、思っていた以上に早く人間しかできない仕事がなくなるのかもしれません。

ふと、ドラえもんなどのロボット型の AI と生活するような SF の世界で、どのような職業が残っているのかなと考えたりしましたが、「それロボット (AI) のほうが上手にできるよね」とならない職業は思いつきませんでした。

大企業はすぐにはなくならない

このような状況で、早く大きな影響を受けるのはやはり中小企業だと思います。そして当然ですが、大企業はすぐにはなくなったりしにくいと思います。日本の大企業であれば突然解雇される可能性は低いです。

もしも人間の仕事が減り、それが社会問題になる苦しいフェーズが来るとして、大企業の社員という立場であれば、その段階を比較的楽に乗り越えやすいかもしれません。そこはやはり大企業に就職することの強みだと思います。他には、個人で大きな資産がある場合も強いはずです。

そして、ソフトウェア開発についても、今までと同じようなものがすぐに完全になくなるわけではないと思います。特に日本的大企業での開発で AI を駆使するには、ルールを改正するのが大変だと思いますし、何らかのかたちで人間が担当する仕事が（少なくともしばらくは）残ると思います。

COBOL は古いみたいなことはよく言われると思いますが、今やっている開発はそのような扱いで残るのかもしれません。ただ、まわりが AI を駆使したりしている状況では、その仕事に楽しさを感じにくくなったりする可能性はあるかもしれません。

仕事がなくなることの問題

ここまで、仕事がなくなると思うかを書いてきましたが、そもそも仕事がなくなることにはどのような問題があるかを考えておいたほうが良いと思います。

仕事がなくなることの具体的な問題は、以下の 2 つだと考えています。

生活費が稼げなくなる
生きがいがなくなる

「生活費が稼げなくなる」について

生活費が稼げなくなる状況については、個人的にはそれほど心配していません。

自分が生活費を稼げない状況では、それは自分だけでなく、かなりの割合の人が同じ状況になると考えているためです。もしも多くの人が生活費を稼げない状況になってしまった場合、犯罪が多発するなど、安全に生活できる状況ではなくなる可能性が高いと思っています。

そのような治安の悪い社会になるのを避けるためには、最低限の生活費が配られるような制度ができる可能性があると思っています。それをベーシックインカムと呼ぶのか社会主義と呼ぶのかは分かりませんが、そんな社会になる可能性は低くないと思います。

このような理由から、生活費が稼げなくなる状況については、それほど心配を感じていません。

一方、もしも最低限の生活費が担保されず、犯罪が多発するような社会になった場合、そもそもお金がどう、というルールが通用するのか自体がかなり怪しいと思います。もしもそのような状況になったらかなり困るとは思いますが、もはや事前に心配しても仕方ない領域だと、そこは諦めています。できることがあるとすれば、体を鍛えておくとか、交友関係で安全を確保しておくとかな気がします。

「生きがいがなくなる」について

多くの人にとって仕事には生きがいとしての側面もあり、生きがいがなくなるという問題も大きいと思います。

自分はヴィクトール・フランクルの 3 つの価値の考え方が好きなので、その観点で書いてみようと思います。 3 つの価値というのは、人間が生み出す価値は以下の 3 種類だということです。

創造価値（何かを創り出すこと。いわゆる仕事のやりがい）
体験価値（おいしいものを食べたり、美しい景色を見て、生きていて良かったと思うこと）
態度価値（苦しい状況であっても、誠実であること）

※ 括弧内は自分の解釈です

創造価値が AI に淘汰されていった場合、体験価値に重きがある世界になるのかもしれません。（態度価値はかなり極限的な状況の話なので、おいておきます）

そうなると、自分が何をして日々暮らしたいのか、その生活は楽しいのか、ということが問題です。日々おいしいものを食べたり旅行をしたりする生活というのも、ずっと続けていたら飽きてしまいそうな気がします。自分が本当にやりたいことは何なのか考えるのが、今まで以上に重要なのではないかと思ったりしています。

一方で、自分が本当にやりたいことを見つけるというのは、簡単なことではありません。実際、与えられた仕事のやりがいを生きがいとしている人は多いはずです。人間から仕事のやりがいを奪うことがないよう、あえて AI を禁止して仕事をするような団体もできるかもしれないな、と妄想したりもしました。

結論

ここまで色々と書いてきましたが、訪れる変化には段階がいくつかあって、その段階によってどうするべきかは変わりそうな気がしています。

過渡期

まず、今のような過渡期があります。過渡期のうちは、過去のスキルに囚われすぎず、新しいやり方をキャッチアップすることが重要だと思います。

何かが登場したからといって明日から急に変わるということはないはずなので、日々置いていかれないようにしたいなと思っています。

そして、過渡期はチャンスも大きいので、何か面白いことができるかもしれません。

人間の仕事がなくなったとき

その後、もし人間の仕事がない状況が来たとしたら…

わりと真面目に、衣食住があれば生活できるというのは重要なことで、食べ物を作ったりして生活するのが楽しそうだなと思ったりしています。もし働かなくても衣食住が整うような環境だとしても、家庭菜園とかは楽しそうです。

現代でも、簡単に手に入るものをあえて作ることは、それはそれで楽しいです。 AI が簡単にやってしまうことを、手作業であえてやることも楽しそうな気がしています。

【2023 年 2 月】読んだ本の記録

Wed, 01 Mar 2023 07:45:09 GMT

個人の記録として、2023 年 2 月に読んだ本をまとめます。

C++

基礎からしっかり学ぶC++の教科書 C++14対応

C++ の基礎知識をつけたく、こちらの書籍を読んでみました。

他の言語のプログラミング経験があるような人が、300 ページほどの分量でコンパクトに C++ に入門できる書籍でした。

自分としてはもう少し踏み込んだ知識をつけたいので、また別の本も読もうと思っています。

おわりに

以上、今月は 1 冊の本を読みました。

1 月は読書の時間をある程度とれていたのですが、今月は非常に少なくなってしまいました。

読みかけの本も多いので、3 月は読書の習慣を復活させていきたいです。

【AWS】VPC のプライベートサブネットでも、インターネットからパケットは届く

Fri, 24 Feb 2023 05:31:24 GMT

AWS の VPC にふれていて、「プライベートサブネットでもインターネットからパケットが届いているのでは？」と思ったので確認してみました。

結論

プライベートサブネットでも、パブリック IP があればインターネットからパケットが届きます。

背景

AWS の VPC では、サブネットをパブリックサブネットとプライベートサブネットと呼び分けたりします。

そして、

パブリックサブネットはインターネットに面する
パブリックサブネットはインターネットから直接アクセスできる

などと説明がされる場合があります。

この説明を踏まえて、「プライベートサブネットであれば、インターネットからパケットは届かない」と思ってしまう方も少なくないと思います。

実際にどうなのか、試してみました。

パケットが到達するか確認する

プライベートサブネットに EC2 インスタンスを起動して、踏み台サーバを経由して SSH でアクセスしてみます。

このとき、プライベートサブネットの EC2 インスタンスに、パブリック IP アドレスを割り当てるようにします。

※ セキュリティグループでは、すべてのプロトコルを許可しています。

パケットが届くか ping で確認するため、EC2 インスタンスの内部で tcpdump を実行しておきます。

$ sudo tcpdump -n icmp

この状態で、別のマシンから EC2 インスタンスのパブリック IP アドレスに ping を打つと…

$ sudo tcpdump -n icmp
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
04:44:34.651927 IP 203.0.113.10 > 10.0.129.69: ICMP echo request, id 63224, seq 0, length 64
04:44:34.651953 IP 10.0.129.69 > 203.0.113.10: ICMP echo reply, id 63224, seq 0, length 64
04:44:35.654127 IP 203.0.113.10 > 10.0.129.69: ICMP echo request, id 63224, seq 1, length 64
04:44:35.654154 IP 10.0.129.69 > 203.0.113.10: ICMP echo reply, id 63224, seq 1, length 64

※ ping を実行したマシンの IP アドレスは例示用の値に書き換えてあります。

このように、EC2 インスタンスにインターネットからパケットが届いていることが分かります。 (ちなみに、ping コマンドは応答を得られません)

つまり、EC2 インスタンスに対してインターネットからパケットが到達するかどうかは、パブリックサブネットかどうかではなく、パブリック IP があるかどうかで決まります。

NAT Gateway を置くとどうなる？

NAT Gateway があれば、応答も得られるのでは？と思ったので試してみましたが、NAT Gateway を作成してルートテーブルに設定しても、ping コマンドに応答はありませんでした。

この理由はすぐに分からず、これ以上深掘りしていません。 (もし分かる方は教えていただきたいです)

そもそもパブリックサブネットとは？

ここで、そもそもパブリックサブネットの定義を確認しておきます。

AWS のドキュメントだと、以下のような説明を見つけられました。

パブリックサブネットは、インターネットゲートウェイへのルートが含まれているルートテーブルに関連付けられているサブネットです。

また、以下のような文言もありました。

パブリックサブネットのインスタンスはアウトバウンドトラフィックを直接インターネットに送信できますが、プライベートサブネットのインスタンスはできません。

パブリックサブネットは、アウトバウンドのトラフィックが直接インターネットに送信されないだけで、インバウンドについては関係ないように読めます。

この記事で試した結果とも一致します。

まとめ

AWS の VPC について、

パブリックサブネットはインターネットに面する
パブリックサブネットはインターネットから直接アクセスできる

といった説明は不正確で、

パブリックサブネットでは、アウトバウンドのトラフィックが直接インターネットに送信される
パブリック IP があれば (たとえプライベートサブネットでも)、インバウンドのトラフィックが直接インターネットから届く

ということでした。

Udemy で「Terraform入門ハンズオンwith AWS（v1.3使用）―Terraformの基本からモジュール化、学習方法まで」をリリースしました

Thu, 16 Feb 2023 03:11:01 GMT

Udemy で「Terraform入門ハンズオンwith AWS（v1.3使用）―Terraformの基本からモジュール化、学習方法まで」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

近年、アプリケーションの実行環境として、AWS などのクラウドが使われることが非常に多くなっています。とくにクラウド環境では、コードをもとにインフラを構築する「Infrastructure as Code」を実施する例がとても多いです。

Infrastructure as Code のツールはたくさんありますが、その代表的な 1 つが OSS の「Terraform」です。 Terraform の採用事例は非常に多く、AWS などのクラウドの活用を得意分野とするエンジニアであれば、是非とも習得しておきたい技術と言えます。

一方で、AWS には膨大な数のサービスがあり、すべてのサービスの具体的な使い方を丸暗記することは、事実上不可能です。そのため、「概要は知っているものの具体的な使い方までは分からない」というサービスを、素早くキャッチアップするスキルも重要です。

そこでこのコースでは、Terraform を使うために必要な知識を、基本から実践的な内容まで、AWS でハンズオン形式で学んでいきます。また、AWS で使うことになったサービスを Terraform を使って素早くキャッチアップする方法も解説します。

主な対象者

Terraform に興味があり、基本から学びたい方
仕事で Terraform を使うことになり、基本から実践的な知識までキャッチアップしたい方
Terraform になんとなくふれたことがあるが、改めてしっかり学びたい方
AWS で Infrastructure as Code を体験してみたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

Terraform を何年も運用した経験を踏まえた講座

このコースは、講師が Terraform を 4 年以上運用した経験を踏まえて作成されています。

Terraform を実際に使うときは、基本的な実装方法やコマンドはもちろん、どのようにモジュールを構成し、どのように複数環境を管理するか、といった考慮も重要です。

実際の経験を踏まえて、Terraform 導入時にまずおさえたい点をしっかり学べる講座となっています。

Terraform を使った AWS のサービスのキャッチアップ方法を解説

AWS には膨大な数のサービスがあり、その全ての具体的な使い方を把握することは不可能と言えます。

「サービスの概要は知っているものの、具体的な使い方は分からない」という状況から素早くキャッチアップすることが求められることも多いです。

Terraform は、そのような状況でサービスのキャッチアップにも役立ちます。

こちらも講師の実際の経験を踏まえて、具体的な使い方の分からないサービスをキャッチアップする方法の例を解説しています。

おわりに

Terraform は非常によく使われているツールで、耳にしたことがある方は多いと思います。

そういった方が実際に学んでみるきっかけとなれば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

Udemy で「GitHub Actionsで学ぶCI/CD入門―ビルド・デプロイの基本からAPI自動テスト・AWSへの自動デプロイまで」をリリースしました

Wed, 01 Feb 2023 23:26:21 GMT

先日、Udemy で「GitHub Actionsで学ぶCI/CD入門―ビルド・デプロイの基本からAPI自動テスト・AWSへの自動デプロイまで」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

近年、自動テストや CI/CD（継続的インテグレーション/継続的デリバリー）といったプラクティスが一般的になり、エンジニアが学びたいスキルとして挙げられることが多くなっています。

数ある CI/CD のツール・サービスの中でも、GitHub Actions は特に利便性が高く、多くの場面で使われています。

しかし…

GitHub Actions や CI/CD に興味を持っているが、学習するきっかけがなくよく分からないままになっている方はすくなくありません
また、プログラミングの基礎を学んだあと、「自動デプロイ」に挑戦しようとしたが、何から勉強すればいいか分からず困っているという方も多いです
そして、実は「ビルド」や「デプロイ」といった言葉が何を指しているのかあまりよく分かっていない、という方も多いです

そこでこのコースでは、GitHub Actions を使って、自動テストやビルド・デプロイの基本から、CI/CD に役立つ様々なツール、AWS への自動デプロイまで、手を動かしながら素早く学んでいきます。

主な対象者

GitHub Actions や CI/CD に興味があり、学んでみたい方
「自動デプロイ」に興味があるが、何から勉強すればいいのか分からず困っている方
実務で急に GitHub Actions をさわることになり、素早くキャッチアップしたい方
GitHub Actions などの CI/CD ツールをなんとなく使ったことがあるが、改めてしっかり学びたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

TypeScript でビルド・デプロイの基本から解説

最近は Ruby・PHP・Python といった言語でプログラミングに入門する方が多く、「ビルド」と言われてもよく分からないといった方も多いです。

このコースでは、近年の Web 開発では避けて通れない TypeScript を使用したコードを使って、「ビルド」とは何かからしっかり学びます。

また、よく分からないとなりがちな「デプロイ」についても、手作業でのデプロイから経験することで、しっかり理解していきます。

Node.js のツールの使い方を解説

近年の Web 開発では、Node.js のツールを使う機会も非常に多いです。

そこで、Node.js のツールのインストール方法や使い方の基本も解説するようにしました。

ツールの例としては、Step CI という私が最近注目している Web API 自動テストツールを挙げています。

おわりに

ビルド・デプロイといったものは、最初はよく分からないとなりがちです。

そんな疑問を解決できる講座として作らせていただいたので、そういった方のお役に立てば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

C 言語の入門からステップアップするための書籍まとめ

Wed, 01 Feb 2023 03:31:19 GMT

近年プログラミングの入門や開発で C 言語に関わる方は減っていると思います。

ですが、OS や言語処理系といった低レイヤを学んだりしようとすると、C 言語の知識を避けて通ることはできません。¹

そこで私が実際に読んだ、C 言語について入門からステップアップするための書籍をまとめます。

前提として、ポインタの基本的な使い方は理解しているくらい、C 言語の基礎知識がある前提で読む本の紹介になります。

C言語入門書の次に読む本 [改訂新版]

タイトル通り、C 言語の入門書の次に読むための本です。

分割コンパイルや C 言語をどう書くべきかといった解説があり、C 言語の入門からのステップアップにぴったりです。

解説されている情報は少し古く、今ならどうするかといったことは別途学ぶ必要があります。 (例えば、インクルードガードには #pragma once を使うなど)

とはいえ、C 言語の入門後に手に取る書籍としてはとてもおすすめです。

新・標準プログラマーズライブラリ C言語ポインタ完全制覇

タイトル通り、C 言語のポインタについて手厚く解説した書籍です。

C 言語のステップアップとしてとても有名な本です。

直感的に理解するのが難しい C 言語のポインタと配列について、丁寧に解説されています。

C 言語の規格などの基礎知識も解説されていて、C 言語のステップアップにとてもおすすめです。

Linuxシステムプログラミング

Linux でのシステムプログラミングの解説書です。

各種システムコールや標準 C ライブラリについて解説されています。

タイトル通り、システムプログラミングの知識をつけるのにとても良い本で、低レイヤのための C 言語の学習の一環としてもおすすめです。

難易度としては、『Linuxのしくみ』『ふつうのLinuxプログラミング』の次くらいに読むと良さそうです。

リンカ・ローダ実践開発テクニック―実行ファイルを作成するために必須の技術

リンカ・ローダについて手厚く解説した書籍です。

先に紹介した『C言語入門書の次に読む本』と同じ方が著者の書籍です。

C 言語のライブラリは OS の重要な要素として使われており、そこに起因するエラーに遭遇したことがあるエンジニアは非常に多いと思います。

そういったライブラリのリンクについてであったり、実行可能ファイル (ELF) について、色々なサンプルを見ながらがっつり学ぶことができます。

リンカ・ローダや ELF などに興味がある方にはとてもおすすめの一冊です。

プログラミング言語C 第2版

C 言語の最も有名な書籍で、『K&R』とも呼ばれています。

ANSI C と呼ばれるかなり古いバージョンの C 言語を解説しています。

C 言語の歴史的には大きな価値のある書籍だと思いますが、内容は古く読みやすくもないので、今手に取るべきかというと、個人的にはそうでもないとは思います。

ただ、有名な本を読んだという気持ちにはなれるので、興味がある方は手に取っても良いと思います。

おわりに

以上、C 言語の入門からのステップアップに良かった書籍 5 冊を紹介しました。

C 言語は歴史が長い分、結局どう書けばいいのか学んだりするのも難しいように感じます。

C 言語のステップアップで困っている方の参考になれば嬉しいです。

最近はGoでもある程度学びやすくなってきたと思います。
↩

【2023 年 1 月】読んだ本の記録

Wed, 01 Feb 2023 02:44:21 GMT

個人の記録として、2023 年 1 月に読んだ本をまとめます。

C 言語

C言語入門書の次に読む本 [改訂新版] (プログラミングの教科書)

新・標準プログラマーズライブラリ C言語ポインタ完全制覇

C 言語の知識拡充のため、4 冊の本を読みました。

標準ライブラリや分割コンパイル、ポインタと配列など、C 言語をしっかり理解する上で重要な知識を拡充できました。

『プログラミング言語C』については有名なのでせっかくだから読んでおいた、というくらいですが、他の 3 冊については、C 言語の入門後ステップアップしたいという方にとてもおすすめです。

Lex / Yacc

Bison入門

最近コンパイラの自作に興味があるため、有名なツールである Lex と Yacc (正確には Flex と Bison) について学ぼうと、本を手に取ってみました。

これらのツールの使い方などの情報は Web 上にもありますが、体型的に勉強しやすくはないと感じていました。

『lex&yaccプログラミング』は、Lex と Yacc について体型的に知識をつけやすく、とても良かったです。 Lex、Yacc をキャッチアップしたい方におすすめです。

GitHub Actions

GitHub Actions 実践入門

GitHub Actions についての Udemy 講座を作成するにあたって、関連する書籍を 1 冊手に取っておきました。

GitHub Actions の概要をさくっと学ぶには良い書籍でした。

おわりに

以上、今月は 8 冊の本を読みました。

久しぶりにある程度しっかり読書の時間をとれたと思います。

月末あたりから『パタヘネ』を読み始めたので、2 月にしっかり読み進めたいと思います。

Udemy で「AWSコンテナサービス入門―AWSの基本からECS・Copilot CLI・CI/CD・App Runnerまで」をリリースしました

Tue, 24 Jan 2023 01:45:09 GMT

先日、Udemy で「AWSコンテナサービス入門―AWSの基本からECS・Copilot CLI・CI/CD・App Runnerまで」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

近年、アプリケーションの実行環境としてクラウドの利用例は多く、特に AWS を使用する場面は非常に増えています。

AWS でアプリケーションを動かせるサービスはいくつもありますが、最近は特にコンテナを使うサービスを採用するケースが増えています。

そんな中、実務で急に AWS のコンテナサービスを使うことになったものの、そもそも AWS 自体の知識も足りず、苦戦するという方は少なくありません。

また、EC2 や RDS などをなんとなくさわったことがあっても、ECS などのコンテナサービスをさわった経験はないという方や、Infrastructure as Code・CI/CD までを整えた実践レベルの環境構築までは経験がないという方も多いです。

他にも、Docker や Docker Compose を使うなどしてコンテナでローカル開発環境の構築はできても、コンテナで本番環境を作る知見はないという方も多いです。

そこでこのコースでは

AWS 自体の基本やコンテナサービス ECS の基礎に始まり…
Copilot CLI というツールを使用した実践的な環境構築（Infrastructure as Code・オートスケール・CI/CD）
さらには注目の新しいコンテナサービス App Runner まで

すべて手を動かしながら学びます。

主な対象者

Docker や Docker Compose で開発環境の構築ができるようになり、コンテナを使った本番環境の構築について学びたい方
AWS のコンテナサービスの基本を学び、業務での環境構築に活かしたい方
AWS でアプリケーションを動かすうえでの、定番の選択肢を学びたい方
Amazon ECS をなんとなくさわったことがあるが、ECS の構築ツールや Infrastructure as Code・CI/CD といった実践レベルまで改めて学びたい方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

AWS の基本からの解説

AWS のコンテナサービスを使うためには、VPC (ネットワーク) の設計や RDS (データベース) との疎通、IAM という AWS の認証認可のサービスなど、AWS 自体の基礎知識が前提となります。

このコースでは、AWS の知識がほとんどない方でも学習できるように、このような基礎の部分から解説しています。

Copilot CLI・App Runner といった注目サービスの解説

AWS のコンテナサービス関連では、2022 年後半ぐらいから

Copilot CLI というデプロイツール
App Runner という新しいコンテナサービス

がかなり注目を集めています。

現状これらを解説したまとまった情報源はほとんどなく、これらを扱っていることは、この講座の大きな特徴となっています。

おわりに

AWS のコンテナサービスは、どこから学べばいいのか分かりにくく、学び始めるハードルが高いと言えます。

その一方で、実務で急に使うことになったという声もよく耳にしますし、ぜひ学んでおきたい内容でもあります。

この講座がそういった方のお役に立てば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

いきなりエラーメッセージでググるな！

Mon, 02 Jan 2023 23:47:36 GMT

プログラミングや環境構築などでエラーに遭遇したときに、「エラーメッセージでググる」と教わったことはないでしょうか？

実際に、プログラミングや環境構築にあまり慣れていない方から、「エラーメッセージでググったけど分かりませんでした」と言われることがよくあります。

しかし、私はエラーに遭遇したときに「いきなりエラーメッセージでググる」ことは良くないと考えています。この記事には、「いきなりエラーメッセージでググる」ことが良くない理由と、ではどうするべきなのかを書いていきます。

エラーに遭遇したときに最初にすべきこと

何らかのエラーに遭遇して画面上にエラーメッセージが表示されると、何をどうすれば良いのか分からず困ってしまうという方も少なくないと思います。

そこでまずやるべきことは、「エラーメッセージでググる」ことではありません。 エラーメッセージを読んで、その意味や原因・修正すべき点を考えることです。

多くの場合、エラーメッセージにエラーを解消するためのヒントや答えが書いてあります。

エラーメッセージを「読む」とは

「エラーメッセージを読みましょう」ということはよく言われると思いますが、この言葉も誤解されていることがあります。

特に英語のエラーメッセージに対して「読みましょう」と言われると、意味を考えずに音読だけしてしまう方も少なくないようです。「エラーメッセージを読みましょう」と言われて、音読するだけでは得られるものはありません。 エラーメッセージに書かれている内容、エラーメッセージの意味を理解することが重要です。

英語に抵抗がある方は、DeepL などで翻訳して読んでも良いと思います。 エラーメッセージの内容を理解できる読み方をしましょう。

また、英語のメッセージを読むときは、分からない英単語はしっかり調べましょう。 (分からない英単語を想像で読んでしまい、メッセージの意味を誤解しているケースも少なくありません…)

読んだら意味や原因・修正すべき点を考える

エラーメッセージを読んだら、その意味やエラーの原因・修正すべき点を考えることになります。

例えば、エラーメッセージに「No such file or directory」と書かれているとしましょう。日本語にすると「そのようなファイルまたはディレクトリはない」という意味です。

このメッセージを読んだら、

なぜそのファイルが必要とされているのか
なぜそのファイルがないのか (そのファイルはどうやって用意するものなのか)

など、なぜこのようなメッセージが出るのかを考えましょう。考えた結果どんな修正をすれば良いのか分かったら、その対応をしてあげましょう。

他の例で言えば、エラーメッセージに「maybe run …」などと書かれているかもしれません。日本語にすると「もしかするとこうするべきではないか」という、対応方法の例です。

エラーメッセージには、具体的にどうするべきか書かれていることも少なくありません。 しっかり読んで、その内容を試してみましょう。

それでも解決しないとき

それでも解決しない場合、「エラーメッセージでググる」ことを試しても良いと思います。

「エラーメッセージでググる」ことをすると、Stack Overflow や Qiita といったサービスで、同様のエラーに遭遇した場合の対処法が出てくることがあります。 このようなサービスで紹介されている対処法は、基本的にそのまま信用すべきではありません。 (GitHub の公式リポジトリの Issue などは、比較的信用度が高いことが多いと思います)

そのような記事を見ること自体は否定しませんが、それが正しい情報である根拠はありません。

見つけた対処法が、

自分の知識
公式ドキュメント
(OSS であれば) ソースコード

などと照らし合わせて適切か判断して使いましょう。

対処法が適切か判断できないとき

とはいえ、見つけた対処法が適切か判断できないこともあると思います。

あまり知識のない分野については、見つけた対処法が適切なのか判断できないのです。 (自分も知識のない分野では、出てきた記事の内容をそのまま試してみることしかできません…)

しかしよく知らない分野でも、その分野の知識をつけることで、長期的には対処法が適切なのか判断できるようになっていきます。よく「OS について勉強したりするのは何の役に立つのか」と言われることがありますが、まさにこのように役立ちます。

よく分からないことが出てきたときは、勉強すべきことを知るチャンスでもあります。

まとめ

「エラーメッセージでググる」前に、エラーメッセージを読んで、その意味や原因・修正すべき点を考えましょう。

エラー解決は一番勉強になると言っても過言ではありません。エラーを怖がらず、勉強の機会だと思ってしまいましょう。

2022 年後半で勉強したことのふりかえり

Sun, 01 Jan 2023 01:32:37 GMT

2022 年後半が終わったので、勉強したことをふりかえって記事にまとめます。

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
7	9	【2022 年 7 月】読んだ本の記録
8	8	【2022 年 8 月】読んだ本の記録
9	10	【2022 年 9 月】読んだ本の記録
10	3	【2022 年 10 月】読んだ本の記録
11	2	【2022 年 11 月】読んだ本の記録
12	2	【2022 年 12 月】読んだ本の記録

ということで、合計 34 冊でした。

2022 年前半は 57 冊だったので、年間合計 91 冊となりました。

10 月から 12 月は仕事が忙しく、かなり読書のペースが落ちてしまっていました。

この中で特に良かった本は、

の 3 冊です。

OS やリンカ・ローダといったプログラムの実行の基盤となる部分について、かなり知識を拡充できました。

ブログ

このブログ (完全に理解した.com) には、20 記事書きました。

もう少し頻繁に記事を書くよう習慣化したいです。

資格

この半年では資格は全く取得しませんでした。

2023 年には取得したい資格がいくつかあるので、しっかり取り組もうと思います。

友人との勉強会

友人と作った connpass グループ (StudyCo) では、自分は

の 3 つの発表を行い、合計 500 名を超える多くの方にお申し込みいただきました。

また、LT 形式で

ONNX Runtime Web×Netlifyで機械学習アプリケーションを気軽に公開
Gradioを使って機械学習モデルを一瞬でWebアプリ化

という 2 つの発表もしました。

StudyCo というグループとしては、

connpass のグループメンバーが 1800 名を突破
YouTube チャンネルの登録者数が 300 を突破

となっています。

Udemy 講座

この半年では、以下の 5 つのUdemy 講座を公開しました。

Linux とネットワークの基礎から学ぶ Docker 入門
JavaScriptで学ぶWebアプリ開発の必須知識〜Node.js・Web API・Ajax・async/await〜
Python と JavaScript による機械学習アプリケーション公開入門【ONNX・Render】
リバーシで学ぶアプリケーション設計入門〜仕様の整理からTypeScriptでの実装まで〜
AWS Lambda / Serverless Framework 速習ハンズオン

合計 2300 名以上という多くの方に手に取っていただくことができ、講座を作って良かったと思います。

まだまだ出したい講座があるので、来年はペースアップして作成していくつもりです。

なお、公開済み講座の講師発行クーポンが、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

OS 自作

この 1 年半ほどで、いわゆる低レイヤの知識をかなり拡充してきました。

特にこの半年では OS 自作に取り組み、

の 2 冊を読みながら、2 つの OS を写経で実装してみました。

また、Linux From Scratch (いわゆる自作 Linux ディストリビューション) も行い、OS についてだいぶ知識がついたと感じています。

とはいえ、まだ写経的な実装が中心で、自分で考えながら実装した経験はありません。最近は OS や言語処理系にかなり興味があるので、自分なりの OS や言語処理系の自作に挑戦していきたいです。

自作つながりでは、C コンパイラ・TCP/IP プロトコルスタック・RDBMS の自作にも早めに挑戦したいです。

プログラミング言語

この半年では、Rust に少しだけ入門してみました。

入門した感想としては、噂通り難しいプログラミング言語でした。

おそらく C や C++ の経験が豊富な方は学習しやすいのだと思いますが、私はそのあたりの経験があまりないため、かなり学習のハードルが高いと感じています。

単純に勉強量が不足しているというのもあると思うので、引き続き勉強していきたいです。

総括

以上、2022 年後半でやったことをまとめると…

全体
- 技術書中心に 34 冊の本を読んだ
- ブログを 20 記事書いた
発表など
- 勉強会を 3 回開催した (さらに、LT 形式で 2 回発表した)
- Udemy 講座を 5 つ公開した
勉強
- OS を 2 つ自作した
- Rust に少しだけ入門してみた

といったあたりになります。

引き続き、色々なことを学んだりしていこうと思います。

【2022 年 12 月】読んだ本の記録

Sun, 01 Jan 2023 00:59:32 GMT

個人の記録として、2022 年 12 月に読んだ本をまとめます。

低レイヤを知りたい人のためのCコンパイラ作成入門

C 言語で C コンパイラを実装していくオンラインブックです。

コンパイラの学習の、有名な情報源の 1 つだと思います。

コンパイラについて基礎から学べるので、とてもおすすめです。

私は途中までしか実装はしていないのですが、遠くないうちに最後まで実装したいと思っています。

12ステップで作る組込みOS自作入門

タイトル通り、組み込み OS の自作に関する本です。

テーマは組み込み OS ではありますが、汎用 OS に通じる解説も多いです。

非常に短期間で実装できることもあり、OS 自作に興味があるものの、できるだけコンパクトに挑戦したいといった方にはとてもおすすめです。

ただ、マイコンを購入してから最初の Hello World までは特に苦戦する可能性が低くないので、そこは根気が必要です。

おわりに

以上、今月は 2 冊の本を読みました。

今月まで仕事でだいぶ忙しかったため、読書量はかなり少なくなってしまいました。

来月からは、がっつり読書していこうと思います。

『12ステップで作る組込みOS自作入門』を読みながら組み込み OS を実装した感想

Thu, 29 Dec 2022 14:37:33 GMT

『12ステップで作る組込みOS自作入門』を読みながら、組み込み OS「KOZOS」を実装してみたので、感想をまとめます。

書籍『12ステップで作る組込みOS自作入門』とは

『12ステップで作る組込みOS自作入門』は、タイトル通り、組み込み OS を自作してみる本です。

Ｈ８／３０６９Ｆネット対応マイコンＬＡＮボードを使って、C 言語で組み込み OS を自作します。

以下が公式のサポートページになります。

http://kozos.jp/books/makeos/

実装する内容

この本で実装するのは、

ブート・ローダ
リンカや ELF ローダ
シリアル・デバイス・ドライバ
スレッドとそのスケジューリングや割り込み
システム・コール
メモリ管理
タスク間通信

などになります。

入出力はシリアル通信のみなので、非常にコンパクトな OS となっています。

感想

この本の OS (KOZOS) の実装をしてみた感想としては、何もよりも、たった 3000 行に満たないコードで OS を作れることに感動しました。

実装期間としても、仕事の片手間に 2 週間程度でできてしまい、集中して取り組めば 1 週間もかからないかもしれません。

OS 自作と言えば、最近は『ゼロからのOS自作入門』(通称、みかん本) が一番有名だと思います。

私はこちらの本の OS の実装もやってみていますが、こちらの実装はかなり時間がかかり、そのボリュームの違いがとても大きいと思いました。 (もちろんその分得られる知識も豊富になります)

『12ステップで作る組込みOS自作入門』は、それほどコンパクトに実装できる内容にも関わらず、

ブート・ローダ
リンカや ELF ローダ
シリアル・デバイス・ドライバ
スレッドとそのスケジューリングや割り込み
システム・コール
メモリ管理
タスク間通信

など、OS の重要な要素をしっかり分かりやすく学ぶことができ、とても素晴らしい本だと思いました。

なお、一部組み込み OS に特化した解説・実装ではありますが、汎用 OS にも通じる話が多いです。

大変だったところ

実装する中で大変だったのは、何より最初の開発環境の構築と Hello World です。

マイコンにプログラムを書き込んで実行する必要があるわけですが、慣れていない自分にはうまくいかない原因を突き止めるのが大変で、ここはかなり苦戦しました。 (電源電圧が違うという、とんでもない間違いでうまくいかず、マイコンは 1 台壊しました…)

開発環境の構築については、『ゼロからのOS自作入門』のほうがだいぶやりやすいと思いました。

とはいえ、逆に組み込みソフトウェアの開発やマイコンに興味があったりする方には、開発環境構築で苦戦するのも良い勉強かもしれません。

今後やってみたいと思ったこと

さて、私は最近は低レイヤの知識を拡充しようと、最近は CPU を (エミュレータで) 作ったり、コンパイラやインタプリタを作ったり、OS を作ったりしてきています。

OS については『ゼロからのOS自作入門』と『12ステップで作る組込みOS自作入門』の 2 つを写経しながら実装したことで、だいぶ理解が進んできました。

そろそろ自分なりの OS 作りに挑戦したいなと思ったりしています。特に Unix 系の OS に興味があるので、勉強して自作してみたいです。 (MINIX のようなものを作ってみたいです)

まとめ

少し話がそれましたが、『12ステップで作る組込みOS自作入門』は、「OS 自作というものに挑戦してみたいけど、できるだけコンパクトに作れるのがいい」という方にはとてもおすすめです。

マイコンを買って Hello World するまでを心が折れずに頑張れそうな方には、是非おすすめしたい一冊でした。

【2022 年末】自分のまわりで感じる IT トレンドの 13 のテーマ

Thu, 29 Dec 2022 13:09:54 GMT

2022 年ももう終わろうとしています。

この 1 年、私が身のまわりで感じた IT トレンドについてまとめようと思います。

13 個のテーマを

いわゆるトレンド系
機械学習
一部で盛り上がっていた気がするもの
今年に限らないが、最近盛り上がっていると感じるもの

という分類で書いていきます。

いわゆるトレンド系

まずは IT トレンドと言えばこれだよね、といういわゆるトレンド系のテーマです。

メタバース

昨年末あたりからよく聞くようになりましたが、「メタバース」については今年の前半でかなりトレンドになっていたと思います。

IT 業界の人に限らず、聞いたことがあるという方はとても多いと思います。

メタバースをテーマにした書籍もたくさん出版され、その定義などもよく議論されていた印象があります。

NFT (Non-Fungible Token)

「NFT」についても、昨年から引き続きかなりトレンドだったと思います。

ブロックチェーンで言えば Walk to Earn のような X to Earn が近年話題の 1 つだと思いますが、特に STEPN で歩くだけで稼げるというのが話題となっており、かなり身近だったと思います。

ブロックチェーンや NFT については、技術的な信念があって関わっている界隈と、情報商材的にお金を稼ごうとしている界隈があるようで、なかなか混沌としていると思います。

Web3

ブロックチェーン関係だと「Web3」という単語も使われるようになりました。

DAO (Decentralized Autonomous Organization) や DeFi (Decentralized Finance) といった単語を聞くことが増えたように思います。

Brave ブラウザなどは、結構一般に浸透してきているようにも思います。

その他、個人的には、IPFS (InterPlanetary File System: 惑星間ファイルシステム) などは単語の響きがかっこいいなと思いました。

機械学習

続いて、機械学習関連の話題です。

画像生成 AI

機械学習で今年一番盛り上がったのは、画像生成ではないでしょうか。

Midjourney や Stable Diffusion、NovelAI などは、どこかで聞いたり目にしたことがある方が多いと思います。

こういった AI への入力が「呪文」と呼ばれるようになったのも、とても面白いと思います。

個人的には、画像生成 AI がラーメンを手で食べてしまうところから、箸で食べられるようになっていった流れが面白かったです。

参考

ChatGPT

機械学習関係で言えば、2022 年 12 月に公開された「ChatGPT」は、かなり話題だと思います。

Google などの検索エンジンの強い競合になりうるといった意見もあり、とてもホットな話題だと思います。

6 月ごろには、Google の AI (LaMDA) が感情を持っているように思える、といった話題もありました。

参考

一部で盛り上がっていた気がするもの

ここからは、もう少しマイナーと思われる、私のまわりの一部で盛り上がっていた気がする話題を挙げていきます。

モジュラモノリス

数年前から聞くようになった「モジュラモノリス」について、今年は事例を聞く機会が増えたように思いました。

「モジュラモノリス」という単語を聞くようになった頃に移行したりし始めた会社が、事例として発表するタイミングになったのではないかと思います。

SQLite

Litestream や Cloudflare D1 といった SQLite を使った技術も、かなりホットな話題だったと思います。

あまりしっかり調べたりしたわけではないのですが、上手に使うとかなり常識外れなすごいシステム設計ができそうな気がします。

データベース関係だと、PlanetScale や Supabase について耳にする機会も増えたように思います。

Rust for Linux

Rust と言えば最近話題のプログラミング言語の 1 つですが、今年は Rust for Linux の話題が盛り上がっていたと思います。

12 月には、一部 Rust で書かれた Linux カーネルが公開されています。

Rust 自体、かなり難しい言語だと思うので誰もが使うようになるとは思わないですが、興味を持って勉強するには良いのではないかと思います。

今年に限らないが、最近盛り上がっていると感じるもの

ここから、今年のトレンドというわけではないものの、盛り上がりを感じるトピックを書いていきます。

RISC-V

最近は RISC-V CPU の話題を聞くことが増えたと思います。

2011 年末に発売されたパタヘネの第 6 版でも、RISC-V の解説が追加されているようです。

eBPF (Extended Berkeley Packet Filter)

Linux カーネルの機能である eBPF も、最近盛り上がっていると思います。

特にコンテナのセキュリティ関係で耳にすることが多い印象です。

デザインシステム

私はあまりよく知らない分野ですが、「デザインシステム」についても聞く機会が増えていると思います。

様々な企業がデザインシステムを公開したりし始めているように思います。

Nest.js

Web 関連の技術だと、個人的に最近 Nest.js の採用例が増えているように思います。

関連して、Prisma や TypeORM といった OR マッパーの話題を耳にすることも増えています。

個人的には TypeScirpt は結構好きなのと、Nest.js は少しさわった感触が良かったので、もう少ししっかり使ってみたいです。

WebAssembly

Web で言えば、WebAssembly もホットな話題だと思います。

最近知った、Figma が WebAssembly を使っているという話も興味深いなと思いました。

総括

以上、2022 年に自分のまわりで感じた IT トレンドについて書きました。

自分の最近の興味としては、

Rust for Linux
eBPF
WebAssembly

あたりがかなり気になっているので、来年少し勉強してみようかなと思ったりしています。

ECS on Fargate のデプロイツールを調べてみた【ver2022】

Fri, 16 Dec 2022 13:39:56 GMT

ECS on Fargate は AWS のアプリケーション実行環境として近年定番の選択肢です。そんな ECS on Fargate について、Infrastructure as Code や CI/CD などを含めて環境を整えようとすると、何かしらのツールが必要になります。

2020 年時点の情報としては AWS Dev Day Japan の「第2回 AWS Fargate かんたんデプロイ選手権」という資料があり、ECS on Fargate のデプロイツールを比較するうえでとても参考になるのですが、AWS のアップデートはとても早いです。

2022 年 12 月の時点で ECS on Fargate のデプロイツールをいくつか試してみたので、得られた知見をまとめておきます。

調査したツール

今回 ECS on Fargate のデプロイツールを調査した理由は、実際に ECS on Fargate で本番環境を構築するためです。

その際前提として、「CPU・メモリの割り当てや環境変数といったタスクの基本的な設定は、AWS の知識が豊富ではないアプリケーションエンジニアが変更できる」ようにしたかったので、その条件を満たしてくれそうなツールを中心に調査しました。

候補として、以下の 3 つのツールにしぼって、実際にさわって検証してみました。

Docker Compose ECS Integration
AWS Copilot CLI
ecspresso

Docker Compose ECS Integration

公式ドキュメント: https://docs.docker.com/cloud/ecs-integration/

概要

Docker Compose の ECS 統合機能は、2020 年 11 月に GA されました。

基本的な設定ファイルの書き方は Docker Compose と同じで、一部 ECS 特有の設定を書いて docker-compose up -d するだけで ECS にコンテナをデプロイできます。¹

良かった点

実際にさわってみた所感として、たしかに Docker Compose の延長で使うことができるため、とっかかりの学習コストが非常に低く、とても素晴らしいツールだと思いました。

そして、ドキュメントがとても分かりやすく、試してみるのも簡単でした。

また、docker-compose.yaml ファイルをもとに CloudFormation のテンプレートが生成されるのですが、その CloudFormation のテンプレートを一部調整可能な機能もあります。この機能によってある程度のカスタマイズ性もあります。

弱点

しかし、ECS でのコンテナへの機密情報の受け渡しによく使われる、「パラメータストアから取得した値を環境変数に設定する」という機能がサポートされておらず、採用は断念しました。²

また、GitHub リポジトリを見てみると、最近はあまり力を入れて開発されていないようで、今後積極的に採用するのは難しそうかもしれないと感じました。

代替ツールとして、ECS Compose-X というものを開発している方もいるようでした。

AWS Copilot CLI

公式サイト: https://aws.github.io/copilot-cli/ja/

続けて、AWS Copilot CLI についてです。 (Copilot と言うと GitHub Copilot を想像する方が多いと思うので、略さずに AWS Copilot CLI と書くことにします。)

概要

AWS Copilot CLI も Docker Compose ECS Integration と同じく 2020 年 11 月に GA されたツールで、こちらは AWS 公式が提供しています。

設定ファイルは AWS Copilot CLI 独自の書き方となります。

良かった点

GA よりも半年ほど前、最初に公開された時点で少しさわってみたときは、簡単にデプロイできるものの、不足している機能がかなり多いという印象でした。しかし、2022 年時点では、ECS on Fargate のデプロイツールとして、かなりおすすめできるものになっていました。

最小限の設定で ECS on Fargate の環境を CI/CD 含め構築することができ、環境変数やオートスケーリングなど、よくある各種設定が簡単に可能です。

2022 年 12 月現在、Infrastructure as Code や CI/CD が整った、ある程度しっかりした ECS on Fargate の環境を構築したい場合、AWS Copilot CLI を使うのが一番簡単だと思います。

少し調べてみた範囲でも、最近は導入事例もかなり多いようでした。

弱点

AWS Copilot CLI の弱点だと思ったのは、学習コストが高めなことです。しっかり理解して使おうとすると、ECS の基礎知識に加えて、AWS Copilot CLI 特有の概念もキャッチアップする必要があります。 (少しクセがあるなと感じました)

AWS Copilot CLI は ECS などを「抽象的に扱えるツール」のように言われることがありますが、自分がさわった感想としては「ECS を抽象的に扱えるツールというよりも、ECS の設定をおおよそ理解したうえで、少ない記述量で使えるツール」という印象でした。

そして、こういったツールにはよくあることですが、一部の設定は細かく調整できなかったりします。自分の場合だと、ALB の設定の細かい調整が難しかったという理由で、今回は採用を見送ることになりました。

ecspresso

公式リポジトリ: https://github.com/kayac/ecspresso

概要

ecspresso は、面白法人カヤックさんが提供している、ECS のデプロイツールです。

ECS の薄いラッパーのようなツールとなっています。

良かった点

ecspresso をさわってみた感想としては、学習コストが低く、とにかく使いやすかったです。デプロイだけでなく、ログの表示や ECS Exec などもサポートされており、aws cli では不便な点を解決してくれている素晴らしいツールだと思いました。

タスク定義やサービスの設定は、むやみに抽象化されていないため自由度が高く、様々な場面で使えると思います。

そして、Terraform と組み合わせて使うことが想定されており、設定ファイルから tfstate を参照することができ、とても便利です。

開発も積極的に行われていて、最近 v2 がリリースされています。

弱点

ecspress は、ECS のサービス・タスク定義の管理に特化したツールであり、VPC・ALB・IAM Role など、タスク定義やサービスから紐付ける先のリソースは、別途作成する必要があります。そのあたりを Infrastructure as Code したいのであれば、Terraform などと組み合わせて使うことになります。

なので、何もない状態から Infrastructure as Code や CI/CD がある程度整った環境を作ろうとすると、実装コストはある程度かかります。

そして、ecspresso 自体が実質的に 1 名で開発されているので、場合によっては不安を感じるかもしれません。

(と言いつつ、今回は ecspresso を使わせていただくことにしました！)

その他

その他、ECS on Fargate のデプロイツールとして、

ecs-deploy
CDK

の 2 つは、状況によっては良さそうだと思いました。

ecs-deploy は、簡易的なツールで十分な場面であれば、良い選択肢になりそうです。ですが、Infrastructure as Code したいとなったりすると、Terraform などでたくさんコードを書くことになりそうです。

CDK は、ある程度の AWS の知識が前提になりそうなので、今回私の状況には適さない気がしてあまり深く調べませんでした。ただ、AWS の知識がある程度あるメンバーが使う前提なら、かなり良さそうな気もしています。

まとめ

以上、ECS on Fargate のデプロイツールを調べて得られた知見を書いてきました。

まとめると、以下のようになります。

Docker Compose ECS Integration … 開発状況を踏まえると、採用は難しそう
AWS Copilot CLI … ある程度整った環境を一番サクッと作れる。少しクセがある
ecspresso … とにかく使いやすい。周辺リソースを作る手間はかかる

CDK に感じた良さそうな雰囲気も、実際どうなのか遠くないうちにさわってみたいと思います。

設定内容によっては、-d オプションをつけないとエラーになります (https://github.com/docker/compose-cli/issues/2086)
↩
CloudFormation のテンプレートを調整する機能を使っても、容易には実現できませんでした
↩

Udemy で「AWS Lambda / Serverless Framework 速習ハンズオン」をリリースしました

Fri, 16 Dec 2022 01:45:25 GMT

先日、Udemy で「AWS Lambda / Serverless Framework 速習ハンズオン」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

AWS Lambda は、「サーバレス」なアプリケーション実行環境として最も有名と言えるサービスであり、近年では多くのプロジェクトで採用されるようになっています。

そんな AWS Lambda で実践的な開発をするためには、「Serverless Framework」などのフレームワークを使うことも多く、実務でその知識が必要になることも多々あります。

しかし、プログラミングの学習課程や研修などで、AWS Lambda や Serverless Framework まで学ぶケースは多くはありません。

そして、特に AWS の知識・経験が少ない方からは、

そもそも Lambda は普通のアプリケーション実行環境と何が違うのか分からない
「サーバレス」という単語が何を指しているのかよく分からない
serverless.yml という設定ファイルが何なのか分からない

といった疑問を耳にすることが多いです。

そこでこのコースでは、上記のような疑問を持っている方を主な対象者として、AWS Lambda について、サービスの概要や他の環境との違いといった基本に始まり、Serverless Framework による実践的な開発まで速習します。

学習の過程では、

Systems Manager Parameter Store
IAM
API Gateway
DynamoDB
CloudFormation
S3
AWS SDK

といった、Lambda と組み合わせてよく使う AWS のサービスについても学びます。

キーワード

AWS Lambda
Serverless Framework

主な対象者

AWS Lambda の基本を、コードを書きながら学びたいという方
「サーバレス」という単語の意味を、手を動かしてしっかり理解したい方
仕事で AWS Lambda や Serverless Framework を使うことになり、これらの基本を学びたいという方
AWS Lambda をなんとなくさわったことがあるが、改めて学び直したり、もっと実践的な使い方を学びたいという方

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

Serverless Framework を使った実践的な開発

AWS Lambda の入門の情報の多くは、フレームワークを使わずに Lambda 関数を実装していることが多いです。

実務では Serverless Framework などを使うことが多いので、このコースでは Serverless Framework を使った開発をハンズオンで学んでいただきます。

おわりに

Lambda や Serverless Framework には、「実務で急に関わることになり、何がなんだか分からない」という声を聞くことも多いです。

この講座がそういった方のお役に立てば嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2022 年 11 月】読んだ本の記録

Thu, 01 Dec 2022 06:00:46 GMT

個人の記録として、2022 年 11 月に読んだ本をまとめます。

事業分析・データ設計のためのモデル作成技術入門

データモデリングの解説書です。

3 章までは数学的・哲学的で難しかったですが、4 章以降は著者が過去に出している「T 字型 ER」についての書籍と比べて、かなり読みやすかったです。

「エンジニアの主観を一切排除してモデルを作ることができ、そうするべきである」というのは、自分の今までの考え方とは違っており、とても参考になりました。

具体的な手法についても、今後のデータ設計に生きると感じています。

難易度は高めなので、データ設計の入門書を色々読んだ後あたりでおすすめです。

ノンデザイナーズ・デザインブック［第4版］

デザインについて学びたいと思い、こちらの本を手に取りました。

紹介されている考え方はとてもシンプルであり、具体例も豊富で、今後デザインに関わる場面で活かしやすいと感じました。

タイトル通り、デザインについて悩んでいるノンデザイナーにとてもおすすめできる一冊です。

おわりに

以上、今月は 2 冊の本を読みました。

仕事と私用で忙しかったこともあり、今月も読書量はかなり少なくなりました。

年内は引き続き忙しそうですが、来年以降たくさん読書する習慣を復活させていきたいと思っています。

【2022 年 10 月】読んだ本の記録

Tue, 01 Nov 2022 03:15:43 GMT

個人の記録として、2022 年 10 月に読んだ本をまとめます。

ネットワーク

Linuxで動かしながら学ぶTCP/IPネットワーク入門

タイトル通り、Linux で手を動かしながら TCP/IP の基礎を学ぶ書籍です。

解説されているネットワークの知識自体は基礎的なものですが、Network Namespace を使ってハンズオンする例は初めて見たので、なかなか面白かったです。

Kindle Unlimited で無料で読めたので、Kindle Unlimited に入っている方は手にとってみても良いと思います。

雑誌

Software Design (ソフトウェアデザイン) 2022年08月号

最近積読しがちだった、WEB+DB PRESS と Software Design を読みました。

さくっと読みやすいので、最近読書量が少ないと感じたときに、読書の習慣を取り戻すにもちょうど良いです。

おわりに

以上、今月は 3 冊の本を読みました。

今月は Udemy 講座の作成に力を入れていたため、読書量はかなり少なくなりました。

今年も残り 2 ヶ月ほどですが、とくに

『低レイヤを知りたい人のためのCコンパイラ作成入門』の Rust での実装
『12ステップで作る組込みOS自作入門』の実装

を中心に取り組みたいと思っています。

Udemy で「リバーシで学ぶアプリケーション設計入門〜仕様の整理からTypeScriptでの実装まで〜」をリリースしました

Fri, 21 Oct 2022 04:47:22 GMT

先日、Udemy で「リバーシで学ぶアプリケーション設計入門〜仕様の整理からTypeScriptでの実装まで〜」というコースをリリースしました。

どんなコースなのか、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

プログラミングの基礎を学び、アプリケーション開発に実践的に関わり始めると、「MVC」「3 層アーキテクチャ」「サービス (Service) クラス」「ドメインモデル」「クリーンアーキテクチャ」といった、なかなか理解できない単語に遭遇します。

とくに、

「Controller にビジネスロジックを書くな」と言われて困っている
「サービス (Service) クラス」には何を書けばいいのか分からない

といった方は少なくないと思います。

これはいわゆる「アプリケーションアーキテクチャ」という分野の話で、アプリケーション開発に関わり始めると、誰もが突き当たる壁の一つです。

そこでこのコースでは、上記のような疑問を解消すべく、多くの方がふれたことのある「リバーシ」を題材として、TypeScript で実際にコードを書きながら、アプリケーション設計の基本を学びます。

キーワード: MVC、3 層アーキテクチャ、ビジネスロジック、サービス (Service) クラス、トランザクションスクリプト、ドメインモデル、レイヤードアーキテクチャ、クリーンアーキテクチャ

主な対象者

実務に入って「ビジネスロジック」や「サービス (Service) クラス」といった単語に遭遇し、何を指しているのか分からず困っている方
アプリケーションのどこにどんなコードを書くのか、例を学びたい方
1 ファイルに大量のコードが書かれているのを見て、そのようなコードを改善する方針を学びたいと感じている方
「ドメイン駆動設計」や「クリーンアーキテクチャ」を学ぼうとしたが、なかなか理解が進まず困っている方

得意なプログラミング言語で、ある程度すらすらコードを書ける (「リバーシを作ってください」と言われて、自分なりに実装できるくらい) から、ステップアップしたい方におすすめの講座です。

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

アプリケーション設計に大きく関わる、仕様の整理から始める

実はアプリケーションの設計には、仕様の整理の段階が大きく関わります。

また、アプリケーションをうまく作れないというとき、設計や実装の問題ではなく、仕様をうまく整理できていないことが原因のことも多いです。

そこでこのコースでは、リバーシのアプリケーションの仕様を整理する段階から一緒に体験していきます。

1 ファイルに全てのコードがある状態から、徐々に改善

実装する段階では、まずはあまり何も考えず、1 ファイルにコードを書いていきます。

複雑になったコードに様々な手法を適用して少しずつ改善していくことで、設計手法の効果を味わいます。

本で読んだりするだけではメリットが分かりにくい設計手法も、実際に動くコードを見ることでしっかり理解できます。

おわりに

自分自身なかなか学習するのが難しかった分野なので、過去の自分が受けたかったコースになるように作りました。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2022 年 9 月】読んだ本の記録

Sat, 01 Oct 2022 01:15:21 GMT

個人の記録として、2022 年 9 月に読んだ本をまとめます。

低レイヤ

私はどのようにしてLinuxカーネルを学んだか　Device Tree編

低レイヤの学習の続きとして、2 冊読みました。

『ディジタル回路設計とコンピュータアーキテクチャ』はしばらく積読していたのですが、不足していた知識を補ったり、自分がよく理解していない分野を明確にすることができ、とても勉強になりました。

『私はどのようにしてLinuxカーネルを学んだか　Device Tree編』は、興味があったデバイスドライバについて、入門的な知識を分かりやすく学ぶことができました。

2 冊とも、これらの分野に興味がある方にはとてもおすすめです。

雑誌

WEB+DB PRESS Vol.130

WEB+DB PRESS を読みました。

特にデータモデリングについてが、話題になっていた通りよかったです。

また、OPA (Open Policy Agent) について、概要しか知らなかったので基礎知識を得られて良かったです。

デザイン

いちばんよくわかるWebデザインの基本きちんと入門［第2版］

仕事で UI デザインをする機会があったので、デザイン関係の書籍をいくつか読んでみました。

参考になった点は色々ありつつも、UI デザインについては、自分は書籍で知識をつけたりするよりも、練習してみるのが良い段階だなと感じました。

Kindle Unlimited

midjourneyの教科書

少し時間があったときに、Kindle Unlimited で 2 冊ほどちょっとした本を読みました。

こういった本はちょっとした時間にちょっとしたことを知るにはちょうど良いと思います。

Rust

手を動かして考えればよくわかる高効率言語 Rust 書きかた・作りかた

The Rust Programming Language 日本語版

今月は、ずっと入門したいと思っていた Rust についに入門しました。

『手を動かして考えればよくわかる高効率言語 Rust 書きかた・作りかた』は、タイトル通り、ちょっとしたコードを書きながら Rust を学んでいく本でした。

『The Rust Programming Language』はほぼ公式の入門用オンラインブックですが、非常に読みやすく、所有権・ライフタイムなどを含む Rust のポイントをしっかり学べるものでした。

もし Rust の入門に何がおすすめかと聞かれたら、『The Rust Programming Language』をおすすめします。

設計

現場で役立つシステム設計の原則

『現場で役立つシステム設計の原則』を読みました。

5 年前の発売当初にも読んでいたのですが、改めて読むとやはり名著でした。

この本の内容はかなり DDD (ドメイン駆動設計) に通じるものですが、解説する中で DDD という単語を出さないのが個人的にすごく良い構成だと思いました。 (DDD という単語を使うと、それだけで様々な誤解が生まれることが多いので)

アプリケーション設計の入門第一歩におすすめの本を聞かれたら、まずこの本を答えます。

おわりに

以上、今月は 10 冊の本を読みました。

デジタル回路やデバイスドライバなどの低レイヤの知識をつけつつ、Rust に入門できたのが良かったです。

今は Rust で『低レイヤを知りたい人のためのCコンパイラ作成入門』に挑戦中なので、来月は C コンパイラをある程度完成させたいです。

また、組み込み OS も (こちらは C 言語で) 実装したいと思っています。

Udemy で「Python と JavaScript による機械学習アプリケーション公開入門【ONNX・Render】」をリリースしました

Tue, 06 Sep 2022 12:14:59 GMT

先日、Udemy 講座第 3 段として、「Python と JavaScript による機械学習アプリケーション公開入門【ONNX・Render】」というコースをリリースしました。

どんなコースなのか、どういった考えで作ったのかを、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

「Python と JavaScript による機械学習アプリケーション公開入門【ONNX・Render】」は、機械学習に関わるデータサイエンティスト・PM・PdM といった方にむけた、機械学習を使ったアプリケーションを公開する方法を学ぶコースです。

キーワードは

Git/GitHub、Python、JavaScript、FastAPI、scikit-learn、MNIST、ONNX、Render

などで、MNIST で学習したモデルを使った “手書き数字推論 Web アプリケーション” を実装してインターネットに公開してみる内容になっています。

なぜこのコースを作ったのか

近年、機械学習に入門するための情報源は非常に多くなっており、機械学習モデルの作成には気軽に取り組めるようになっています。

個人でも、ちょっとしたモデルを作ってみて手元で推論してみたことがある方は少なくないと思います。

しかし、個人が作ってみたモデルを、実際に推論を試せるアプリケーションとして「公開」している方は少ないです。

また、企業においても、データサイエンティストが R&D 的に作成したモデルを実際のアプリケーションに組み込む段階で苦戦している例は多いです。

こういった背景を踏まえて、機械学習モデルを実際に Web アプリケーションに組み込んで「公開する」ことをテーマとした講座を作成しました。

主な対象者

このような背景から、

自分が作ったモデルを使い、簡単なアプリケーションを実装して公開してみたいデータサイエンティストの方
機械学習については知識があるが、アプリケーション開発についても学びたいと思っている PM・PdM といったポジションの方

といった方を主な対象者として想定しています。

一方で、

機械学習をアプリケーションに組み込む方法を学びたいアプリケーションエンジニアの方

にとっても面白い内容を含むコースになっていると思います。

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

Python だけでなく、JavaScript も使用する実践的な構成

機械学習に主に関わるデータサイエンティストなどのポジションの方に対してアプリケーションの作り方を説明する場合、Python だけを使う例が多いです。

しかし、Web アプリケーションの実践的な構成としては、JavaScript も使われることが多いです。

そこでこのコースでは、Python と JavaScript を連携させて使う実践的な構成で Web アプリケーションを実装することにしました。

ONNX Runtime Web を使い、静的サイトとしてアプリケーションを公開する方法も紹介

機械学習を使ったアプリケーションの実装例の多くは、Python を使っていわゆる「サーバサイド」で推論するものが多いです。

一方で、「静的サイト」の方式でアプリケーションを実現することで得られるメリットも大きいです。

そこでこのコースでは、Python を活用した方式と、Python を使わない静的サイトの方式の、2 つの方法でアプリケーションを公開する流れを解説しています。

おわりに

このコースの紹介は以上になります。

多くの方に楽しんでいただけるコースだと思いますが、特に「自分が作ったモデルを公開してみたい」と考えているデータサイエンティストの方に手にとっていただけるといいなと思っています。

少しでも多くの方に手にとっていただけると嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2022 年 8 月】読んだ本の記録

Thu, 01 Sep 2022 23:55:08 GMT

個人の記録として、2022 年 8 月に読んだ本をまとめます。

CPU・デジタル回路

ゼロから学ぶディジタル論理回路

CPU やデジタル回路の復習として、2 冊ほど読みました。

『作ろう！CPU』はグラフ理論に注目して書かれており、回路を見たことない記法で解説していたりして、とても面白かったです。

FPGA を使った実装まではしなかったので、どこかのタイミングで時間をとって挑戦したいです。

デバイスドライバ

シリアル通信の世界【仕組みを図解解説】

デバイスドライバに関しても、2 冊ほど読みました。

どちらも内容はかなりさらっとしていますが、Kindle Unlimited で気軽に読める点は良かったです。

Linux

スーパーユーザーなら知っておくべきLinuxシステムの仕組み

私はどのようにしてLinuxカーネルを学んだか

Linux について知識をつけたかったので、こちらの 2 冊を読みました。

今月は Linux From Scratch (自作 Linux ディストリビューション) もやってみることができて、Linux の知識を補充できました。

カーネルのソースコード周りをさらに勉強していきたいです。

セキュリティ

ホワイトハッカーの教科書

良い評価をよく耳にしていた『ホワイトハッカーの教科書』を読みました。

聞いていた評判通りよくまとまっている本で、「ホワイトハッカー」に限らず勉強法を学ぶのに良い本でした。

JavaScript

NPMパッケージ作成入門 ~ TypeScriptでつくるJSライブラリ

Zenn で読むことができる『NPMパッケージ作成入門』を読みました。

npm パッケージを公開したかったので、こういったまとまっている情報はとてもありがたかったです。

おわりに

以上、今月は 8 冊の本を読みました。

Linux From Scratch に取り組んだりして、Linux の知識を増やせた点が特に良かったです。

今は組み込み OS やデバイスドライバなどの低レイヤにかなり興味があるので、来月はそのあたりで手を動かしてみたいです。

Linux Fron Scratch をやってみての感想

Fri, 12 Aug 2022 06:07:42 GMT

ソースコードから Linux ディストリビューションを作り上げる「Linux From Scratch」をやってみたので、感想をまとめます。

Linux From Scratch とは

Linux From Scratch は、各種ソースコードから独自の Linux ディストリビューションを作り上げるプロジェクトで、Linux に興味のある方におすすめされる定番コンテンツの 1 つです。

公式サイトは以下です。

https://www.linuxfromscratch.org/

Linux From Scratch 自体、Linux ディストリビューションの一種のように言われることもあるようです。

完成品

最終的に、以下のように Linux が起動するところまでいけました！（感動）

なぜやろうと思った？

個人的に最近自作 ◯◯ を色々とやっているのですが、このあたりで Linux の知識をもう少し拡充したいと思い、挑戦することにしました。

やってみてどうだった？

やってみた感想としては、まず何より、やってみて良かったです。

特に、後述する通りブート周りでかなりハマったので、解決しようと試行錯誤する間に GRUB2 のコマンドやカーネルのコンフィグレーションについて知識がつきました。

また、クロスコンパイル環境の構築や、chroot を活用した環境構築なども、参考になりました。

そして何より、「Linux ディストリビューションを作ったことがある」と思えるようになったことは、自信に繋がると感じます。

ハマった点

Linux From Scratch の手順はしっかりメンテナンスされているので、基本的にそのまま実行すれば問題ありませんでした。

ひたすら make して make install していくのが中心で、そのあたりで困ることはなかったです。

唯一、カーネルのコンフィグレーションに関する知識不足で、最後のブートする段階でかなりハマりました。

自分は KVM の仮想マシンで実施したのですが、/dev/vdb1 をルートファイルシステムとしてマウントするためには、make menuconfig で VIRT 関係のドライバを有効にする必要があります。

その際、[m] という設定ではモジュールとしてビルドされ、[y] という設定ではカーネルに組み込まれることになります。

自分は [m] と設定しても /dev/vdb1 を扱うことができず、何がおかしいのかも分からず困っていました。

そこを [y] に直すことで、しっかり起動してくれました。

※ [m] のままでも、モジュールをうまくロードする設定をすればいいのかもしれません

どんな人におすすめ？

Linux From Scratch は、Linux についてある程度知識があり、さらに詳しくなりたい方にとてもおすすめです。

サイトに書かれている通りにコマンドを打てば進めること自体はできるのですが、ある程度前提知識がないと何をやっているのか分からず、あまり勉強にならないと思います。

そこで例えば、

あたりの本を読んで、Linux の仕組みの基礎知識をつけてから取り組むと良いと思います。

LPIC で言うとレベル 2 くらいの内容なので、資格取得の片手間に挑戦してみても良いと思います。

おわりに

個人的に最近は低レイヤの知識をつけたいと、自作 CPU、コンパイラ、OS、Linux ディストリビューションなどなど、自作 ◯◯ に色々と挑戦しています。

次は組み込み OS かデバイスドライバに挑戦したいと考えています。

Udemy で「JavaScriptで学ぶWebアプリ開発の必須知識〜Node.js・Web API・Ajax・async/await〜」をリリースしました

Wed, 03 Aug 2022 10:17:34 GMT

先日、Udemy 講座第 2 段として、「JavaScriptで学ぶWebアプリ開発の必須知識〜Node.js・Web API・Ajax・async/await〜」というコースをリリースしました。

どんなコースなのか、どういった考えで作ったのかを、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

「JavaScriptで学ぶWebアプリ開発の必須知識〜Node.js・Web API・Ajax・async/await〜」は、Rails などで「なんとなく」Web アプリ開発に入門した段階からステップアップしようとすると壁になる、Web アプリの仕組みと JavaScript の重要知識を学ぶ内容です。

キーワードは

HTTP、Web API、Ajax、Cookie、CORS
Node.js、npm、非同期処理、Promise、async/await

などで、これらを実際にコードを書きながら学習していきます。

なぜこのコースを作ったのか

ここから、このコースを作った背景について書いていきます。

Web アプリをなんとなく作れる段階と実務では、技術スキルに大きな壁がある

2022 年現在、Web アプリの開発に入門するための情報源は豊富で、Ruby on Rails などを使って「なんとなく」Web アプリが実装できるという方はとても増えています。

しかし、最近よくある構成の (いわゆるモダンな) Web アプリの開発は、入門の知識だけでは難しいです。

モダンな Web アプリといったときに分かりやすいキーワードは、React や Vue.js といったフロントエンドのフレームワークです。

「なんとなく」Web アプリが作れる段階から、ステップアップとして React や Vue.js を学習する方は多いですが、私はこの間に大きな壁があると考えています。

しかし、その壁を乗り越えるために何を学ぶべきか分からない

Web アプリを「なんとなく」実装できる段階で、React や Vue.js などを使った Web アプリを開発しようとしても、よく分からないことだらけで苦戦する方は少なくありません。

例えば、

フロントエンドとサーバサイドのコードの関係性、つまり、何がどう繋がって動いているのかよく分からない
フロントエンドとサーバサイドの役割の違いや、連携する方法が分からない

といった方は多いです。

これは、Web アプリを「なんとなく」実装できる段階と、React や Vue.js などを使った Web アプリの開発の間にある、Web アプリの仕組みと JavaScript の必須知識の不足が原因です。

この講座は、そういった方に向けて、私が考える必須知識を整理して学べるようにした内容になっています。

主な対象者

このような背景から、対象者としては

Web アプリをなんとなく作れるようになったが、コードの 1 つ 1 つが何をしているのかよく分からない
フロントエンドとサーバサイドのコードが、どう繋がって動いているのかよく分からない
Web アプリを開発していて「非同期処理・(Web) API・Ajax」といった言葉を耳にするが、何のことかよく分からず困っている

といった方を想定しています。

このコースの特徴

ここから、このコースの特徴を紹介させていただきます。

Web サーバから API を使った Web アプリケーションまで実装する

このコースでは、実際に作ってこそ理解が深まるという方針で、簡易的な Web サーバから実装します。

Web サーバの実装というと難しそうに聞こえるかもしれませんが、簡易的なものであれば簡単に作れてしまいます。

アプリケーションサーバやフレームワークといったものも一切使わず、基本的なライブラリだけから Web サーバ・Web アプリを実装することで、Web アプリの仕組みのコアをしっかり理解できるようにしました。

Cookie や CORS といったトピックを解説している例は非常に多いですが、手を動かせる例はそれほど多くないと思います。

このコースでは、HTTP の通信をしっかり見ながら、Cookie やセッション、そして CORS といった仕組みを学ぶことができるようにしています。

実際に手を動かしてみるのは、「なんとなく」を卒業するにはぴったりです。

おわりに

このコースの紹介は以上になります。

個人的には、Web アプリの開発に入門した次のステップで是非取り組んでほしい、かなりおすすめの内容になっています。

テーマの都合上、検索などでたどり着いてくれる方は少ないだろうと思っていますが、少しでも多くの方に手にとっていただけると嬉しいです。

最後に、著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

【2022 年 7 月】読んだ本の記録

Mon, 01 Aug 2022 05:47:12 GMT

個人の記録として、2022 年 7 月に読んだ本をまとめます。

雑誌

Software Design (ソフトウェアデザイン) 2022年07月号

WEB+DB PRESS Vol.129

今月分の Software Design と WEB+DB PRESS を読みました。

最近は毎月積読することなく読めていていいかんじです。

OS

ゼロからのOS自作入門

2021 年 5 月にも読んだ『ゼロからのOS自作入門』を、実装しながら再度一周しました。

読んだだけでもとても勉強になっていましたが、実装してみると出てくる新たな疑問はたくさんあり、改めてとても勉強になりました。

感想などはこちらにまとめています。

リンカ・ローダ

リンカ・ローダ実践開発テクニック―実行ファイルを作成するために必須の技術

Binary Hacks ―ハッカー秘伝のテクニック100選

OS 自作を経て、リンカ・ローダについても知識をつけたいと思ったので、何冊か読みました。

とくに何度か目にしていた『リンカ・ローダ実践開発テクニック』は、今の自分が知識を深めるためにぴったりのとても良い本でした。

このあたりはさらに知識をつけていきたいです。

言語処理系

Pythonでインタプリタを作る　コンピュータ言語を設計・実装してインタプリタの動作を理解しよう

言語処理系の勉強として、2 冊の本を読みました。

とくに『コンパイラの理論と実現』は、たった 179 ページというとても薄い本であるにも関わらず、実践的な内容が分かりやすく解説されており、衝撃でした。

コンパイラの理論を学びたい人に是非おすすめしたい一冊です。

CPU

自作エミュレータで学ぶx86アーキテクチャ　コンピュータが動く仕組みを徹底理解！

CPU に関して、『自作エミュレータで学ぶx86アーキテクチャ』を読みました。

CPU エミュレータを作りながら x86 の機械語を学ぶことができ、機械語を学びたい方に良い本だと思いました。

個人的には BIOS 関連の解説も面白かったです。

おわりに

以上、今月は 9 冊の本を読みました。

今月は OS 自作を完走できたことと、リンカ・ローダ・コンパイラ・機械語などの低レイヤの知識を拡充できたことが良かったです。

このあたりは机上の知識だけで手を動かす力はまだ不足を感じるので、今後手を動かすこともしていきたいです。

バイナリを扱うための自分用コマンド集

Thu, 14 Jul 2022 06:41:31 GMT

バイナリデータを扱うためのコマンドを身につけていきたいので、自分なりのコマンド集としてまとめます。

今後も更新していく予定です。

バイナリ全般

hexdump

16 進数などのダンプを表示する

hexdump -C <file>

コンパイラ

gcc

内部で cc1 や as、collect2 (ld) などを扱うコンパイラ・ドライバ

gcc -o hello hello.c

オプション

-Wall … 警告オプションを全て有効化
-v … 詳細を出力
-c … リンクしない

オブジェクトファイル

objdump

オブジェクトファイルの情報を表示する

objdump -h <file>

オプション

-h … セクション情報を表示
-p … プログラム・ヘッダを表示
—all-headers (-x) … すべてのヘッダ情報を表示
-d … 逆アセンブル

nm

シンボルの一覧を表示する

nm <file>

objcopy

オブジェクトファイルのコピーや変換を行う

ELF

readelf

ELF に関する情報を表示する

readelf -h <file>

-h … ELF ヘッダを表示
-S … セクションの一覧を表示
-x <セクション番号> … セクションの内容を表示
-l … プログラム・ヘッダを表示
-s … シンボル・テーブルを表示
-r … 再配置テーブルを表示

コアダンプの出力について

Ubuntu 20.04 では、デフォルトの設定ではユーザが実装したアプリケーションのコアダンプが出力されない。

コアダンプを出力したい場合は、例えば以下のようなコマンドを実行する必要がある。

sudo bash -c "echo 'core.%e.%p' > /proc/sys/kernel/core_pattern"
ulimit -c unlimited

参考

Ubuntuでコアダンプが出力できないことがある

C 言語のヘッダファイルの在り処と、「<なんとか>.h」がないというエラーへの対応について

Sun, 10 Jul 2022 14:58:42 GMT

例えば Ruby や Python などで MySQL のクライアントライブラリを入れようとしたりすると、C 言語のヘッダファイル (<なんとか>.h) がないというエラーになったりすることがあります。

そういった際はなんとなくググって解決できることも多いですが、根本的には必要なファイルを探す方法を身につけることが望ましいです。

そこでこの記事には、

C 言語のヘッダファイルがどこにあるのか
「<なんとか>.h」をインストールする方法

について、自分に分かる範囲で書いていきます。

検証環境

まずは、検証環境について載せておきます。 (Ubuntu 20.04 です)

$ uname -a
Linux oshima-desktop 5.13.0-52-generic #59~20.04.1-Ubuntu SMP Thu Jun 16 21:21:28 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux
$ gcc --version
gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0
Copyright (C) 2019 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

そもそも C 言語のヘッダファイルはどこにあるのか

さて、それではまず前提として、C 言語のヘッダファイルがどこにあるのかから見ていきます。

Google などで調べてみてもいいですが、「C 言語のコンパイル時にも参照されているはず」というアイデアで見てみようと思います。

まずは C 言語のサンプルコードを作成します。

#include <stdio.h>

int main()
{
  printf("Hello world!\n");
  exit(0);
}

gcc でコンパイルします。

このとき、-v オプションで実行の詳細を表示してみます。

$ gcc -o hello hello.c -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/9/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none:hsa
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 9.4.0-1ubuntu1~20.04.1' --with-bugurl=file:///usr/share/doc/gcc-9/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++,gm2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-9 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none=/build/gcc-9-Av3uEd/gcc-9-9.4.0/debian/tmp-nvptx/usr,hsa --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~20.04.1) 
COLLECT_GCC_OPTIONS='-o' 'hello' '-v' '-mtune=generic' '-march=x86-64'
 /usr/lib/gcc/x86_64-linux-gnu/9/cc1 -quiet -v -imultiarch x86_64-linux-gnu hello.c -quiet -dumpbase hello.c -mtune=generic -march=x86-64 -auxbase hello -version -fasynchronous-unwind-tables -fstack-protector-strong -Wformat -Wformat-security -fstack-clash-protection -fcf-protection -o /tmp/cceK2Ql4.s
GNU C17 (Ubuntu 9.4.0-1ubuntu1~20.04.1) version 9.4.0 (x86_64-linux-gnu)
	compiled by GNU C version 9.4.0, GMP version 6.2.0, MPFR version 4.0.2, MPC version 1.1.0, isl version isl-0.22.1-GMP

GGC heuristics: --param ggc-min-expand=100 --param ggc-min-heapsize=131072
ignoring nonexistent directory "/usr/local/include/x86_64-linux-gnu"
ignoring nonexistent directory "/usr/lib/gcc/x86_64-linux-gnu/9/include-fixed"
ignoring nonexistent directory "/usr/lib/gcc/x86_64-linux-gnu/9/../../../../x86_64-linux-gnu/include"
#include "..." search starts here:
#include <...> search starts here:
 /usr/lib/gcc/x86_64-linux-gnu/9/include
 /usr/local/include
 /usr/include/x86_64-linux-gnu
 /usr/include
End of search list.
GNU C17 (Ubuntu 9.4.0-1ubuntu1~20.04.1) version 9.4.0 (x86_64-linux-gnu)
	compiled by GNU C version 9.4.0, GMP version 6.2.0, MPFR version 4.0.2, MPC version 1.1.0, isl version isl-0.22.1-GMP

GGC heuristics: --param ggc-min-expand=100 --param ggc-min-heapsize=131072
Compiler executable checksum: c0c95c0b4209efec1c1892d5ff24030b
hello.c: In function ‘main’:
hello.c:6:3: warning: implicit declaration of function ‘exit’ [-Wimplicit-function-declaration]
    6 |   exit(0);
      |   ^~~~
hello.c:6:3: warning: incompatible implicit declaration of built-in function ‘exit’
hello.c:2:1: note: include ‘<stdlib.h>’ or provide a declaration of ‘exit’
    1 | #include <stdio.h>
  +++ |+#include <stdlib.h>
    2 | 
COLLECT_GCC_OPTIONS='-o' 'hello' '-v' '-mtune=generic' '-march=x86-64'
 as -v --64 -o /tmp/ccolkcv4.o /tmp/cceK2Ql4.s
GNU アセンブラ バージョン 2.34 (x86_64-linux-gnu)、BFD バージョン (GNU Binutils for Ubuntu) 2.34 を使用
COMPILER_PATH=/usr/lib/gcc/x86_64-linux-gnu/9/:/usr/lib/gcc/x86_64-linux-gnu/9/:/usr/lib/gcc/x86_64-linux-gnu/:/usr/lib/gcc/x86_64-linux-gnu/9/:/usr/lib/gcc/x86_64-linux-gnu/
LIBRARY_PATH=/usr/lib/gcc/x86_64-linux-gnu/9/:/usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu/:/usr/lib/gcc/x86_64-linux-gnu/9/../../../../lib/:/lib/x86_64-linux-gnu/:/lib/../lib/:/usr/lib/x86_64-linux-gnu/:/usr/lib/../lib/:/usr/lib/gcc/x86_64-linux-gnu/9/../../../:/lib/:/usr/lib/
COLLECT_GCC_OPTIONS='-o' 'hello' '-v' '-mtune=generic' '-march=x86-64'
 /usr/lib/gcc/x86_64-linux-gnu/9/collect2 -plugin /usr/lib/gcc/x86_64-linux-gnu/9/liblto_plugin.so -plugin-opt=/usr/lib/gcc/x86_64-linux-gnu/9/lto-wrapper -plugin-opt=-fresolution=/tmp/cczXFzh6.res -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lgcc_s -plugin-opt=-pass-through=-lc -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lgcc_s --build-id --eh-frame-hdr -m elf_x86_64 --hash-style=gnu --as-needed -dynamic-linker /lib64/ld-linux-x86-64.so.2 -pie -z now -z relro -o hello /usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu/Scrt1.o /usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu/crti.o /usr/lib/gcc/x86_64-linux-gnu/9/crtbeginS.o -L/usr/lib/gcc/x86_64-linux-gnu/9 -L/usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu -L/usr/lib/gcc/x86_64-linux-gnu/9/../../../../lib -L/lib/x86_64-linux-gnu -L/lib/../lib -L/usr/lib/x86_64-linux-gnu -L/usr/lib/../lib -L/usr/lib/gcc/x86_64-linux-gnu/9/../../.. /tmp/ccolkcv4.o -lgcc --push-state --as-needed -lgcc_s --pop-state -lc -lgcc --push-state --as-needed -lgcc_s --pop-state /usr/lib/gcc/x86_64-linux-gnu/9/crtendS.o /usr/lib/gcc/x86_64-linux-gnu/9/../../../x86_64-linux-gnu/crtn.o
COLLECT_GCC_OPTIONS='-o' 'hello' '-v' '-mtune=generic' '-march=x86-64'

この中を見てみると、

 /usr/lib/gcc/x86_64-linux-gnu/9/cc1 -quiet -v -imultiarch x86_64-linux-gnu hello.c -quiet -dumpbase hello.c -mtune=generic -march=x86-64 -auxbase hello -version -fasynchronous-unwind-tables -fstack-protector-strong -Wformat -Wformat-security -fstack-clash-protection -fcf-protection -o /tmp/cceK2Ql4.s

という箇所で実際のコンパイラ (cc1) が実行されているようです。

※ gcc は広義では「コンパイラ」ですが、実際には内部で狭義のコンパイラ (cc1) やアセンブラ (as)、リンカなど (collect2) を呼び出しており、「コンパイラドライバ」と呼ばれることもあるそうです。

さて、cc1 の実行以降の出力を見てみると…

#include "..." search starts here:
#include <...> search starts here:
 /usr/lib/gcc/x86_64-linux-gnu/9/include
 /usr/local/include
 /usr/include/x86_64-linux-gnu
 /usr/include
End of search list.

ということで、#include の検索をしている箇所が見つかりました。

ここに表示されているパスから、ヘッダファイルを探しているようですね。

ls などで見てみると、たしかにヘッダファイルが見つかります。

必要なヘッダファイルをインストールするには

ここから、不足しているヘッダファイルを探してインストールする方法を書いていきます。

例えば Ruby や Python などで MySQL のクライアントライブラリを使いたい場合に、C 言語のヘッダファイルがないというエラーになったりすることがあります。

そんな例であれば、

$ sudo apt install libmariadb-dev

のようにして、libmariadb-dev などをインストールして解決することになります。

これは、求められているヘッダファイルが libmariadb-dev に含まれているためです。

libmariadb-dev に含まれているファイルは、以下のように見ることができます。

$ dpkg -L libmariadb-dev 
/.
/usr
/usr/bin
/usr/bin/mariadb_config
/usr/include
/usr/include/mariadb
    :
/usr/include/mariadb/mysql.h
    :

ということで、libmariadb-dev をインストールすると、やはり /usr/include 以下にヘッダファイルが配置されるようですね。

本来はこれとは逆で、あるヘッダファイルを含むパッケージを知りたいはずです。

apt-file コマンドを使うことで、指定したヘッダファイルを含むパッケージを検索できます。

$ apt-file search mysql.h
    :
libgdal-doc: /usr/share/doc/libgdal-doc/gdal/drv_mysql.html
libgearman-doc: /usr/share/doc/libgearman-doc/html/gearmand/queues/mysql.html
libmariadb-dev: /usr/include/mariadb/mysql.h
libmariadb-dev: /usr/include/mariadb/server/mysql.h
libmariadb-dev: /usr/include/mariadb/server/private/probes_mysql.h
libmysqlclient-dev: /usr/include/mysql/mysql.h
libodb-api-dev: /usr/include/x86_64-linux-gnu/mysql.h
    :

mysql.h と検索してみましたが、libmariadb-dev 以外にも大量のパッケージが見つかりました。

おわりに

以上、C 言語のヘッダファイルの在り処と、「<なんとか>.h」がないというエラーへの対応について見てきました。

このあたりは個人的になんとなくやっていた部分があるので、もっと知識をつけていこうと思います。

【感想】『ゼロからのOS自作入門』の実装を終えて

Sun, 10 Jul 2022 11:41:32 GMT

『ゼロからのOS自作入門』の実装を完走したので、やってみた感想や、完走するための自分なりのポイントをまとめました。

書籍『ゼロからのOS自作入門』とは

『ゼロからのOS自作入門』はタイトル通り、OS をゼロから作っていく書籍です。

2021 年 3 月に発売されており、2021 年かなり話題だったと思います。

前提

さて、今回この本の OS (MikanOS) の実装に挑戦してみたのですが、私は実はこの本自体はすでに一周読んでいました。

最初に実装なしで読んだときの感想については、「『ゼロからのOS自作入門』を読みました【感想・難しいと感じる方にオススメの事前準備】」という記事にまとめてあります。

読むだけでも色々と勉強になっていたものの、実装してみないと分からないことも色々あるだろうと思い、今回実装に挑戦しました。

感想

それでは、ここから実装してみての感想を書いていきます。

OS を作った達成感は大きい

実装してみて何より一番大きいのは、「OS を作った」という達成感があることです。

多くの方が想像している通りだと思いますが、OS の自作は楽ではなかったです。

その分、実際に作ってみた達成感は大きいですし、分かるようになったことも色々とあります。

感動ポイントがたくさんある

OS の実装を進めていると、感動するポイントがいくつもあります。

例えば、

Hello World
マウス操作
ウインドウのドラッグ操作
キーボード入力
コンテキストスイッチ (プリエンプティブマルチタスク)
ターミナルから外部コマンド (ELF ファイル) を実行

などです。

たしかに感動しそうだと思われるかもしれませんが、実際に実装してみると想像以上に大きな感動でした。

また、個人的には第 27 章の「アプリのメモリ管理」が特に好きで、

デマンドページング
メモリマップドファイル
コピーオンライト

などの少し発展的な機能がこんなに普通に実装できるんだと感動しました。

OS 以外の勉強にもなった

MikanOS の実装を進める中で、OS の勉強になったのはもちろんですが、関連して

C 言語や C++
ELF やローダー

などの知識も得られました。

個人的に C++ を学びたいと思っていたので、練習の題材としても良かったです。

当然ですが、OS の勉強としてもこの上ないほど良かったです。

完走するための自分なりのポイント

それではここから、自分なりに完走するためのポイントだと思うことを書いていきます。

理解できない点があっても一旦先に進む

この本を読みながら実装していても、よく理解できない点がある程度出てくるかもしれません。

OS の実装はただでさえボリュームが大きいので、よく分からなかった点も一旦飲み込んで実装を進めてみると良いと思います。 (もちろん、なんとかして理解できるよう調べたりしてみるのも良いと思います)

自分の場合も、特に

UEFI 関連
セグメンテーションの設定
階層ページング構造の設定

などについては、かなり理解が浅いですが、ここをしっかり理解するには自分でゼロから (本の通りではない) OS を作るのが良さそうだと考えて、先に進みました。

全然分からない場合は、前提知識をつけて再挑戦する

一部理解できないというよりも、全体的に全然よく分からないという場合もあると思います。

よく分からないまま写経するのもある程度勉強になりますし、動作する様子のを見るのは楽しいですが、前提知識をつけるとより楽しめると思います。

「『ゼロからのOS自作入門』を読みました【感想・難しいと感じる方にオススメの事前準備】」という記事にも書きましたが、

C 言語の基礎
CPU の仕組みの概要
OS の基礎

の知識があると、理解度が一気に高くなります。

特に OS に関して、

の 2 冊を読んでおくのが非常にオススメです。

起動手順をスクリプト化する

これは細かいテクニック的な話になりますが…

MikanOS の実装をやり遂げるには、ある程度長い日数がかかります。

途中で数日・数週間と時間が空いてしまう場合もあるかもしれません。

MikanOS を起動するにはいくつかのコマンドを実行する必要があり、それらを毎回思い出して入力するのは大変です。

そういった手順はスクリプト化したりすることで、実装に取り組むハードルを下げましょう。

筆者のコードを確認できるようにする

当たり前ではありますが、OS のデバッグは非常に大変です。

エラーが起こったとき、根本原因が簡単には分からないことも多いです。

自力でデバッグするのが一番ではありますが、MikanOS の実装はボリュームも大きいため、自力でのデバッグにばかり時間を割いていると大変です。

そこで、筆者のコードを確認する環境を整えることをおすすめします。

困ったときは、筆者のコードの 2 つの時点の差分を確認したり、自分のコードとの差分を確認したりしてみましょう。

なお、筆者のコードについては、以下の Issue で指摘されている箇所以外は、私が見た範囲では全て動作しました。

[day15b] OS起動後にTaskBWindowが一瞬表示されすぐ消える #36

熱意を持つ・時間を確保する

最後のポイントとして、完走するために一番重要なのは、「OS を作りたい」という熱意だと思います。

この本に従って OS を実装することは、難しいというよりも大変 (熱意や時間が必要) です。

自分の場合、2022 年 3 月 8 日に取り組み始めて、実装完了したのが 2022 年 7 月 10 日と、4ヶ月ほどかかりました。

実際のペースとしては、

3 月 … day01-day02
4 月 … day03-day04
5 月 … day05-day07
6 月 … day08-day10
7 月 … day11-day30

といったぐらいでだいぶ偏りがあり、7 月になって時間をとれたので一気に進めましたが、当初のペースでは 1 年近くかかったかもしれません。

OS 自作に着手する前に、『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』(通称: Nand2Tetris) で CPU やコンパイラの実装をしたこともありますが、OS 自作のほうが遥かに時間がかかりました。

長期間かかるほど過去の内容を忘れやすくなるので、ある程度まとまった時間をとって取り組んだほうが、ゴールしやすいと思います。 (そういう意味では、学生のうちにやっておくと良いと言われたりするのはよく分かります)

おわりに

以上、MikanOS を実装しての感想や自分なりのポイントを書いてきました。

自分はこの実装を終えて、いわゆる低レイヤ関係でもっと色々作ってみたいと思いました。

C++ でちょっとしたツールを作ってみる (ELF パーサやリンカ・ローダに興味あり)
CLI (GUI なし) のみの OS を作ってみる
デバイスドライバを作ってみる
改めて Linux について勉強してみる

などなど、今後もやっていこうと思います。

Udemy で「Linux とネットワークの基礎から学ぶ Docker 入門」をリリースしました

Mon, 04 Jul 2022 07:02:08 GMT

先日、Udemy で「Linux とネットワークの基礎から学ぶ Docker 入門」というコースをリリースしました。

どんなコースなのか、どういう考えで作ったのかを、この記事で少し紹介させていただきます。

※ 著者が出した Udemy 講座の一覧はこちらです。

コース概要

このコースは、タイトル通り Docker に入門していく内容ですが、特徴は Linux やネットワークの基礎から学べることです。

具体的には、

Web サーバをさわりながら、「サーバでプログラムを動かすというのはどういうことか」を学ぶ
シンプルな通信のプログラムを実装したり、手作業で Web サーバと通信したりして、ネットワークの超基礎を学ぶ
Linux で「Web サーバ + アプリケーションサーバ + DB」という典型的な 3 層構造の Web アプリケーションの環境構築を学ぶ

といったところから始めます。

その後、Docker に入門して、最終的には Docker を使った開発環境を完成させていきます。

なぜこのコースを作ったのか

ここから、このコースを作った背景について書いていきます。

Docker の入門で難しいのは、Docker 自体の入門ではない

Docker の入門で難しいと感じている方は少なくないと思いますが、実際には Docker 自体の入門はそれほど難しくありません。

難しいのは、前提として Linux とネットワークの基礎知識が求められることです。

Docker での環境構築は、「Linux での環境構築の知識にプラスで Docker の知識が必要」という関係になっています。

なので、Docker を勉強する際は、まず Linux での環境構築ができる必要があるのです。 (同時に、そのために必要なネットワークの基礎知識も必要になります）

逆に、Linux とネットワークの基礎知識があれば、Docker の入門でつまずく点はほとんどないです。

Docker をしっかり理解する最短ルート

とはいえ、特にアプリケーションエンジニアの方が、「Docker をキャッチアップするため、まず Linux やネットワークから勉強しよう」とは思いにくいでしょう。

もしも Linux やネットワークの知識が必要だと気付いても、「そこまでの勉強は時間がかかるので避けたい」と思う方が多いのではないでしょうか？

書籍などでも、Linux やネットワークの基礎知識から Docker の入門までほど良く解説してくれている例は見当たりません。(少なくとも日本語では)

そこでこのコースでは、最低限必要な範囲で Linux やネットワークの基礎を学んでから、Docker の入門に取り組むという構成にしました。

主な対象者

このような背景から、対象者としては

Docker を使っているが、実はあまりよく分かっていない
Web アプリケーション開発の基礎知識を身に付け、次のステップとして Docker を学ぼうとしている
Docker について学ぼうとしているが、Linux やネットワーク関係の用語が分からず困っている
インフラへの苦手意識を克服したいアプリケーションエンジニア

といった方を想定しています。

こだわりポイント

ここから、このコースを作る上で、特にこだわった点を紹介させていただきます。

「プログラムを実行する」ということを、入門よりも一歩深く解説

Docker コンテナで何かを実行するというのは、Linux でプログラムを実行する (= プロセスを動かす) ということです。

特にアプリケーションエンジニアの方には、「OS」や「プロセス」というものが何者なのか、あまりイメージがわかないことも多いと思います。

ですが、この「OS」や「プロセス」といったもののイメージがないまま Docker を理解するのは難しいです。

そこでこの講座では、Web サーバ (nginx) をさわりながら、じっくりと「プログラムを実行する (= プロセスを動かす)」ということの理解を深めていけるようにしました。

ネットワークの超基礎を、手を動かして学ぶ

もう 1 つ勉強が難しいのが、ネットワークについてです。

Docker の入門で必要なのは、

「IP アドレス」や「ポート番号」とは何か
HTTP とは何か

といったあたりで、ネットワークの知識としては入門中の入門ですが、ここが壁になっていることは多いです。

これらを勉強しようとすると、読書や座学での学習になりやすく、「なんとなく分かった気になるものの定着しない」ということも多いです。

そこでこの講座では、プログラムを書いたり手作業で通信したりしながら、ネットワークの超基礎を学べるようにしました。

Web アプリケーションの仕組みの理解

ここまで、Docker の前提知識として必要なのは Linux とネットワークと書いてきましたが、実際には「Web アプリケーション」の基礎知識が足りていないケースも多いです。

現代の Web アプリケーションは、ブラウザ上でもリッチなコードが動いていたり、と思えば同様のコードがサーバ上で動いていたりと、入門者にとってはかなり複雑な挙動をしていると思います。

ですが、Web アプリケーションのどこで何が動いているのかが分からないと、それを Docker で動かすことはできません。

そこで、簡単な Web アプリケーションを実装しながら、その仕組みの概要も学べるようにしました。

おわりに

ということで、力を入れて作成したこちらのコースですが、公開数日で早速 30 名以上の方に手にとっていただけました。

このコースに引き続き、今後も Udemy でいくつか講座を出していきたいと思います。

著者が出した Udemy 講座の一覧（割引クーポン付き）は、以下のページにまとまっています。

https://www.nextskill.co.jp/courses

ご興味ある方はこちらからアクセスしてみてください。

2022 年前半で勉強したことのふりかえり

Fri, 01 Jul 2022 03:10:56 GMT

2022 年前半が終わったので、勉強したことをふりかえって記事にまとめます。

読書

まずは読んだ本の数をまとめると…

月	読了した冊数	まとめ記事
1	13	【2022 年 1 月】読んだ本の記録
2	8	【2022 年 2 月】読んだ本の記録
3	2	【2022 年 3 月】読んだ本の記録
4	10	【2022 年 4 月】読んだ本の記録
5	17	【2022 年 5 月】読んだ本の記録
6	7	【2022 年 6 月】読んだ本の記録

ということで、合計 57 冊でした。

2021 年後半の半年では合計 70 冊だったので、少しペースダウンしてしまいました。

この中で特に良かった本は、

の 4 冊です。

また、機械学習の比較的新しい話題である BERT や XAI について学んだり、Web3 (特に DAO や DeFi) の概要についてキャッチアップできたのも良かったです。

ブログ

このブログ (完全に理解した.com) には、17 記事書きました。

年間 100 記事くらいは目指したいと思っていたので、かなりゆっくりなペースになってしまいました。

資格

この半年では資格は全く取得しませんでした。

勉強のきっかけになるので、2022 年後半は少し資格の取得も考えていきたいです。

友人との勉強会

友人と作った connpass グループ (StudyCo) では、自分は

の 3 つの発表を行い、合計 900 名を超えるとても多くの方にお申し込みいただきました。

グループメンバーも 1300 名を突破し、4~5 名で本業とは別で運営しているとは思えない規模になってきたと思います。

2 月からはアーカイブ動画の一部を YouTube で公開するようになり、StudyCo チャンネルのチャンネル登録者数は 100 を突破しました。

Udemy 講座

この半年で一番大きいのは、6 月 1 ヶ月をかけて Udemy のコースを 1 つ作成したことです。

7 月 1 日現在審査中ですが、「Linux とネットワークの基礎から学ぶ Docker 入門」というタイトルで、近日公開予定です。

プログラミング言語

この半年のプログラミング言語の勉強としては、TypeScript を改めて勉強できたのがよかったです。

今までなんとなく書いていた TypeScript について、一歩理解を深められました。

TypeScript は奥が深く、まだまだ知らないことだらけですが、今後もどんどん書いていこうと思います。

また、アセンブリ言語と C++ も少し勉強できてよかったです。

特に C++ は OS 自作を進めている中で少し慣れてきたので、どこかのタイミングで改めて勉強して定着させたいです。

その他、プログラミング言語ではありませんが、CSS のグリッドレイアウトをキャッチアップしたりしました。

言語処理系

この半年で一番成長を感じる分野は、言語処理系です。

『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』や『Go言語でつくるインタプリタ』という書籍を通して、コンパイラとインタプリタを自作しました。

(インタプリタについては、簡易的なものを別途 2 回実装しました)

といっても基礎の基礎を学んだだけで、まだまだ実践レベルには程遠いです。

最近かなり興味を持っている分野なので、もっと力を入れて勉強していきたいです。

自作つながりでは、OS 自作が全然終わっておらず、これからの半年でしっかり完了させたいです。

トレンド技術

トレンドになっているような技術の中では、「Web3」の概要を調べられたことが大きいです。

個人的にブロックチェーン関連技術にそこまで注目していなかったのですが、DAO や DeFi などはかなり可能性のある面白い技術だなと思いました。

総括

以上、2022 年前半でやったことをまとめると…

全体
- 技術書中心に 57 冊の本を読んだ
- ブログを 17 記事書いた
プログラミング言語
- TypeScript を改めて学んだ
- アセンブリ言語と C++ にふれた
- CSS のグリッドレイアウトをキャッチアップした
低レイヤ
- コンパイラやインタプリタを自作した
- OS 自作に着手した
応用系
- Web3 の概要をキャッチアップした
発表など
- Linux・ネットワーク・Docker の勉強会を開催し、そのテーマで Udemy 講座を作成した

といったあたりになります。

プライベートで時間を使うことが多かったこともあり、個人的にはかなりのんびりペースの半年でした。

興味を持って勉強したいと思っていることもたくさんあるので、次の半年はペースアップしていこうと思います。

【2022 年 6 月】読んだ本の記録

Fri, 01 Jul 2022 02:00:14 GMT

個人の記録として、2022 年 6 月に読んだ本をまとめます。

メタバース

メタバースとWeb3

以前から興味が合ったので、「メタバース」系の本をいくつか買って、読みやすそうなものから読んでみました。

特に『メタバース　さよならアトムの時代』は、著者の豊富な知識に基づいて幅広く解説されており、とても良い本でした。

筆者の愛着がすごく感じられる一方で、客観的な話も多く、どれか 1 冊読みたいという方にはこれがおすすめです。

雑誌

Software Design (ソフトウェアデザイン) 2022年06月号

6 月号の Software Design を読みました。

以前は購読しているにも関わらず積読していたのですが、最近は積読しなくなってきて良い傾向です。

プログラミング

はじめてのRuby Sinatra入門: 軽量RubyフレームワークSinatraとPaizaCloudを使って10分でWebサービスを作る

あなたの知らないC言語誕生の秘密: BCPL, B, FORTH, GAME, TL/1型のない古代言語の世界

ちょっとした時間で Kindle Unlimited で読める本を読もうと、この 2 冊を手に取ってみました。

『あなたの知らないC言語誕生の秘密』は、こういった考察をすること自体面白いなと思いました。

おわりに

以上、今月は 7 冊の本を読みました。

今月の後半は Udemy 講座の作成に力を入れていたこともあり、読書の時間はあまりとれませんでした。

少しずつ進めている OS 自作については、やっと 3 分の 1 が終わりました。来月も引き続き進めていきます。

Windows でも macOS でも動く Docker のボリュームの指定

Fri, 24 Jun 2022 16:18:29 GMT

Docker で構築した開発環境は再現性が高く、Windows でも macOS でも動くと思われています。

基本的にはその通りなのですが、ホストのファイルシステムが絡んでくるボリュームについては、書き方次第で「Windows では動かない」となることがあります。

この記事では、Windows でも macOS でも動く Docker のボリュームの書き方をまとめます。

検証した環境

Docker for Windows (Windows 10, WSL2 backend)
Docker for Mac (macOS Monterey, Apple M1)

docker run の場合

docker run の場合と Docker Compose の場合でも書き方が異なるので、まずは docker run を使う場合について書いていきます。

docker run するときは、Windows でも macOS でも同じ書き方で動きます。

一番よさそうな書き方

docker run -v $PWD/mydir/subdir:/work ubuntu ls /work

docker run の -v オプションでホストのパスを指定する箇所では、 $PWD や$ (pwd)、`pwd` を使って、絶対パスで書くのが一番よさそうです。

NG な書き方

docker run -v mydir/subdir:/work ubuntu ls /work

のように、相対パスで記述してしまうと、以下のようなエラーになります。

docker: Error response from daemon: create myapp/subdir: "myapp/subdir" includes invalid characters for a local volume name, only "[a-zA-Z0-9][a-zA-Z0-9_.-]" are allowed. If you intended to pass a host directory, use absolute path.
See 'docker run --help'.

ホストのディレクトリを指定する場合は絶対パスを使う必要があるためです。

一応、「/」という文字を含まない以下のような形式であれば動作しますが、普段から絶対パスで指定するのが良いでしょう。

docker run -v mydir:/work ubuntu ls /work

Docker Compose の場合

一番よさそうな書き方

version: '3'

services:
  nginx:
    image: nginx:1.21.6-alpine
    volumes:
      - ./nginx/html:/usr/share/nginx/html

docker-compose.yaml の場合、相対パスで書くのが一番よさそうです。

もしホームディレクトリを基準にしたい場合は、「~/mydir」のように指定してください。

NG な書き方

docker run で絶対パスを指定したのと同様に、

      - $PWD/nginx/html:/usr/share/nginx/html

と書きたくなると思います。

しかし、この書き方では、Windows で

WARNING: The PWD variable is not set. Defaulting to a blank string.

という WARNING が出力される場合があり、その際は $PWD が空文字列として解釈されてしまいます。

$PWD は Windows でも動く場合・動かない場合があり、詳細な再現条件は分からないですが、避けたほうが無難でしょう。

まとめ

以上をまとめると、

docker run では「$PWD」などを使って絶対パスで指定する
docker-compose.yaml では「.」や「~」を使って相対パスで指定する

ということになります。

これで今後は悩むことがなくなりそうです。

Active Directory での SAML 2.0 による SSO について用語を整理してみた

Wed, 01 Jun 2022 07:08:53 GMT

「Active Directory で SAML 2.0 による SSO」について、登場する用語を整理してみました。

SSO の種類

一言で SSO と言っても、

Kerberos 認証
SAML 認証
OAuth 認証
OpenID Connect 認証

など、様々な種類があります。

この記事では、SAML 2.0 を使った SSO について注目していきます。

参考: シングルサインオンの仕組みと選び方 | OSSのデージーネット

SAML の概要

SAML の概要は、Zenn などで購入できる『SAML入門』読むのがおすすめです。

Web 上の記事などではなかなかとっつきにくい SAML の入門にぴったりです。

SAML 2.0 による SSO の登場人物

SAML 2.0 による SSO では、

SP (Service Provider)
IdP (Identity Provider)

の 2 つが登場します。

図にすると、以下のように分類できます。

SP

SP は、SSO でログインしたいサービスです。

例えば AWS や SmartHR などが挙げられます。

IdP

IdP は、認証情報を管理する側のサービスです。

IdP にはクラウド型で提供されるものと、インストール型のものがあります。

インストール型の中には、OSSのものもあります。

OSS の Keycloak は個人的に耳にする機会も多く、さわってみるのもおすすめできます。

参考

Active Directory (AD) とは？

IdP として Azure Active Directory や (オンプレミス) Active Directory があることが分かりました。

この「Active Directory」とは何でしょうか？

Wikipedia によると…

Active Directory (アクティブディレクトリ) とはマイクロソフトによって開発されたオンプレミスにおけるディレクトリ・サービス・システムであり、Windows 2000 Serverから導入された、ユーザとコンピュータリソースを管理するコンポーネント群の総称である。

ということで、「ディレクトリ・サービス・システム」だそうです。

簡単に言うと、以下の図のように、「ディレクトリサービス」や「SSO の IdP としての機能」などを色々統合して便利に使えるのが Active Directory です。

ディレクトリサービスとは？

ここで、「ディレクトリサービス」という用語について少し補足しておきます。

「ディレクトリサービス」というのは、データベースの一種です。

RDB とは異なり軽量で、ツリー構造になっており、組織の資源などの管理によく使われます。

ディレクトリ・サービスにアクセスするためのプロトコルとしては、LDAP が普及しています。

LDAP の用語・概念を図で整理

Active Directory の種類

最後に、Active Directory の種類についてです。

Active Directory には、

Azure Active Directory
(オンプレミス) Active Directory

の 2 種類があります。

さらに (オンプレミス) Active Directory には、

Microsoft Active Directory
Samba

という 2 種類の実装があります。

参考

【2022 年 5 月】読んだ本の記録

Wed, 01 Jun 2022 04:53:38 GMT

個人の記録として、2022 年 5 月に読んだ本をまとめます。

ドキュメンテーション

Sphinxをはじめよう第3版

Sphinx を使ったドキュメンテーションが便利だとおすすめされたため、オライリーのこちらの本を読んでみました。

ドキュメントに限らず、個人ブログなどを作る場合にも使えそうで、たしかに便利そうでした。

実際にさわってはいないのですが、ちょっとした静的サイトを作りたくなった際などに使ってみたいと思いました。

アプリケーション

良いコード／悪いコードで学ぶ設計入門―保守しやすい　成長し続けるコードの書き方

話題になっていた『良いコード／悪いコードで学ぶ設計入門』を読みました。

一言で言えば、「（オブジェクト指向プログラミング言語の）今風のクラス設計の入門書」だなと思いました。

『リファクタリング』や『Code Complete』等の分厚い本を色々読めば学べる内容を、現代の実践で遭遇しやすいものに限定して読みやすく学べるイメージです。

個人的に特に参考になったのは、「利用規約をモデリングに活かす」という話で、今後実際にやってみたいと思いました。

セキュリティ

SAML入門

Zenn などで購入できる SAML の入門書です。

仕事で SAML を理解する必要があったので、読んでみました。

結論としては、SAML に入門したい人にめちゃくちゃおすすめできる一冊です。

SAML のとっかかりが分かりやすくまとまっている情報源はほとんどなく、キャッチアップがかなり難しいのですが、この本を読めば最初に知るべきことを程よくおさえることができます。

雑誌

Software Design (ソフトウェアデザイン) 2022年05月号

WEB+DB PRESS Vol.128

Software Design と WEB+DB PRESS を 1 冊ずつ読みました。

AWS関連の細々した知らなかったことを知ることができたり、Ubuntu などの Linux デスクトップについてもう少しちゃんと知識をつけたいなという気持ちになりました。

「完全初心者への徹底解説」シリーズ

Web3　完全初心者への徹底解説: 社会を変える緻密なアルゴリズム

メタバース　完全初心者への徹底解説: 2021年仮想世界を巡る百花繚乱時代

DAO 完全初心者への徹底解説: 具体事例で見る分散型自律組織

DeFi 完全初心者への徹底解説: 画期的な分散型金融の実像

話題の技術について学べる「完全初心者への徹底解説」シリーズを読みました。

先月『GPT-3 完全初心者への徹底解説』を読んでよかったので、このシリーズの他の本も読んでみたところ、最近話題の技術のとっかかりを学ぶのにとてもよかったです。

特に Web3・DAO・DeFi については全く知識がなかったのですが、とっかかりを知って面白そうだと思えたので、もう少しキャッチアップしていこうと思います。

動画販売

めざせ講師デビュー！オンラインレッスン超入門: レッスンの方法から動画教材の作成、販売までこれ一冊で！

【時短本】ネットから新規の見込み客を集客できないと悩んでいる人がUdemy講師になったほうがいい４つの理由

好きなことをオンライン講座にする方法　ゼロからはじめるUdemy講師デビュー: 今すぐあなたのオンライン講座を出そう！

Udemy完全攻略マニュアル: 後発参入者でもゼロから「オンライン学習サイトUdemy」を攻略し不労所得を生み出す極意と売れるオンライン講座の作り方。

はじめての動画教材の作り方: もうみんな導入しているeラーニング

エンジニアがオンライン講座で自宅でラクラク儲ける方法

Udemy 講座を作るため、参考になりそうな本をいくつか手に取ってみました。

講座作成のヒントが色々と得られて、とても参考になりました。

おわりに

以上、今月は 17 冊の本を読みました。

今月は Web3 関連について概要的な知識を得られたのと、Udemy 講座の作り方について知見を得られたのが良かったです。

ページ数の少ない電子書籍をたくさん読んだため、読んだ冊数としては多めになりました。

今後もこのくらいのペースで本を読んでいきたいです。

数ヶ月前に取り組み始めた OS 自作は止まってしまっているので、来月こそは進めたいものです。

話題の技術のとっかかりを学べる『完全初心者への徹底解説』シリーズの紹介

Mon, 30 May 2022 10:22:07 GMT

Kindle の電子書籍『完全初心者への徹底解説』シリーズを読んでよかったので、こちらの記事でまとめて紹介します。

『完全初心者への徹底解説』シリーズとは？

『完全初心者への徹底解説』シリーズは、日本語の情報がまだ少ない IT 関連の技術領域を解説している、Kindle の電子書籍シリーズです。

1 冊あたり数 100 ページ程度の分量で、

機械学習
メタバース
ブロックチェーン

といった領域の各種テーマを解説しています。

特徴としては

最近話題の技術の概要を知ることができる
かなり中立的な立場で解説されている
技術的な詳細まで立ち入らず、その分野のとっかかりとして程よい難易度

となっており、個人的にはかなりおすすめです。

著者は白辺陽さんという方ですが、経歴などは不明です。

※『完全初心者への徹底解説』シリーズという呼び方は、この記事で勝手にしているだけで公式なものではないです。

シリーズの紹介

ここから、

機械学習
メタバース
ブロックチェーン

に分類して、本を紹介していきます。

機械学習

GPT-3 完全初心者への徹底解説: 最強の文章生成AIの実像

OpenAI が開発した機械学習モデル「GPT-3」についての解説書です。

GPT-3 の概要や活用事例などが載っています。

さくっと読める分量なので、活用事例 (いわゆる文章の生成から、JSXのコード生成、画像の生成などなど) だけでも読んでみるととても面白いです。

メタバース

メタバース　完全初心者への徹底解説: 2021年仮想世界を巡る百花繚乱時代

こちらは「メタバース」についての解説書です。

2021 年 10 月に Facebook が社名を「Meta」に変更して以来、広く認知されるようになった「メタバース」について、ざっくり知ることができる内容になっています。

ブロックチェーン

Web3　完全初心者への徹底解説: 社会を変える緻密なアルゴリズム

DAO 完全初心者への徹底解説: 具体事例で見る分散型自律組織

DeFi 完全初心者への徹底解説: 画期的な分散型金融の実像

Web3・NFT・DAO・DeFi といったブロックチェーン関連技術についても、それぞれ解説書があります。

Web3 や NFT については耳にする機会もかなり増えてきましたが、DAO や DeFi についてはまだまだ聞いたこともないという方も少なくないと思います。

まずは『Web3　完全初心者への徹底解説』くらいを読んでみると、これらの技術の概要をつかめるのでおすすめです。

おわりに

以上、『完全初心者への徹底解説』シリーズの 6 冊を紹介しました。

どれも Kindle Unlimited で無料で読めますし、長さとしてもちょっとした空き時間で読めるので、個人的にはとてもおすすめです。

気になったものから是非手にとってみてください。

Udemy 講座を作ってみるにあたって読んでみた本 7 冊のまとめ

Fri, 27 May 2022 10:15:29 GMT

Udemy 講座を作ってみようと思い、関係しそうな本をいくつか読んでみたので、

Udemy 講座の作り方を学ぶための書籍 (3 冊)
Udemy 講座を作るモチベーションを高めるための書籍 (2 冊)
その他 (2 冊)

に分類して紹介していきます。

※ ほとんど全ての本が電子書籍で、Kindle Unlimited で無料で読めます。

Udemy 講座の作り方を学ぶための書籍 (3 冊)

Udemy完全攻略マニュアル: 後発参入者でもゼロから「オンライン学習サイトUdemy」を攻略し不労所得を生み出す極意と売れるオンライン講座の作り方。

Udemy 講座の作り方について解説した電子書籍です。

タイトルに書かれている通り、後発参入であることを踏まえたヒントなども書かれています。

私が見つけた電子書籍の中では一番手厚いです。 (といっても 150 ページほどなので、簡単に読めます)

Kindle Unlimited に入っている方は無料で読めるので、まずはこちらを読んでみるのがいいと思います。

好きなことをオンライン講座にする方法　ゼロからはじめるUdemy講師デビュー: 今すぐあなたのオンライン講座を出そう！

こちらも Udemy 講座の作り方を一通り学べる電子書籍です。

先ほどの『Udemy完全攻略マニュアル』と比べるとページ数も少なめで、さらにさらっと読めます。

ざっくり概要をつかみたいということであればちょうど良いと思います。

エンジニアがオンライン講座で自宅でラクラク儲ける方法

この記事で紹介する唯一の物理本です。

表紙には書かれていませんが、Udemy についての本になります。

物理本なだけあり、ボリュームは他に紹介している電子書籍よりも手厚いです。

2016 年発売のため Udemy の仕様が変わっている箇所などもあると思われますが、2022 年現在でも参考になる内容です。

物理本が好きな方には良いと思います。

Udemy 講座を作るモチベーションを高めるための書籍 (2 冊)

【時短本】ネットから新規の見込み客を集客できないと悩んでいる人がUdemy講師になったほうがいい４つの理由

タイトル通り、Udemy 講師のなり方というよりも、なぜそれがおすすめなのかを語った本です。

具体的な Udemy 講師のなり方を知りたいというよりも、モチベーションを高めたいといった場合に適している本になります。

Udemy講師超入門【在宅ワーク】【在宅副業】

Udemy 講師のメリットとなり方の概要を非常にシンプルにまとめた本です。

具体的ななり方というよりも、メリットを読んでモチベーションを高めるという効果が大きいと思います。

その他 (2 冊)

めざせ講師デビュー！オンラインレッスン超入門: レッスンの方法から動画教材の作成、販売までこれ一冊で！

Udemy のような動画教材の前に、オンラインレッスンの講師として副業をする方法を解説した本です。

とても多くの分野でオンラインレッスンというものを作ることができるんだなと感じられました。

最後の方では、Udemy などのプラットフォームでの動画教材の販売についても書かれています。

はじめての動画教材の作り方: もうみんな導入しているeラーニング

動画教材を作るための考え方や機材などについて簡単にまとめられている本です。

さくっと概要をつかむことができるようなボリューム感です。

まとめ

以上、Udemy 講座を作るにあたって読んでみた書籍をまとめました。

もしどれか 1 冊ということであれば、『Udemy完全攻略マニュアル』を読んでみるのが良いと思います。

ただ、Kindle Unlimited に入ればほとんどの本が無料で読めます。

1 つ 1 つはページ数も少なめの本が多いですし、Kindle Unlimited に入った上で気になるものをどんどん読んでみるのもおすすめです。

【2022 年 4 月】読んだ本の記録

Sun, 01 May 2022 06:04:58 GMT

個人の記録として、2022 年 4 月に読んだ本をまとめます。

Java

プロになるJava―仕事で必要なプログラミングの知識がゼロから身につく最高の指南書

Java の解説書として話題になっていた『プロになるJava』を読みました。

自分は Java は結構使ってきていますが、それでも勉強になるとても良い本でした。

詳しい感想などはこちらの記事にまとめてあります。

アルゴリズム

リバーシのアルゴリズム C++&Java対応―「探索アルゴリズム」「評価関数」の設計と実装

サンプルコードでリバーシを実装したかったので、改めて勉強するために『リバーシのアルゴリズム』を読みました。

前提知識が全然なかったので、特に AI エンジンの実装については知らないアルゴリズムだらけで勉強になりました。

何よりプログラムの設計がきれいで、オブジェクト指向プログラミングの練習におすすめしたい本でした。（20年近く前の本なので、コードの読み替えは多少必要です）

雑誌

Software Design (ソフトウェアデザイン) 2022年04月号

購読しているのになかなか読めていたなった Software Design の 4 月号を読みました。

OSS のセキュリティに関する Alpha-Omega Project
GitのConventional Commits

など、知らない知識を得られてよかったです。

機械学習

BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―

GPT-3 完全初心者への徹底解説: 最強の文章生成AIの実像

XAI(説明可能なAI)

機械学習まわりの最近の知識を仕入れるため、自然言語処理と XAI 関連で 3 冊ほど読みました。

BERT、GPT-3、XAI あたりは機械学習のトレンド的なものだと思うので、まずはこういった本で簡単におさえておくのも良いと思います。

実際にコードを書いたりはしていないので、そのあたりは今後やっていきたいです。

インフラ

インフラ女子の日常

なんとなく気になった『インフラ女子の日常』を読みました。

Twitter で時々見かけて面白いと思っていたのですが、本としてまとまっているのもすごく良かったです。

気軽に読めるので、少しでも興味がある方は読んでみると良いと思います。

負荷試験・性能改善

Amazon Web Services負荷試験入門 ――クラウドの性能の引き出し方がわかる

Webサービスチューニングコンテスト ISUCONのススメ

ずっと読みたいと思っていた『Amazon Web Services負荷試験入門』を読みました。

噂通りめちゃくちゃ良い本で、AWS などのクラウドに限らず、オンプレミスでの負荷試験でもすごく参考になる内容でした。

また、ISUCON の概要を知りたかったので、『ISUCONのススメ』も読んでみました。

TLA+

実践TLA+

TLA+ というものが面白いと聞いたので、『実践TLA+』という本を読んでみました。

TLA+ という形式仕様言語を使うことで、仕様バグを発見できるという話になります。

読んだらすぐ実践で使えるというものではないですが、とても面白い発想ですし、どこかで役立つかもしれません。

おわりに

以上、今月は 10 冊の本を読みました。

先月と比べると読めた冊数は多めですが、月の後半はどたばたしてあまり読めなかったので、来月はもっと読書時間をとりたいです。

また、取り組み始めた OS 自作の手が完全に止まっているので、GW を使って 5 月には完走したいです。

【感想】書籍『プロになるJava』を読みました

Sun, 10 Apr 2022 06:27:11 GMT

個人的に気になっていた『プロになるJava』を読んだので、感想や、どんな人におすすめかをまとめます。

書籍『プロになるJava―仕事で必要なプログラミングの知識がゼロから身につく最高の指南書』とは

『プロになるJava』は、2022 年 3 月に発売された Java の解説書です。

タイトル通り、「プロになる」ということが意識された内容で、Java の基本以外にも

スタックやキューなどのデータ構造
IDE やビルドツール
Web アプリケーションやデータベース

などなど、実践上で知っておくと良いトピックが多数解説されている書籍です。

感想

自分は Java を実務でも結構使っているため、基本的な部分はほとんど知っている内容ではありましたが、それでも読んでみて勉強になる一冊でした。

特に「最近の Java ではこう書けます」といった解説など、知らなかった内容も結構あって勉強になりました。

Java の解説書で必ず登場するオブジェクト指向に関する話題も、抽象データ型や差分プログラミングというキーワードを出しつつまとめられており、とても参考になりました。

また、一般的なプログラミング言語の解説書とは解説の流れが結構違っており、「こういった解説の仕方も面白いな」という楽しみ方もできました。

他の Java 解説書との違い

『プロになるJava』が特徴的だと感じたのは、解説の流れがよくあるプログラミングの解説書とは違っていることです。

Java の非プログラミング初心者向け解説書としては『パーフェクトJava』などがありますが、こちらは結構お堅いまとめ方がされています。

それに対して『プロになるJava』は、実践を意識したサンプルコードを出しつつ、不自然にならないように作られていると感じました。

どんな人におすすめか

実際に読んでみて、

少しプログラミングに触れたことがあるうえで、Java をしっかり勉強したい
他のプログラミング言語がある程度使えるうえで、新たに Java をキャッチアップしようとしている
Java を仕事で使っていて、改めて最近の Java をキャッチアップしたい

といった方にとてもおすすめできると感じました。

(個人的に、プログラミング完全初心者の方が独学で読むのは難しそうだと感じました)

IntelliJ のショートカットや Java のエコシステムなど、実務で知っておきたい内容が豊富なため、Java を学んでいくとっかかりとしてもすごく良い一冊だと思います。

【2022 年 3 月】読んだ本の記録

Thu, 31 Mar 2022 15:31:30 GMT

個人の記録として、2022 年 3 月に読んだ本をまとめます。

セキュア・バイ・デザイン

表紙の通り、セキュリティの観点からソフトウェア設計を学べる書籍です。

DDD に強く影響を受けた内容となっており、DDD のメリットを理解するとっかかりとして、この上ない書籍です。

以前から気になっていたのですが、今月ついに読んでみようと思い手に取りました。

この一冊を読んだことで、アプリケーションエンジニアとして考えが深まったと感じられる素晴らしい書籍でした。

非常に良い本だったので、詳しい感想はこちらの記事にまとめています。

計算できるもの、計算できないもの ―実践的アプローチによる計算理論入門

一昨年に発売された、計算理論に関するオライリーの書籍です。

タイトルから想像できる通り、チューリングマシンや「Ｐ≠ＮＰ」問題について解説されています。

数式などは少なめではありますが、大学の教科書として使われることを想定しているため、ある程度そういった本に慣れていないと難しく感じるかもしれません。

同じ分野でより平易な書籍としては、ブルーバックスの

あたりがおすすめです。

おわりに

以上、今月は 2 冊の本を読みました。

今月は仕事でもプライベートでも予定が多く、読めた本の数が非常に少なくなってしまいました。

4 月は時間の余裕ができそうなので、読書もしっかり復活していきたいです。

また、OS 自作にも取り組み始めたものの、ほとんど進まずにいます。

OS 自作も、来月には完走を目指して進めてしまおうと思います。

【感想】書籍『セキュア・バイ・デザイン』を読みました

Thu, 24 Mar 2022 15:11:39 GMT

2021 年 9 月に発売された書籍『セキュア・バイ・デザイン』を読みました。

事前になんとなく耳にしていた通り非常に素晴らしい本でしたので、感想や学びになったポイントをまとめます。

書籍『セキュア・バイ・デザイン』とは

『セキュア・バイ・デザイン』は、タイトル通りセキュリティの観点からソフトウェア設計について解説した書籍です。

しかし、いわゆるセキュリティに関心がある人に向けたものというよりも、アプリケーションエンジニアに向けた内容となっています。

特に、ドメイン駆動設計 (DDD) に大きく影響を受けた内容となっており、DDD に関心がある方には是非手にとっていただきたい一冊です。

感想

一言で言えば、DDD のメリットを理解するうえで、この上ない良著でした。

サンプルコードも豊富ですし、状況設定も現実的で想像しやすい例が多く、非常に理解しやすかったです。

今まで DDD やアプリケーション設計について色々な本を読み、自分でもあれこれ考え、実装したりしてきましたが、この本を読むことでさらに知見を深められたと思います。

DDD などの設計手法に興味を持っている全ての方に強くおすすめできる一冊でした。

学びになったポイント

ここから、特に学びになったポイントを 2 つほど書いていきます。

Value Object のメリットについて

この書籍では DDD における Value Object をさらに工夫した手法として、「ドメイン・プリミティブ」が紹介されます。

ドメイン・プリミティブは書籍の中で終始重要な手法として扱われており、この書籍の解説を読むことで、Value Object という手法のメリットを深く理解できます。

DDD の文脈で Value Object のメリットがあまりピンときていないという方は、この本を読んでみるのが一番だと思います。

セキュリティをドメインの関心事とする

この書籍では、「セキュリティは、セキュリティの専門家が外部から付け加えるものではなく、アプリケーションエンジニアが常に考えるべきものとする」というような、発送の逆転的な考え方で解説されています。

この言葉だけ聞くとよくある説教のようですが、それをアプリケーションエンジニアにとって興味深い手法で取り入れているのが大きな特徴です。

ビジネスロジックを逆手に取った攻撃の例なども書かれており、非常に参考になりました。

難易度について

DDD に関する書籍として最も有名なのは

の 2 冊だと思います。

『セキュア・バイ・デザイン』は、これら 2 冊と比較するとかなり読みやすいので、まずは『セキュア・バイ・デザイン』で DDD のメリットを理解して、その後これら 2 冊に進むという流れも良いかもしれません。

ただし、『セキュア・バイ・デザイン』は、DDD 全体の解説ではなく、Value Object や境界づけられたコンテキストといった、一部のプラクティスの解説になっています。

DDD に関する書籍については、難易度別にこちらの記事にまとめていますので、よろしければ参考にしてください。

おわりに

最後に、印象的だったフレーズを引用させていただきます。

システムについてさらに広い視野で見るようにし、システムを、ソフトウェア、本番環境、開発チームで構築されるものとして見ていきます

――『セキュア・バイ・デザイン』p526

システム開発というものが開発チームを作ることも含んでいることを表現した言葉として、個人的にとても印象に残りました。

【2022 年 2 月】読んだ本の記録

Tue, 01 Mar 2022 15:24:12 GMT

個人の記録として、2022 年 2 月に読んだ本をまとめます。

プロジェクトマネジメント

アート・オブ・プロジェクトマネジメント ―マイクロソフトで培われた実践手法

プロジェクトマネジメントに関して、なんとなく目についた『アート・オブ・プロジェクトマネジメント』を読みました。

現実のプロジェクトが難しいという前提で、そんな場面でどうしていくかが書かれている本です。

プロジェクトマネジメントの難しさを感じたことがあれば、グッとくるような名著でした。

CPU

RISC-VとChiselで学ぶ　はじめてのCPU自作　――オープンソース命令セットによるカスタムCPU実装への第一歩

CPU について、『コンピュータシステムの理論と実装』の非常に簡易的なものしか作ったことがなかったので、こちらの書籍を手に取りました。

実装は途中までしかしていませんが、HDL (Chisel) による CPU の設計について学ぶことができました。

RISC-V はかなり話題にもなっていますし、CPU 自作に興味がある方におすすめできる書籍です。

プログラミング言語

独習C++ 新版

低レイヤを学ぶために、アセンブリ言語と C++ の基礎を学びました。

どちらの本もボリュームが大きいこともあり、本格的に書けるようになるというよりはざっと把握する程度の読み方にしておきました。

『独習アセンブラ』については、CPU アーキテクチャについて知識を深めることもできて良かったです。

言語処理系

コンパイラ: 原理と構造

インタプリタやコンパイラに興味があり、これら 2 冊を読みました。

『Go言語でつくるインタプリタ』は、字句解析・構文解析・Tree-Walk 型インタプリタまでざっと実装して学べる、噂通りの名著でした。

写経するだけでも非常に勉強になるので、インタプリタを作ってみたいという方に是非手に取っていただきたい一冊です。

『コンパイラ: 原理と構造』は、教科書的な本であるにも関わらず、文章が非常に読みやすく、「プログラミング言語とは何か？」に関する考えも深まりました。

教科書的な本に抵抗がない方にはとてもおすすめです。

機械学習

Kaggleで勝つデータ分析の技術

先月から Kaggle に挑戦し始めたため、定番らしいこちらの本を手に取りました。

ざっと読みましたが、今の自分はまず手を動かしたほうが良い段階に感じたので、少し Kaggle でコードを書いたりしてから再度この本に戻ってこようと思います。

DevOps

The DevOps 勝利をつかめ！　技術的負債を一掃せよ

途中まで読んで詰んでいたこちらの書籍も読みました。

DevOps については他の書籍などである程度知識があったため、読み物として楽しませていただきました。

おわりに

以上、今月は 8 冊の本を読みました。

いわゆる低レイヤの勉強として、CPU・アセンブリ言語・C++・言語処理系に手を出せて良かったです。

インタプリタは写経した以外にもちょっとしたものを作ったので、言語処理系については結構知識が増えたように感じます。(一方で、仕事で使えるレベルはまだ先だなとも感じます…)

関連して、いつか正規表現エンジンも自作しなくては、と思いました。

3 月は低レイヤの勉強で外せない、OS 自作に挑戦するつもりです。

ジーン・キムの DevOps 3 部作の紹介

Mon, 07 Feb 2022 11:59:16 GMT

ジーン・キムの DevOps 3 部作を読んだので、感想などをまとめます。

The DevOps　逆転だ！究極の継続的デリバリー

DevOps に関する小説形式の書籍です。

組織の文化や技術負債などによってシステムの成長が困難になり、事業に大きな悪影響を及ぼすようになった状況から、どうやって改善していくのかといった内容です。

DevOps の手法や考え方がちりばめられていますが、具体的な手法を学ぶというよりは、読み物として楽しむ要素が大きいと感じました。

どこかで見聞きした覚えのある苦しい状況が書かれているので、そういった状況のイメージがある方には色々思うところがある一冊だと思います。

個人的には、IT 業界以外の方にシステム開発の難しさを感じてもらうにも良い本なのではないかと思いました。

The DevOps 勝利をつかめ！　技術的負債を一掃せよ

『The DevOps　逆転だ！究極の継続的デリバリー』の続編です。

前作と同じ会社が舞台の小説で、前作と引き続き苦しい状況に対し、苦戦しながら乗り越えていくという内容です。

前作とは DevOps のプラクティスの視点も異なったりしているため、引き続き楽しめると思います。

正直なところ、「現実はそんなにうまくいかないよ…」という感想を持ってしまう点もありますが、そこは小説ということで。

The DevOps ハンドブック理論・原則・実践のすべて

こちらは小説ではなく、DevOps のプラクティスなどをまとめたハンドブックです。

2017 年 (今から 5 年前) 発売のため、より最近謳われるプラクティスは掲載されていませんが、DevOps の基本的な要素を学ぶには良い本です。

ハンドブックという名前らしく、まあまあの分厚さです。

もしもこの本より先により手軽に読める本がほしければ、『DevOps導入指南 Infrastructure as Codeでチーム開発・サービス運用を効率化する』あがりがおすすめです。

おわりに

以上、ジーン・キムの DevOps 3 部作を紹介させていただきました。

DevOps 関連の書籍では、『LeanとDevOpsの科学［Accelerate］テクノロジーの戦略的活用が組織変革を加速する』も個人的に非常におすすめです。

システム開発について慣習的に行われていることが、本当にそうあるべきなのかを考え直すきっかけにもなるような書籍なので、興味があれば是非手にとってみてください。

【感想】『Go言語でつくるインタプリタ』を読みながら、インタプリタを実装してみた

Fri, 04 Feb 2022 13:34:30 GMT

オライリーの『Go言語でつくるインタプリタ』を読みながら、実際にインタプリタを実装してみました。

うわさ通りの非常に良い本だったので、

必要な前提知識
見どころ
どんな人におすすめか

をまとめます。

書籍『Go言語でつくるインタプリタ』とは

この本はタイトル通り、Go 言語でインタプリタを実装する書籍です。

実装するのは Monkey というシンプルな言語で、最終的には REPL で実行可能な Tree-Walking 型のインタプリタができあがります。

コードはほぼ書籍内に書かれており、写経しながら読み進めるのに適しています。

必要な前提知識

この本を読む上で必要な前提知識は非常に少ないです。

Go 言語の基本文法が分かれば十分で、コンパイラやインタプリタについての知識は不要です。

3 つの見どころ

自分にとって、この本の見どころは以下の 3 つでした。

Pratt 構文解析器
クロージャの実現
マクロシステムの実装

それぞれの見どころについて、簡単に書いていきます。

Pratt 構文解析器

この本は字句解析や構文解析もツールを使わずに実装していくのですが、そこで最初の見どころが Pratt 構文解析器の実装です。

Pratt 構文解析は「再帰下降構文解析」の一種で、JSLint で使われているそうです。

再帰下降構文解析自体はなんとなく実装したことがあったのですが、Pratt 構文解析のあまりのシンプルさに衝撃を受けました。

書籍の中にも書かれている通り、最初はなぜそれでうまく動くのかピンと来なかったりしますが、理解できたときの驚きはとても大きいです。

クロージャの実現

実装していくインタプリタは Tree-Walking 型のため、構文解析さえできれば、評価の部分は特別難しくはないです。

そんな評価の章で特に良かったのが、クロージャを実現できることです。

JavaScript などでよく話題になるクロージャにおける変数の束縛を、実際に実装してみることができるのです。

Monkey 言語は非常にシンプルな文法ですが、関数の挙動がパワフルで、こんなにシンプルな実装でもこんなに複雑なコードを実行できるのかと感動しました。

マクロシステムの実装

最後に、付録のマクロシステムについてです。

4 章まで実装すると一段落なので「付録のマクロシステムまでは実装しなくてもいいかな」という気持ちになってしまうかもしれませんが、ここもかなりの見どころでした。

この付録を読み、手を動かしてみると、AST (抽象構文木) の取り扱いについて理解が深まる感触があります。

最初は何をしようとしているか分かりにくい点もありますが、最終的にはここまでやって良かったと感じました。

どんな人におすすめか

全体として非常に良かったこの本ですが、インタプリタやコンパイラについてあまり知らないという方にとてもおすすめです。

遊びレベルのインタプリタやコンパイラは、実装したことがない方が想像しているよりも、ずっと簡単に実装できます。

特別な知識は不要で、プログラムをすらすら書ける (コンパイルエラーなどでつまづくことがない) くらいの段階で十分取り組めます。

この本は TDD で進んでいくこともあり、プログラミングの練習としても非常に良い題材なので、興味を持った方はぜひ手に取ってみてほしいです。

【2022 年 1 月】読んだ本の記録

Tue, 01 Feb 2022 04:38:14 GMT

個人の記録として、2022 年 1 月に読んだ本をまとめます。

低レイヤ

コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方

先月末から取り組んでいた『コンピュータシステムの理論と実装』(通称: Nand2Tetris) を完走しました。

内容は NAND ゲート (とフリップフロップ回路) のみから CPU、アセンブラ、コンパイラ、OS (というか標準ライブラリ) という流れでコンピュータを作り上げていくというものです。

最適化には言及しないことで、論理回路から現代的なプログラミング言語までを短時間で駆け抜けることができます。

コンピュータが積み重ねでできていることを実感できる非常におすすめの本なので、興味がある方は是非挑戦してみてほしいです。

機械学習

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

機械学習デザインパターン ―データ準備、モデル構築、MLOpsの実践上の問題と解決

入門機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

実践Ｄａｔａ　Ｓｃｉｅｎｃｅシリーズ　ＰｙｔｈｏｎではじめるＫａｇｇｌｅスタートブック

機械学習関係の知識を拡充するため、こちらの 5 冊を読みました。

特に印象に残ったのは『機械学習デザインパターン』です。

こちらは特徴量エンジニアリングでの工夫や、Explainable AI (XAI) などの最近話題のトピックについても書かれており、機械学習についてある程度知識がある方でも学びが多いと思います。

『入門機械学習パイプライン』も、TensorFlow Extended (TFX) の概要を学ぶことができてとても勉強になりました。

Web フロントエンド

React Angular Vueをスムーズに修得するための最新フロントエンド技術入門

モダンJavaScriptの基本から始める　React実践の教科書　（最新ReactHooks対応）

変化の早い Web フロントエンドについて最新動向をおさえたく、2 冊ほど手に取りました。

『最新フロントエンド技術入門』では PWA に近い高度な設計も紹介されており、「最近のフロントエンドでもう一歩工夫するなら」といった観点を学べる本でした。

『React実践の教科書』は React の入門としておすすめですし、Recoil などの React 関連で最近話題になりがちなトピックについても知ることができる本でした。

TypeScript

プログラミングTypeScript ―スケールするJavaScriptアプリケーション開発

手を動かしながら学ぶ TypeScript

JavaScript などの知識でなんとなく書いていた TypeScript について改めて学ぶため、こちらの 2 冊を読みました。

TypeScript は型で様々な工夫ができる面白い言語で、なんとなく書いているという方はこういった本を一冊読んでおくと使いこなせる範囲が広がると思います。

個人的に今後主力として使っていきたい言語なので、この機会に改めて勉強できて良かったです。

設計

マイクロサービスパターン［実践的システムデザインのためのコード解説］

積読になっていた『マイクロサービスパターン』も読みました。

設計の難しいマイクロサービスについて、様々な観点でパターンを整理している書籍で、個人的にこの本で設計に関する知見が一歩深まった感触を得られました。

マイクロサービスの解説書ですが、ドメイン駆動設計 (DDD) に関する知識があるとより深く理解できます。

マイクロサービスに手を出したい場合は、一度読んでおくことをおすすめします。

プロジェクトマネジメント

担当になったら知っておきたい「プロジェクトマネジメント」実践講座

プロジェクトマネジメントに関して、こちらの 2 冊を読みました。

『「プロジェクトマネジメント」実践講座』は教科書的に堅苦しくなりすぎずにプロジェクトマネジメントを学べる、非常に素晴らしい書籍でした。

プロジェクトマネジメントの概要を掴みたい方にとてもおすすめです。

おわりに

以上、今月は 13 冊の本を読みました。

特に

Nand2Tetris を完走できた (コンパイラを自作できた)
特徴量エンジニアリングや XAI、TFX など、機械学習に関する知識を拡充できた
TypeScript を改めて勉強できた
『マイクロサービスパターン』により、設計に関する悩みをいくつか解決できた

というのが良かったです。

2 月は現在着手中の『Go言語でつくるインタプリタ』をサクッと終わらせて、もう少し低レイヤを勉強するためにアセンブリ言語や C++ を勉強したいなと思っています。

マイクロサービスアーキテクチャに関する日本語の書籍まとめ

Mon, 24 Jan 2022 12:51:22 GMT

マイクロサービスアーキテクチャは、Amazon や Netflix といった有名企業がスケーラビリティを実現するために導入したこともあり、モノリスにおける様々な課題を解決してくれる手法として注目されています。

この記事では、そんなマイクロサービスアーキテクチャに関する日本語の書籍をまとめます。

マイクロサービスアーキテクチャ

2016 年発売の、マイクロサービスアーキテクチャの解説書です。

マイクロサービスアーキテクチャが浸透した理由の 1 つが、こちらの書籍だと思います。

マイクロサービスのメリット・デメリットや考慮すべき点などがまとめられており、入門として読むのにおすすめの一冊です。

プロダクションレディマイクロサービス ―運用に強い本番対応システムの実装と標準化

Uber の SRE の方による、マイクロサービスの本番対応に関する解説書です。

タイトルには「マイクロサービス」とありますが、マイクロサービス以外でも役立つプラクティスがたくさん解説されています。

SRE のようなポジションについて学びたい方にとてもおすすめです。

モノリスからマイクロサービスへ ―モノリスを進化させる実践移行ガイド

最初に紹介した『マイクロサービスアーキテクチャ』と同じ著者による、モノリスからの移行の解説書です。

マイクロサービスへの移行で使える手法がパターンとして整理されており、具体的な設計手法などを学びたい場合におすすめです。

マイクロサービスが銀の弾丸のように認識されすぎたことに関する話も書かれています。

マイクロサービスパターン［実践的システムデザインのためのコード解説］

タイトル通り、マイクロサービスアーキテクチャにおけるデザインパターンを解説した書籍です。

他のマイクロサービスの解説書と比較して特に実装の具体度が高く、この場合は具体的にどう実装すべきなのか？といった悩みをかなり解決してくれます。

マイクロサービスを検討している場合は、是非とも読んでおきたい一冊です。

おわりに

以上、マイクロサービスアーキテクチャに関する日本語の書籍をまとめました。

マイクロサービスは特に大人数のエンジニアが開発をスケールさせる際に注目される手法であり、一概に採用すべきと言われるわけではありません。

一方で、システムをサブシステムに分割するということ自体はよくあることであり、そういった際にもマイクロサービスに関する知見は非常に役立ちます。

マイクロサービスでは、どこで分割するかといった判断などのため「ドメイン駆動設計 (DDD)」の知識も役立ちます。

DDD に関する書籍はこちらの記事にまとめているので、是非そちらもご覧ください。

Node.js のサーキットブレーカ opossum をさわってみた

Fri, 21 Jan 2022 12:01:19 GMT

マイクロサービスなどで利用されるサーキットブレーカと言えば、最近は Envoy (Istio) が最も有名です。

Envoy は別プロセスのプロキシ (コンテナのサイドカー) として導入してサーキットブレーカとして利用可能ですが、サーキットブレーカには各種言語のライブラリとして導入可能なものもあります。

Node.js ライブラリ形式のサーキットブレーカである opossum をさわってみたので、その概要や感想をまとめます。

opossum について

opossum は Node.js のサーキットブレーカライブラリです。

マイクロサービスにおけるサーキットブレーカと言えば外部サービスとの通信で利用するイメージが強いですが、opossum は任意の処理に対してサーキットブレーカを挿入することができます。

使い方は非常に簡単で、失敗する可能性のある関数を CircuitBreaker クラスの引数に渡すだけです。

function asyncFunctionThatCouldFail(x, y) {
  :
}

const options = {
  timeout: 3000,
  errorThresholdPercentage: 50,
  resetTimeout: 30000
};

const breaker = new CircuitBreaker(asyncFunctionThatCouldFail, options);

breaker.fire(x, y)
  .then(console.log)
  .catch(console.error);

npm の opossum のページを眺めれば、なんとなく使えてしまうと思います。

サンプルコードの実装

実際にサーキットブレーカが動作する様子を見るため、TypeScript でコードを書いてみました。

※ ここには主要な処理を抜粋して掲載するので、コードの全体については GitHub のこちらを参照ください。

まずはテスト用に、await で指定した時間待てる wait 関数と、指定した時間遅延する slowEcho 関数を用意しました。

function wait(second: number) {
  return new Promise((resolve) => setTimeout(resolve, second * 1000))
}

async function slowEcho(message: string, waitSecond: number = 0) {
  await wait(waitSecond)
  return message
}

続いて、サーキットブレーカの設定を定義します。

オプションは色々ありますが、以下の例では

エラーと判断するタイムアウトの時間
何 % がエラーになったらサーキットブレーカを開くか
サーキットブレーカが開いた場合、何秒後に再度利用可能になるか

を設定しています。

const options = {
  timeout: 3000,
  errorThresholdPercentage: 50,
  resetTimeout: 3000
}

サーキットブレーカを設定します。

const breaker = new CircuitBreaker(slowEcho, options)

breaker.on('timeout', () => {
  logWithTime('timeout')
})
breaker.on('open', () => {
  logWithTime('open')
})
breaker.on('halfOpen', () => {
  logWithTime('halfOpen')
})
breaker.on('close', () => {
  logWithTime('close')
})

動作を見てみるため、breaker.on を使い、いくつかのイベントでログ出力も設定しました。

あとは関数の実行の遅延が 0, 1, 2, … 秒となるように呼び出す処理を書きます。

// [0, 1, 2, ...]
const waitSeconds = [...Array(10).keys()]

for (let i = 0; i < waitSeconds.length; i++) {
  const waitSecond = waitSeconds[i]
  logWithTime(`waitSecond = ${waitSecond}`)


  try {
    const echoMessage = await breaker.fire('Hello!', waitSecond)
    logWithTime(echoMessage)
  } catch (e) {
    logWithTime('error catched!!!')
  }
}

実行結果

実装したコードを実行してみると、以下のようになりました。

※ ”#” 移行は実行結果についての説明です。

$ ts-node index.ts
[20:50:42] waitSecond = 0
[20:50:42] Hello!
[20:50:42] waitSecond = 1
[20:50:43] Hello!
[20:50:43] waitSecond = 2
[20:50:45] Hello!
[20:50:45] waitSecond = 3
[20:50:48] timeout
[20:50:48] error catched!!! # 3 秒遅延させた処理は、タイムアウトでエラーとなっています
[20:50:48] waitSecond = 4
[20:50:51] timeout
[20:50:51] error catched!!! # 4 秒遅延させた処理も、3 秒たった時点でタイムアウトでエラーとなっています
[20:50:51] waitSecond = 5
[20:50:54] timeout
[20:50:54] open             # エラーが 50% になったため、この時点でサーキットブレーカが開きました
[20:50:54] error catched!!! # 5 秒遅延させた処理も、3 秒たった時点でタイムアウトでエラーとなっています
[20:50:54] waitSecond = 6
[20:50:54] error catched!!! # 以後の処理は 3 秒待つこともなく、即座にエラーになっています
[20:50:54] waitSecond = 7
[20:50:54] error catched!!!
[20:50:54] waitSecond = 8
[20:50:54] error catched!!!
[20:50:54] waitSecond = 9
[20:50:54] error catched!!!

サーキットブレーカが動作しているのを確認できました。

その他のサーキットブレーカのライブラリについて

今回は opossum を試しましたが、他にも npm には

といったサーキットブレーカのライブラリがありました。

ただ、これらはすでにメンテナンスされていません。

また、Netflixy 製のサーキットブレーカの Java ライブラリ Hystrix もすでに活発な開発は行っておらず、resilience4j のようなアクティブなライブラリを利用することを推奨しているようです。

※ ちなみに、今回 opossum をさわってみたのは、書籍『マイクロサービスパターン』で Hystrix が紹介されていて気になったのがきっかけです。

Envoy などとの比較

ライブラリ形式のサーキットブレーカが少なく、かつメンテナンスされていないケースが多い理由の 1 つは、Envoy (Istio) を利用した別プロセスのプロキシによるサーキットブレーカが主流になっているためだと思います。

Kubernetes などを使い、Envoy などをサイドカーとして導入すれば、1 つ 1 つのアプリケーションにサーキットブレーカを仕込む手間がかかりません。

これは複数の言語で実装されるマイクロサービスの場合には特に大きなメリットになります。

一方、今回ライブラリ形式のサーキットブレーカをさわってみて、Envoy などを導入するよりも簡単だなと感じました。

Istio などのサービスメッシュの導入は、事例は増えているものの、気軽に手を出せるものではないと思います。

簡易的にサーキットブレーカを導入したい場合などは、opossum などのライブラリ形式のサーキットブレーカも良い選択かもしれないと感じました。

TypeScript の解説書 3 冊の紹介

Thu, 20 Jan 2022 11:00:30 GMT

最近の Web 開発では、フロントエンド・サーバサイドともに TypeScript が採用される機会が増えています。

TypeScript は JavaScript に加えて Java などの静的型付け言語の知識があればなんとなく書けたりもしますが、型システムが奥深く、しっかり学ぶことでより良いコードが書けるようになります。

この記事では、そんな TypeScript の解説書 3 冊を紹介します。

速習 TypeScript 第2版速習シリーズ

「速習シリーズ」の TypeScript の解説書です。

「速習シリーズ」の他の書籍と同じように、少ない分量で TypeScript の入門で知りたいことがまとめられています。

TypeScript の概要をざっと把握したい、といった際には非常におすすめです。

Kindle Unlimited で無料で読むこともできます。

手を動かしながら学ぶ TypeScript

TypeScript を、サンプルコードを実装しながら学べる解説書です。

2021 年 11 月発売のため情報も新しく、難易度も入門に丁度いい書籍です。

例えば

const modes = ['normal', 'hard'] as const
type Mode = typeof modes[number]

といった、TypeScript の型システムを上手に使った書き方も解説されています。

TypeScript をなんとなく書いている人がもう一歩勉強したいときにおすすめです。

プログラミングTypeScript ―スケールするJavaScriptアプリケーション開発

オライリーの TypeScript の解説書です。

オライリーの書籍らしく、より高度な型についてなど、発展的なトピックが手厚く解説されています。

全体として、先に紹介した『手を動かしながら学ぶ TypeScript』より、もう一歩ハイレベルな内容になっています。

付録には「ESLint と AST」という項目もあり、JavaScript (TypeScript) で AST (抽象構文木) について簡単に学ぶこともできます。

おわりに

以上、この記事では TypeScript の解説書を 3 冊紹介しました。

TypeScript を学ぶ際は、前提として JavaScript の知識があるとスムーズです。

JavaScript についてしっかり学べる書籍はこちらの記事にまとめているので、是非見てみてください。

【感想】『コンピュータシステムの理論と実装』（Nand2Tetris）を完走した

Sat, 08 Jan 2022 14:09:13 GMT

有名な書籍『コンピュータシステムの理論と実装』の実装（Nand2Tetris）を完走したので、やってみた感想と、これから挑戦する方へのアドバイスなどをまとめます。

※ 公式サイトのライセンスのページにソースコードを Web に公開したりしないでほしいと書かれているので、ソースコードは非公開です。

書籍『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』とは

『コンピュータシステムの理論と実装』は、背表紙で

コンピュータを理解するための最善の方法はゼロからコンピュータを作ること

と説明されている通り、NAND 回路 (と、フリップフロップ回路) だけを与えられ、そこからコンピュータを作っていく書籍です。

最終的にはテトリスのようなアプリケーションが動かせるコンピュータを作るということで、「Nand2Tetris」とも言われています。

Nand2Tetris で作るもの

先述の通り NAND 回路 (と、フリップフロップ回路) だけが定義された状態で、

HDL を書き、ハードウェアエミュレータで動く ALU、レジスタ、CPU、メモリなどを実装
アセンブリ言語を機械語に変換するアセンブラを実装
VM プログラムをアセンブリ言語に変換するバーチャルマシンを実装
高級言語を VM プログラムに変換するコンパイラの実装
メモリ管理などを担う OS (というか標準ライブラリ) の実装

といった流れでコンピュータを実現していくことになります。

400 ページにも満たない書籍ですが、これだけの内容を、しっかり自分で考えながら進めることができるようになっています。

感想

まず全体を通して感じたのは、「論理回路と普段書いているプログラムは、思ったほどは遠くない」ということです。

最近はプログラミングの入門も容易になっており、低レイヤがかなり隠蔽されている言語を使うことが増えていると思います。

コンピュータは最終的に回路で実現されているということは知りつつも、普段書いているプログラムと低レイヤの動作の間に魔法のようなものを想像している方も少なくないと思います。

この本は、そんな「コンピュータが魔法に見える」という現象を解くのにぴったりです。

CPU の実装

Nand2Tetris はまず、ALU や CPU などのハードウェアの実装から始まります。

CPU を作るというとすごく難しいことのように聞こえますが、Nand2Tetris の CPU であれば、要件を満たす HDL を記述するのは難しくありません。 (リングプロテクションや分岐予測といった高度な機能を持たない CPU です)

このレイヤを解く鍵となるのはマルチプレクサだと思います。

アセンブラの実装

CPU が完成したら、機械語のプログラムを動かすことができます。

次のステップは、アセンブリ言語で作られたプログラムを機械語に変換するアセンブラを実装することです。

Nand2Tetris は全体として実装が比較的簡単にできる設計されており、プログラミングに慣れた方であれば、アセンブラの実装に大きな難点はないと思います。

バーチャルマシンの実装

アセンブラの次は、Java でいう JVM のような、バーチャルマシンの実装に入ります。

書籍の中でも絶賛されていますが、「スタックマシン」による計算機の実現は本当にすごいと思います。

どれだけ込み入った計算であっても、スタックというシンプルなデータ構造により、1 つ 1 つの小さな問題に帰着されてしまいます。

この書籍は CPU とコンパイラの実装に注目されやすい気がしますが、個人的にはスタックマシンが最も重要な鍵を握っていると思います。

コンパイラの実装

中間言語をアセンブリ言語に翻訳するバーチャルマシンができたら、あとは高級言語を中間言語に変換するコンパイラを実装するだけです。

コンパイラは書籍によっては yacc などのツールを利用して実装していきますが、この書籍ではフルスクラッチでトークナイザ・パーサ・コード生成を実装していくことになります。

コンパイラは特に魔術的なものに見えるのではないかと思いますが、Nand2Tetris のコンパイラを実装すると、「コンパイラもプログラムの一種に過ぎない」と思えるようになります。 (もちろん最適化などは非常に難しい話だと思います)

OS (標準ライブラリ) の実装

最後には、メモリ管理などを担う簡易的な OS (というか標準ライブラリ) を実装します。

コンパイラの完成という山場を超えるとこの章はスキップしてもいいかなという気持ちになるかもしれませんが、個人的にはやってよかったと思います。

というのも、コンパイラに加えて低レイヤを扱うライブラリまで実装したことで、今まで以上に色々なプログラミング言語に感謝しようと思えるようになりました。

世の中には、

C 言語や Nand2Tetris の Jack 言語のような、低レイヤを意識しやすい言語
関数型のような、低レイヤを強く隠蔽した言語

などがあると思います。

個人的には抽象化の進んだ言語が好きだったのですが、Nand2Tetris を通して、抽象化されていないコンピュータの面白さと、そんな低レイヤを扱える言語の面白さを感じました。

全体を通して

ということで一通り完成になるのですが、完了してみて思うのは、「特別難しくなく、別に普通だった」ということです。

それがこの本の本当にすごいところなのですが、最適化について考慮せず、シンプルに実現できるように設計されたコンピュータは、ふつうのプログラミング能力で実装できてしまうのです。

論理演算をしたり仕様を読み解いたりにはある程度頭を悩ませることになりますが、

仕様が実装しやすいように定義されている
設計方針が与えられている
テストがしっかり用意されている

といった工夫により、とても進めやすくなっています。

挑戦しようと思っている方へ

ここから、Nand2Tetris に挑戦しようと思っている方に向けて、前提知識やアドバイスを書いていきます。

前提知識

Nand2Tetris が必要としている前提知識はかなり少ないです。

具体的には、

基本情報処理技術者試験・応用情報処理技術者試験程度の論理演算ができる
Java のようなオブジェクト指向の言語が書ける (通常の処理でコンパイルエラーが解決できないことがない程度)
ポインタやオブジェクトの参照について理解している
(できれば) C 言語などでポインタの演算をしたことがある

くらいです。

書籍で言えば、

くらいを読んでおくと手が出しやすいと思います。

プログラミングの練習にもとても良い内容ですし、例えばプログラミングの研修後の発展課題にも良いと思います。

アドバイス

Nand2Tetris に着手する上では、いくつかアドバイスがあります。

本をちゃんと読んで進める

この本は、仕様や設計が非常によくまとまっています。

その仕様や設計をしっかり読み解くことが、完走するうえでは何より重要です。

短期でやる

ゼロからコンピュータを作り上げるという性質上、あるレイヤを実装する際は、ひとつ手前のレイヤの仕様が前提になります。

仕様を忘れないよう、ある程度短期集中で取り組むのがおすすめです。

ちなみに、人によって使える時間も違うので参考までですが、私の場合は最初から最後までで半月ほどかかりました。

TDD する

書籍に付属しているテストツールも便利ですが、アセンブラ・バーチャルマシン・コンパイラの実装の際は、別途自動テストツールも導入したほうが楽です。

これらは自分の好きな言語で実装することになるので、慣れた言語で、できれば TDD で実装するとスムーズになると思います。

とにかく始めてみる

最後に、とにかく始めてみることが大事です。

やってみると面白くて、続きをやりたくなります。

まずは NAND ゲートをもとに各種論理ゲートを作るところから、気軽に始めてみてください。

完走すれば、CPU とコンパイラを作ったことがあると言えるようになります。 (CPU はハードウェアエミュレータなうえ、どちらも簡易的なものですが…)

今後やりたいこと

ということで、感想や、これから取り組む方へのアドバイスなどを書いてきました。

これで CPU とコンパイラは作りましたが、個人的にもう少し低レイヤを勉強したいと思っています。

具体的には、今年中には簡易的な OS (カーネル)、シェル、デバイスドライバあたりを自作してみるつもりです。

また、コンパイラ周辺では Lex、yacc、LLVM あたりを勉強したいなと思っています。

これらもやってみたらまた記事にします！

2021 年後半で勉強したことのふりかえり

Fri, 31 Dec 2021 11:17:36 GMT

2021 年も終わろうとしているので、2021 年後半で勉強したことをふりかえって記事にまとめます。

普通は 1 年のふりかえりをするかもしれませんが、自分にとって 1 年は長すぎて思い出せないことが多いです。

なんとなく半年単位で目標を立てたりふりかえりするのがよさそうな気がしているので、その初の試みになります。

読書

2021 年 7 月から、毎月読んだ本を記事にまとめています。

整理すると以下のようになります。

月	読了した冊数	まとめ記事
7	14	【2021 年 7 月】読んだ本の記録
8	16	【2021 年 8 月】読んだ本の記録
9	22	【2021 年 9 月】読んだ本の記録
10	7	【2021 年 10 月】読んだ本の記録
11	6	【2021 年 11 月】読んだ本の記録
12	5	【2021 年 12 月】読んだ本の記録

合計 70 冊です。ほぼ技術書でこの数なのは、なかなか多いほうだと思います。

今年読んで良かった本は、別記事「【2021年】今年読んで良かった技術書 5 選」にもまとめていますが、その中で 2021 年後半に読んだのは

の 3 冊です。

なかでも、『詳解 Linuxカーネル』を一通り読めたのは大きいです。

Linux つよつよの方からすれば入門的な内容だとは思いますが、これを読んだことがあれば Linux 中級者と言えなくないと思います。

資格

OS や Linux について勉強する中で、今更ながら関連する資格をとろうと思い、以下の 3 つを取得しました。

8月: LPIC レベル 2 (201 と 202)
9月: LPIC レベル 3 (304)
10月: CCNA

LPIC はさくさく取得できたのですが、CCNA は想像していた以上に出題範囲が広く、驚きました。

LPIC レベル 3 と CCNA を持っていれば、Linux やネットワークを扱う上で、まず学ぶべきことはおさえていると言えると思います。

これらの勉強がてら Linux の物理・仮想マシンや Cisco Packet Tracer で色々さわったことで、かなり理解も深まりました。

特にネットワークは、VLAN・STP・OSPF といった AWS などのクラウド環境でふれない部分に手を出せて良かったです。

友人との勉強会

もう 5 年近く続けている友人との勉強会では、connpass グループ (StudyCo) を作り、公開勉強会を開催し始めました。

特に機械学習や MLOps といった分野に力を入れて発表していこうということで、自分は

という 2 つの回を担当しました。

今まで機械学習は理論の勉強のみでコードを書いたりしていなかったのですが、これをきっかけにコードを強制的に書くことができました。

また、「https://www.studyco.io/」という、Web サイト・ブログも構築して公開しました。

これを機に、勉強会をしている団体としてしっかり活動していけるといいなと思っています。

ブログ

このブログ (完全に理解した.com) については、2021 年後半で 61 記事 (2021 年々間で 113 記事) 書いていました。

特に 12 月は「画像・動画・音声処理および XR ひとりアドベントカレンダー」と題して、興味のあった画像・動画・音声処理や XR について調べながら 25 記事書きました。

このアドベントカレンダーは、全然知らない分野を調べながら書いたため記事のクオリティは低いですが、自分が勉強したかった分野を強制的に勉強するきっかけとして良かったです。

このあたりは今後力を入れていきたい分野なので、2022 年にはもっと踏み込んで勉強したり実際に実装したりしていきたいです。

プログラミング言語

2021 年の後半では、今までなんとなく読み書きしていた

Python
PHP
Go

を改めて勉強しました。

Python はかなり雰囲気で書いていたのですが、改めて勉強したことで、確信を持って書けるようになりました。

しっかり読める言語が増えると、コードを読める OSS が増えるのが大きなメリットだと感じます。

特に自分がよく手を出す Docker・Kubernetes・Terraform あたりのエコシステムは Go で書かれている OSS が多いので、Go を勉強できたのは大きいです。

PHP は踏み込みきれなかったです。 Java を先に勉強しているとあまり踏み込めない (踏み込んで勉強する気持ちになりにくい) 言語なのかもしれません。

コーディング問題

競技プログラミングというほどでもないですが、

Aizu Online Judge
LeetCode

に手を出し、データ構造やアルゴリズムについて改めて勉強しました。

基本的なデータ構造・アルゴリズムは知っていましたが、初めて知ったものもあり勉強になりました。

時々練習したほうが腕が錆びないとも感じるので、今後も時々手を動かしていこうと思います。

自作

この半年では、

PC
CPU (ハードウェアエミュレータで)
アセンブラ
バーチャルマシン (OS の仮想化ではなく、JVM とかのほう)

を自作しました。

PC は、自作自体は別に難しくないのですが、メモリの規格についてなど結構勉強になりました。

また、もともと VR を一番の目的として組み立てたのですが、Linux の勉強用にも役立ちました。

Mac や Windows と比べて Linux のほうが開発環境が快適なため、プログラミングは Linux マシンでするようになりました。

その他、低レイヤの勉強として Nand2Tetris (コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方) に着手しました。

CPU・アセンブラ・バーチャルマシンまで実装し終えたので、残りのコンパイラと OS (というか標準ライブラリ) については来年の最初にやってしまおうと思います。

OSS

ちょっとしたコードやドキュメントの修正程度ではありますが、

にプルリクエストを出してマージしていただきました。

OSS には大変お世話になっているので、今後も貢献していきたいです。

VR

個人的に昨年あたりから注目している VR に、ついに手を出しました。

特に気になっていた NeosVR に手を出すため、7 月に PC を自作し、12 月についに Oculus Quest 2 を開封しました。

PC はもともと VR を一番の目的として組み立てたのですが、Linux の勉強用にも役立ち、また、M1 Mac で開発環境構築の手間が大きい問題も解決できました。

一番やってみたかった NeosVR にはまだ数回ログインした程度ですが、そのすごさは実感しました。

VR 関連では英語圏の方とコミュニケーションをとることも多いと分かったので、英語力不足も今後なんとかしたいです。

総括

2021 年後半でやったことをまとめると…

全体
- 技術書中心に 70 冊の本を読んだ
- ブログを 61 記事書いた
低レイヤ
- CPU の高度な機能や、OS (特に Linux) について理解を深められた
- PC を自作した
- 『詳解 Linuxカーネル』を一周読んだ
- LPIC レベル 3 と CCNA を取得した
- 組み込みやデジタル回路について少し勉強できた
- CPU (エミュレータで)・アセンブラ・バーチャルマシンを自作した
プログラミング
- Python と Go をちゃんと書けるようになった
- Aizu Online Judge と LeetCode に手を出した
- OSS に少しだけ貢献できた
応用系
- 機械学習や MLOps 関連で手を動かし、公開勉強会を数回開催できた
- 画像・動画・音声処理についてとっかかりを学べた
- VR (特に NeosVR) を始められた

といったあたりになります。

ある程度時間をとって色々なことに手を出せて、有意義な半年でした。

今後も半年単位くらいで目標を立てたりふりかえりしたりしていこうと思います。

【2021 年 12 月】読んだ本の記録

Fri, 31 Dec 2021 08:53:52 GMT

個人の記録として、2021 年 12 月に読んだ本をまとめます。

ＮＦＴの教科書　ビジネス・ブロックチェーン・法律・会計まで　デジタルデータが資産になる未来

最近話題の NFT について知りたかったので、こちらの本を手に取りました。

NFT の事例などがたくさん紹介されていました。

NFT の仕組みについてはほとんど書かれていないので、仕組みについて知りたい場合は Web 上の情報をあたったりすることになります。

Software Design (ソフトウェアデザイン) 2021年12月号

久しぶりに購読している Software Design に手を出すことができました。

Docker については知っている内容が多かったですが、周辺ツールの具体的な使い方などが参考になりました。

プログラミングコンテスト攻略のためのアルゴリズムとデータ構造

データ構造とアルゴリズムまわりに少し苦手意識があったので、11 月からこちらの本の内容に挑戦しました。

実際にコードを書きながら進めたのでかなり時間がかかりましたが、知らなかったアルゴリズムを学ぶことができたり、とても勉強になりました。

ついでに Go 言語の練習もできたので、結構満足しました。

システム開発・刷新のための　データモデル大全

なんとなく思い立って、積んでいたこちらの本を読みました。

データ設計について、著者の様々な経験を踏まえた考えなどが面白かったです。

［増補改訂］GPUを支える技術 ――超並列ハードウェアの快進撃

GPU について学ぶため、こちらの本を手に取りました。

このシリーズはどれも素晴らしい本ばかりですが、この『GPU を支える技術』も良かったです。

そもそも 3D グラフィックスについてから、GPU の仕組みなど、幅広く学ぶことができました。

おわりに

以上、12 月は 5 冊の本を読みました。

普段の自分の読書量と比較すると非常に少ないですが、今月は

AIZU ONLINE JUDGE と LeetCode に手を出す
画像・動画・音声処理および XR ひとりアドベントカレンダーを完走
『コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方』の Nand2Tetris に着手

など、本を読む意外のいろいろなことに手を出すことができました。

特に Nand2Tetris は途中なので、来月はまずこちらを完走しようと思います。

「アウトプットは勉強になる」理論と、勉強のアンチパターンについての考察

Sat, 25 Dec 2021 08:54:38 GMT

「アウトプットは勉強になる」という言葉があります。

この言葉は間違いではないとは思うのですが、個人的には疑問に感じる部分もあります。

この記事には、「アウトプットは勉強になる」理論についての自分の考えを書いていきます。

「アウトプット」の定義

まず最初に、この記事での「アウトプット」の定義を明確にしておきます。

広く言えば

勉強会で発表する
ブログなどに記事を書く
プログラムを書いたり、数学の問題を解く
よく分かっていないものをノートに整理する

といったアウトプットがあると思います。

私が「アウトプットは勉強になる」理論で疑問に感じているのは、他人に説明する系のアウトプット、つまり

勉強会で発表する
ブログなどに記事を書く

といったものなので、以降この記事ではこの種のアウトプットについて考察していきます。

「アウトプットは勉強になる」理論について

冒頭にも書きましたが、「アウトプットは勉強になる」という考え方について、自分は賛同できる部分と、そうではない部分があります。

すでに詳しい分野のアウトプットは、勉強にならないことも多い

「アウトプットは勉強になる」という考え方の基本は、「アウトプットをきっかけに、強制的に勉強することになるので勉強になる」という理屈だと思います。

ただ、「すでに詳しい分野のアウトプットは、勉強にならない」という場合も少なくないと感じています。

たしかに、すでに詳しい分野の発表でも、

細かいケースの調査
他者からのクリティカルな質問

などが勉強になることもあります。

ただ、クリティカルな質問への回答がすでに確立されている場合や、そういった質問を受けにくい場でのアウトプットは、勉強にならないケースも多いと感じます。

アウトプットが勉強になるためには、ある程度未知の分野であることや、クリティカルな質問をされうる状況であることが前提として必要なのではないでしょうか。

勉強のアンチパターン「きれいなノート」について

「アウトプットする分野の勉強になる以外にも、アウトプットの仕方の勉強になる」と言われることがあります。

具体的には、資料作成や、分かりやすい話し方の練習になるという意見です。

勉強したい分野の勉強と、アウトプットの仕方の勉強は別物

発表や記事の作成が、資料作成や分かりやすい説明の練習になるというのは間違いないですし、それはそれで重要なスキルだとは思います。

ただ、身につくスキルが違うことは忘れないほうがいいと思います。

アウトプットの仕方 (資料作成や説明の仕方) の能力
アウトプット対象の分野の知識

の 2 つは別物です。

「アウトプットの仕方が上手なため誤魔化せているだけで、実はその分野の知識自体はあまり豊富ではない」という例もしばしば見かけます。

個人的には、アウトプットの仕方が上手なだけでなく、実際にその分野に詳しいことも重要だと思うので、アウトプットの練習になることだけを重視しすぎないほうが良いと考えています。

「きれいなノート」を作ってはいけない

そして、発表用などで「きれいな資料」を作ることは、勉強法の定番のアンチパターンだとも思います。

いわゆる受験勉強で、ノートはきれいなのに成績がそこまで上がらないという話がよくあります。

これは、ノートをきれいにしている時間は、ノートがきれいになるだけで、知識は身につかないからです。

自分が何かを理解するためにノートなどに整理することは重要ですが、身につけたい知識を整理するのに十分な程度の整理をすればよく、それ以上ノートをきれいにするのは、知識をつける上では時間のロスなのです。

勉強が得意な人はノートがきれいでは？

これを言うと、「勉強が得意な人はノートがきれい」という反論があるかもしれませんが、それは因果関係が逆です。

「ノートがきれいだから勉強が得意になった」のではなく、「勉強が得意だからノートがきれいになっている」だけです。

勉強が得意だと、

物事の構造を整理する能力が高まる
先生の板書などを忠実に写す能力が高まる
講義内容をすぐ理解できるため、ノートをとるのに割ける時間が増える

といった理由で、結果的にノートがきれいになりやすいのだと思います。

「そういう論文があるって聞いた」について

「アウトプットは勉強になるという論文があると聞きました」という意見もあるかもしれません。

たしかに私もそういった記事を見かけたことはありますが、論文や実験結果というのは、「限られた特定の前提条件のもとで、そう言えるかもしれなかった」ことしか意味しません。

前提条件が厳しく、一般的な場面で成立するとは言えないものも少なくないですし、統計というもの自体、何かを証明して断言できるものではないです。

大抵の場合、調べてみると逆意見の論文もあったりします。

アウトプットはやめるべきなのか

ここまで「アウトプットは勉強になる」理論について、疑問に思う点を書いてきました。

それではアウトプットをやめるべきなのかと言うと、私はアウトプットはしたほうが良い派です。

アウトプットすることの本当のメリット

私は、「アウトプットは勉強になる」というのは一概に成立しないと思うのですが、それでもアウトプットには以下のようなメリットがあると考えています。

知名度が上がり、仕事に繋がる可能性がある
作成した資料や記事が、後日同じことを調べようとした自分の役に立つ
普段勉強しない分野・あまり詳しくない分野の場合、アウトプットすることを決めると、強制的に勉強時間をとるので知識がつく

こっそり勉強している分野も、それをアウトプットしなければ、周りの人には分かりません。

個人で趣味として楽しんでいる場合はアウトプットもなくていいのかもしれませんが、今や趣味的な活動が仕事に繋がることも少なくない時代だと思います。

気軽にアウトプットしていくべき

そして個人的には、しっかり準備したアウトプットよりも、とにかく気軽にアウトプットするのがおすすめです。

間違った内容を指摘されるのが怖くてアウトプットできない
会社や組織の体裁を気にして、内容ではなく見た目ばかり整えることになる

といった例をしばしば見かけます。

そういった状況も分かりますが、アウトプットは思い切って始めるしかありません。

そして、たとえ発表形式であっても、きれいな資料にこだわる必要はありません。 (私はセミナーで資料ではなくホワイトボードで話すことも多いです)

継続することで、資料作成や説明の仕方も上達しますし、アウトプットのスピードもどんどん上がります。

アウトプットは始めることと、継続することが重要だと思います。

まずは質にこだわりすぎず、とにかく始めてみましょう。

「画像・動画・音声処理および XR ひとりアドベントカレンダー」まとめ

Sat, 25 Dec 2021 06:40:51 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー最終日の記事です。

およそ一ヶ月の間、「画像・動画・音声処理および XR」というテーマで勉強しながら記事を書いてきたので、最終日のまとめとして、分野ごとの学びや次のステップ、全体の感想を書いていきます。

画像・動画・音声処理

画像・動画・音声処理については、データ形式の基本的な概念を理解したり、利用できるツール・ライブラリなどをある程度把握できました。

具体的な処理アルゴリズムの勉強やライブラリを使った実装などはできなかったので、そのあたりは今後知識を補完したいです。

コンピュータグラフィックス・コンピュータビジョンについての良さそうな書籍も見つけられたので、次はこのあたりを手に取ると良さそうだなと思っています。

XR (特に VR)

XR については、買ったまま放置していた Oculus Quest 2 を開封し、ずっとやってみたかった NesoVR・LogiX に手を出せたのが非常に大きいです。

NeosVR で今後やってみたいことは色々あるのですが、まずは

NeoRoid を作る
ヘッドレスサーバを立てる
ちょっとしたゲームを作る

あたりから手をつけたいです。

また、関連して

Unity
Blender

あたりもキャッチアップして、VR アプリの開発などもしてみたいなと思っています。

噂に聞いていた書籍『バーチャルリアリティ学』も購入したので、近日読んでみます。

その他

その他、GPU の仕組みや GAN などについてもざっくり勉強できました。

実際にいろいろさわってみて分かることも多いと思うので、さわりながらもっと知識を深めていこうと思います。

全体の感想

25 日間ひとりで取り組んできたアドベントカレンダーも今日で終わりです。

途中時間があまりとれない日もあり、自分用のメモのようなレベルの記事も少なくないですが、勉強のきっかけとしては結構良かったです。

このアドベントカレンダーでテーマにした分野には、個人的に今後力を入れていきたいと考えているので、これからも継続的にインプット・アウトプットしていこうと思います。

NFT のメリットのよくある誤解と、結局なぜ価値があるのか

Fri, 24 Dec 2021 09:12:03 GMT

最近話題の NFT のメリットについて、

改竄できない
コピーできない
プラットフォームをまたがって共有できる

といった誤解をよく見かけます。

この記事では、

NFT の概要
よくある誤解に対する回答
NFT には結局なぜ価値があるのか

を整理していきます。

NFT の概要

「NFT (Non-Fungible Token: 非代替性トークン)」は、ブロックチェーンに記録される、代替不可能なデータ単位のことです。

ブロックチェーンと言えばビットコインなどの暗号通貨が有名です。ビットコインは Non-Fungible (非代替可能) ではなく、Fungible (代替可能) な性質を持っています。どういうことかと言うと、例えば 1 ビットコインを表すトークン A・B があるとき、A も B も同じものとして扱える、ということです。 (厳密には、事実上そのように扱われているだけで、Non-Fungible に扱われる可能性もなくはないです)

それに対し、NFT は Non-Fungible (非代替可能) ということで、「そのトークンが、一点物として意味を持つ」ということになります。 NFT はゲームで一点物のデータを配布することに利用されたりしています。

このあたりについては、以下の資料が分かりやすいです。

10分で分かるNFT（Non-fungible token）

Wikipedia も私が見た時点では分かりやすい内容でしたが、誰でも編集できるため、誤解を生む記述が入る可能性もあります。注意して参照してください。

非代替性トークン - Wikipedia

NFT のよくある誤解

NFT はバズワード的に利用されている側面もあり、広まっている情報の中には誤解も少なくありません。 (あえてそういった情報を広めている可能性も低くないと思います)

そこで、NFT のよくある誤解について整理します。

なお、内容については例えば以下の記事が参考になります。

NFTアートのデータはどこにある？改ざんや複製もあり得るNFT、よくある誤解を解説 | 仮想通貨コラム | 仮想通貨（暗号資産）の比較・ランキングならHEDGE GUIDE

「改竄できない」は本当か

まず、「NFT はデータを改竄できないからすごい」といった意見を見かけることがあります。

これについては、「NFT のデータが改竄できないかは、NFT の実現方法による」というのが回答です。

前提として、NFT のデータを保存しているブロックチェーンは、「非中央集権で (現実的に) 改竄できない分散台帳」です。なので、「ブロックチェーンに保存されたデータは改竄できない」という表現は間違いではないです。

ただし、NFT の場合、

データがブロックチェーン上に保存される「オンチェーン」
データはブロックチェーンの外部に保存される「オフチェーン」

があり、メジャーなのは「オフチェーン」です。

したがって、「NFT のデータは改竄できない」というのはメジャーな「オフチェーン」の場合は誤りです。

「コピーできない」は本当か

たまに「NFT はコピーできないから唯一性を保証できる」といったことを言われるケースがありますが、これは完全に誤りです。

そもそも画像などのデータは、表示しているコンピュータに配布されています。他のコンピュータから見える時点で、コピー可能ということです。

そもそも、公開されているブロックチェーン上にデータがあったら、むしろコピーしやすいくらいで逆効果です。

仮に実現したい場合は、「暗号化した上で NFT として保存し、復号済みのデータは他人に一切見せない」しか方法はないと思いますが、それなら個人のストレージに保存しておいたほうがずっといいです。

「プラットフォームをまたがって共有できる」は本当か

特に「メタバース」との繋げた話題として、「NFT を使えばプラットフォームをまたがってデータを共有できる」と言われることがあります。

これについては、「NFT じゃなくてもプラットフォームをまたがってデータを共有できる」というのが回答です。

プラットフォームをまたがってデータを使えるかどうかは、

データ形式がプラットフォーム独自ではなく、標準的な形式であること
そのプラットフォームからデータをエクスポートできること

だけの問題です。

NFT だから、というのは関係ないですし、NFT なしですでに実現されていることです。例えば Google アカウントに使っているアイコンが、「Google アカウントでログイン」機能でログインした他のプラットフォーム上で表示されたりすると思います。プラットフォームをまたがったデータの共有というのは、そもそも現代において特別なことではないのです。

強いて言えばデータの管理が中央集権ではないということには意味があるかもしれませんが、正直あまりメリットを思いつきません。

結局、NFT の価値は何か

このように、よく誤解されていることを除けば、NFT にはあまりメリットがないように思えるのではないでしょうか。

私も最初は NFT のメリットがよく分からなかったのですが、一言で言えば「ファン心をくすぐること」です。

先述の通り、アートなどの作品を NFT 化したとして、そのコピーが生まれない保証はありません。

NFT が唯一実現してくれるのは、「あなたがこの作品の本当の所有者です」という記録だけです。 (細かいことを言えば、そのブロックチェーンの外部にも所有者がいたらどうなるの？といった問題はあります)

これは言ってしまえば自己満足ですが、「ファン心」にお金を払うこと自体は非常に一般的なことです。

「これの所有者は自分ですよ」という記録をブロックチェーンという改竄できないプラットフォームで残せること、それが NFT のメリットです。

メディアアート・デジタルアートの概要と、利用できるソフトウェア・ライブラリ

Thu, 23 Dec 2021 06:00:11 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 23 日目の記事です。

メディアアートやデジタルアートという単語を聞いたことはあったのですが、どんな意味なのかよく分かっていなかったので、改めて調べました。

また、特にデジタルアートに利用できるソフトウェア・ライブラリについても調べました。

技術に関する◯◯アートについて

メディアアート

「メディアアート - Wikipedia」によると、メディアアートは、

芸術表現に新しい技術的発明を利用する、もしくは新たな技術的発明によって生み出される芸術の総称的な用語

とのことです。

コンピュータに限らず、映像技術やロボティクスなどを活用したものも含むようです。

デジタルアート

「デジタルアート - Wikipedia」によると、

デジタルアート（Digital art）は、デジタルコンピュータを使って芸術作品を作ること

だそうです。

「メディアアートのうち、コンピュータを使うものがデジタルアート」ということですね。

完全にコンピュータで生成する場合もあれば、写真などを元に加工したものも含まれるそうです。

ジェネラティブアート

デジタルアートのうち、完全にコンピュータがアルゴリズムで生成したものを、「ジェネラティブアート」と言います。

参考

ジェネレーティブアート - Wikipedia

その他

他にも

コンピュータアート
ソフトウェアアート
インターネットアート

などの似た言葉がたくさんあり、使い分けはなかなか難しそうでした。

デジタルアートに使えるソフトウェア・ライブラリ

Processing

デジタルアートに使えるソフトウェアとして最も有名なのは、Processing だと思います。

Arduino と接続して図形を描画する用途にも使われたりします。

参考

p5.js

Processing と並んで有名なのが、p5.js です。

Web 上で p5.js のコーディングや作品の投稿ができる「OpenProcessing」というサービスもあるようです。

その他

デジタルアートにつかえるソフトウェアやライブラリは、他にもたくさんあるようです。

参考: クリエイティブコーディングとは？メディアアート・インタラクティブアートなど音響・映像表現をする為のプログラミング環境のまとめ – Creative Plus

クリエイティブコーディング

Processing や p5.js を使ったりして、プログラミングで絵やアニメーションを作ることを「クリエイティブコーディング」と呼びます。

参考: クリエイティブコーディングとはどんな活動で、どんな所が面白いのか語らせてくれ！｜reona396｜note

クリエイティブコーディングをしてみたい場合は、書籍や以下のページなどが参考になりそうです。

GAN とディープフェイクについて調べたこと

Wed, 22 Dec 2021 11:13:49 GMT

機械学習による画像などの生成で有名なキーワードである

GAN (Generative Adversarial Network: 敵対的生成ネットワーク）
ディープフェイク

の 2 つについて調べたことを簡単にまとめます。

GAN について

GAN (Generative Adversarial Network: 敵対的生成ネットワーク）はディープラーニングを応用した教師なしアルゴリズムの一種であり、ある画像を「◯◯風に変換」といった処理ができるものです。

写真から絵画風の画像を生成する例などは、見たことがある人も多いのではないでしょうか。

2014 年に発表された手法であり、ディープラーニングの応用的手法として注目されています。

参考

GAN の仕組み

GAN では「生成ネットワーク」と「識別ネットワーク」という 2 つのネットワークを用意し、

生成側は識別側が本物と見間違う画像を生成
識別側はそれをみやぶる

といった敵対的な学習をさせます。

そして最終的に、本物のような画像データができあがります。

GAN には Progressive GAN (PGGAN)、stackGAN、StyleGAN といった様々な手法があるようです。

参考

GAN の学習済みモデル・API

StyleGAN・StyleGAN2

GAN のアルゴリズムの一種である StyleGAN・StyleGAN2 には、公式実装と学習済みモデルがあります。

これを利用して遊んでいる記事は非常にたくさん見つかります。

参考

Progressive GAN (PGGAN)

Tensorflow hub という学習済みモデルのリポジトリがあり、Progressive GAN の学習済みモデルがあるようです。

Tensorflow hub にある Progressive GAN の学習済みモデルでサクッと遊んでみる – その１ | cedro-blog

その他の応用

その他、

学習済みモデルをコンピュータビジョンに転用する
GAN で生成した「顔」の向きを変えたりする

といった例もあるようです。

ディープフェイクについて

ディープフェイクは、元の画像・動画に登場する人物の顔を他の人物と入れ替えた画像・動画を生成する技術です。

ディープフェイクの例としては、マーク・ザッカーバーグ氏の動画と、オバマ氏がトランプ氏を罵る動画が非常に有名です。 (ディープフェイクによって生成された動画であり、その動画の内容はその人物の実際の発言ではありません)

参考

ディープフェイクの仕組み

ディープフェイクは GAN を応用することで実現されています。

参考

ディープフェイクの問題

ディープフェイクは、特定の人物が不適切な発言をしているように見せかけたり、ポルノサイトに利用したりといった悪用がなされている技術のため、社会問題とされています。

実際に、国内でもディープフェイクを悪用して逮捕された例があります。

参考

ツール

ディープフェイク自体は、FaceSwap というソフトウェアを使うことで簡単にできてしまうようです。

参考

その他、スマホアプリなどで簡単に試すこともできてしますようです。

参考: 今話題のディープフェイクとは？進化したAI技術で本物そっくりの顔を生成

※ 前述の通りディープフェイクは社会問題になっている技術です。利用には注意してください

参考情報

最後に、ディープフェイクに関して参考になりそうな情報源を置いておきます。

【感想】『GPUを支える技術』を読みました

Tue, 21 Dec 2021 14:28:23 GMT

書籍『［増補改訂］GPUを支える技術 ――超並列ハードウェアの快進撃［技術基礎］』を読んだので、感想をまとめます。

書籍の概要

『GPUを支える技術』は、コンピュータグラフィックスやディープラーニングなどで利用されているプロセッサ「GPU (Graphics Processing Unit)」についての解説書です。

GPU の最初の用途であるコンピュータグラフィックスの概要や、GPU の仕組み、GPU プログラミング、ディープラーニングなどでの活用など、GPU に関するトピックが幅広く解説されています。

書籍の最初に書いてある通り、読み進める前提として、CPU の基本的な概念や C 言語について理解している必要があります。

コンピュータグラフィックについて

この書籍では、前半でコンピュータグラフィックについてもある程度ページ数が割かれており、どんな処理があって、なぜ CPU ではなく GPU が適しているのかが解説されています。

コンピュータグラフィックについては、

法線マッピング
レイトレーシング

などの様々な工夫が解説されており、工夫の考え方がとても面白かったです。

GPU の仕組みや GPU プログラミングについて

個人的には、ディープラーニングなどのいわゆる「GPGPU」の環境構築に役立てたくてこの本を手に取ったので、GPU の仕組みや GPU プログラミングについての章はとても参考になりました。

CPU と GPU ではメモリに求める要件が異なるため、CPU 側のメインメモリから GPU のメモリに DMA でデータを転送して処理することなどが、分かりやすく解説されていました。

CUDA や OpenCL については、非常にざっくりした概要しか知らなかったのですが、

C 言語の拡張 (CUDA、OpenCL)
コンパイル後のドライバ向け出力 (CUDA に対する抽象化アセンブラ PTX、OpenCL に対する SPIR-V)
GPU における機械命令

といった階層があることが理解できました。

発展的なトピック

後半では、ディープラーニングをはじめとする発展的なトピックについても豊富に解説されています。

用語としては知っていた「TPU (Tensor Processing Unit)」が、GPU とどのように異なるのか、概要を理解することができました。

感想

感想を一言で言えば、GPGPU やコンピュータグラフィックに興味のあった自分にとって、すごく良い本でした。

コンピュータグラフィックや GPU について前提知識のない自分には難しい部分も多かったですが、知りたかったキーワードの概要をかなり理解できました。

GPU についてざっくり学びたい方が手に取ってみるのにおすすめです。

PC ゲームのプラットフォームとクラウドゲーミングについて

Mon, 20 Dec 2021 13:52:46 GMT

VR について調べる中で気になった、PC ゲームのプラットフォームと、クラウドゲーミングについて調べたことを簡単にまとめます。

PC ゲームのプラットフォームについて

まずは PC ゲームのプラットフォームについてです。

Steam

PC ゲームのプラットフォームとして最も有名なのは Steam だと思います。

VRChat や NeosVR についても、Steam で利用することができます。

SteamVR

Steam には SteamVR というソフトウェアがゲームという分類で存在しています。

SteamVR をインストールすることで、Steam の VR 対応ゲームを Oculus Link などでプレイ可能になります。

参考: Steam：SteamVR

Epic Games ストア

Steam との比較として一番名前が上がるのが Epic Games ストアです。

Epic Games ストアでは、一部のゲームを無料で入手可能なことが特徴のようです。

その他

PC ゲームのプラットフォームは他にもいくつもあるようです。

まとめ記事をいくつか貼っておきます。

クラウドゲーミング

続いて、クラウドゲーミングについてです。

クラウドゲーミングとは、ゲームの主要な処理をクラウド上で実行し、クライアント側はコントローラやディスプレイなどの入出力のみでゲームを実現するサービスのことです。

いわゆる「シンクライアント」のようなもので、Gaming as a Service と呼ばれることもあるようです。

参考

クラウドゲーミングの現状

クラウドゲーミングでは、いわゆる「ゲーミング PC」がなくても PC ゲームをプレイできるようになります。

ただ、性質上ネットワークがボトルネックになり、まだまだ動作が遅く感じるという情報が多いです。

NVIDIA CloudXR など、クラウド側で GPU などの処理を行う話はときどき見かけますが、印象としてはまだこれからという気がします。

参考

NeosVR の通貨・トークンについて調べたこと

Sun, 19 Dec 2021 14:13:54 GMT

NeosVR の通貨・トークンについて調べたことを簡単に書いていきます。

NCR (Neos クレジット)

NCR は NeosVR 公式の暗号通貨です。

具体的には、公式 Wiki の以下のページに書かれています。

Neosクレジット - Neos Wiki

イーサリアムブロックチェーンに存在しており、イーサリアムを送金することで入手したり、NeosVR のパトロンになることで入手できるようです。

入手方法は以下の記事が分かりやすかったです。

NeosVRの暗号通貨（NCR）の入手方法｜ひら吉/hirakichi@VRメタバースのジャーナリスト｜note

KFC (Kompletely Fake Credits)

KFC は、NeosVR で流通しているゲーム内通貨です。

NCR とは違い、その名の通り、遊び目的に過ぎない通貨になっています。

NeosVR に登録するだけで 1024 KFC 入手できるほか、ゲームワールドで報酬として入手したりできます。

入手できるワールドなどは、日本語 Wiki の以下のページに書かれています。

Kompletely Fake Credits(KFC) - NeosVR日本語Wiki

CDFT (Community Developer Fund Token)

CDFT は、NeosVR に貢献したコミュニティメンバーが申請し、承認されることで付与されるトークンです。

CDFT を保有していると、定期的に NCR に変換されるようです。

まずは以下の 2 つの記事が分かりやすいです。

より詳細・正確な情報は公式 Wiki の以下のページを参照するのがよさそうです。

コミュニティデベロッパー基金 - Neos Wiki

ずっと気になっていた NeosVR の LogiX をついにやってみた

Sat, 18 Dec 2021 12:35:03 GMT

以前からやってみたいと思っていた NeosVR のノード式プログラミングシステム「LogiX」をやってみました。

(NeosVR をやってみたかったのも、ほぼ LogiX をやってみたいから、みたいな気持ちでした)

きっかけ

そもそも私が NeosVR に興味を持ったのは、たまたま見かけた以下の記事がすごく面白そうに見えたことです。

NeosVRに見出した可能性と未来について：「4つの世界」は「7つの世界」に - Qiita

記事を見つけたのはもう 1 年近く前なのですが、他に色々やりたいこともあったため、1 年越しにようやく手を出すことができました。

まずは何をするか

まずは Hello World 的になにか簡単なことをしたいなと思って探していたところ、以下の YouTube 動画が非常に良さそうでした。

VRプログラミングをやってみよう！超簡単 LogiXの書き方！ - YouTube

こちらの動画は「LogiX - NeosVR日本語Wiki」で紹介されている動画の新しい版のようです。

この動画の通り進めることで、ゲーミング的な光り方をする箱が作れました。

HTTP リクエスト

そしてもう 1 つ、LogiX では HTTP リクエストを送信できるというのが気になっていました。

HTTP リクエストが送信できるということは、現実世界のラズパイなどと連携することもできますし、本当にいろんなことができてしまうということです。

HTTP リクエストの送り方については、以下の YouTube 動画が参考になりました。

Neos VR Tutorial: HTTP Pt.1 - GET String - YouTube

動画の解説の通り進めることで、ばっちり GET リクエストを送信し、レスポンスボディを表示することができました。すごい、すごすぎる。

SDK

LogiX のプログラミングも面白いですが、キーボードで書いたプログラムをインポートできたら面白そうだなと思いました。

調べてみると、LVMX なる仮想マシンと、C コンパイラなどを作っている方がいらっしゃいました。

Logix Virtual Machine X SDK - GammaLab

今後について

LogiX をさわってみて、正直めちゃくちゃ面白かったです。

なにか目標を立てて面白いものを作ってみたいなと思いました。

ちなみに、NeosVR 関連の Web 上での情報収集としては、「NeosVR日本語Wiki」を起点に、

といった Web サイトなどが参考になりそうです。

【2021 年末】自分のまわりで感じる IT トレンドの 8 のテーマ

Sat, 18 Dec 2021 07:34:03 GMT

2021 年ももう終わろうとしています。

この 1 年、私が身のまわりで感じた IT トレンドについてまとめようと思います。

昨年 => 【2020 年末】自分のまわりで感じる IT トレンドの 18 のテーマ

※ 昨年は初めてこういった記事を書いたため、それまで数年で感じた要素も含めています。今年はまさにこの 1 年で感じたトピックのみを書いているので、昨年の記事より少なめのテーマ数になります。

MLOps

自分が関心を持っていたのもありますが、「MLOps」は今年非常に大きなトレンドになっていたと思います。

数年前から使われ始めていた言葉で、昨年くらいから浸透しそうな雰囲気がありましたが、今年一気に波が来た、という印象です。

昨年までは MLOps に関する書籍もほとんどなかったのですが、今年は非常にたくさん発売されています。

MLOps は機械学習を実戦投入する上で重要という性質上、一過性のブームではなく、今後も発展すると思います。 (DevOps のように、言葉自体を聞く頻度は減るかもしれませんが、その思想やプラクティスは長く残ると思います)

関連書籍

反マイクロサービス

数年前に流行して採用される機会が増えた「マイクロサービスアーキテクチャ」に対し、反対する考え方がトレンドだと感じます。

マイクロサービス自体が悪いというよりも、実態以上に持て囃されて「よく知らないけどイケてるらしい」という理由で採用されすぎたのが理由だと思います。 (実際、共有ライブラリといったマイクロサービスの定番アンチパターンも知らずに採用して失敗している例をよく耳にしました)

巨大なシステムに手を入れるのはどうしても難しいため、サブシステム分割という考え方自体は重要であり、もうしばらくすると「マイクロサービスの落としどころ」のような話題も流行するのではないかと想像しています。

マイクロサービスの代替案として数年前から言われるようになった「モジュラモノリス」については、そろそろ広まるかもしれないと思っていたのですが、今年の時点ではまだあまり広まっていないようです。著名なフレームワークがモジュラモノリスをがっつりサポートしたりしない限りは、なかなか浸透しないのかもしれません。

Tailwind CSS

Web フロントエンドでは、Tailwind CSS がかなり話題になっていた印象です。

私はさわっていないので細かく評価できないですが、流行の理由などは以下の記事が個人的にしっくりきました。

TailwindCSSって何？なんで流行ってるの？｜F Lab｜Fixel株式会社

ノーコード

2021 年の前半では、ノーコードがかなり話題になっていたと思います。

いわゆるエンタープライズ系のノーコードツールというよりも、Glide、Adalo、Bubble といったツールについて耳にする機会が増え、実戦投入可能なレベルだという話もよく聞きました。

HP 制作などはある程度 Wix といった SaaS サービスで実現できるようになっているとよく言われており、簡易的なアプリケーションであればノーコードでできると言われてもおかしくはないと思います。

一方、ある程度以上複雑なアプリケーションをノーコードで開発する際のデメリットは引き続き大きいと思いますし、データ設計など、IT エンジニアとしての知見自体は今後も長く役立つと個人的に考えています。

リモートワーク・オンラインイベントツール

2020 年に引き続きリモートワーク中心ななかで、

Gather
Remo
oVice

といった、リモートワーク・オンラインイベント系のツールが浸透したように思います。

これらはキャラクタを移動しながら近くの人と会話できるといった特徴があり、現実の仕事場やイベント会場のような雰囲気を味わえるようになっています。

自作◯◯

2021 年 3 月に発売された「ゼロからのOS自作入門」は、今年 IT 業界で話題になった書籍のトップだと思います。

この本を手に取りながら OS を自作した方も少なくないと思いますし、他にも

自作 CPU
自作 TCP/IP プロトコルスタック
自作 RDBMS

など、様々な自作系の話題を見かけました。

「自作◯◯」については今年に限らず話題になることはありますが、今年は特別トレンドだったと言えると思います。

メタバース

「メタバース」は、Facebook が Meta に社名変更したあたりから、バズワード的に流行している言葉です。

現状この言葉が何を指すかはかなり揺れているようですが、もともとは、「世界」などを意味する “universe” に「その先」を意味する “meta” をつけてできた言葉だそうです。

ざっくり言えば VRChat や Cluster、NeosVR といったいわゆる VR SNS が近いと思います。 (Cluster や NeosVR は公式にメタバースプラットフォームを名乗っています)

今後もメタバースという言葉自体が使われ続けるかは分かりませんが、VR で活動するような流れは進んでいくのが自然だと思います。

NFT (Non-Fungible Token)

数年前から耳にすることはあった「NFT」ですが、この一年でかなり一般に浸透したように思います。

ただ、この記事では深堀りしませんが、誤解を生みやすい説明が多く、本当に NFT で実現できることとそうでないことが混乱して理解されていることが多いと感じます。

実際にどこまで可能かなどがかなり誤解されていると思うので、個人的に NFT はバブル的な流行の可能性も低くないと考えています。

総括

以上、2021 年に自分のまわりで感じた IT トレンドについて書きました。

この中からさらに厳選するのであれば、特に

MLOps
自作◯◯
メタバース

の 3 つだと思います。

個人的には VR がかなりアツい分野だと思っており、遠くないうちに爆発的に大流行するのではないかと思っています。

ずっとやってみたかった NeosVR をついにやってみた

Fri, 17 Dec 2021 14:03:59 GMT

以前からやってみたいと思っていた、「NeosVR」をついにやってみました。 (NeosVR をやるために Oculus Quest を買ったと言っても過言ではない)

NeosVR について

NeosVR は、ジャンルとしては VRChat などと近い VR SNS の一種で、かねてよりメタバースプラットフォームを謳っています。

VR の中で制作・プログラミングができるといった特徴があり、そのあたりが特に気になっていました。

参考: 【VR】WebプログラマーがNeosVRを触って驚いた理由

事前準備

NeosVR を楽しむためにはそこそこのスペックの PC が必要ということで、まずは予算 10 万円程度で PC を組んでみました。

選んだパーツや考えたことは以下の記事にまとめているので、よろしければ参照ください。

【予算 10 万】PC を自作するにあたって考えたこと【2021 年】

また、HMD としては、入門としてコストパフォーマンスが良さそうな Oculus Quest 2 を購入しました。

Oculus Quest 2 やその周辺機器などについては、以下の記事にまとめています。

Oculus Quest 2 を開封した

初心者向けの情報

毎週火曜 22:00 から初心者案内をしているそうなので、初心者の方はそちらに参加するのが良いと思います。

私はその時間は都合がつかず、全然別日程の夜に伺いました。

とりあえず「始め方 - NeosVR日本語Wiki」を見て、チュートリアルのあと、「JP チュートリアルワールド」に行くことにしました。

チュートリアル

チュートリアルでオブジェクトの操作などをやったのですが、遠くにあるものを操作したり、オブジェクトを複製したり、すでに面白かったです。

「JP チュートリアルワールド」〜

その後、なにも分からないまま、JP チュートリアルワールドに行ってみました。

そこにいらっしゃった方々が基本的な操作・設定からとても丁寧に教えてくださり、その後いくつかのワールドも案内していただきました。

めちゃくちゃ小さな体から大きな体まで味わえるワールド (多分有名なワールドだと思うんですがうまく説明できない)
カジノのワールド
旅館のワールド
なにか製作中のワールド

などなど、めちゃくちゃ楽しかったです。

次回

正直、想像していた以上にすごい世界で感動しました。

また近々やりたいと思います。

NeosVR でできるプログラミングの LogiX も気になっているので、次回は手を出したいです。

その他の情報源

最後に、その他よさそうな情報源として、NeosVR のアドベントカレンダーのリンクを貼っておきます。

NeosVR #1 Advent Calendar 2021 - Adventar

XR について学ぶための情報源

Thu, 16 Dec 2021 13:16:49 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 16 日目の記事です。

XR について学ぶための情報源について調べました。

カンファレンス

XR Kaigi

XR に関するカンファレンスを調べて出てきたのは、XR Kaigi の 1 つでした。

VR / AR / MR に関する国内最大級のカンファレンスとのことです。

2021 年は 11 月に開催されています。

参加にはチケットが必要ですが、基調講演は YouTube で公開されているので自由に見ることができます。

参考

勉強会

XR に関する勉強会として、connpass で以下の 4 つのグループが見つかりました。

個人的には、「xRAM (xR with Anything Meetup）」というグループが事例や活動実績豊富で気になりました。

次回勉強会を開催していたら参加したいです。

資格

VR技術者認定試験

VR技術者認定試験は、日本バーチャルリアリティ学会主催の資格です。

VR 関連の記事などで時々見かけます。

「セオリーコース」と「アプリケーションコース」の 2 つがあり、最近は 6 月頃と 12 月頃の年 2 回実施されています。

参考

Unity 認定試験

Unity 認定試験は、Unity が公式に運営している資格試験です。

種類も豊富なので、初心者から中級者まで勉強になりそうです。

参考

Unity 認定試験 | ゲームデザインと開発の認定試験でキャリアアップする | Unity

書籍

バーチャルリアリティ学

日本バーチャルリアリティ学会が編纂したバーチャルリアリティ学の教科書です。

「VR技術者認定試験」の公式ページでも、資格取得に欠かせない 1 冊として紹介されています。

個人的にこれは絶対読もうと思います。

スクール

最後に、XR 関連のスクールもいくつか見つけました。

XR 開発のためのゲームエンジン・ライブラリ・クラウドサービス

Wed, 15 Dec 2021 11:16:22 GMT

XR 開発のためのゲームエンジン・ライブラリ・クラウドサービスについて調べたことをまとめます。

関連書籍として見つけたものも掲載しています。

ゲームエンジン

Unity

XR のアプリケーション開発で最も有名なゲームエンジンは、Unity ではないかと思います。

迷ったら Unity を選んでおけば間違いない気はします。

以下のように、オライリーなどの書籍もあります。

Unreal Engine

ゲームエンジンとして Unity と並んで有名な Unreal Engine も、VR 開発に対応しています。

参考: VR 開発 | Unreal Engine ドキュメント

ライブラリ・API

Web

WebXR Device API

ウェブブラウザから HMD などにアクセスするための JavaScript API です。

参考

WebVR API

HMD などと連携してウェブブラウザで VR アプリケーションを実装するための JavaScript API です。

現在は非推奨であり、前述の WebXR Device API を使うべきとのことです

参考

AR.js

Web で AR 開発するための代表的なライブラリです。

参考: 【AR.js】WebARをAR.jsで実装する | WebAR Lab - WebARの最新情報がわかるメディア

A-Frame

Web の VR 開発のライブラリとしては「A-Frame」が最も有名なようです。

React VR

VR 用の React VR というライブラリも見つけました。

参考: React VRで始めるお手軽WebVRプログラミング | HTML5Experts.jp

その他

他にも Web で XR 開発するためのライブラリは色々あるようです。

以下のようなまとめ記事もありました。

WebAR / WebVRの開発ライブラリ一覧【完全保存版】 | WebAR Lab - WebARの最新情報がわかるメディア

Android

ARCore

ARCore は、Google 製の AR 開発ツールです。

Android 中心のようですが、iOS にも対応している模様です。

参考

関連書籍

iOS

ARKit

ARKit は、iOS 向けの AR 開発ツールです。

参考: ARKitとは何か (ARKit1〜3のまとめ) - Qiita

関連書籍

『ARKitとUnityではじめるARアプリ開発』
『基礎から学ぶ ARKit』

クラウドサービス

Amazon Sumerian

Amazon Sumerian は、ブラウザで XR 開発が可能なサービスです。

通常であれば Unity などで開発するのを、ブラウザでできてしまうようなイメージです。

Unity などを使う場合よりもかなり手軽にさわれそうなので、まずはこちらを試すといいかもしれません。

参考

関連書籍

NVIDIA CloudXR

NVIDIA CloudXR は、NVIDIA が提供する XR の配信プラットフォームです。

ざっくり言えば、描画処理をクラウドで行い、視聴するクライアントにはそのデータを送る、というものです。

以下の記事の解説が分かりやすいです。

『クラウドレンダリング（Cloud Rendering）』技術を1から徹底解説！ – すぺーしゃる研 | 空間コンピューティングの最前線をお届けするメディア

AWS や GCP の関連記事もリンクしておきます。

3D アバターデータの種類

Tue, 14 Dec 2021 11:42:21 GMT

VR などで使われる 3D アバターデータの種類について調べたことを、

FBX
glTF・GLB
BLEND
VRM
PMX
Live2D

の順で書いていきます。

FBX

まず VRChat でサポートされているアバターの形式について調べたところ、FBX という形式のみ利用可能とのことでした。

また、アバターのボーンの構造が、Unity の humanoid という構造に対応する必要があるとのことです。

なお、VRChat で利用可能なアバターは、主に BOOTH で販売されています。

VRChat に独自アバターやワールドをアップロードしたりするには Unity が必要です。

参考

glTF・GLB

続いて、近々やりたいと思っている NeosVR について調べたところ、FBX・GLB・BLEND の 3 種類のアバターデータを利用可能とのことでした。

参考: アバター作成 - NeosVR日本語Wiki

GLB というのは、WebGL などで利用される glTF という形式の一種とのことです。

glTF (GL Transmission Format) は JSON によって 3D モデルやシーンを表現するフォーマットで、「3D における JPEG」と表現されることもあるそうです。

参考

BLEND

BLEND は、その名の通り 3D モデリングツール「Blender」で使われるファイル形式です。

参考: BLENDファイルを開くには？ .BLENDファイル拡張子 - File Extension .BLEND

VRM

VRM は、glTF ベースの人型 3D アバターの形式です。

標準形式として、各種アプリケーションで同じアバターデータを利用することを目指しているようです。

参考

3D アバターを簡単に作成できる VRoid Studio も、VRM 形式に対応しています。

VRoid には、他にも VRoid Hub や VRoid SDK といったサービスがあります。

参考: VRoid

PMX

PMX は、MMD (MikuMikuDance) で使われるファイル形式で、PMD の改善版だそうです。

MMD は 3D モデルを使ったアニメーションを作成するソフトウェアのことです。

なお、アニメーションは VMD (Vocaloid Motion Data File) という形式です。

参考

PMX (PMD) + VMD を FBX に変換するツールとして、MMD4Mecanim というものもあります。

参考: Stereoarts Homepage

Live2D

Live2D はその名の通り 3D アバターではないですが、一緒に少し調べてみました。

Live2Dは、株式会社Live2D が開発した、2D のシームレスなアニメーションを可能にする映像表現や関連ソフトウェアのことです。

アニメやゲーム、VTuber のモデルなどで使われています。

参考: Live2D - Wikipedia

おわりに

以上、3D アバターデータを中心に色々調べてみました。

調べている中で、以下のように初心者が短期間でアバターを作って VRChat にログインするような記事も見かけました。

全くの3DCG初心者が1日でVRChatアバターをBlenderで作ってログインする話-1- - 3DCG初心者がVRChatのアバターを作る

Blender や VRoid Studio など、3D アバターを作る第一歩のハードルは、私が想像していたよりは低いのかもしれません。

「VR 酔い」の対策

Mon, 13 Dec 2021 08:09:55 GMT

数日前から VR をやり始め、想像していた以上に VR 酔いを感じたので、その対策を調べてみました。

具体的な症状

自分の場合、

1 〜 2 時間 VR をプレイし続けると、少し気持ち悪くなる
車やジェットコースターなどに乗り、視界が傾くような動きがあると、すぐに気持ちが悪くなる

といった症状があります。

より長時間 VR をプレイしたり、乗り物などを楽しむためには、なんらかの対策がほしいところです。

VR 酔いの原因

VR 酔いの原因は、おおむね車酔いなどと近いようです。

車酔いは、遠心力によって右折時に体が左に、左折時に体が右に動くことで、視覚と体の動きがずれることが原因と聞いたことがあります。

VR 酔いも、視覚と体の動きがずれることが主な原因のようです。

参考: VR酔い - Wikipedia

VR を使うときの対策

VR 酔いの対策には、ユーザ視点のものと開発者視点のものがありました。

特に知りたかったのはユーザ視点の、VR を使うときの対策なので、そちらを書いていきます。

※ 調べて出てきたものを記載していますが、実際に効果があるかは保証できません

立ち回り

VR に慣れ、酔わない立ち回りをする

道具の調整や活用

ヘッドセットの瞳孔間距離を最適な位置に調整する
メガネの位置や度を調整する
分厚い敷物を敷くなどして、自分が正しい位置に立っているか足で感じやすくする
扇風機などで、空気を自分に向けて流す

ゲームの設定

十分に高いフレームレートでゲームを動作させる
視野角を調整する。例えばプレイヤーが移動するときに画面の周囲を暗くして「ビネット効果（視点を動かしたときに周囲がぼかされ視界が狭まる効果）」を与える
周囲の景色のほとんどを暗くして見えなくする

体調

体調 (疲れなど) がある場合はやらない

一時的な対策

酔い止めを飲む
梅干しなどを食べて唾液を出す

以上、VR のユーザとしてできる対策は、結構いろいろあるようでした。

個人的には、梅干しを食べるというのが手軽にできそうなので、やってみようと思います。私は知らなかったのですが、梅干しは乗り物酔いにも有効なようです。

参考

VR を作るときの対策

開発者視点の、VR を作る時の対策については、以下のページを参考まで貼っておきます。

カメラの使い方が特に気を付けるポイントのようです。

おわりに

ここまで調べた感想として、想像していたよりも色々な対策があるなと思いました。手軽で有効そうなものからやってみます。

また、VR で車やジェットコースターに乗った際は、かなり一瞬で気持ち悪さを感じたので、サイバー攻撃として悪用されうるものだなと思いました。実際にそういった話題もあるようです。

参考: ＶＲ悪用すれば「数千人を嘔吐させられる」　人気ゲーム開発者がリスク指摘 (1/4ページ) - SankeiBiz（サンケイビズ）

VR 何も知らない状態で VRChat やってみた

Sun, 12 Dec 2021 14:09:21 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 12 日目の記事です。

VR について全然何も知らない中、現在最も有名な VR SNS である VRChat をやってみました。

また、現在開催中の「バーチャルマーケット2021」にも行ってみました。

VRChat を始めるときの参考情報

VRChat をやってみるにあたって、初心者向けの記事をいくつか読みました。

以下、参考になった記事をいくつかリンクしておきます。

また、以下のような初心者向けガイドも見つけました。

VRChat初心者向けガイド | VRChatを始めるために、もっと楽しむために。

始める前に知っておくべきこと

上記の記事などを読んだ (そして実際にやってみた) 結論として、とりあえず、

操作に慣れたいなら、とりあえず Home に行ってみる
そして日本人初心者は「JP Tutorial」というワールドに行くべし
ワールドごとに複数の「インスタンス」がある
ワールドに 1 人で入りたい場合は、ワールド選択時に「New Instance」で「Invite Only」にすればよい

くらいおさえておけば大丈夫です。

まずは Home へ

VRChat を始めて、簡単なチュートリアルのあと、デフォルトの Home に行きました。

ここに置いてあるもので少し操作の練習をしてみたりしました。

ちなみに Home は変更可能です。以下の記事が参考になりそうです。

VRChatユーザーが選ぶおススメホームワールド | PANORA

いくつかの定番ワールドへ

操作に慣れた後、試しに 1 人でいくつかのワールドに行ってみることにしました。

JP Tutorial

まずは日本人向けのチュートリアルワールドに行ってみました。

いろいろ書かれていましたが、ざーっと見て、最後のほうで紹介されている他のワールドに行くことにしました。

USiOPORT

JP Tutorial の最後に紹介されていた USiOPORT というワールドで、色々なワールドが紹介されているということだったので、USiOPORT を経由していくつか行ってみました。

Space Colony “Island-4”

ガンダムなどで登場する円筒形のスペースコロニーのワールドです。

個人的に Twitter で見かけて、一番行ってみたいと思っていました。

車や電車 (?) で移動することができ、電車の中から写真を撮ってみました。 (なんとなく、スクリーンショットやキャプチャではなく、「写真」という言葉を使いたくなりました)

ちなみに車は自分には操作が難しく、VR 酔いも感じたので、少し乗ってみるだけにしておきました。電車のほうは快適でした。

他にもいくつか

その後、なんとなく気になったワールドにいくつか行ってみました。

写真を 2 枚ほど貼っておきます。

バーチャルマーケット2021

2021 年 12 月 19 日まで、バーチャルマーケット2021 (通称 Vket) というイベントが開催中です。

ブラウザのみでも参加できますが、VRChat のワールドとして入ることもできます。

エントランスと「Parareal Shibuya」・「Parareal Akihabara」に行ってきたので、3 枚ほど写真を貼っておきます。

Parareal Shibuya では、話題になっていた「SMBC日興証券のジェットコースター」に乗ってみました。

車や電車もそうですが、VR で乗り物に乗れるのはなんとなく楽しい気持ちになりますね。

車とジェットコースターはかなり VR 酔いを感じたので、VR 酔い対策は別途調べようと思いました。

感想

以上、VRChat でいくつかのワールドに行ったり、VKet を少し見てみたりしました。

Oculus Quest 2 のチュートリアルをやったときにも思ったのですが、現代の VR のクオリティはめちゃくちゃ高いです。

当たり前ですが、横を見れば横の景色があり、上を見れば上の景色があり、下を見れば下の景色があるというのは、実際に体験すると感動します。

そして、やってみるハードルも非常に低いです。とりあえずやってみるだけであれば、PC なしで Oculus Quest 2 だけ用意する、といった方法でも十分です。

あとはよく言われるような、VR 酔いや HMD をつけながら飲食しにくいといった点が解消されれば、今以上に楽しめるようになると思います。どんな対処法があるのかは後日調べてみようと思います。

キーワード

最後に、VRChat について調べていて気になったキーワードについて書いていきます。

トラストレベル (Trusted Level)

VRChat にはユーザにトラストレベルという概念があります。

ざっくり言えば、プレイ時間が長くなると、アバターやワールドのアップロードなど、できることが増えていくというものです。

具体的な内容としては、以下の記事が参考になります。

Udon

Udon は VRChat で提供されているプログラミング環境です。

Udon Graph … ノード式のプログラミング環境
Udon Sharp … Unity (C#) で Udon のプログラミングができるアセット

の 2 種類があるようです。

こういったものによくある話ですが、Udon をうまく使うには結局 Unity (C#) の知識が重要なようなので、まずはそちらから勉強したほうが良さそうだなと感じました。

参考

【2021年】今年読んで良かった技術書 5 選

Fri, 10 Dec 2021 07:49:36 GMT

自分が今年 (2021 年) 読んで良かった技術書を 5 冊紹介します。

しっかり数えていないですが、100 冊以上読んだ上での 5 選になります。

※ 個人的に今年読んだだけで、ほとんど今年発売の書籍ではないです。

Python実践入門 ── 言語の力を引き出し、開発効率を高める

Python は今までなんとなく書いていたのですが、今年改めて勉強しようと何冊か本を読んでみました。

他の言語の経験がある程度ある人であれば、この書籍が発売も新しく、内容としてもとても良かったです。

Python を書く上で最低限しっておきたいことを一通りおさえられます。

Python でちょっとしたスクリプトを書いたり機械学習のちょっとしたコードを書く程度であればなんとなくの理解でもできますが、この本はそういった段階からもう一歩レベルアップできる内容になっています。

Python をなんとなく書いている、という方には是非一度読んでいただきたいおすすめの書籍です。

パーフェクト Ruby on Rails　【増補改訂版】

Ruby on Rails の勉強としてこちらを読みました。

パーフェクトシリーズらしく、ある程度の経験がある方が知りたいことがしっかりまとまっています。

Rails の概要は分かっている上で、より実践的なプラクティスを学ぶことができる内容です。

値オブジェクトやフォームオブジェクト、プレゼンターなど、Rails で活用できる設計パターンについても解説されていて、とても参考になります。

初心者向けではないですが、がっつり Rails を使っていくつもりの方にはおすすめです。

32ビットコンピュータをやさしく語る　はじめて読む486

OS について学んでいたところ、前提として CPU の知識が必要だと感じたため、こちらの本を手に取りました。

はっきり言って、めちゃくちゃ良かったです。

内容としては、マシン語の概要などではなく、OS が利用している CPU の機能 (リングプロテクションなど) について非常に分かりやすく解説されています。

この本で解説されている内容は、OS を勉強する際の前提知識としてとても役立ちます。

OS について勉強しようとしている方に、是非読んでいただきたい一冊です。

ゼロからのOS自作入門

今年 IT 業界で最も話題になったであろう書籍です。

私は実際には OS を作っていないのですが、一通り読んだだけでも非常に勉強になりました。

何より、コードを見ながら OS の仕組みを追うことで、OS もただのプログラムに過ぎないということを理解できました。

説明も非常に平易で読みやすかったです。

来年は時間をとって OS 自作したいなと思っています。

詳解 Linuxカーネル第3版

なんとなく憧れていた、1000 ページくらいある Linux カーネルの解説書です。

『はじめて読む486』や『ゼロからのOS自作入門』を先に読んでいたおかげで、それほど抵抗なく読めました。

一周では理解しきれないこともたくさんありますが、OS や Linux というものが怖くなくなったと感じます。

何よりこの本を読んだという満足感があります。

ここまで読めば Linux に詳しいと言えるかと思っていましたが、実はまだまだだということが分かったので、今後も精進します。

おわりに

以上、5 冊を紹介させていただきました。

他にも色々な本を読んだのですが、今年の個人的な収穫としては、

Python・Ruby・PHP・Go といった、メジャーながらあまりしっかり勉強していなかった言語について、改めて勉強した
OS (特に Linux カーネル) について、基本的な部分の理解を深められた

というのが大きいです。

来年は

CPU・OS・コンパイラの自作
XR (特に VR)

に力を入れたいと思っています。

VR を満喫するために調べた定番サービス・ゲーム・イベント

Fri, 10 Dec 2021 07:47:25 GMT

先日開封した Oculus Quest 2 を満喫するため、何をしたらいいのか調べました。

VR SNS
ゲーム
その他 Oculus アプリ
イベント

の順でまとめていきます。

VR SNS

まずは VR SNS についてです。

VRChat

VR SNS として最も有名なのが VRChat です。

私も Oculus Quest 2 を開封した当日に、Home までは行ってみました。

定番中の定番サービスだと思うので、もう少しやりたいと思っています。

cluster

クラスター株式会社が運営する日本発の VR SNS です。

スマホからも利用可能で、先日 Oculus Quest 2 にも対応しました。

NeosVR

個人的に一番やるのが楽しみなのが NeosVR です。

プログラミングしたり、VR の中でなんでも作れるらしいです。

(良い意味で) 沼なのではないかと想像しています。

その他

他にも

Second Life … 昔からある VR SNS として有名
Sansar (サンサール) … Second Life 運営元が新たに公開
Horizon Worlds … Facebook が 2021/12/09 に発表
Rec Room … 複数人でゲームを遊んだりできる模様

などなど、他にも多数 VR SNS は存在します。

時間があるときに色々やってみたいです。

参考

ゲーム

Steam などで販売されている VR ゲームのうち、定番かつ気になったものを書いていきます。

Beat Saber

ライトセーバーのようなものを持って、飛んでくるものを斬っていくリズムゲームです。

最も有名な VR ゲームかもしれません。

FitVR

フィットネス用の VR ゲームです。

もともと BoxVR という名前だったのが FitVR になったようです。

参考

Oculus Quest版「BoxVR」に大規模な無料アプデ実施ゲーム名も「FitXR」へ改題 | Mogura VR

Pavlov VR

Steam で販売されている、PCVR 向けの VR FPS です。

話題になっているのを見かけて気になりました。

参考

Pavlov VRの魅力や操作方法、評判レビューを徹底解説！ – XR-Hub

バイオハザード 4

もともと有名なゲームであるバイオハザードの VR 版ということで、かなり話題になった印象です。

参考

Oculus Quest 2独占のVR版「バイオハザード4」発売！ヘッドセット本体が当たる特別企画も開催 | Mogura VR

その他

他にも VR ゲームは非常にたくさんあります。

まとめているページもたくさんあるので、リンクを貼っておきます。

その他の Oculus アプリ

YouTube VR

VR で YouTube を鑑賞できるアプリケーションです。

通常の動画を鑑賞することもできますし、VR 対応している動画は HMD などがあれば VR として見ることができます。

Wander

VR で旅行ができるアプリケーションです。

「Oculus スターターキット」の中でも紹介されています。

参考

Oculusスターターキット：新しい128GBモデルのOculus Quest 2ヘッドセットにおすすめの13タイトル

イベント

最後に、VR 関連のイベントについても少し書いていきます。

VKet

いわゆる「コミケ」のバーチャル版のようなイベントです。

様々な出展物があり、3D アバターなどの販売もしています。

VRChat かブラウザからアクセスできます。

バーチャルマーケット2021

TOKYO GAME SHOW VR 2021 (終了済み)

TOKYO GAME SHOW では、2021 年は VR 空間上の会場も用意されていました。

参考

TOKYO GAME SHOW VR 2021

NeosFesta3 (終了済み)

VR SNS の一種である NeosVR でも、2021 年 7 月・8 月に展示会が開催されています。

参考

NeosFesta3

VR を活動の中心とする日本の団体まとめ

Fri, 10 Dec 2021 06:13:36 GMT

VR を活動の中心としている日本の団体を調べたのでまとめました。

企業

まずは企業についてです。

VR に関連する企業は非常にたくさんありますが、

ゲーム会社など、VR 以外に主な事業がある会社は除く
VR 系の制作会社は除く

という前提でまとめています。

クラスター株式会社

VR SNS として有名な「cluster」の運営会社です。

cluster は昨日 (2021/10/09) Oculus Quest 2 への対応が発表され、話題になっていました。

参考

株式会社HIKKY

VR エンジンを使用して様々な開発などに携わっている会社です。

いわゆる「コミケ」のバーチャル版である「VKet」の運営もこの会社です。

参考

株式会社バーチャルキャスト

バーチャルキャスト (V キャス) を運営している会社です。

V キャスは VR でコミュニケーションをとれるサービスであり、配信に関連した機能などもあります。

参考

株式会社ambr

VR のプラットフォームを運営している会社です。

事業内容については、プレスリリースから引用させていただきます。

法人向けのメタバース構築プラットフォーム”xambr（クロスアンバー）” をベースに、「ユーザー体験の最大化」を軸とした仮想空間の構築に取り組んでいます。これまでVRSNS「仮想世界ambr」、「awabar.vr」、東京ゲームショウ初となるVR会場「TOKYO GAME SHOW VR 2021」などの企画・UXデザイン・システム開発を手掛けました。

参考

株式会社Gugenka

Gugenka は、XR のコンテンツについての会社です。

事業内容について、会社概要ページから引用させていただきます。

東雲めぐを始めとしたVR上で活躍するクリエイターのプロデュースや、デジタルフィギュアのビューワーアプリ「HoloModels™（ホロモデル）」といった、アニメやキャラクターに関連するアプリ開発を行っています。

参考

株式会社VARK

バーチャルライブプラットフォーム「VARK」の運営会社です。

イベントの実績も非常に多いです。

参考

VARK | VR×ライブハウス(バーチャルライブ)を体感しよう

株式会社CharacterBank

XR のゲームを開発・運営している会社です。

VR 人狼ゲームなどを提供しています。

参考

CHARACTER BANK | Hack the next experince.

株式会社VRデザイン研究所

VR / AR 専門のスクールである「VRプロフェッショナルアカデミー」を運営している会社です。

参考

VRプロフェッショナルアカデミー／VR専門プログラミングスクール

株式会社アビス

バーチャルクラブ「LaMer」の運営会社です。

参考

VR の接客サービスについては、以下のような記事もあります。

1対1のバーチャル有料接客サービス「asobiva」オープニングキャストの募集を開始 – PANORA

参考

NPO

NPO法人バーチャルライツ

VR 文化の振興のための NPO です。

VR における権利の保護などの各種活動をしているようです。

参考

学会

日本バーチャルリアリティ学会

学会としては、「日本バーチャルリアリティ学会」があります。

学会誌のバックナンバーを見たりすると、興味のある研究室などを見つけられるかもしれません。

参考

Oculus Quest 2 を開封した

Thu, 09 Dec 2021 12:33:27 GMT

9 月に購入してから放置していた Oculus Quest 2 をついに開封しました。

Oculus のチュートリアルと VRChat の Home までたどり着いた時点で気になった、

Oculus 用の眼鏡
Oculus Link
Oculus での写真の撮り方

について調べたことを書いていきます。

Oculus 用の眼鏡

購入した Oculus に付属として眼鏡スペーサーがついていましたが、それでは結構苦しかったです。

普段使っている眼鏡を曲げたりしたくなかったので、ひとまず昔使っていた壊れてもよい眼鏡を使ってみました。

ただ、通常の眼鏡では、少し違和感を感じました。

以下の記事に解決策のパターンがいくつか書いてありますが、ある程度がっつりやるつもりなら専用のフレーム・レンズを購入するのが良さそうです。

Oculus Quest2のメガネスペーサーの取り付け方とピント調整方法を解説｜KSK360Blog

専用のフレーム・レンズの種類はいくつかあるようです。

VirtClear
- Oculus 公式
- 海外のため、送料が高く、届くまで時間がかかる
VRsatile (ヴァーサタイル)
- 鯖江ブランド
- 各種 HMD に対応
その他

なお、VirtClear や VRsatile を購入の際には眼科などでの処方箋が必要とのことです。

参考

Oculus Link

Oculus Quest 2 は単体で利用可能ですが、SteamVR など、Oculus Rift (PC との接続を前提とした機器) のコンテンツを楽しむためには Oculus Link を使う必要があります。

Oculus Link は、USB ケーブルで Oculus Quest 2 と Windows PC を接続して利用します。

ケーブルには Oculus 純正のものとその他のものがあります。

なお、Wi-Fi が動作条件を満たせば、Oculus Air Link という無線通信も可能です。

個人的に VR 用にデスクトップ PC とグラボを用意しているので、Oculus Link のために 2 つ目のほうのケーブルを購入することにしました。

参考

Oculus での写真の撮り方

なんとなく、Oculus で写真 (スクリーンショット) を撮りたくなったので、方法を調べてみたところ、以下の記事に色々なやり方が書いてありました。

Oculus Quest 2 でスクリーンショットを撮る方法 | Lonely Mobiler

PC やスマホへの転送も簡単にできるようです。

参考

ということで、VRChat の Home で撮影した画像を載せておきます。

おわりに

以上、Oculus Quest 2 を開封して VRChat の Home にたどり着いたあたりで調べたことをまとめました。

次は VRChat をもう少しやってみたいと思っています！

CG (コンピュータグラフィックス) に興味を持って最初に調べたこと

Wed, 08 Dec 2021 10:20:55 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 8 日目の記事です。

CG (コンピュータグラフィックス) に興味を持って最初に調べたことをまとめます。

CG (コンピュータグラフィックス) とは

まず最初に、そもそも CG とは？についてですが、Wikipedia から引用すると、

コンピュータグラフィックス（英: computer graphics、略称: CG）は、コンピュータを用いて画像を生成する科学技術、及びその技術によって生成される画像のことである。

とのことです。

参考: コンピュータグラフィックス - Wikipedia

CG を学ぶ際に登場する要素

CG といってもどのような要素があるのか全然想像もつかなかったので、参考になりそうな情報を探しました。

CG エンジニア検定

公益財団法人画像情報教育振興協会 (CG-ARGS) が運営する「CG-ARGS 検定」というものが、ゲームエンジニアなどが CG を学ぶ際によくおすすめされているようです。

このカリキュラムを見てみると、「CG を学びたい」という際にどんな要素があるのか分かりやすかったです。

具体的には、

座標変換
モデリング
レンダリング
アニメーション
画像処理

などの要素があるようです。

参考: CG-ARTS | 検定

各種カリキュラム

その他、検索してみるとカリキュラムや講義内容を公開している大学もあったりするので、そういった情報をとっかかりとして勉強してみても良いかもしれません。

デジタルハリウッドスクールのカリキュラムなども参考になります。

参考: カリキュラム｜本科 CG/VFX 専攻｜デジタルハリウッドの専門スクール（学校）

用語

CG についてざっくり調べる中で出会った知らない言葉について書いていきます。

VFX

VFX は visual effects の略で、映像作品における視覚効果のことを指すようです。

参考: VFX - Wikipedia

シェーダー

なぜか「シェーダー」という用語だけ耳にしたことがあったので調べたところ、レンダリングの一部の、「陰影処理」のことだそうです。

参考: シェーダー - Wikipedia

ライブラリ・API

3DCG に関するライブラリを調べてみたところ、以下のページが見つかりました。

3D ライブラリ - Wikipedia

非常に膨大な数があるようです。

特に気になるものについて少し書いていきます。

OpenGL

OpenGL は、ライブラリというよりは仕様書のようなもので、CG を学ぶ上でよく使われるようです。

参考: グラフィックスの基礎 - 東京大学工学部精密工学科プログラミング応用 I・II

WebGL

WebGL は、ウェブブラウザ上で CG をレンダリングするための JavaScript API です。

有名な Three.js も WebGL を使っているとのことです。

参考: WebGL - Wikipedia

3DCG 制作ソフト

最後に、3DCG 制作ソフトについてです。

無料の 3DCG 制作ソフトとして最も有名なのは Blender だと思いますが、他にもたくさんあるようでした。

参考

音声データにおける言語の取り扱い

Tue, 07 Dec 2021 14:42:31 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 7 日目の記事です。

音声データにおける言語の取り扱いについて調べたことをまとめます。

形態素解析などのいわゆる自然言語処理に関する内容ではなく、

音声認識・文字起こし
音声合成

について書いていきます。

音声認識・文字起こし

文字起こしの種類

文字起こしについて調べてみると、以下の 3 つの種類があることが分かりました。

素起こし … 「えー」などの “フィラー (ケバ)” を含め、一言一句文字にすること
ケバ取り … フィラー (ケバ) を取り除いた文章に起こすこと
整文 … ケバ取りしたものに加えて、話し言葉を読み言葉に変換したりして整えること

参考: 「ケバ取り」「素起こし」「整文」の違いとは？文字起こし方法の基本的な 3 種類を解説！ | WITH TEAM（ウィズチーム）

トレーニング済み API

音声認識・文字起こしのトレーニング済み API については、まとめている記事がいくつかありました。

現状、こういった API である程度の精度が期待できるようです。

どの API を使うべきかは、用途次第になるようです。

エンジン・ライブラリ

続いて、音声認識のエンジンやライブラリについてです。

CMU Sphinx

CMU Sphinx は、カーネギーメロン大学で開発された OSS の音声認識エンジンです。

参考: CMU Sphinx - Wikipedia

Snowboy

Snowboy は、ホットワード検出エンジンです。

ホットワード検出というのは、「OK, Google」のような、問いかけのキーワードのことです。

SpeechRecognition (Python)

Python の SpeechRecognition というライブラリは、各種エンジン・API に対応しています。

参考

なお、このライブラリで選択できる「Google Speech Recognition」については、調べてもよく分かりませんでした。

参考: Python - Python の音声認識ライブラリ「speech_recognition」の「Google Speech Recognition」の実体がわかりません。｜ teratail

Web Speech API

Web Speech API を使うと、Chrome for Desktop と Android であれば、ブラウザで簡単に音声認識ができるようです。

これは驚きました。

参考: Web Speech API を使う - Web API | MDN

音声合成

YouTube などの動画配信プラットフォームで、人の声ではなく機械的な声で文字が読まれているケースがあると思います。

そのことを、私は勝手に「機械音声」という言葉で表現していたのですが、どうやら「音声合成 (speech synthesis)」という言葉が適切なようです。

参考: 音声合成 - Wikipedia

音声合成ツールについてまとめているページをいくつかリンクしておきます。

無料で有名なものとしては、

SoftTalk (いわゆる「ゆっくり」と呼ばれる音声)
棒読みちゃん
テキストーク
VOICEVOX

あたりのようです。

SoftTalk や棒読みちゃんは、内部で「AquesTalk」を使っているとのことです。

参考: AquesTalk とは (アクエストークとは) [単語記事] - ニコニコ大百科

関連して、初音ミクなどで有名な「VOCALOID」という単語について Wikipedia を見てみたところ、

「VOCALOID（ボーカロイド）」および「ボカロ」はヤマハ株式会社の登録商標である

ということで、一般名詞だと思っていたので驚きました。

参考: VOCALOID - Wikipedia

コーパス

関連する用語として「コーパス」について書いておきます。

コーパスとは、ざっくり言えば、言葉のデータベースです。

音声のコーパスもあり、例えば「JVS (Japanese versatile speech) corpus」というものを見つけました。

参考: Shinnosuke Takamichi (高道慎之介) - jvs_corpus

DevOps に関する日本語の書籍まとめ

Tue, 07 Dec 2021 08:55:04 GMT

DevOps に関して実際に読んだ日本語書籍をまとめました。

DevOps導入指南 Infrastructure as Codeでチーム開発・サービス運用を効率化する

DevOps の解説書です。

DevOps の基本的な考え方やプラクティスについて、一通り解説されています。

ページ数も多すぎず、しっかりまとまっているので、入門のために何か 1 冊読みたいといった際におすすめです。

LeanとDevOpsの科学［Accelerate］テクノロジーの戦略的活用が組織変革を加速する

Lean や DevOps といった手法で登場するプラクティスなどについて、調査内容をまとめた書籍です。

一般的だからという理由で行われているプラクティスが逆効果な場合も多いなど、なかなか面白い結果がいろいろ見られます。

個人的には多くの人に読んでいただきたい、とてもおすすめの書籍です。

The DevOps ハンドブック理論・原則・実践のすべて

DevOps に関するハンドブックです。

DevOps のプラクティスや事例について、体系的にまとめられています。

600 ページ近くと少し厚めなので、DevOps についてしっかり学びたいといった際に良いと思います。

The DevOps　逆転だ！究極の継続的デリバリー

『The DevOps ハンドブック』と同じ方が著者の、DevOps に関する小説です。

物語として、よくある炎上プロジェクトについて書かれています。

いわゆるレガシーな環境で苦しんだ経験があると、色々思うところがあるような書籍です。

続編に『The DevOps 勝利をつかめ！　技術的負債を一掃せよ』があります。

Effective DevOps ―4本柱による持続可能な組織文化の育て方

DevOps を、コラボレーション、アフィニティ、ツール、スケーリングという 4 本の柱として整理して解説している書籍です。

CI / CD やツールを使うことと捉えられがちな DevOps について、より本質的な、組織文化の観点について多くのページを割かれています。

DevOps に関する組織・文化作りのヒントがほしい場合などに良い書籍です。

おわりに

以上、DevOps に関する日本語の書籍をまとめました。

DevOps と関連して、例えば SRE についてや一般的な運用設計についてなど、以下の書籍あたりから手に取ってみるのもおすすめです。

動画編集ソフトやライブラリ、関連ツールのまとめ

Mon, 06 Dec 2021 06:21:13 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 6 日目の記事です。

動画編集ソフトやライブラリ、動画編集・ライブ配信などに関連するツールについて調べたことをまとめました。

動画編集ソフト

まず、動画編集ソフトについて少しだけ書いていきます。

動画編集ソフトには、

有料デスクトップアプリ (Adobe Premiere Pro など)
無料デスクトップアプリ (Aviutl など)
OSS (OpenShot、Kdenlive など)
Web サービス (We Video、Canva など)

があります。

無料で使えるアプリケーション・サービスでもかなりのことができるようなので、初心者はまず無料のものを試しても良いかもしれません。

参考

動画編集ライブラリ

動画編集のライブラリについてざっと調べて出てくるのは、以下の 3 つと、その他各種言語のライブラリでした。

OpenCV
FFmpeg
libopenshot

OpenCV

OpenCV は画像処理ライブラリとして有名ですが、動画にも対応しています。

動画フレームごとにデータを取り出して処理を行うといったことが可能です。

参考

FFmpeg

FFmpeg は、UNIX コマンドや共有ライブラリとして使用可能なソフトウェアです。

コマンドでちょっとしたことをしたい場合にも良いかもしれません。

参考

libopenshot

libopenshot は、OSS の動画編集ツール OpenShot の提供元の会社が出しているライブラリです。

OpenCV や FFmpeg の次くらいの知名度のようです。

参考

OpenShot 動画エディター | libopenshot | C++動画編集ライブラリ

その他、各種言語のライブラリ

その他、各種言語・プラットフォームに特有の動画編集ライブラリもあります。

例えば

MoviePy
mp4parser
MobileFFmpeg

などです。

参考

音声処理ライブラリ

ついでに音声処理ライブラリについても少しだけ調べてみました。

以下のページなどが、とっかかりとして良さそうでした。

動画配信サービス

続いて、動画配信サービスについて少し調べようと思ったのですが、どんなサービスがあるかは、Wikipedia の以下の 2 ページにまとまっていました。

動画配信ツール

最後に、動画のオンデマンド/ライブ配信でよく使われるツールについて書いていきます。

エンコーダ

そもそも YouTube などでライブ配信をする場合は、スマホや PC (または別途購入した Web カメラ) で撮影した内容を直接配信するか、「エンコーダ」を使うことになります。

撮影した内容そのままではなく、例えば複数のカメラの内容をくっつけて表示する場合は、その「撮影した内容をくっつけて 1 つの動画にする」という処理が必要になるわけです。

エンコーダとしてよく使われるのが

OBS (Open Broadcast Software)
XSplit Broadcaster

です。

なお、Zoom をエンコーダとして、画面共有などを活用してライブ配信することも可能です。

参考

キャプチャボード

エンコーダについて調べる中で出てきたので、キャプチャボードについても簡単に書いておきます。

キャプチャボードはゲームのオンデマンド/ライブ配信で使われるツールです。

ゲーム画面や音声を PC に送るために使います。

グリーンバック

その他、よく使われる道具として「グリーンバック」があると思います。

グリーンバックは、背景の合成などの目的で使われます。

「クロマキー合成」という仕組みを使っており、色がグリーンなのは、人の肌の色と補色の関係にあるためです。

参考: クロマキー合成とは？ | スタジオ撮影で良くあるグリーンバックの活用の仕方について

音声・動画・ストリーミングのデータの基本

Sun, 05 Dec 2021 04:53:39 GMT

音声・動画・ストリーミングについて、データフォーマットを起点に調べたことをまとめます。

取っ掛かりとして Wikipedia の以下のページから見始めて、気になる用語などを色々調べました。

ファイルフォーマット - Wikipedia

基本用語

まず、音声や動画データを扱う上で登場する、以下の 4 つの用語についてまとめます。

エンコード
デコード
コーデック
コンテナフォーマット

エンコード

音声や動画については、圧縮することをエンコードと言います。

参考: エンコード - Wikipedia

どのように圧縮しているかの概要は、以下のページが分かりやすかったです。

エンコードの仕組みとは？高精細な動画エンコードのためにおさえておきたい 5 つのポイント【前編】 - ブログ - Ｊストリーム

デコード

エンコードされた状態のデータはそのまま再生できないため、再生するときに行う処理がデコードです。

コーデック

エンコードとデコードが可能な装置やソフトウェア、アルゴリズムをコーデックと言います。

参考: コーデック - Wikipedia

コンテナフォーマット

複数のデータを 1 つのファイルにまとめる際の形式をコンテナフォーマットと言います。

例えば、

WAV
MOV (QuickTime file Format)
MP4

といったファイル形式は、コンテナフォーマットの一種です。

この中に音声・動画・チャプター・字幕などのデータを入れます。

参考: コンテナフォーマット - Wikipedia

なお、これらの用語については以下のサイトの解説も分かりやすいです。

動画・音声の規格について -コーデック・コンテナ-│ パソコン実践 BLOG -道すがら講堂-

なお、コンテナフォーマットと tar などのアーカイブの違いについては、少し調べても分かりませんでした。

音声ファイルフォーマット

次に、音声データについて書いていきます。

音声ファイルフォーマットとしてよく耳にするのは、

あたりだと思います。

WAV (または WAVE)

WAV は正確には音声データフォーマットではなく、音声データのためのコンテナデータフォーマットです。

WAV 自体は非圧縮で、内部には任意のデータを持つことができます。

保持するデータとしては、圧縮されていない音声データの場合もあれば、MP3 のデータを保存することも可能です。

WAF は圧縮されていない、MP3 は圧縮されている、という説明がされる場合もあるようです。

参考

MP3 (MPEG-1 Audio Layer-3)

MP3 は、音声データを圧縮したファイルフォーマットです。

ちなみに、Wikipedia によると MP3 と MP4 は直接関連がないそうです。

MP3 と MP4 の名称が類似していることから MP4 が同類の Audio Layer-4 と誤解されるケースが見受けられるが、MP4 はあくまで MPEG-4 の関連規格であり、直接の関連性はない規格である。

参考: MP3 - Wikipedia

音声データの処理

音声データの処理で登場する、フーリエ変換などについて少し触れておきます。

フーリエ変換

音声データは様々な周波数から成り立っているため、フーリエ変換で分解して扱うのが定番です。

参考

高速フーリエ変換

フーリエ変換をコンピュータで実行するにはそのためのアルゴリズムが必要です。

コンピュータで高速に (離散) フーリエ変換を実行するためのアルゴリズムが、「高速フーリエ変換」です。

スペクトログラム

音声データをフーリエ変換を利用して可視化したものがスペクトログラムです。

参考: スペクトログラム - Wikipedia

メル尺度

音声を人間の聴覚に基づいて変換する際の尺度として、メル尺度というものがあるそうです。

参考: メル尺度 - Wikipedia

動画ファイルフォーマット

続いて、動画ファイルフォーマットについてです。

よく登場する

MP4
MOV
H.264/MPEG-4 AVC

について書いていきます。

MP4 (MPEG-4 Part 14)

MP4 自体は動画のフォーマットではなく、コンテナフォーマットです。

内部に動画・音声・静止画・テキストを保存できます。

参考: MP4 - Wikipedia

MOV (QuickTime Movie)

MOV は、Mac OS を中心に使われている QuickTime のコンテナフォーマットです。

MP4 や MOV の中で保持される動画は、H.264/MPEG-4 AVC などの形式になります。

H.264/MPEG-4 AVC

H.264 (または MPEG-4 AVC) は、動画圧縮規格 1 つです。

参考: H.264 - Wikipedia

ストリーミング

最後に、音声や動画のストリーミングについてです。

参考: ストリーミング - Wikipedia

ストリーミングのプロトコル

ストリーミングに使われるプロトコル・API として、

HLS (HTTP Live Streaming)
WebRTC
RTMP (Real Time Messaging Protocol)

について書いていきます。

HLS (HTTP Live Streaming)

Apple による HTTP ベースのストリーミング・プロトコルです。

.m3u8 とい拡張子のファイルと、.ts という拡張子のファイルで実現されます。

仕組みについては、以下のページが分かりやすいです。

HLS とは？：ストリーミング配信を実現する技術 | 動画サイト運営ノウハウブログ by ソーシャルキャスト

HLS 以外にも、HTTP ベースのストリーミングプロトコルとして MPEG-DASH があり、YouTube もこれらを使っていると書いている記事もありました。

参考: YouTube はなんでライブ配信が“1 対多”でもスムーズなの？ - PHILE WEB

WebRTC

WebRTC は、Web 標準の P2P マルチキャスト配信の API です。

プロトコル自体は標準化されていないとのことです。

Web 会議ツールの実装などで使えるプロトコルとしてよく名前が挙がります。

(Zoom は WebRTC を使っていないそうです)

RTMP (Real Time Messaging Protocol)

IFTF で標準化されているストリーミングのプロトコルです。

多くのブラウザは直接対応していません。

ライブ配信などでよく使われる OBS (Open Broadcaster Software) は、RTMP を送出するツールのため、RTMP をサポートするサービスならどれでも利用可能なようです。

参考: Open Broadcaster Software - Wikipedia

オンラインセミナーを 2 年で 50 回やったうえでのナレッジ

Sat, 04 Dec 2021 06:12:27 GMT

この 2 年で 50 回くらいオンラインセミナーを実施（発表）したので、そのナレッジをまとめました。

以下の観点で書いていきます。

ツールの準備
申し込みページの準備
リハーサル
開催前日まで
当日、開催直前
開始時
終了時
終了後
その他

ツールの準備

まず、各種ツールの準備についてです。

ウェビナーツール (Zoom ウェビナーなど)

オンラインセミナーを開催するのであれば、そのためのツールが必要になります。

私は主に Zoom ウェビナーを使っていますが、他のものでも良いので、以下のような点を考慮して決めましょう。

参加者のカメラ・マイクを主催者側で OFF にしたりしやすいか
自動でレコーディング可能か

Zoom ミーティングなどで開催するケースもありますが、知り合いベースの会でない限りは、参加者は基本的にマイク・カメラ OFF にしてしまったほうが良いです。

特に参加者のマイクが ON になっていると、背後の雑音などで発表が聞きにくくなることが少なくありません。

参加者のカメラ・マイクを OFF にするといった管理がしやすいよう、ウェビナーに適したツールを使ったほうが望ましいです。

Q&A

Zoom ウェビナーには Q&A 機能がありますが、そういった機能のないツールを使う場合は、あらかじめ選んで試しておきましょう。

ミーティングツールやライブ配信サービスのチャットで代用することもできなくはないですが、チャットは流れてしまうため、見逃しが発生しやすいです。

できれば Q&A 用のツール・機能を使いましょう。

レコーディングデータの保存先

レコーディングしたデータはどこかに保存しておきましょう。

Google Drive などで良いと思います。

Web カメラ

参加者はカメラ OFF のほうが望ましいですが、発表者はカメラがあったほうが良いです。

スライドを映して話すとしても、少しでも顔が見える時間があったほうが、雰囲気が良いと感じてもらえる場合があります。

PC に付属のカメラでも大丈夫ですが、もし PC にカメラが付いていない場合は用意しましょう。

マイク

オンライン会議・オンラインセミナーにおいて、音質が悪いことは参加者に非常にストレスになります。

「音質はオンラインでのマナーのようなもの」といった言葉を見かけたことがあるのですが、私もその通りだと思います。

PC に付属のマイクでは音質が不十分なこともあるので、マイクは購入することをおすすめします。

ちなみに私は以下の 2000 円程度ピンマイクを使っていますが、このくらい安価なものでも十分です。

ピンマイクコンデンサーマイクコンパクト軽量 pc マイククリアサウンド収納ハードケース付き動画撮影音声収録スマホマイクカメラ対応マイククリップ・ホルダー

故障に備えて予備も常備しています。

有線 LAN

ネットワークは有線にしておいたほうが良いです。

最近は無線でも問題ないケースが多いとは思いますが、やはり有線のほうが安定します。

音質と同様、ネットワークの質は参加者のストレスに大きく関係してくるので、多少手間でもできるだけ対応しておきましょう。

申し込みページの準備

次に、申し込みページの準備についてです。

対象者・前提知識

これはオンラインに限らない話ですが、対象者と前提知識を明確にして、明記しましょう。

セミナーで満足度が高いかに関わる大きな要素の 1 つは、対象者と内容がどれだけフィットしているかです。

講座内容の作成とも大きく関係しますが、対象者と前提知識はとにかく明確にしましょう。

そして、必ず申し込みページに記載しましょう。

事前アンケート

これはオプショナルではありますが、申し込みフォームなどにちょっとしたアンケートを設けても良いです。

その場合、講座でどんな内容が聞きたいかを質問項目にしましょう。

あまりに質問項目が多いと回答時に離脱したくなるので、質問は最小限にしましょう。

メールアドレスの入力に注意

Zoom ウェビナーなどを開催する場合、申し込みフォームにメールアドレスを入力してもらい、メールで参加 URL を案内するケースがあります。

その場合、申し込みフォームに入力されたメールアドレスに入力ミスの可能性があることに注意しましょう。

こういった申し込みフォームでは、メールを 1 度飛ばしてクリックさせる本人確認までは実施しないことが多いです。

申し込み後、メールを確認してもらうよう画面に表示するなどして、確実にメールが届くようにしましょう。

リハーサル

次はリハーサルについてです。

リハーサルを実施する

まず、リハーサルは実施しましょう。

特に初めて実施する形式の場合などは必須です。

発表自体には慣れているとしても、講座の始まりと終わりの練習はしましょう。

リハーサルを実施していない場合、そのことは参加者として見るとかなり分かりやすいです。

しっかりしたセミナーである雰囲気を出すためには、リハーサルは必須です。

知り合いベースで一度開催する

オンラインセミナー自体初めての場合は、知り合いベースで一度クローズドに実施するのもおすすめです。

というのも、オンラインセミナーが初めての場合、声が聞こえているのかなどかなり不安になります。

参加者の顔が見えない中で話すイメージをつかんでおくためにも、一度知り合いと開催しておくと良いです。

デモンストレーションの確認

デモンストレーションを実施する場合は、できるだけ同じ手順を試しておきましょう。

練習と本番で少し手順を変えるだけでエラーになるといったことはよくあります。

場合によっては EC2 などのクラウド環境を活用して、サーバがきれいな状態からデモンストレーションが一通り可能か試しておきましょう。

デモ用のコードもバージョン管理したりデイリービルドを組んだりすると、再現性が担保できるようにもなっていきます。

開催前日まで

次に開催前日くらいまでにやっておきたい準備についてです。

発表資料の公開

発表資料を公開する場合、Speaker Deck などには事前にアップロードしておきましょう。

そういったサービスにアップロードすると資料が崩れるケースもあります。

当日ぎりぎりではなく、前日までにはアップロードを試しておきましょう。

参考: Google スライドを PDF 化すると日本語がかすれる問題に完全勝利する方法

ソースコードの公開

発表にデモンストレーションがある場合、ソースコードを共有してほしいと言われることが多いです。

公開する場合は、あらかじめ対応しておきましょう。

事後アンケート作成

開催後、満足度などを把握するにはアンケートが必須です。

Google Form などでアンケートを作成しておきましょう。

ちなみに細かい Tips ですが、満足度を 5 段階で入力してもらう場合は、「1 が非常に不満」・「5 が非常に満足」にしたほうが良いです。これを逆にすると、間違って逆の選択肢を選ばれることがかなり増えます。

当日、開催直前

続いて、当日の開催直前についてです。

PC・ルーター再起動

PC・ルーターを、できれば再起動しておきましょう。

何か問題が起こる可能性を少しでも減らしたいためです。

各種履歴削除

機密情報が映ったりしないよう、

エディタ・IDE
ターミナル
ブラウザ

の履歴を削除しておきましょう。

GitHub に注意

機密情報を映さないという観点では、GitHub にも注意が必要です。

自分のページにアクセスすると、参加している組織や、private リポジトリの名前・Issue などが見えてしまいます。

そのページにはアクセスしないか、シークレットウィンドウを使いましょう。

ブラウザのブックマークに注意

ブラウザのブックマークにも注意が必要です。

ブックマークバーは非表示かつ、できれば新しいタブを開いたときも表示されないようにフォルダに全て入れておいたりしましょう。

また、Chrome の場合しか分かりませんが、Chrome では、アドレスバーに検索したい文字列を入力した際、その文字列をタイトルに含むブックマークが表示されます。

ブックマークに機密情報がある場合は注意してください。

なお、これはシークレットウィンドウでも防げません。 (もしかすると、これを表示しない設定があるかもしれません)

ターミナル・エディタの文字サイズ変更

デモンストレーションなどでターミナルやエディタを使う場合、文字サイズは大きめにしたり、簡単に変更できるようにしておきましょう。

PC のメール・Slack・LINE などの通知を OFF にする

メールや Slack・LINE など、PC 上に通知が表示されるものは、通知を切っておきましょう。

通知音も鳴らないようにしておきましょう。

スマホをサイレントモードにする

通知を切るのと一緒に、スマホもサイレントモードまたは電源 OFF にしておきましょう。

運営側でマイクチェック

運営側で、音声がしっかり入っているかチェックしておきましょう。

入室可能にするタイミングでは、タイトルスライドだけ表示

オンラインセミナーでプロっぽさを出すには、入室可能にするタイミングで、

発表者のカメラ・マイク OFF
タイトルのスライドが画面共有されている

というのが良いです。

スライドにはタイトルと一緒に「HH:mm 開始です。時間までしばらくお待ちください」といったメッセージも入れておきましょう。

開始時

次は、オンラインセミナー開始時についてです。

音声チェック

時間になったらカメラ・マイクを ON にして、開始しましょう。

そのタイミングで、音声が聞こえているか確認するのがおすすめです。

私は Zoom ウェビナーであれば「手を挙げる」といったボタンがあるので、そちらで反応をもらいます。

ご案内事項について

本題に入る前に、諸注意などのご案内事項を説明しましょう。

内容としては、

質疑の仕方
資料の URL 共有
録画・画面キャプチャの可否

あたりになります。

質疑については、終了後にまとめてよりも、適宜いただいて回答するほうが個人的には好みです。

自己紹介

ご案内事項の話が終わったら、自己紹介をしましょう。

あとは講座内容を進めていきます。

終了時

事後アンケート

講座終了時には、アンケートへの回答をお願いしましょう。

退室後だとアンケートに回答してもらえる比率は下がるので、退室する前に回答してもらいましょう。

多くの場合、講座の最後に質疑の時間をとると思いますが、アンケートはその前にお渡しして、「アンケート + 質疑の時間」のようにするのがおすすめです。

これらの講座開始時・終了時の流れは、あらかじめスライドにしておきましょう。

終了後

最後に、講座終了後にすることです。

アンケート結果を見てみる

アンケートはとったら終わりではなく、しっかり結果を確認しましょう。

その内容を踏まえて、次回の講座を改善しましょう。

記事を書いたりする

記事にして良い講座であれば、実績として残るよう、開催したことを記事にしたりしましょう。

その他

チェックリストを作る

ここまで色々な項目を出してきましたが、これを漏れなく実施するにはチェックリストが必要です。

自分なりに使いやすいチェックリストを作って、適宜改善していきましょう。

ホワイトボードを使ってみる

個人的に、ホワイトボードを使った講座をよく開催します。

スライドより好評なケースもあるので、興味があれば活用してみてください。

おわりに

以上、50 回くらいオンラインセミナーを実施した上で、そのナレッジをまとめてみました。

最近は YouTube などのライブ配信もどんどん浸透してきていますが、オンラインセミナーに通じる部分があるように感じます。

ライブ配信系のナレッジも調べたりしてみると、もっと色々工夫できるかもしれません。

画像処理ライブラリのざっくりまとめ

Fri, 03 Dec 2021 12:37:48 GMT

画像処理のライブラリとしては OpenCV が有名だと思いますが、改めて定番のライブラリを調べてみました。

以下の 5 つについて概要を書いていきます。

OpenCV
Pillow
ImageMagick
cairo
Graphviz

OpenCV

画像処理に関する最も定番のライブラリです。

C/C++、Java、Python などに対応しています。

OpenCV でできることなどの概要は、以下のスライドが分かりやすいです。

画像処理ライブラリ OpenCV で出来ること・出来ないこと

Pillow

Pillow は Python の画像処理ライブラリです。

OpenCV を使うほどでもない簡単な画像処理でよく使われています。

参考: Python の画像処理ライブラリ Pillow(PIL)の使い方 | note.nkmk.me

ImageMagick

ImageMagick は、コマンドラインや各種プログラミング言語で利用可能な画像処理ツールです。

コマンドラインで使えるというのが、ちょっとしたときに便利かもしれないなと思いました。

ただ、ImageMagick について調べると以下のような記事がすぐヒットするので、利用の際はこれらを読んでしっかり考えたほうがよさそうです。

cairo

cairo はベクトルベースの描画 API です。

様々なプログラミング言語で利用可能です。

入門としては、以下の記事が分かりやすいです。

cairo： 2 次元画像描画ライブラリ

Graphviz

画像処理とは少し違いますが、グラフの描画と言えば Graphviz です。

DOT 言語で記述されたグラフ構造を描画できます。

その他のライブラリ

その他、以下の記事も参考になります。

CV と CG の違い

ここまで調べていて CV (Computer Vision) と CG (Computer Graphics) の違いが気になったので、それも調べてみました。

ざっくり言うと、

CV (Computer Vision) … 画像処理やパターン認識など、画像の操作に関する分野
CG (Computer Graphics) … コンピュータでグラフィックスを作り出す分野

ということのようです。

参考: Computer Vision and Computer Graphics

画像処理に入門するには

いろいろ調べる中で、画像処理の入門としてはオライリーの『実践コンピュータビジョン』がとても良さそうでした。

後日購入して読もうと思います。

画像編集ソフト比較の観点と定番の選択肢

Fri, 03 Dec 2021 12:26:30 GMT

画像編集に興味があり、どのようなソフトを使うといいのか、比較の観点と定番の選択肢についてまとめました。

比較の観点

画像編集ソフトを比較する観点については、以下の記事が参考になりました。

【2021 年版】タイプ別おすすめ画像・写真編集ソフト集（無料・有料）

具体的には、

デスクトップアプリか、Web サービスか
有料か、無料か
RAW 現像ソフトか、画像加工ソフトか

という 3 つの観点があるようです。

RAW 現像について

RAW 現像という単語を聞いたことがなかったので調べてみたところ…

そもそもカメラで撮影した画像は「RAW」と呼ばれる形式で保存される
「RAW」では扱いにくいため、JPEG などに変換して使われる
その変換のことを「RAW 現像」と呼ぶ

とのことです。

参考: 【無料 & 有料】RAW 現像ができるおすすめ写真編集ソフト

定番の選択肢

「RAW 現像」について分かったところで、画像編集ソフトを

有料デスクトップアプリ
無料デスクトップアプリ
Web サービス

の分類で見ていこうと思います。

※ 個人的な興味が RAW 現像ではなく画像加工のほうなので、そちらに対応しているソフトを中心に見ていきます

有料デスクトップアプリ

画像編集に関する有料デスクトップアプリとしては、やはり

Photoshop
Illustrator

が最も有名でよく使われていると思います。

そのため、他のツールは Photoshop と互換性があるかが選定の観点の一つになっているようです。

Photoshop はビットマップ画像、Illustrator はベクター画像の扱いに長けており、使い分けが必要です。

(そもそも、Illustrator は画像編集ソフトと呼んでいいのか微妙かもしれません)

無料デスクトップアプリ

無料のデスクトップアプリとして、以下の 5 つのページを見て気になったものを紹介しようと思います。

見たところ、

GIMP
Pixia
Photo Scape

あたりが特に定番のようです。

特に気になったのは GIMP で、その理由は以下の 3 つです。

OSS である
日本語の書籍が何冊もある
スクリプトによる自動化が可能

Web サービス

画像編集が可能な Web サービスについては、以下のようなものがあるようです。

Photopea
Canva
Desygner
PIXLR
Pixer.us
befunky
Foto Flexer
Fotor

価格は無料であったり、基本無料で有料版もあるようなサービスが多いです。

ちょっとした加工などであれば、こういったサービスを使うのがいいかもしれません。

参考

画像ファイルフォーマットの基本

Wed, 01 Dec 2021 15:41:25 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 2 日目の記事です。

はじめに

画像ファイルフォーマットの基本について調べたことをまとめます。

画像ファイルフォーマットの分類

画像ファイルフォーマットについては、Wikipedia の以下の 4 つの記事がとっかかりとして良いです。

最近よく見る画像ファイルフォーマットを分類すると、以下のようになります。

ビットマップ画像 (ラスター形式)
- PNG
- JPEG
- GIF
- WebP
ベクター画像 (ベクター形式)
- SVG
その他、一緒に知っておきたいファイルフォーマット
- PDF

順に概要を見ていきます。

ビットマップ画像 (ラスター形式)

ピクセル単位で色の情報を持っているのがビットマップ画像です。

PNG・JPEG・GIF の比較については、以下の記事が参考になります。

PNG (Portable Network Graphics)

特徴

基本的にフルカラー (24 bit)
可逆圧縮

なお、「フルカラー - Wikipedia」によると、24 bit カラーをフルカラーと呼ぶことが多いとのことです。

24 ビットカラー（16,777,216 色）、トゥルーカラー（truecolor, true colors）。(中略) 現代のパソコン業界では、トゥルーカラーのみをフルカラーと呼ぶことが多い。

JPEG (Joint Photographic Experts Group)

特徴

フルカラー (24 bit)
基本的に非可逆圧縮

GIF (Graphics Interchange Format)

特徴

256 色 (8 bit)
可逆圧縮
アニメーションをサポート

WebP (ウェッピー)

WebP は、Google が開発した圧縮率の高い画像形式です。

特徴

可逆圧縮・非可逆圧縮

参考: WebP とその他画像形式の違いとは？3 つのメリットと変換方法解説

ベクター画像 (ベクター形式)

画像を幾何学的な図形として表現するのがベクター形式です。

SVG (Scalable Vector Graphics)

ベクター画像と言えば SVG だと思います。

SVG は、XML ベースのベクター画像形式です。

その他、一緒に知っておきたいファイルフォーマット

PDF (Portable Document Format)

PDF は、Adobe が開発した文書フォーマットです。

現在は ISO 32000-1 として標準化されています。

PDF 自体は画像ではないです (画像に分類されているケースもあります) が、内部にベクター画像やラスター画像を保持することもできます。

参考: Portable Document Format - Wikipedia

画像ファイルをよく見てみる

さて、これだけで終わっては面白くないので、画像ファイルをよく見てみたりしようと思います。

PNG

「File:Lenna (test image).png - Wikipedia」からレナ画像を取得します。

curl https://upload.wikimedia.org/wikipedia/en/7/7d/Lenna_%28test_image%29.png > Lenna.png

hexdump で見てみると、以下のようになります。

$ hexdump -C Lenna.png | head
00000000  89 50 4e 47 0d 0a 1a 0a  00 00 00 0d 49 48 44 52  |.PNG........IHDR|
00000010  00 00 02 00 00 00 02 00  08 02 00 00 00 7b 1a 43  |.............{.C|
00000020  ad 00 00 00 01 73 52 47  42 00 ae ce 1c e9 00 07  |.....sRGB.......|
00000030  3a a1 49 44 41 54 78 da  ec e1 5d 92 6d 5b 92 1d  |:.IDATx...].m[..|
00000040  e6 8d e1 ee 73 ae b5 23  e2 9c 7b 33 ab 20 08 e4  |....s..#..{3. ..|
00000050  8b 5a 20 a3 8c 46 51 a4  f1 4f 25 a3 99 3a 23 a3  |.Z ..FQ..O%..:#.|
00000060  00 ea 55 0d 50 e3 d4 00  51 a4 c1 00 92 48 20 ab  |..U.P...Q....H .|
00000070  b2 f2 de 7b 22 f6 5e 6b  4e 77 1f 4a b5 03 f9 7d  |...{".^kNw.J...}|
00000080  fc d7 ff af ff 27 80 c2  09 6d b7 0b af b4 c7 a1  |.....'...m......|
00000090  24 a6 77 5e ae a3 b4 3b  7f f8 e3 bd 92 bd 16 c6  |$.w^...;........|

「Portable Network Graphics - Wikipedia」によると PNG の先頭 8 バイトは

「89 50 4E 47 0D 0A 1A 0A」

とのことですが、確かにその通りになっています。

なお、「vim でバイナリを編集する - Qiita」という記事を参考に、vim -b と :%!xdd でバイナリを見てみると、最初の 10 行は以下のようになります。

00000000: 8950 4e47 0d0a 1a0a 0000 000d 4948 4452  .PNG........IHDR
00000010: 0000 0200 0000 0200 0802 0000 007b 1a43  .............{.C
00000020: ad00 0000 0173 5247 4200 aece 1ce9 0007  .....sRGB.......
00000030: 3aa1 4944 4154 78da ece1 5d92 6d5b 921d  :.IDATx...].m[..
00000040: e68d e1ee 73ae b523 e29c 7b33 ab20 08e4  ....s..#..{3. ..
00000050: 8b5a 20a3 8c46 51a4 f14f 25a3 993a 23a3  .Z ..FQ..O%..:#.
00000060: 00ea 550d 50e3 d400 51a4 c100 9248 20ab  ..U.P...Q....H .
00000070: b2f2 de7b 22f6 5e6b 4e77 1f4a b503 f97d  ...{".^kNw.J...}
00000080: fcd7 ffaf ff27 80c2 096d b70b afb4 c7a1  .....'...m......
00000090: 24a6 775e aea3 b43b 7ff8 e3bd 92bd 16c6  $.w^...;........

PNG のバイナリを Vim などで編集するのは、圧縮されていたりするためとても難しいです。

Python の Pillow などのライブラリを使うと 8bit ずつの RGB などを簡単に取得できたり編集できたりしますが、内部で色んなことをやってくれているんだなと実感します。

そのあたりについて、以下の記事は自前でいろいろ処理していてとても面白いです。

PNG を読む - Qiita

SVG

「SVG 入門 - とほほの WWW 入門」を参考に、ちょっとした SVG ファイルを作ってみます。

SVG はただのテキストファイルなので、エディタで作ることも可能です。

以下のような SVG ファイルを作成すると…

<?xml version="1.0"?>
<svg xmlns="http://www.w3.org/2000/svg" x="0" y="0" width="200" height="200">
  <circle cx="100" cy="100" r="100" stroke="black" fill="#fff" stroke-width="1" />
</svg>

円が表示されました。

PDF

最後に、PDF のファイルフォーマットについて面白い記事をいくつか見かけたので、リンクを貼っておきます。

おわりに

以上、画像ファイルフォーマットの基本について調べたり、少し中身を見てみました。

画像ファイルをバイナリレベルで見るようなことはなかなかないと思いますが、少し覗いてみようとするだけでも結構勉強になりました。

関連して、画像処理のアルゴリズムをまとめている良さそうなサイトも見かけたので、リンクを貼っておきます。

画像処理　画像処理ソリューション

「画像・動画・音声処理および XR ひとりアドベントカレンダー」について

Wed, 01 Dec 2021 13:09:24 GMT

画像・動画・音声処理および XR 一人アドベントカレンダー 1 日目の記事です。

このアドベントカレンダーについて

今年も 12 月になりました。12 月といえば、アドベントカレンダーという形式で記事を書くイベントがあると思います。

昨年は初めてのひとりアドベントカレンダーということで、「じゃんけんアドベントカレンダー」というものに挑戦しました。

正直かなり苦しかったのですが、今年もやっていこうと思います。

今年のテーマは、最近自分が勉強したいと思っている「画像・動画・音声処理および XR」についてです。

これらの分野を強制的にキャッチアップするよう、毎日少しずつ勉強してその内容を記事にしていこうと思います。

ということで、「画像・動画・音声処理および XR ひとりアドベントカレンダー」の始まりです。

余談：「メタバースひとりアドベントカレンダー」という名前にしようかと思いましたが、やめておきました。興味の方向性としてはそんなかんじです

今日のテーマ

さて、自分は現在、画像・動画・音声データの取り扱いや、XR について完全素人です。

画像・動画・音声については、画像の平準化程度の変換をちょっとしたことがあったり、動画をツールで HLS 形式に変換して Web アプリに組み込んだことがあったりする程度です。

XR については、今年の秋に Oculus Quest 2 を買ったのですが、先に手を出したいことがあったので未開封で放置されています。

そんな全然何も知らない状態から勉強していくため、まず今日は、自分が聞いたことがある要素などを洗い出してみようと思います。

今日挙げた要素を起点にして、明日以降いろいろ勉強してみます。

画像

まずは画像について気になる要素を挙げてみます。

画像データの形式
- PNG
- JPEG
- GIF
- SVG
画像処理アルゴリズム
画像編集ソフト
画像処理ライブラリ
OpenCV

なんとなく知っていることもありますが、基本的なデータ形式や画像処理アルゴリズムも改めて勉強したいなと思っています。

機械学習

画像に関する機械学習が登場する要素として、以下のようなものも気になっています。

画像認識
物体検出
顔認識
各種トレーニング済み API

動画

次に動画についてです。

動画データの形式
- MP4
- コーデック
- エンコード
物体検出
動画編集ソフト
動画編集ライブラリ
CD・DVD・BD

動画については全然何も知らないです。

コーデック・エンコードといった言葉も聞いたことがある程度なので、そのあたりの基本から勉強したいです。

動画配信

最近は YouTube などでの動画配信も流行していると思います。

動画配信関連では以下の要素が気になっています。

動画配信サービス
ストリーミングデータの形式
- HLS (HTTP Live Streaming)
OBS

クラウド

仕事で AWS などを扱う機会も多いので、動画と関連するクラウドサービスも知っておきたいです。

Amazon Elastic Transcoder
AWS メディアサービス
各種トレーニング済み API

音声

続いて音声についてです。

音声データの形式
音声認識
文字起こし
機械音声
ボイスチェンジャー
各種トレーニング済み API

音声については動画以上に全くよく分かっていませんが、興味としてはしっかり理解したい分野です。

XR

続いて、XR についてです。

VR・AR 意外に MR というジャンルがあるらしいことは知っていますが、何を指しているのか理解していないので改めて調べたいです。

個人的に本命は VR で、VR まわりはもっと細かく色々勉強したいことがあります。

VR SNS・VR エンジン

VR SNS などが自分の知りたいことの中でかなり本命です。

VRChat
Second Life
Sansar
Cluster
NeosVR
- LogiX
VKet Cloud

現在最も広く認知されている VRChat をはじめとして、個人的に大本命の NeosVR には絶対手を出したいです。

NeosVR では、LogiX なるものでプログラミングできるというのを耳にしています。

アバター

VR のアバターについても気になるところです。

VR アバター
Live2D
モーションキャプチャ

関連して、ゲームや VTuber などで使われている Live2D という技術も気になっています。

デバイス

XR 関連のデバイスについても知りたいです。

VR ヘッドセット
VR ゴーグル
HMD

現状では、これらの用語の違いも分かってないです。

クラウド

XR 関連のクラウドサービスも気になります。

AWS Sumerian
NVIDIA CloudXR

モバイル

モバイル関連で聞いたことがあるものも挙げておきます。

ARCore
ARKit

サービス・団体・イベント

XR についてはかなり気になっているので、既存のサービスや法人など、有名どころをおさえて今後情報収集できるようにしたいです。

XR サービス
XR 関連法人
XR 関連研究室
XR 関連イベント

基礎技術

ここからは、上記の技術の基礎になっていそうなものや、関連して気になる要素などを挙げていきます。

CG

まずは CG (Computer Graphics) についてです。

CG 全般
3D モデリング
Blender
ホログラム

今は一切知識がないですが、知りたい分野です。

GPU

最近は機械学習で GPU に触れるようになってきたのですが、GPU について知らなすぎてハマることが多いので、この機会に勉強したいです。

GPU の仕組み
CUDA
nouveau
OpenCL

もちろん GPGPU ではないグラフィックス用途も勉強したいです。

Web

Web での関連技術も気になります。

WebGL
WebGPU

機械学習

画像・動画などの処理と関連して、GAN についても学びたいです。

GAN (敵対的生成ネットワーク)

数学

きっと登場するんだろうなという数学の分野を挙げてみます。

線形代数
フーリエ変換
- FFT

応用的な技術

最後に、応用的な分野についてふれてみます。 (応用的というのは個人の主観です)

ゲーム

まずはゲームについてです。

ゲームエンジン
- Unity
- Unreal Engine
Steam
XR ゲーム

XR の話題でゲームエンジンが出てくることもあるので、その辺りを中心におさえたいです。

アート

少しずれているかもしれませんが、アート系にも興味があります。

デジタルアート
メディアアート
Processing

ブロックチェーン

最後に、メタバースと一緒によく話題にされるブロックチェーン関連です。

NFT
NCR (Neos クレジット)

NFT は仕組みを全く分かっていないので、仕組みを勉強したいです。

また、NCR という通貨が気になります。

おわりに

以上、ひとまず初日の記事として、今後勉強したいテーマを書き出してみました。

明日以降、これらについて調べて記事を書いていこうと思います。

数がかなりありますし、まずはそれぞれ浅く調べてみて、より自分が深掘りしたい分野を探していくつもりです。

【2021 年 11 月】読んだ本の記録

Wed, 01 Dec 2021 03:32:23 GMT

個人の記録として、2021 年 11 月に読んだ本をまとめます。

機械学習

最短コースでわかる PyTorch ＆深層学習プログラミング

PyTorch の入門の勉強会に参加したため、その後の練習としてこちらの書籍を読み、実際にさわってみました。

こちらの書籍は PyTorch に入門するのにちょうど良い難易度でした。

ディープラーニングの理論については、『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』などで別途学ぶのがおすすめです。

FastAPI

基礎から学ぶFastAPI実践入門

最近ちょっとしたデモンストレーションなどで FastAPI をさわる機会が多くなっていたので、こちらの本に目を通してみました。

簡単な解説ではありますが、FastAPI の使い始めで知っておきたいことがある程度まとまっており、入門の際の選択肢の 1 つになると思います。

Go

スターティングGo言語

プログラミング言語Go

Go 言語について改めて勉強しようと、こちらの 2 冊を手に取りました。

2 冊とも、「他の言語の経験がしっかりある上で Go を学ぶ」という際に良い本でした。

Go をなんとなく書いているという段階からレベルアップしたいという方にもおすすめできます。

AWS

AWSコンテナ設計・構築［本格］入門

2021 年 10 月発売で、結構注目されていた本だと思います。

コンテナ周りはもともとある程度知見があったのですが、最近のサービスのアップデートについてなど、勉強になる内容もありました。

Docker や Kubernetes についての解説書はたくさんありますが、Amazon ECS を手厚く解説しているのはこの書籍が現状唯一であり、ECS のキャッチアップの際にはとてもおすすめです。

データエンジニアリング

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]

データエンジニアリングや MLOps まわりをしっかりキャッチアップしておこうということで、こちらの本を読みました。

過去にも GCP のデータエンジニアリング関係の書籍を読んでいましたが、サービスのアップデートも多いため、新しい情報を得ることができて良かったです。

GCP のデータエンジニアリングについて学びたい場合は、現状こちらが一番おすすめの本になります。

おわりに

以上、11 月は 6 冊の本を読みました。

11 月はふと思い立ってデータ構造とアルゴリズムの勉強をし始め、実際にコードを書いたりする時間をとっていたため、読書量は先月に引き続き普段より少なくなってしまいました。

12 月は読書の習慣を復活するよう、何か工夫してみようと思います。

データアクセスのパターンと、ActiveRecord や Eloquant による Repository の実装について

Wed, 01 Dec 2021 02:09:43 GMT

はじめに

アプリケーション・アーキテクチャについて議論する中で、最近は DDD の戦術的設計やクリーンアーキテクチャなどがキーワードとして解説されることが多いです。

そんな中、データアクセスの実装については Repository 意外の情報源が少なく、また Repository についても「データアクセス用のクラス」くらいの曖昧な定義で使われているケースも多いと思います。

この記事では、そんなデータアクセスのパターンについて改めて整理し、よく見かける議論の 1 つである「Rails の ActiveRecord や Laravel の Eloquant による Repository の実装」についても考察してみます。

注意事項

内容の正確性について

この記事はドメイン駆動設計に関する各種書籍や PoEAA などを参考にしていますが、情報源によって同じ言葉が違う意味で使われていることがあります。

できるだけよく使われている意味で整理しようとしていますが、筆者の主観が入っている部分もありますので、ご了承ください。

用語について

記事の中で

ビジネスロジック
データアクセス
ドメインモデル

という用語を使いますが、こちらは過去に書いた

「ビジネスロジック」とは何か、どう実装するのか - Qiita

という記事内と同じ意味で使っています。

また、上記の記事の「コアなルール」のことを「ドメインロジック」と表現させていただきます。

表記について

記事の中で書籍『エンタープライズアプリケーションアーキテクチャパターン』を参考にしている箇所では『PoEAA』と省略表記させていただきます。

データアクセスのパターン整理

それでは本題に入ります。

この記事では、まず最初にデータアクセスについて以下の 3 つのパターンを整理してみます。

Table Data Gateway パターン
ActiveRecord パターン
Repository パターン

細かく分類すればもっと多数のパターンに分けられますが、まずはこのくらいの分類が分かりやすいのではないかという考えです。

また、これらと併用して QueryService というクラスを設けるケースもありますが、そちらの説明は今回は省略します。 QueryService については以下の記事が非常に分かりやすいです。

CQRS実践入門 [ドメイン駆動設計] - little hands’ lab

では、ここから上記の 3 パターンについて書いていきます。

Table Data Gateway パターン

Table Data Gateway パターンをざっくり言えば、DB のテーブルと 1 対 1 に対応するデータアクセス用のクラスを設けるというものです。

Java 界隈には Data Access Object (DAO) と呼ばれるパターンがありますが、DAO は Table Data Gateway と同じものを指していると言われています。

実装イメージ

擬似言語による実装イメージは以下のようになります。

TaskTableDataGateway {
  find(id)
  findWithName(name)
  insert(name)
  update(id, name)
  delete(id)
}

※ メソッド名は『PoEAA』p153 を参考にしています。

メリット

DB のテーブルと 1 対 1 に対応するクラスを作成してデータを取り出すのは、非常にシンプルで理解が簡単です。

デメリット

呼び出し側がデータモデルを意識することになります。例えば Service から Table Data Gateway を呼び出す場合、ビジネスロジックがデータモデルに依存することになります。

また、Service クラスが Table Data Gateway を呼び出すようなアーキテクチャの場合、1 つの Service クラスが必要とする Table Data Gateway の数がかなり多くなるケースがあります。

さらに、Order と OrderDetail など、同時に DB からロードすべきデータを同時にロードすることを保証できず、ビジネスロジック層でオブジェクトの整合性がとれていない瞬間を生んでしまいます。

なお、これら 3 つのデメリットは、Repository パターンを使うことで解消可能です。

ActiveRecord パターン

続いて、ActiveRecord パターンについてです。

ActiveRecord という単語で Ruby on Rails の OR マッパー「ActiveRecord」を思い浮かべる方も多いと思いますが、それは ActiveRecord パターンを実装したものです。

同様に、Laravel の Eloquant も ActiveRecord パターンを実装した OR マッパーです。

ActiveRecord パターンでは、ドメインモデルを DB のテーブルと 1 対 1 対応させ、データアクセスのメソッドも持たせます。（ここで言うドメインモデルは、データとドメインロジックを持つクラスのことです）

実装イメージ

擬似言語による実装イメージは以下のようになります。

Task {
  id
  name

  isAssigned()

  insert()
  update()
  delete()
}

※ メソッド名は『PoEAA』p170 を参考にしています。

このように、

id、name といったデータ
isAssigned といったドメインロジックのメソッド
insert や update、delete のようなデータアクセスのメソッド

を同じクラスが持つことになります。

※ メソッド名は OR マッパーにより異なる場合があります

メリット

ActiveRecord パターン最大のメリットは、Rails の ActiveRecord や Laravel の Eloquant といった ActiveRecord 系の OR マッパーを使うことで、非常に低コストで実装できることです。

また、これらのフレームワークは近年プログラミングの入門として選択されることも増えており、経験のあるエンジニアが多いです。

デメリット

ActiveRecord パターンでは、ドメインモデルと DB が 1 対 1 対応になるため、ビジネスロジックはデータモデルと強く結合します。

また、1 つのクラスがドメインモデルとデータアクセスという複数の役割を持つことになってしまいます。

Repository パターン

最後に Repository パターンです。

Repository パターンは、コレクションライクなインタフェースで、「集約」という単位でデータを読み書きするデータアクセスのパターンです。

今まで紹介した 2 パターンと異なり、Repository は DB と 1 対 1 対応させるのではなく、ドメインモデルの都合でデータアクセスを取り扱います。

実装イメージ

擬似言語による実装イメージは以下のようになります。

TaskRepository {
  taskOfId(id)
  taskOfName(name)
  save(task)
  remove(task)
}

※ メソッド名は『実戦ドメイン駆動設計』p405 を参考にしています。

これだけ見ると Table Data Gateway パターンと同じように見えるかもしれませんが、

Table Data Gateway は DB のテーブルと 1 つと対応
1 つの Repository に対応する DB のテーブル数は状況次第

といった違いがあります。

この違いについては以下の記事が非常に分かりやすいです。

やはりお前たちのRepositoryは間違っている - Qiita

メリット

Repository を使うと、Repository を呼び出すビジネスロジック層が、データモデルに依存しなくなります。そのため、ヘキサゴナルアーキテクチャ・オニオンアーキテクチャ・クリーンアーキテクチャなどで語られる、依存性逆転が可能になります。

また、Table Data Gateway とは異なり、Service などのクラスに多数必要とされにくくなったり、ロードしたオブジェクトの整合性のない状態を防ぐことができます。

デメリット

Repository パターンのメリットや目的を理解するのは、他のパターンと比べて何段階か難易度が高いです。

そのため、どんなパターンなのか理解しているエンジニアも少ないです。

どのパターンを使うか

ここまで、最近の開発でよく見かけるデータアクセスのパターンを整理してきました。

この中のどのパターンを使うかですが、「上記のメリット・デメリットを踏まえて、今回の状況ではどうするかを考える」というのが私の意見です。

例えば、「DDD だから Repository じゃないと絶対にダメ」といったことは必ずしもなく、トレードオフを理解した上で ActiveRecord パターンを採用してもいいと思います。

それ以上に前提として理解しておくべきポイントとして、どのパターンを使うかは、

ビジネスロジック層とのインタフェース
データアクセス層の内部実装

の 2 箇所について検討する必要があります。

ビジネスロジック層とのインタフェース

データアクセスの処理は主に Service (または ApplicationService、UseCase。アーキテクチャによっては Controller) といったクラスから呼び出すことになりますが、呼び出し先として

Table Data Gateway
ActiveRecord
Repository

のどれを使うか、という議論がまずあります。

これは各パターンのメリット・デメリットを踏まえて決めることになります。

その内部実装についてが少しややこしいかもしれません。

データアクセス層の内部実装

ActiveRecord パターンを採用する場合は、ActiveRecord 系の OR マッパーを使うことが多いです。しかし、Table Data Gateway や Repository を使う場合は、その内部を自前で実装することが多いです。

ここでは特に Repository の内部実装について書いていきます。

Repository の内部実装の方法

Repository の内部を実装する際は、何らかの OR マッパーを使うことが多いです。

OR マッパーとしては、

SQL とマッピング方法の 2 つを書く方式
流れるようなインタフェース (fluent interface)
JPA などの狭義の OR マッパー
ActiveRecord 系の OR マッパー

などがあります。

また、Table Data Gateway を Repository の内部実装として使うといったこともできます。

Repository と他のデータアクセスパターンの関係

ここでポイントは、Repository の内部に Table Data Gateway や ActiveRecord が登場するケースがあることです。

つまり、Table Data Gateway や ActiveRecord には、

Repository は使わず、ビジネスロジック層とのインタフェースを Table Data Gateway (または ActiveRecord) にする
ビジネスロジック層とのインタフェースは Repository とし、内部実装を Table Data Gateway (または ActiveRecord) にする

といった選択肢があるということになります。

最後に、後者の「ビジネスロジック層とのインタフェースは Repository とし、内部実装を Table Data Gateway (または ActiveRecord) にする」パターンについて書いていきます。

Rails の ActiveRecord や Laravel の Eloquant による Repository の実装について

Rails の ActiveRecord や Laravel の Eloquant といった ActiveRecord 系の OR マッパーは広く使われています。そのため、「Rails や Laravel にクリーンアーキテクチャを適用する」といった目的で、Repository の内部実装として ActiveRecord や Eloquant が使われている例を見かけることがあります。

これに対して、「Rails の ActiveRecord や Laravel の Eloquant を使うなら、基本的に Repository は設けないほうが良い」というのが今の私の考えです。

理由は主に 2 つあります。

理由 1

ActiveRecord パターンはデータベースと密結合になる代わりに実装コストを下げるのがメリットであり、Repository パターンとは逆の特徴を持ちます。

そのため、ActiveRecord と Repository を組み合わせると、ActiveRecord パターンのメリットは得られなくなります。

Repository パターンを採用する前提で、Repository の内部実装にすぎないと割り切って ActiveRecord 系の OR マッパーを使うことはありえなくはないですが、あまりメリットは大きくないと思います。

理由 2

ActiveRecord 系の OR マッパーが付属するフレームワークとして有名な Rails や Laravel は、ヘキサゴナルアーキテクチャ・オニオンアーキテクチャ・クリーンアーキテクチャといった、Repository パターンを活かせる設計と相性がよくないとも考えています。

ヘキサゴナルアーキテクチャ・オニオンアーキテクチャ・クリーンアーキテクチャといった設計は、クラス数が増える代わりに疎結合で変更に強くなるといった特徴があります。

これは Rails や Laravel などのスタンダードな実装とは対局にあり、言語としても、静的型付けのものを採用した方が相性が良いと思います。

落としどころ

以上の理由から、「Rails の ActiveRecord や Laravel の Eloquant を使うなら、基本的に Repository は設けないほうが良い」と考えています。

Rails や Laravel でアーキテクチャを改善するのであれば、

Request クラスや Response クラスをしっかり定義する
Model にしっかりメソッドを持たせ、適宜 ValueObject を作る
ユースケースは UseCase (または Service、ApplicationService) クラスに分離する

といったところから着手するのが望ましいと思います。

例えば以下の書籍や記事が非常に参考になります。

この内容と関連して、自分も過去に以下のような関連記事を書いています。

「Controller にビジネスロジックを書くな」の対応パターン - Qiita

おわりに

以上、データアクセスのパターンについて考えていたことをまとめました。

他にも様々な実装方法があると思いますが、勉強中の方の理解のとっかかりになれば嬉しく思います。

用語の定義など含め、ご指摘事項などあれば Twitter の DM などでいただけますと幸いです。

参考書籍

以下、自分が過去に書いた関連記事です。

【2021 年 10 月】読んだ本の記録

Mon, 01 Nov 2021 05:29:09 GMT

個人の記録として、2021 年 10 月に読んだ本をまとめます。

CPU について

プロセッサを支える技術 ― 果てしなくスピードを追求する世界

現代のプロセッサがどのようにして高速化されているのかなどを解説した書籍です。

この 1 冊で、パイプライン処理やスーパースカラなど、色々なキーワードを学ぶことができました。

CPU の基本は分かった上で読んだ方が良いので、事前に

あたりを読んでから手に取るのがおすすめです。

デジタル回路について

基本からわかるディジタル回路講義ノート

こちらはデジタル回路の勉強用に購入しました。

デジタル回路の基本から、順序回路・組合せ回路まで、一通りざっと勉強できました。

本を読むだけでは定着しにくい内容なので、章末に練習問題があるのが結構よかったです。

電子工作について

わかる！電子工作の基本 100

電子工作についてもイマイチよく分かっていないと感じていたので、こちらの本を読みました。

「電子工作を始めてみたけど回路がよく分からない」というタイミングで非常に良い本でした。

トランジスタのなどの部品の基本からマイコンの入門まで、必要な知識をざっとおさえられる内容でした。

CCNA 関連

シスコ技術者認定教科書 CCNA 完全合格テキスト&問題集[対応試験]200-301

徹底攻略Cisco CCNA問題集［200-301 CCNA］対応徹底攻略シリーズ

シスコ技術者認定教科書 CCENT/CCNA Routing and Switching ICND1編 v3.0 テキスト&問題集［対応試験］100-105J/200-125J

シスコ技術者認定教科書 CCNA Routing and Switching ICND2編 v3.0 テキスト＆問題集［対応試験］200-105J/200-125J

今更ながら CCNA を取得しておこうと思い、手元に古いテキスト・問題集もあったので、新しく購入したものと古いもの、両方使って勉強しました。

3 週間ほど勉強してなんとか合格できましたが、改訂でどんどん難易度が上がっていると言われている通り、一般に認知されているよりも取得の難しい資格だなと感じました。

改めて勉強してみて、ネットワークの基本をかなりおさえられる資格だなと感じたので、ネットワークまわりが弱点だと感じている方にはとてもおすすめです。

おわりに

以上、10 月は 7 冊の本を読みました。

この 1 ヶ月は、エンベデッドシステムスペシャリストを受験するにあたっての勉強と、CCNA を受験するにあたっての勉強が中心でした。

特に CCNA は想像していたよりも難易度が高く、結構勉強する必要があったので、先月・先々月と比べると読書量はかなり少なくなってしまいました。

来月は CKA や GCP の認定の取得を目指す予定ですが、読書量はもう少し増やすつもりです。

【CCNA 対策】IPv6 アドレスの構造や種類の整理

Fri, 22 Oct 2021 03:57:28 GMT

IPv6 はその知名度自体は高いですが、IPv4 アドレスについては普段からふれるためある程度分かるものの、IPv6 アドレスについてはよく分からないという方も少なくないのではないかと思います。

そんな方に向けて、CCNA に出題される範囲で、IPv6 の構造や種類を整理しました。

※ 記載しているコマンドは Cisco 機器のものになります。

IPv6 アドレスの構造

IPv6 アドレス = サブネットプレフィックス + インターフェイス ID

IPv6 アドレスの種類

ユニキャストアドレス
- グローバルユニキャストアドレス (2000::/3) … インターネット上で一意
- リンクローカルユニキャストアドレス (fe80::/10) … 同じサブネット上での通信が可能
- ユニークローカルユニキャストアドレス (fc00::/7) … 企業などのローカル
- サイトローカルユニキャストアドレス (現在は利用されない)
マルチキャストアドレス (ff00:/8)
- インターフェイスローカル (ff01::/16)
- リンクローカル (ff02::/16)
- サイトローカル (ff05::/16)
- 組織ローカル (ff08::/16)
- グローバル (ff0e::/16)
エニーキャストアドレス … 複数の機器に同じアドレスを割り当てる。ユニキャストアドレスと同じ構文

インターフェイス ID

インターフェイス ID については、

手動
DHCP
EUI-64 形式で自動生成

のいずれかで決まる。

EUI-64 形式でのインターフェイス ID の自動生成

リンクローカルユニキャストアドレスの場合

リンクローカルユニキャストアドレスは、サブネットプレフィックスが fe80::/64 で固定であり、インターフェイス ID だけ決まれば良い。

EUI-64 形式で自動生成したインターフェイス ID でリンクローカルユニキャストアドレスを割り当てる場合は、以下のコマンドを実行するだけで良い。

(config-if)#ipv6 enable

グローバルユニキャストアドレスの場合

サブネットプレフィックスは手動で設定する場合

サブネットプレフィックスは手動で設定し、インターフェイス ID は EUI-64 形式で自動で設定するには、以下のコマンドを実行する。

(config-if)#ipv6 address <アドレス>/<プレフィックス長> eui-64

サブネットプレフィックスも自動で設定する場合

SLAAC (Stateless Address Auto Configuration) を使うことで、DHCP を使わずにサブネットプレフィックスを含めたグローバルユニキャストアドレスを自動設定できる。

コマンドは以下のようになる。

(config-if)#ipv6 address autoconfig

参考書籍

シスコ技術者認定教科書 CCNA 完全合格テキスト＆問題集［対応試験］200 -301

【CCNA 対策】VLAN 関連の用語の整理

Thu, 21 Oct 2021 09:50:13 GMT

CCNA に出題される範囲で、VLAN 関連の用語を整理しました。

※ CCNA を意識した内容のため、Cisco 機器に特化した内容も含まれます。

整理した図

まず最初に、整理した図を掲載しておきます。

ここから、主要な用語について解説していきます。

ポート

ポートにはモードがあり、「アクセスポート」と「トランクポート」のどちらかを設定することになります。

設定方法は以下のどちらかになります。

(config-if)#switchport mode <access | trunk>
DTP (Dynamic Trunking Protocol)

なお、DTP は Cisco 独自のプロトコルです。

アクセスポート

1 つの VLAN に所属するポートです。 PC やサーバと接続します。

アクセスポートにはどの VLAN に所属するのかを設定する必要があります。その設定方法として、

ポートベース VLAN (スタティック VLAN)
ダイナミック VLAN

の 2 種類があります。

トランクポート

複数の VLAN に所属するポートです。他のスイッチやルータと接続します。

トランクポートにはトランキングプロトコルを設定する必要があります。

トランキングプロトコルとしては、

ISL (Inter-Switch Link) … Cisco 独自のプロトコル。カプセル化を行う
IEEE 802.1Q … 標準化されたプロトコル。イーサネットフレームに VLAN タグを挿入する

があります。

IEEE 802.1Q を使う場合、1 つの VLAN についてはタグを挿入しないことで判別することができます。そのように設定した VLAN を「ネイティブ VLAN」と呼びます。

VTP (VLAN Trunking Protocol)

スイッチ間で VLAN の情報を同期させるための、Cisco 独自のプロトコルです。

同じドメインに所属するスイッチ間で VLAN 情報の同期が行われます。

また、動作モードとして「サーバー」、「クライアント」、「トランスペアレント」の 3 種類があります。

おわりに

CCNA の VLAN 関連の出題範囲では、これら意外にも SVI (Switch Virtual Interface) などの用語や実際の設定方法を学ぶ必要があります。

とはいえまずは VLAN 関連の用語の全体像をつかむと理解しやすくなると思います。この記事の整理が参考になれば幸いです。

参考

書籍

シスコ技術者認定教科書 CCNA 完全合格テキスト＆問題集［対応試験］200 -301

Web サイト

VLAN - アクセスポートとトランクポート

ルーティングプロトコルの分類

Sat, 16 Oct 2021 12:26:19 GMT

ルーティングプロトコルの分類を簡単にだけまとめます。

分類表

略称	正式名称	メトリック	IGP / EGP	アルゴリズム
RIP	Routing Information Protocol	ホップ数	IGP	ディスタンスベクタ型
EIGRP	Enhanced Interior Gateway Routing Procotol	帯域幅、遅延、信頼性、負荷、MTU を使う複合メトリック	IGP	拡張ディスタンスベクタ型
OSPF	Open Shortest Path First	帯域幅から計算するコスト	IGP	リンクステート型
IS-IS	Intermediate System to Intermidiate System	ナローメトリックまたはワイドメトリック	IGP	リンクステート型
BGP	Border Gateway Protocol	パスアトリビュート	EGP	パスベクタ型

アルゴリズム

ディスタンスベクタ型

ルーティングテーブルの情報を交換
距離と方向を基に最適経路を選出
ベルマン–フォード法を使う

拡張ディスタンスベクタ型 (ハイブリッド型)

リンクステート型の特徴も取り入れられている
DUAL を使う

リンクステート型

インターフェイスの情報を交換
全体構成を把握してから最適経路を算出

パスベクタ型

経路の情報 (属性) と方向で決める

参考

仮想化技術の解説書 7 冊の紹介

Thu, 14 Oct 2021 06:20:45 GMT

2021 年現在、仮想化技術はもはや当然のように使われていますが、具体的にどういったものなのか、仕組みはどうなっているのかまでは知らないという方も少なくないのではないでしょうか。

この記事では、サーバ・ネットワーク・ストレージなどの仮想化について学べる書籍を紹介します。

おうちで学べる仮想化のきほん

サーバ仮想化、ネットワーク仮想化、ストレージ仮想化、クラウドといった仮想化技術の概要について書かれている書籍です。

技術者以外の方も読めるように書かれている書籍なので、とても平易な内容となっています。

「仮想化」実装の基礎知識

こちらもサーバ、ネットワーク、ストレージなどの仮想化技術全般の解説書です。

こちらの本は技術者向けで、サーバやネットワークについてある程度前提知識が必要です。

設計上の考慮点なども一通り解説されており、仮想化技術を全体的に学びたい際などにおすすめです。

ネットワーク仮想化～基礎からすっきりわかる入門書～

ネットワーク仮想化に特化した入門書です。

ネットワーク仮想化に関連する技術について、一通り解説されています。

OpenFlow のような少し高度なトピックについても、かなりのページを割いて書かれています。

KVM徹底入門　Linuxカーネル仮想化基盤構築ガイド

Linux カーネルに組み込まれている仮想化 OSS である KVM の解説書です。

準仮想化と完全仮想化といった仮想化技術の基本から始まり、KVM の具体的な使い方まで解説されています。

QEMU や libvirt、virt-manager など、KVM を使う際に知っておくべき要素の関連性などがとても分かりやすく、Web 上の情報で分かりにくい点をすんなり理解することができます。

2010 年発売のため具体的なコマンドなどの情報は古くなっていますが、KVM の概要をつかみたい際には非常におすすめです。

Xen徹底入門第2版

Xen についての解説書です。

最近は KVM が使われることが多いと思いますが、Xen の解説書を何か 1 冊、ということであればこちらになります。

仮想化技術Xen-概念と内部構造

こちらも Xen の解説書ですが、タイトル通り、内部構造などが解説されています。

難易度は結構高く、前提としてメモリ管理やデバイスドライバなど、OS に関する知識がかなり求められます。

徹底攻略LPIC Level3 304教科書＋問題集［Version 2.0］対応徹底攻略シリーズ

LPIC 304 試験の教科書・問題集です。

LPIC 304 試験は、仮想化技術全般についての試験なので、仮想化技術をざっくり学びたい、という際に取得してみてもいいかもしれません。

HAProxy や keepalived、Pacemaker などを使った負荷分散クラスタ・フェイルオーバクラスタなどについても出題されます。

おわりに

以上、仮想化技術の解説書を紹介しました。

個人的には、仮想マシンについて学びたいのであれば、とりあえず『KVM徹底入門　Linuxカーネル仮想化基盤構築ガイド』がおすすめです。

なお、最近よく使われる仮想化技術の 1 つである Docker に関する書籍はこちらの記事にまとめているので、是非そちらも参照ください。

【2021 年 10 月時点】MLOps に関連する日本語の書籍まとめ

Wed, 13 Oct 2021 13:33:42 GMT

数年前は時々耳にする程度であった “MLOps” という分野は、今年 2021 年で爆発的に注目を集めています。

1 年前にはほとんどなかった日本語の書籍も、2021 年 10 月時点ではかなり充実しており、2021 年に IT 業界で注目されている技術の一つとはっきり言えるほどになっています。

この記事では、そんな “MLOps” に関連する書籍と、前提として必要なデータエンジニアリングに関する書籍を紹介していきます。

“MLOps” に関連する書籍

仕事ではじめる機械学習第2版

2021 年 4 月発売のオライリーの書籍です。

機械学習を仕事で使うために必要な知識を一通り解説している書籍です。

6 章が MLOps に関する内容であり、機械学習基盤における CI / CD / CT (継続的トレーニング) や、実験環境の整備、サービング、監視などについて、様々なツールを紹介しながら簡単に解説しています。

MLOps に限らず、機械学習で必要な知識全般を学びたい、という場合に適していると思います。

機械学習による実用アプリケーション構築 ―事例を通じて学ぶ、設計から本番稼働までのプロセス

こちらも 2021 年 4 月発売のオライリーの書籍です。

タイトル通り、本番で機械学習を用いたアプリケーションを実稼働させるための解説書です。

具体的に特定のツールを解説するというよりも、どのような考え方でどう設計するのかといった解説になっています。

Google Cloud Platformではじめる機械学習と深層学習

2018 年 12 月発売の、GCP における機械学習を用いたアプリケーションの開発に関する解説書です。

当時まだ “MLOps” という単語が一般的ではなかったためだと思いますが、この書籍では “MLOps” という単語は登場しません。

ですが内容としては

機械学習システムのパイプライン
モデルのサービング
モデルやデータのバージョニング

など、今で言う “MLOps” についての解説書です。

この記事で紹介する中では古い (発売から 3 年弱) 書籍ではありますが、初心者向けに “MLOps” の考え方を解説した書籍としてはかなりおすすめです。

GoogleCloudPlatform 実践機械学習基礎開発MachineLearning/データ分析

2020 年 2 月発売の、GCP における機械学習の解説書です。

AutoML や BigQuery ML といった専門知識なしで使える機械学習サービスの解説から、Cloud Dataflow などを使ったデータ処理など、GCP におけるデータの取り扱いについて幅広く解説されています。

データ処理に関する解説が多いですが、最後の 2 ページで “MLOps” について触れられており、これが日本語で “MLOps” という単語を解説した最初の本なのではないかと思います。

AIエンジニアのための機械学習システムデザインパターン

2021 年 5 月発売の、メルカリで MLOps チームのマネジャーをしていた著者によるデザインパターンの解説書です。

メルカリが公開した「機械学習システムデザインパターン」がもとになっています。

機械学習を用いたアプリケーションの構成を具体的にパターン化して解説されており、具体的な構成イメージが湧かないという方におすすめです。

また、6 章で解説されている内容は、機械学習システムに限らず、サービスメッシュ (Istio) の活用例・ハンズオンとしてもおすすめできます。

余談ですが、アンチパターンに対してひねり出したと思われる利点が、ユーモアがあって面白かったです。

入門機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化

2021 年 9 月発売の、TensorFlow を用いた機械学習パイプラインの解説書です。

Tensorflow Extended (TFX) や Kubeflow Pipelines などを用いた機械学習パイプラインの構築について手厚く解説されています。

MLOps の入門一冊目としてはハードルが高めだと思いますが、MLOps の概要を学んだ上で、実際にこれらのツールをさわってみたい、といった際におすすめです。

未発売の書籍

この記事の執筆時点では未発売ですが、2021 年 10 月中に発売予定の書籍として、以下の 2 冊があります。

目次を見た限り、どちらも MLOps の知見を得るのにとても良さそうです。

データエンジニアリングに関する書籍

MLOps について実際に検討する上では、前提として「データ分析基盤」の構築のような、いわゆる「データエンジニアリング」の知識も重要です。

ここからは、「データエンジニアリング」に関する書籍を紹介していきます。

［増補改訂］ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ

2021 年 2 月発売の、いわゆる「ビッグデータ」の解説書です。

データレイク、データウェアハウス、データマート
ETL
BI
Hadoop や Spark などによるビッグデータ処理
ワークフロー管理やデータパイプライン

など、ビッグデータ関連の基礎知識を一通り解説しており、増補改訂版では “MLOps” についても触れられています。

いわゆる「データ分析基盤」のようなものについて知りたいという方には、まずこの本をおすすめしたいです。

データエンジニアに限らず、IT エンジニアに広くおすすめできる一冊です。

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]

2021 年 2 月発売の、GCP におけるデータ基盤の構築についての解説書です。

BigQuery、GCS、Cloud Dataproc、Cloud Composer などなど、GCP の各種サービスを使ってどうデータ基盤を構築するかが丁寧に解説されています。

画面キャプチャなども豊富で、あまり前提知識がなくても読みやすい内容になっています。

GCP でのデータ基盤について学びたい場合、今ならこちらが一番おすすめの書籍になります。

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門

2020 年 7 月発売の、AWS におけるデータ分析基盤の構築に関する解説書です。

タイトルは「データレイク」となっていますが、データウェアハウス (Redshift)、ETL (Glue)、BI (QuickSight) など、周辺サービスについてもしっかり解説されています。

データ形式やセキュリティについてなど、実際にデータを処理するときに知っておくと役立つポイントも色々解説されており、非常に参考になります。

AWS でのデータ分析基盤構築について学びたい際には、とてもおすすめできる一冊です。

おわりに

以上、2021 年注目の分野である “MLOps” に関連する書籍を紹介してきました。

“MLOps” はバズワードだと言われることもありますが、機械学習をビジネスに役立てる上で重要な分野であることから、個人的には一過的な流行ではないと思っています。

日本語の書籍がたくさん出ている以上、もはや最先端の分野とは言えないとも思いますが、今おさえておけば面白い分野ではあると思います。

また、MLOps について検討する際は、前提として “DevOps” や “SRE” など、いかにプロダクションレディなシステムを扱うか、といった分野の知識があると役立ちます。

それらの分野については、例えば以下のような書籍がおすすめです。

これらの書籍についてはこちらの記事にも書いているので、是非ご覧ください。

Google スライドを PDF 化すると日本語がかすれる問題に完全勝利する方法

Wed, 13 Oct 2021 10:01:52 GMT

この記事にたどり着いた方は、きっと Google スライドで作成した資料を PDF 化したところ、日本語がかすれてしまって困っている方だと思います。

私もその現象に遭遇し困っていたのですが、なんとかする方法を見つけたので紹介させていただきます。

他の記事で紹介されている対処法

先立って、他の記事で紹介されている対処法を紹介させていただきます。

以下の 2 つの記事で、この現象の対処法が紹介されています。

これらで紹介されているのは、

Google スライド以外のツールを使う
日本語のボールドを使わない

という回避策で、Google スライドで日本語のボールドを使う場合は諦めることになっています。

これから紹介する方法は、「Google スライドで日本語のボールドを使う場合」にも対応しています。

対処法

この記事で紹介する対処法を一言で言えば、「Google スライド以外のツールで PDF 化する」です。

どうやらこの現象の原因は Google スライドの PDF ダウンロード機能が原因のようなので、他のツールで PDF 化することで解決できました。

手順

一応、簡単な手順も書かせていただきます。

1. pptx の形式で Google スライドから出力する

まず、Google スライドで作成した資料を、.pptx の形式でダウンロードします。

2. 他のツールで開き、PDF 出力する

ダウンロードした .pptx ファイルを、他のツールで開いて PDF 出力します。

私が試したのは、Mac の Keynote と、Ubuntu の LibreOffice になります。 (LibreOffice は Windows や Mac にも対応しており、無料で使えます)

Mac の Keynote ではオブジェクトの配置がある程度崩れてしまいましたが、LibreOffice では配置の崩れもありませんでした。

おわりに

ということで、Google スライドの PDF 化で日本語がかすれる問題に完全勝利することができました。

特に Speaker Deck が PDF しか対応していないので困っていたのですが、この方法で切り抜けられました。

ゆくゆく Google スライドの PDF 化機能が改善されるのが理想ではありますが、それまでの対応としては悪くないと思います。

「サービスクラス」は 3 種類ある

Wed, 06 Oct 2021 08:25:54 GMT

アプリケーションの設計で「サービスクラス」というものがしばしば使われますが、その「サービスクラス」が何を指しているのか、状況によって違ったりしないでしょうか？

この記事では、そんな「サービスクラス」についての私の理解を、3 種類に分けて整理していきます。

その中で、「サービスクラス」がアンチパターンと言われる理由なども書いていきます。

結論 - 3 種類の「サービスクラス」

最初に結論として、3 種類のサービスクラスについて書いておきます。

「トランザクションスクリプトパターン」における「サービス」
「ドメインモデルパターン」における「アプリケーションサービス (= ユースケース)」
「ドメインモデルパターン」における「ドメインサービス」

の 3 つです。

ここから、この 3 パターンを整理するための前提からまとめていきます。

前提 - 「ビジネスロジック」について

アプリケーションを 3 層に分けて考える

まず、アプリケーションの役割を 3 層に分けて考えてみます。

「プレゼンテーション」・「ビジネスロジック」・「データアクセス」の 3 つです。

典型的には、いわゆる「3 層アーキテクチャ」として、例えば以下のようなクラス構成をとったりします。

ただし、ここで言う 3 層に分けて考えるというのは、そうクラス分けするという意味ではないです。

この 3 種類の役割をまたがったクラスが登場するケースもあります。

例えば、Ruby on Rails などでよくあるコードでは、以下のような構成になっていたりします。

ビジネスロジック層の役割

「サービスクラス」に関する議論と関係するのは、上記の 3 層の中の「ビジネスロジック層」の部分です。

ビジネスロジック層の役割には、大きく以下の 2 つがあります。

ユースケースの実現
コアなルール

「ユースケースの実現」というのは、例えば「じゃんけんして、その内容を保存して、結果を返す」といった処理の流れです。

「コアなルール」というのは、じゃんけんで言えば「グーがチョキに勝ち、チョキがパーに勝ち、パーがグーに勝つ」といったルールのことです。

「コアなルール」は「ドメインロジック」と言われたり、狭い意味でこれを「ビジネスロジック」と呼ぶ場合もあります。

ビジネスロジックという単語については、こちらの記事にもう少し書かせていただいています。

ビジネスロジックの実装パターン

ビジネスロジックの実装方法には、大きく

トランザクションスクリプトパターン
ドメインモデルパターン

の 2 パターンがあります。

それぞれ以下の図のような役割分担になります。

※ ドメインモデルパターンでは、ビジネスロジック層を「アプリケーション層」と「ドメイン層」に分割したりするので、この図でもそのように表現しています。

このどちらのパターンを使っているかによって、「サービスクラス」の意味が変わります。

本題 - 3 種類の「サービスクラス」の整理

それでは、本題の、3 種類の「サービスクラス」について書いていきます。

1. 「トランザクションスクリプトパターン」における「サービス」

トランザクションスクリプトパターンにおける「サービス」は、「ユースケースの実現」と「コアなルール」を両方担うクラスです。

よくある 3 層アーキテクチャで見られるもので、単純に「サービスクラス」と言った場合、このパターンを指していることが多いと思います。

Spring Framework などではこの「サービス」を設けるのが一般的だと思います。一方で、Ruby on Rails などでは、典型構成としてはこの「サービス」は使わないことが多く、その役割も Controller に持たせてしまう実装をよく見ます。

このパターンの欠点は、「サービス」が「ユースケースの実現」と「コアなルール」の両方を持ち、役割が多すぎることです。そのため、この「サービス」はアンチパターンと言われることがあります。ただ、それは「サービス」が悪いというよりも、「トランザクションスクリプトパターン」に起因する問題です。

「トランザクションスクリプトパターン」には、学習コストが低いというメリットがありますが、デメリットとして Service や Controller が “Fat” になりやすいです。

Fat Controller の解消法については、こちらの記事に書かせていただいています。

2. 「ドメインモデルパターン」における「アプリケーションサービス」

次に、「ドメインモデルパターン」の場合についてです。

「ドメインモデルパターン」においては、「アプリケーションサービス」と「ドメインサービス」の 2 種類が登場します。

「アプリケーションサービス」は、「ユースケースの実現」のみを担うクラスで、「コアなルール」は持ちません。

「アプリケーションサービス」は、別名「ユースケース」と呼ばれます。

XxxApplicationService といったクラス名よりも XxxUseCase といったクラス名の方が役割がわかりやすいので、UseCase という命名が望ましいかもしれません。

この「アプリケーションサービス (= ユースケース)」については、特にアンチパターンとは言われていないと思います。

ただ、Rails などを使う場合は、この「アプリケーションサービス」の役割は Controller に持たせてしまうのも一つの手だと思います。

3. 「ドメインモデルパターン」における「ドメインサービス」

ドメインモデルパターンにおいては、「コアなルール」はできるだけデータを持つクラスのメソッドとして実装します。

しかし、どうしてもどのクラスに持たせてもしっくりこない処理が発生するケースがあります。

そういった状況で「コアなルール」の一部を実装するクラスが「ドメインサービス」です。

このクラスには「サービス」という名前がついておらず、そのクラスの役割に応じた適切な名前がつけられる場合もあります。

この「ドメインサービス」については、使いすぎはアンチパターンであり、できるだけ、データを持つ「モデル」に処理も持たせてあげるべきと言われます。

なお、トランザクションスクリプトパターンであっても、「サービス」や「コントローラ」間で共通の処理を切り出す先のクラスとして「ドメインサービス」のようなクラスが利用されるケースもあります。

おわりに

以上、「サービスクラス」について私の理解を整理してみました。

この記事では色々な用語を使って整理してきましたが、用語の定義は人によって違うことが少なくありません。その点はご注意ください。

認識合わせのために用語の定義を合わせるのも大事ですが、設計という観点で重要なのは「そのクラスの役割は何なのか」だと思います。

また、個人的に、「サービスクラス」は特にアンチパターンとは考えていないです。ポイントは役割の多すぎるクラスを作らないことで、その解消のために「サービスクラス」が役立つのであれば、取り入れるべきだと思います。

最後になりますが、こちらの記事の内容は、私が見たことのある範囲のまとめになります。ご指摘などあれば、Twitter などで教えていただけると嬉しいです。

参考書籍

以下、自分が過去に書いた関連記事です。

【2021 年 9 月】読んだ本の記録

Fri, 01 Oct 2021 03:15:01 GMT

個人の記録として、2021 年 9 月に読んだ本をまとめます。

MLOps・データ基盤について

仕事ではじめる機械学習第2版

機械学習による実用アプリケーション構築 ―事例を通じて学ぶ、設計から本番稼働までのプロセス

AIエンジニアのための機械学習システムデザインパターン

AWSではじめるデータレイク: クラウドによる統合型データリポジトリ構築入門

ハンズオンで分かりやすく学べる　Google Cloud実践活用術　AI・機械学習編

“MLOps” という分野について詳しくなろうということで、機械学習システムやデータ分析基盤の構築に関する書籍をいくつか読みました。

ある程度知識のある分野だったため、改めて大きく学びになったというよりは、Tips を色々知ることができたりしました。

個人的には、『AWSではじめるデータレイク』が、仕事でちょうど知りたかった情報なども書かれていて、とても役立ちました。

Linux について

標準テキスト CentOS 7 構築・運用・管理パーフェクトガイド

SELinux や Netfilter など、Linux で知識不足を感じる部分を補うため、こちらの書籍を手に取りました。

Linux と一言で言っても幅広い分野なので、知らなかった知識を色々仕入れることができました。

LPIC の参考書を書いている方が筆者ということもあり、LPIC レベル 2 の内容がかなり意識されている印象で、その勉強の際に手に取るのも良さそうでした。

仮想化について

「仮想化」実装の基礎知識

おうちで学べる仮想化のきほん

Xen徹底入門第2版

仮想化技術Xen-概念と内部構造

仮想化について学びたく、仮想化の基本に関する書籍や、Xen の解説書を読みました。

『仮想化技術Xen-概念と内部構造』は、OS や CPU の知識がかなり求められ、今の自分には難しい本でした。

逆に、その辺りの知識をもっとつけないとということを再認識できました。

OpenStack について

オープンソース・クラウド基盤 OpenStack入門　構築・利用方法から内部構造の理解まで

OpenStack 構築手順書 Mitaka 版

OpenStack の概要も知っておきたかったので、少し本を読みました。

『OpenStack入門』で、OpenStack の概要はかなり掴めました。

『OpenStack 構築手順書』はその名の通り手順書ですね。

LPIC 304 について

徹底攻略LPIC Level3 304教科書＋問題集［Version 2.0］対応徹底攻略シリーズ

［24時間365日］サーバ/インフラを支える技術 ……スケーラビリティ、ハイパフォーマンス、省力運用

仮想化関連の勉強の目安として、LPIC 304 も勉強して取得しました。

『サーバ/インフラを支える技術』は、このシリーズらしい名著で、LPIC 304 の勉強としても良かったです。

Ansible について

Ansible実践ガイド第2版

インフラ系の知識補完の一環として、Ansible の解説書を読みました。

最近は Docker やサーバレス技術によって Ansible の出番が減っているかもと思いますが、概要は知っておくといいかもしれません。

Laravel について

速習 Laravel 6 速習シリーズ

PHPフレームワークLaravel Webアプリケーション開発バージョン8.x対応

Laravel の機能・設計について学び直したく、2 冊ほど手に取りました。

『PHPフレームワークLaravel Webアプリケーション開発』は、Laravel の基本は分かった上で、その仕組みや設計を学ぶ上で非常におすすめです。

他の言語・フレームワークの経験がある方が Laravel をキャッチアップするのであれば、この 2 冊が良いと思います。

機械学習について

Pythonではじめる機械学習 ―scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎

実践機械学習システム

機械学習を使ったちょっとしたアプリケーションを作ることになったので、改めて機械学習の入門書を 2 冊ほど読みました。

scikit-learn などのライブラリを使って具体的に手を動かせるような書籍を探し、オライリーなら外さないだろうということもあり、この 2 冊になりました。

実際、理論的な解説は簡易的ではありますが、ライブラリを使って手を動かしながら機械学習を学ぶにはちょうど良い本でした。

組み込みシステムについて

情報処理教科書エンベデッドシステムスペシャリスト 2021～2022年版

これだけ！組み込みシステム

組込みエンジニアの教科書

「エンベデッドシステムスペシャリスト」を取得しようと思い、まずは組み込みシステムの概要を学べる書籍を読みました。

全然知らない分野のため、入門書でもたくさんのことを学べました。

自分に不足していると感じていた、CPU などの知識も補完できる分野だなと気付けたのが大きな収穫でした。

おわりに

以上、今月は 22 冊の本を読みました。

機械学習という今風の分野に触れつつ、いわゆる低レイヤの知識も色々獲得できたと思います。

来月は、まずは組み込み関連 (CPU やデジタル回路など) を勉強していく予定です。

「AI が意識を持ったらどうなっちゃうの？」について自分が思うこと

Thu, 30 Sep 2021 08:34:50 GMT

当ブログ 100 記事目の記念として、日々思っていることのポエム的な記事を書こうと思いました。

どんな内容が良いか色々考え、だいぶ今更なテーマですが、「AI が意識を持ったらどうなっちゃうの？」という疑問についての自分の考えを書いていこうと思います。

専門家の話と比べると陳腐な内容かもしれませんので、お読みになる方はご了承ください。

そもそも「意識」とは？

「AI が意識を持ったらどうなっちゃうの？」という疑問に対して自分がまず思うのは、「AI が意識を持つ」ことよりも、「意識とは何か」が解明されることの方が重大なのではないか、ということです。

「AI が意識を持ったら」という議論をするためには、そもそも前提として「意識」という概念を解明して定義する必要があります。

しかし、「意識」が解明できるということは、きっと先々それを人工的に作れるようになる気もします。

そうして人工的に作れるようになると、やはりそれは自分たちの思う「意識」ではなかった、改めて「意識」の定義を研究し直そう、ということになったりもしかねません。

人間に「意識」はあるのか

そもそも、人間に「意識」はあるのか、という問題もあります。

まるで意識があるかのように振る舞っているだけで、本当は何かのアルゴリズムに従って動いているだけかもしれません。

それは極論だと思うかもしれませんが、それでは、

人間と原始的な生物の中間の、どこから意識が存在するのか
人間の体を機械に入れ替えていったら、どこまで意識が存在するのか

などを考えると、「そもそも意識とは？」を考える重要性が見えてくるのではないでしょうか。

私たちは「意識」に何を夢見ているのか

それでは、私たちは、何を「意識」だと理解しているのでしょうか。

これはなんとなくの思いつきですが、同じ動きだけ繰り返しているものには意識がないように感じて、複雑で法則性のない動きをしているものは意識があるように感じる気がします。

他にも、自分に想像の余地がないことをしたり言ったりするものについては、意識というか、自我を持っているように感じる気がします。

そんなふうに、自分から見て、自分の想像の外の動きをするものに「意識」があるように見えるのかな？と思います。

人工物には「意識」がないのか

よく考えてみると、例えば漫画やアニメなどのキャラクタに対しても、意識があるように感じることがあるかもしれません。

どこで聞いた話か忘れましたが、「電源を切らないで」と言ってくるロボットの電源を切るのに、人は心苦しさを感じるそうです。（確かに想像すると心苦しさを感じます）

ドラえもんのように、意識を持っていそうに見えるロボットを壊すのは、単なる「モノ」を壊すのとは別の不快感を感じる気がします。

AI が「意識」を持ったら、意識のある生物と差がないのでは？

そう考えてきて思うのは、「意識」の具体的な定義はさておき、もしも AI が意識を持ったら、もう意識のある生物と同じようなものなのではないか、ということです。

相手が AI と分からない見た目であれば、もはや人と AI に差を感じないのかもしれません。

よくある例だと思いますが、倫理的な AI と非人道的な人間のどちらかを選べと言われたら、倫理的な AI を選ぶ人も多いのではないでしょうか。

また、現代では、先入観から AI は生物ではないとされていますが、生まれた頃から「意識」を持った AI と暮らす世代が今後現れたとして、もうその世代の人間は AI を生物だと認識するかもしれません。

そもそも、「意識」の有無は重要なのか

「それこそ大変なことだ」と思われる方もいらっしゃるかもしれません。

そこでもう一つ考えておきたいこととして、そもそも「意識」の有無は重要なのか、という議論があると思います。

現代の日本は、最低限度の生活を保障されるようになっており、生きていくだけであればなんとかなる、という割合が高くなっていると思います。

しかし一方で、そんな日々に楽しさや生きがいを感じないという話もよくあります。

3 つの価値

結局、こういう話は「生きる意味とは？」という議論に帰着してしまいます。

生きる意味については、『夜と霧』という書籍で書かれている 3 つの価値の話がヒントになるかもしれません。

3 つの価値というのは、「創造価値」・「体験価値」・「態度価値」の 3 つです。

正確な意味は書籍を実際に読んでいただくとして、私なりに噛み砕くと、

何かを作り上げること
美しい景色に感動したりすること
人間として尊敬できる在り方をすること

こそ、生きる意味である、ということです。

AI が意識を持ったらどうなっちゃうの？

最後に、もう一度「AI が意識を持ったらどうなっちゃうの？」という疑問に戻ってみます。

そもそもこの疑問は、おそらく、AI によって自身の生活が脅かされることを危惧しているのではないかと思います。（映画「ターミネーター」のようなイメージかもしれません）

それについては、たとえどんな状況だろうと、重要なのは、先に書いたような価値にあるということです。

この回答には賛否あるかもしれませんが、意識の有無や、AI が意識を持ったらどうなるか、という観点だけで考え続けず、少し逸れた視点から考えてみると、自分なりの答えが見つかるのかもしれません。

【メモ・感想】CI/CD Conference 2021 by CloudNative Days

Fri, 03 Sep 2021 09:09:25 GMT

CI/CD Conference 2021 のいくつかのセッションを視聴したので、そのメモと感想です。

公式サイト

https://event.cloudnativedays.jp/cicd2021

OSSで作る機械学習のCI/CD

資料
- https://www.slideshare.net/yusukeshibui/machine-learning-cicd-with-oss
取得したデータの正しさ
- Pandera
  - Pandas に対してスキーマを定義してバリデーションできる
- TensorBoard
- Know Your Data
  - https://knowyourdata.withgoogle.com/
- CI/CD や学習の自動化を進める際は、Data Validation 同様にデータの異常を検知するためのユニットテストを書く
機械学習のテスト
- 少量のデータで、プログラム的に正しく動くことをアサーションする
- 型がおかしくてそもそもエラーとかにならないように
- アサーションは、学習後に精度が上がっていること、くらいでも有用
DVC (Data Version Control)
- ツール
- Git と同じような使い方でデータをバージョン管理
- MLFlow でも同じようなことが実現できる
CML (Continuous Machine Learning)
- DVC と同じ会社が出している
- GitHub Actions などに組み込み、機械学習の結果をレポーティングしてプルリクに組み込む
  - https://github.com/iterative/setup-cml
負荷テスト
- 機械学習を組み込むときは、パフォーマンスに注意
- プロファイリングツールで見てみると、推論がきれいにたくさん時間を使う
- GPU コストを無駄にしないように、モデルの選定時にもパフォーマンスを意識する
- ツール
  - Locust
  - Vegeta Attack
    - すぐに試したいときに最高の選択
感想
- そうだなあと思える苦しみが色々見えて面白かったです
- MLOps に強くなるには、このあたりのツールを使い込んでいたり知っているのも大事そうだなと思いました

君のセキュリティはデプロイするまでもなく間違っている

資料
- https://speakerdeck.com/ytaka23/cicd-conference-2021
設定のテストツール
- CFn
  - CloudFormation Linter
  - CloudFormation Guard
IAM Access Analyzer
- 機能
  - アクセスのプレビュー
  - 定期的なスキャン
  - Policy のバリデーション・個別項目ルールの検査
  - CloudTrail のアクセス履歴から Policy を生成
SMT ソルバ
- Zelkova
- Tiros
感想
- チェックをレベル別でまとめていたのが非常に分かりやすかったです
- とりあえず IAM Access Analyzer を試すところからですね

複数ブランチ運用は『単一のコードベース』と言えるのか

理想的なコンテナアプリケーションデリバリ
- 単一永続ブランチ
- デプロイパイプラインはコードブランチとは別管理にすれば、そうできる
開発用のコンテナ
- FROM を本番用のコンテナにして、デバッグツールを入れる
感想
- めちゃくちゃ良い話でした
- いろんな人にこの話を聞いてほしいです

CyberAgent における OSS の CI/CD 基盤開発

GitHub Actions
- helm/kind-action
  - https://github.com/helm/kind-action
  - kind を動かしてくれて便利
- whywaita/myshoes
  - 発表者の方が作成
  - self-hosted runner を job ごとに生成、登録
  - self-hosted runner に通常だと冪等性がないことを解消
  - hashicorp/go-plugin によってプラガブルにしている
PipeCD
- CyberAgent 製
- k8s 以外でも GitOps
  - Terraform
  - CloudRun
  - Lambda
  - Fargate
  - …
- Control-plane と piped という構成
  - Control-plane はチーム間で共有
- Control-plane にはプロダクトチームのクレデンシャルも保存されない
  - シークレット管理の機能は備え付けられている
harness
- https://harness.io/
感想
- helm/kind-action や hashicorp/go-plugin など、知らないツールを色々知れてよかったです
- PipeCD はかなり便利そうな印象でした

【2021 年 8 月】読んだ本の記録

Tue, 31 Aug 2021 10:58:09 GMT

個人の記録として、2021 年 8 月に読んだ本をまとめます。

PHP について

独習PHP 第4版

プログラミングPHP 第3版

パーフェクトPHP

PHP を改めて勉強しようということで、解説書を 3 冊ほど手に取りました。

ひとまずどれか一冊、ということであれば、『独習PHP』がおすすめです。

これらの本については、こちらの記事にまとめました。

iPaaS について

IFTTTレシピブック

詳解Integromat iPaaS完全入門

やさしくはじめるスマートスピーカープログラミング

仕事で IFTTT を試してみることになったので、せっかくの機会ということで、iPaaS について書いている本を探して読んでみました。

どれも簡単な解説ではありましたが、iPaaS の概要はつかめました。

これらの本については、こちらの記事にまとめました。

LPIC の教科書・問題集

Linux教科書 LPICレベル2 Version4.5対応

（合本）徹底攻略 LPIC Level2 問題集［Version 4.5］差分＋［Version 4.0］対応徹底攻略シリーズ

Linux教科書 LPICレベル2 スピードマスター問題集 Version4.5対応

LPIC をレベル 1 しか持っていなかったので、今更ながら改めて LPIC レベル 2 を取得しました。

その際、これらの教科書・問題集を手に取りました。

今まで使ったことのないツールや設定を知ることができ、予想していた以上にとても勉強になりました。

LPIC 201 対策についてはこちらの記事に、LPIC 202 対策についてはこちらの記事に書きました。

LPIC 202 関連

サーバ構築の実際がわかる Apache[実践]運用/管理

nginx実践ガイド

【改訂新版】サーバ構築の実例がわかるSamba［実践］入門

入門LDAP/OpenLDAP ディレクトリサービス導入・運用ガイド第3版

LPIC 202 対策として、関連する書籍を何冊か読みました。

資格試験の勉強では、その資格対策用の本だけだと解説が少ないこともあり、関連する本を別途読むのが個人的におすすめです。

Samba・LDAP はあまり使い慣れておらず、こういった本で勉強してちょうどよかったです。

Nginx は普段から使う機会が多いですが、改めて解説書を読むと、SSL / TLS のチューニングや、HTTP に関する知らない知識が書かれていたり、性能向上について解説されていたり、非常に勉強になりました。

ゼロトラストネットワークについて

ゼロトラストネットワーク ―境界防御の限界を超えるためのセキュアなシステム設計

気になりつつも積読のままになっていた、オライリーの『ゼロトラストネットワーク』を読みました。

最近流行のキーワードということもあり耳にする機会は多いですが、実際に概要でも理解している人は多くないと思います。

日本語でしっかり解説されているのはこの 1 冊なので、気になる方は是非手に取っていただくといいと思います。

感想はこちらの記事に書きました。

Prometheus について

入門 Prometheus ―インフラとアプリケーションのパフォーマンスモニタリング

仕事で Grafana について調べたくなり、ついでに Prometheus も勉強しようとこの本を手に取りました。

Prometheus の構成や基本的な使い方、各種 Tips に加えて、監視やアラートの考え方なども解説されている素晴らしい本でした。

おわりに

以上、今月は 16 冊の本を読みました。

LPIC レベル 2 関係で色々知識がついたのが大きいです。

来月はとりあえず MLOps 関係などを勉強しつつ、LPIC 304 にも手を出してみようと考えています。

LPIC 202 対策として、教科書・問題集以外でおすすめの本

Sat, 28 Aug 2021 08:34:41 GMT

LPIC 202 試験では、DNS や Web サーバ、ファイルサーバ、メールサーバの構築といった幅広い知識が求められます。

これらを試験対策の教科書で勉強しようとすると、一つ一つの説明が簡素で、なかなか理解を深めにくいです。

この記事では、そんな LPIC 202 試験の勉強をするにあたり、教科書に取り組む前におすすめの書籍を紹介します。

DNS

3分間DNS基礎講座

DNS の基本をまとめた本としては、「3 分間ネットワークシリーズ」のこちらの本がとっかかりやすいです。

気軽に読める厚さの書籍で、DNS の仕組みの概要をつかむことができます。

BIND の設定についての解説はないので、そこは別途勉強することになります。

Web サーバ

サーバ構築の実際がわかる Apache[実践]運用/管理

Apache HTTP Server については、こちらの本がおすすめです。

Apache の基本から、セキュリティ・負荷分散なども学ぶことができます。

試験対策としては過剰な内容ではありますが、知っておくと役立つ知識をたくさん得られます。

nginx実践ガイド

Nginx の解説としてはこちらがおすすめです。

基本的な設定から、性能向上やセキュリティなどを含む、実践的な知識まで学ぶことがでます。

Nginx を運用することになった方に是非おすすめしたい一冊です。

2021 年 8 月現在、Kindle Unlimited で無料で読むこともできます。

Samba

【改訂新版】サーバ構築の実例がわかるSamba［実践］入門

Samba に関する、比較的新しい (2016 年発売の) 解説書です。

Samba の基本から実践的なファイルサーバの構築についてまで解説されています。

LDAP

入門LDAP/OpenLDAP ディレクトリサービス導入・運用ガイド第3版

LDAP・OpenLDAP の、比較的新しい (2017 年発売の) 解説書です。

LDAP に登場する概念はなかなかややこしく、LPIC 対策の教科書だけで学ぶハードルは少し高いです。

LDAP に注力して解説したこういった書籍から勉強し始めるのがおすすめです。

メール

3分間HTTP&メールプロトコル基礎講座

メール関係のプロトコルの概要は、「3 分間ネットワーキングシリーズ」のこちらの書籍で解説されています。

SMTP、POP、IMAP といった、メール関連のプロトコルの基本を学ぶことができます。

Postfix などの設定については書かれていないので、そこは別途勉強することになります。

おわりに

以上、LPIC 202 の出題範囲に関するおすすめの本を紹介しました。

実際の試験対策としては、教科書や問題集も用意することになります。

教科書・問題集についてはこちらの記事にまとめているので、参照ください。

LPIC 201 対策のおすすめ書籍紹介

Sat, 28 Aug 2021 08:29:35 GMT

LPIC 201 試験では、Linux カーネルのビルドやファイルシステムについてなど、カーネル周辺の知識が求められます。

そんな 201 試験の勉強をする上でおすすめの本を紹介していきます。

前提知識を得るためのおすすめ本

LPIC 201 試験の教科書のような本を最初に手にとると、カーネルのビルドなどのイメージはかなりつきにくいと思います。

そこで、事前に以下の 2 冊を読んでおくのがおすすめです。

［試して理解］Linuxのしくみ～実験と図解で学ぶOSとハードウェアの基礎知識

プロセススケジューラ、メモリ管理、ファイルシステムといった、Linux の重要な仕組みが解説されています。

コマンドの実行例も豊富なため、自分で手を動かしながらしっかり理解できるようになっています。

ふつうのLinuxプログラミング第2版　Linuxの仕組みから学べるgccプログラミングの王道

C 言語でのプログラムとともに、システムコールやライブラリ関数を解説しながら Linux の仕組みを学べる書籍です。

ファイルシステム・プロセス・ストリームという 3 つの重要概念に注目してまとめられています。

教科書

ここまでの 2 冊を読んでから試験対策の教科書に進むことで、単なる暗記ではなく、しっかり意味を理解して学べるようになります。

Linux教科書 LPICレベル2 Version4.5対応

LPIC の教科書として定番の通称「あずき本」がこちらです。

LPIC の受験の際に確実におすすめされる本です。

問題集

問題集は 2 種類発売されています。

（合本）徹底攻略 LPIC Level2 問題集［Version 4.5］差分＋［Version 4.0］対応徹底攻略シリーズ

LPIC Level2 の問題集で、通称「黒本」です。

Version 4.0 に対応している一冊と、Version 4.5 との差分だけの薄い本になります。

Linux教科書 LPICレベル2 スピードマスター問題集 Version4.5対応

こちらも LPIC Level2 の問題集です。

試験勉強としては、問題をある程度の量解くのも有効なので、先に紹介した「黒本」とこの本を両方購入してもいいと思います。

おわりに

以上、LPIC 201 対策でおすすめの本を紹介しました。

202 対策のおすすめ本もこちらの記事で紹介しているので、参照ください。

MLFlow の TrackingAPI を Quickstart して保存されたデータを覗いてみる

Wed, 25 Aug 2021 12:55:21 GMT

MLFlow を少しさわってみようと思い、特に気になった TrackingAPI をさわってみつつ、データがどう保存されるのかを覗いてみました。

環境

Ubuntu 20.04.3 LTS
Python 3.8.3
mlflow 1.20.0

MLFlow のインストール

MLFlow 自体は pip install mlflow で簡単に導入できます。

サンプルコードの実行

公式ドキュメントの Quickstart に書かれている以下の内容のファイルを作成します。

import os
from random import random, randint
from mlflow import log_metric, log_param, log_artifacts

if __name__ == "__main__":
    # Log a parameter (key-value pair)
    log_param("param1", randint(0, 100))

    # Log a metric; metrics can be updated throughout the run
    log_metric("foo", random())
    log_metric("foo", random() + 1)
    log_metric("foo", random() + 2)

    # Log an artifact (output file)
    if not os.path.exists("outputs"):
        os.makedirs("outputs")
    with open("outputs/test.txt", "w") as f:
        f.write("hello world!")
    log_artifacts("outputs")

python コマンドで実行します。

$ python mlflow_tracking.py

上記のサンプルコードが実行され、log_metric、log_param、log_artifacts で指定した内容が保存されました。

保存された内容は、mlflow ui コマンドで起動した Web UI で可視化できます。

できたファイルの一覧

デフォルトでは ./mlruns ディレクトリ以下にデータが出力されるようなので、それを見ていきます。

まず、tree コマンドで、出力されたファイルの一覧を見てみます。

$ tree
.
├── mlflow_tracking.py
├── mlruns
│   └── 0
│       ├── d0b221068a7147afb0177cd3fb9fb5cf
│       │   ├── artifacts
│       │   │   └── test.txt
│       │   ├── meta.yaml
│       │   ├── metrics
│       │   │   └── foo
│       │   ├── params
│       │   │   └── param1
│       │   └── tags
│       │       ├── mlflow.source.name
│       │       ├── mlflow.source.type
│       │       └── mlflow.user
│       └── meta.yaml
└── outputs
    └── test.txt

8 directories, 10 files

各ファイルの中身

それでは、各ファイルについて見ていきます。

mlruns/0 ディレクトリ

meta.yaml

artifact_location: file:///home/oshima/mlflow_tracking/mlruns/0
experiment_id: '0'
lifecycle_stage: active
name: Default

「0」という experiment に対するメタデータのようです。

mlruns/0/d0b221068a7147afb0177cd3fb9fb5cf ディレクトリ

meta.yaml

artifact_uri: file:///home/oshima/mlflow_tracking/mlruns/0/d0b221068a7147afb0177cd3fb9fb5cf/artifacts
end_time: 1629894186654
entry_point_name: ''
experiment_id: '0'
lifecycle_stage: active
name: ''
run_id: d0b221068a7147afb0177cd3fb9fb5cf
run_uuid: d0b221068a7147afb0177cd3fb9fb5cf
source_name: ''
source_type: 4
source_version: ''
start_time: 1629894186647
status: 3
tags: []
user_id: oshima

「d0b221068a7147afb0177cd3fb9fb5cf」という run に対するメタデータのようです。

artifacts/test.txt

$ cat test.txt
hello world!

artifacts ディレクトリ以下には、log_artifact で指定したファイルが出力されるようです。

metrics/foo

1629894186651 0.10226160404903561 0
1629894186652 1.4250551980391988 0
1629894186652 2.904784967403418 0

log_metric で指定したログが、UNIX 時間とともに記録されています。

params/param1

log_param で指定した値です。

tags/mlflow.source.name

mlflow_tracking.py

tags/mlflow.source.type

LOCAL

tags/mlflow.user

oshima

tags 以下は、実行されたファイルや実行環境についての記録のようです。

感想

以上、MLFlow の TrackingAPI で出力されるデータを覗いてみました。

ここまでさわってみて、MLFlow の TrackingAPI は、非常に簡単に導入できる素晴らしいツールだなと思いました。

パラメータなどを記録したいというユースケースは非常によくあることで、そういった際に、独自実装せずに MLFlow というライブラリで解決できるのは、とても便利だと思います。

Automatic Logging を使うことで、対応するライブラリのパラメータは自動的に保存されるとのことで、これもとても便利そうです。

保存先について

ドキュメントを見たところ、データの保存先としては RDB やオブジェクトストレージなどを組み合わせて使えるようです。

チームで利用する際は、RDS などの DBaaS と S3 などを組み合わせて使うことになるのだと思います。

とはいえ、まずは今回試したように、ローカルのファイルに出力するところからでも気軽に使い始められそうです。

LDAP の用語・概念を図で整理

Tue, 24 Aug 2021 04:13:42 GMT

LDAP で登場する用語がややこしかったので、図で整理しました。

参考

『入門LDAP/OpenLDAP ディレクトリサービス導入・運用ガイド第3版』

iPaaS (Integration Platform as a Service) に関する日本語書籍まとめ

Sat, 21 Aug 2021 15:38:41 GMT

クラウドの発展により様々な SaaS サービスが登場する中、そういったサービス同士を連携する iPaaS (Integration Platform as a Service) にも注目が集まっています。

この記事には、そんな iPaaS に関する日本語書籍をまとめました。

IFTTTレシピブック

タイトル通り、IFTTT のレシピをまとめた本です。

IFTT の簡単な説明に始まり、使えるサービス (チャンネル) やデバイス、レシピ例などが紹介されています。 (2013 年発売のため、その時点の情報・用語です)

IFTTT の用途をパラパラ眺めるような読み方になると思います。

詳解Integromat iPaaS完全入門

iPaaS の一種である Integromat の使い方を簡単にまとめた本です。

個人的には、SSH でコマンドを実行できる、関数によるデータ加工ができる、Firestore や Lambda と連携できるといったのが予想外で発見でした。

iPaaS と言えば IFTTT と Zapier が有名ですが、Integromat も良さそうだなという印象を持ちました。

やさしくはじめるスマートスピーカープログラミング

スマートスピーカー (Google Home と Amazon Echo) の開発の入門書ですが、前半で IFTTT を使うケースががっつり解説されています。

Google Home と Amazon Echo の 2 つについて解説されており、開発者視点での記述もあります。

Beebotte や ngrok と IFTTT の Webhook により、PC と連携する方法なども解説されています。

Google Home は Dialogflow を通して Firebase と連携できることや、音声をコントロールする SSML (Speech Synthesis Markup Language) についてなど、知っておくと良さそうなトピックも豊富で勉強になりました。

スマートスピーカープログラミングに触れたことがない開発者が概要を知るのにおすすめできます。

非初心者向けの PHP 解説書まとめ

Sat, 21 Aug 2021 13:17:40 GMT

PHP の入門書・解説書は非常にたくさんありますが、他の言語の経験者や、プログラミングに慣れてきたくらいの方に向けた書籍は多くはありません。

この記事では、そんな非初心者向けの PHP 解説書を紹介します。

独習PHP 第4版

PHP の入門用解説書です。

2021 年 6 月に第 4 版が出たばかりで、PHP 8 にも対応しています。

600 ページと少し分厚いですが、この 1 冊で PHP の基礎知識をしっかり学ぶことができます。

2021 年 8 月現在、他の言語経験者が PHP の入門書を 1 冊だけ買うなら、この本がおすすめです。

プログラミングPHP 第3版

オライリーの PHP の解説書です。

PHP を基本から解説しており、ガベージコレクションについてや、Web ページではなく画像を生成する方法についてなど、『独習PHP』よりもう一歩踏み込んだ内容も書かれています。

2014 年発売のため少し古い情報もありますが、参考になります。

パーフェクトPHP

「パーフェクトシリーズ」の PHP の解説書です。

2010 年発売の書籍ではありますが、PHP の基本からセキュリティなど含め幅広く解説されており、PHP をしっかり学ぶ際におすすめできます。

特筆すべきは、フレームワークの “作り方” が解説されている点です。

非常に簡易的なものではありますが、フレームワークの仕組みが全くイメージがつかないという方は、読んでみると勉強になると思います。

他の言語ですが、フレームワークの “作り方” のイメージをつける上では、『メタプログラミングRuby 第2版』も参考になります。

その他の書籍

その他、私は未読ですが、『レベルアップPHP ～言語を理解して中級者へ～』という本もかなり好評なようです。

タイトル通り入門向けではないようなので、『独習PHP 第4版』などで基本を学んだあと、この本に手を出してみるといいのではないでしょうか。

【感想】オライリーの『ゼロトラストネットワーク』を読みました

Fri, 13 Aug 2021 01:45:01 GMT

オライリーの『ゼロトラストネットワーク ―境界防御の限界を超えるためのセキュアなシステム設計』を読んだので、感想をまとめます。

書籍の概要

『ゼロトラストネットワーク ―境界防御の限界を超えるためのセキュアなシステム設計』は、ここ数年で耳にするようになった「ゼロトラストネットワーク」についての解説書です。

ゼロトラスト自体は、従来のゾーン分割されたネットワークとは異なりネットワーク全体が安全ではないとした上で、セキュアな通信を成立させるためのアプローチです。

この本を読むことで、ゼロトラストの考え方や、構成要素、事例などを知ることができます。

ゼロトラストの理解

自分はゼロトラストについて雰囲気しか知らず、「従来と異なりあらゆるネットワークを安全と見なさない構成」くらいの知識でこの本を手に取りました。

そのくらいの前提知識では、序盤の「ゼロトラストの基礎」や「信頼と信用の管理」といった章を読んでいても、抽象的な議論に見えてなかなか理解が進みませんでした。

しかし、信用スコアの考え方や、ユーザー・デバイス・アプリケーションの信頼・信用など、後半になるにつれてゼロトラストを実現する具体的な方法なども解説され、ゼロトラストの心をなんとなくつかむことができました。

ゼロトラストの考え方は、ゼロトラスト以外でも使える

この本を読んでいて、ゼロトラストの考え方は従来のセキュリティの延長でも使えるものなのではないかと思いました。

例えば、書籍の中でユーザー・デバイス・アプリケーションの信頼・信用について手厚く解説されているのですが、この内容は「そもそも認証や認可とはどうあるべきなのか」といったことを改めて考えさせられますし、この要素だけを既存の構成に取り込んでいくようなことも可能です。

他にもゼロトラストに限らないセキュリティの考え方が多数解説されており、ゼロトラスト以外の場面でも役立つ知識が得られました。

仕事で CI / CD といった領域に関わることが多かった自分の場合、いかにしてビルド成果物をトレースできるようにするか、といった話も興味深かったです。

ゼロトラストの漸進的な導入

従来のセキュリティの延長でも使える要素が解説されていることは、従来の構成からゼロトラストに漸進的に移っていけるということでもあります。

書籍の中でも、従来の構成からゼロトラストに向かっていく流れが解説されています。

私はもともと、「ゼロトラスト」というものは従来のネットワーク構成と両立するものではないのだろうなと想像していたので、このことはとても意外でした。

ゼロトラストはまだまだ発展途上の分野

昨今のリモートワークの推進もあり、正直なところ、最近は「ゼロトラスト」という言葉がセキュリティツールの営業用のバズワード的に使われているように感じていました。

そんな中、この本ではまだまだ発展途上にある「ゼロトラスト」という分野を取りまとめていこうとしている様子が読みとれ、今後ゼロトラストの世界がどうなっていくのか楽しみだなと思わされました。

Linux カーネルのコードを少しだけ書き換えてビルド・インストールする

Sun, 01 Aug 2021 05:23:36 GMT

Linux カーネルのソースコードを少しだけ書き換えてビルド・インストールしてみたので、手順などを残しておきます。

環境

KVM 上の Ubuntu 20.04

$ uname -r
5.8.0-63-generic

Linux カーネルのダウンロード

Linux カーネルのソースコードは /usr/src 以下に配置するので、/usr/src に移動してソースコードをダウンロード・展開します。

$ cd /usr/src
$ sudo curl -LO https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.13.7.tar.xz
$ xz -dc linux-5.13.7.tar.xz | sudo tar xvf -
$ cd linux-5.13.7

これで linux-5.13.7 というディレクトリにソースコードが展開されました。

なお、カーネルのダウンロード URL は、以下のページで確認できます。

https://www.kernel.org/

設定

カーネルをビルドする際の設定として、/usr/src/linux-5.13.7 以下に .config というファイルを作成する必要があります。

このファイルは

make oldconfig
make localmodconfig

などで作成できます。

カーネルのビルド時間を短くしたり、サイズを小さくしたりするには、make localmodconfig を使って、必要なモジュールだけでビルドするのが簡単です。

参考

カーネルのビルド時間を短縮する技 | ガジェット好きの日記

少し書き換えてみる

./init/main.c の kernel_init 関数を少しだけ書き換えてみます。

GitHub 上のソースコードの該当箇所はこちらです。

ひとまずログ出力を追加するだけとします。

 	do_sysctl_args();
 
+	pr_info("[MYLOG] log1 ramdisk_execute_command: %s\n", ramdisk_execute_command);
 	if (ramdisk_execute_command) {
+		pr_info("[MYLOG] log2 ramdisk_execute_command: %s\n", ramdisk_execute_command);
 		ret = run_init_process(ramdisk_execute_command);
 		if (!ret)
 			return 0;

ビルド

ビルド自体は sudo make だけで実行可能ですが、高速化するために 2 つほど工夫をいれます。

ccache のインストール

「カーネルのビルド時間を短縮する技 | ガジェット好きの日記」という記事を参考に、ccache を導入しました。

一回目のビルドは高速化しませんが、二回目以降は高速になるはずです。

並列での実行

CPU の複数コアを活かしてビルドするため、make コマンドにオプションをつけます。

sudo make -j8

しばらく待てばビルドが完了します。

CONFIGSYSTEMTRUSTED_KEYS に対応するファイルがない旨のエラー

.config 内の CONFIGSYSTEMTRUSTED_KEYS の設定に対応するファイルがない場合、エラーが発生します。

とりあえずビルドを通すだけでよければ、.config を

CONFIG_SYSTEM_TRUSTED_KEYS=""

のように書き換えることで解消できます。

インストール

カーネルモジュールのインストール

$ sudo make modules_install

カーネルのインストール

$ sudo make install

再起動

新しくインストールしたカーネルで起動するか、再起動して確認します。

sudo reboot

uname で確認すると…

$ uname -r
5.13.7

カーネルのバージョンが 5.13.7 になっています。

ログを確認

dmesg で、カーネルのログを確認すると…

$ dmesg | grep MYLOG
[    0.633390] [MYLOG] log1 ramdisk_execute_command: /init
[    0.633391] [MYLOG] log2 ramdisk_execute_command: /init

追加したログが反映されていました。

【2021 年 7 月】読んだ本の記録

Sat, 31 Jul 2021 08:53:13 GMT

個人の記録として、2021 年 7 月に読んだ本をまとめます。

CPU について

32ビットコンピュータをやさしく語る　はじめて読む486

OS について学ぶ前提知識として、CPU の基礎知識を得るために『はじめて読む486』を手に取りました。

保護機能や割り込みなど、OS を学ぶ上での必須事項が丁寧に解説されており、非常に参考になりました。

その他、CPU について学ぶための書籍はこちらの記事にまとめまています。

自作 PC について

パソコン自作の教科書

１００％ムックシリーズ　自作PCバイブル2020-2021

PC自作の鉄則！2021

PC自作・チューンナップ虎の巻二〇二一【DOS/V POWER REPORT 特別編集】

勉強と遊びの目的で PC を自作したくなったので、せっかくの機会ということで最近の本を何冊か読んでみました。

PC 自体もサクッと作ることができ、勉強や遊びに使えて満足しています。

これらの本については、こちらの記事にまとめています。

また、PC を作るにあたって考えたことはこちらの記事にまとめています。

雑誌

WEB+DB PRESS Vol.123

Software Design と WEB+DB PRESS を購読しているのですが、今月は WEB+DB PRESS しか読めず、Software Design が積読となってしまいました…

積読はさらなる積読を呼ぶので、早めに解消しようと思います。

Linux について

詳解 Linuxカーネル第3版

Linuxカーネル解析入門

いつか読みたいと思っていた『詳解 Linuxカーネル』を一周読むことができました。 1024 ページもある本なので、達成感は大きいです。

感想や事前準備などはこちらの記事にまとめています。

その後、かなり昔に読んで全然よく分からなかった『Linuxカーネル解析入門』を再度読みましたが、以前読んだときとは理解度が全然違いました。

昔読めなかった本が読めるようになっていると、自分がレベルアップしたことを実感しますね。

仮想化について

ネットワーク仮想化～基礎からすっきりわかる入門書～

KVM徹底入門　Linuxカーネル仮想化基盤構築ガイド

仮想化関係の基礎知識をつけたかったので、2 冊ほど本を手に取りました。

『ネットワーク仮想化～基礎からすっきりわかる入門書～』については、タイトル通り、ネットワークを中心に仮想化の基礎を学べました。 OpenFlow の雰囲気が分かったのが特によかったです。

『KVM徹底入門』は個人的にかなりよかったです。おすすめです。 KVM についてネット上で調べても、libvirt や qemu などとの関係がなかなか見えてこなかったのですが、こちらの書籍を読むことでしっかり整理されました。

ネットで勉強しようとすると断片的な情報を自力で繋ぐ必要があることが多いので、こういった点は書籍の強みですね。

gRPC について

スターティングgRPC

gRPC の概要をおさえるため、こちらの書籍を手に取りました。実装のイメージをつけるには十分な内容でした。

REST、GraphQL、gRPC に関する書籍はこちらの記事にまとめました。

『Effective Python』は Python の経験がある程度ないと難しい内容で、自分には少し手に余る内容でした。ゆくゆくまた手に取ろうと思います。

これらの本については、こちらの記事にまとめました。

おわりに

以上、今月は 14 冊の本を読みました。

CPU や OS といった基礎知識が強まったのと、Python を改めて勉強できたのがよかったです。

あるテーマの本をまとめていくつも読むと、その分野の力が明確に高まるので結構おすすめです。

また来月も色々読んでみようと思います。