文字コード（UTF-8）

コンピューターは文字を数値として扱うため、どの文字をどの数値で表すかの決まりが要ります。この決まりを文字コードと呼びます。世界の文字をまとめて扱える Unicode を、UTF-8 という形式で表すのがWebでは一般的です。日本では、Shift_JIS などの文字コードも長く使われてきました。

書き手と読み手で文字コードが食い違うと、文字が意味の分からない記号に変わる「文字化け」が起きます。古い業務システムから出力したCSVのファイルを、新しいシステムやAIのサービスに取り込む場面でよく起きる問題です。システム間でデータを受け渡すときは、使う文字コードを決めておきます。

人名や地名に使われる一部の漢字や、環境に依存する記号は、文字コードによって表せなかったり、別の文字に置き換わったりします。古いシステムからデータを移すときは、変換できない文字の一覧を作り、扱いを決めておきます。新しく作るシステムでは、UTF-8にそろえるのが基本です。