locale localedef --之Linux字符集理解

  参考: https://www.cnblogs.com/dolphi/p/3622420.html

      http://www.360doc.com/content/15/1105/08/14513665_510854234.shtml
以下内容中为了保障文章整体看上去可以由浅入深的全面说明问题,我摘录了上面这个博主的两篇文章中的原文,
仅是为了完整说明问题. 360doc这篇文章也给我很多启发. 对这些做一个总体总结,说明如下.

 

到底什么是locale?
locale这个单词中文翻译成地区或者地域,其实这个单词包含的意义要宽泛很多。Locale是根据计算机用户所使用的语言,所在国家或者地区,以及当地的文化传统所定义的一个软件运行时的语言环境。

[oracle@game ~]$ locale

  • LANG=en_US.UTF-8
  • LC_CTYPE="en_US.UTF-8"
  • LC_NUMERIC="en_US.UTF-8"
  • LC_TIME="en_US.UTF-8"
  • LC_COLLATE="en_US.UTF-8"
  • LC_MONETARY="en_US.UTF-8"
  • LC_MESSAGES="en_US.UTF-8"
  • LC_PAPER="en_US.UTF-8"
  • LC_NAME="en_US.UTF-8"
  • LC_ADDRESS="en_US.UTF-8"
  • LC_TELEPHONE="en_US.UTF-8"
  • LC_MEASUREMENT="en_US.UTF-8"
  • LC_IDENTIFICATION="en_US.UTF-8"
  • LC_ALL=en_US.UTF-8


locale把按照所涉及到的文化传统的各个方面分成12个大类,这12个大类分别是:

  • 1、语言符号及其分类(LC_CTYPE)
  • 2、数字(LC_NUMERIC)
  • 3、比较和排序习惯(LC_COLLATE)
  • 4、时间显示格式(LC_TIME)
  • 5、货币单位(LC_MONETARY)
  • 6、信息主要是提示信息,错误信息,状态信息,标题,标签,按钮和菜单等(LC_MESSAGES)
  • 7、姓名书写方式(LC_NAME)
  • 8、地址书写方式(LC_ADDRESS)
  • 9、电话号码书写方式(LC_TELEPHONE)
  • 10、度量衡表达方式 (LC_MEASUREMENT)
  • 11、默认纸张尺寸大小(LC_PAPER)
  • 12、对locale自身包含信息的概述(LC_IDENTIFICATION)。


所以说,locale就是某一个地域内的人们的语言习惯和文化传统和生活习惯。一个地区的locale就是根据这几大类的习惯定义的,
这些locale定义文件放在 /usr/share/i18n/locales 目录下面,例如en_US, zh_CN and de_DE@euro都是locale的定义文件,
这些文件都是用文本格式书写的,你可以用写字板打开,看看里边的内容,当然出了有限的注释以外,大部分东西可能你都看不懂,
因为是用的Unicode的字符索引方式。


什么是字符集?
字符集就是字符,尤其是非英语字符在系统内的编码方式,也就是通常所说的内码,所有的字符集都放在 /usr/share/i18n/charmaps,所有的字符集也都是用Unicode编号索引的。Unicode用统一的编号来索引目前已知的全部的 符号。而字符集则是这些符号的编码方式,或者说是在网络传输,计算机内部通信的时候,对于不同字符的表达方式,Unicode是一个静态的概念,字符集是 一个动态的概念,是每一个字符传递或传输的具体形式。就像 Unicode编号U59D0是代表姐姐的“姐”字,但是具体的这个字是用两个字节表示,三个 字节,还是四个字节表示,是字符集的问题。例如:UTF-8字符集就是目前流行的对字符的编码方式,UTF-8用一个字节表示常用的拉丁字母,用两个字节 表示常用的符号,包括常用的中文字符,用三个表示不常用的字符,用四个字节表示其他的古灵精怪的字符。而GB2312字符集就是用两个字节表示所有的字 符。需要提到一点的是Unicode除了用编号索引全部字符以外,本身是用四个字节存储全部字符,这一点在谈到挂载windows分区的时候是非常重要的 一个概念。所以说你也可以把Unicode看作是一种字符集(我不知道它和UTF-32的关系,反正UTF-32就是用四个字节表示所有的字符的),但是 这样表述符号是非常浪费资源的,因为在计算机世界绝大部分时候用到的是一个字节就可以搞定的 26个字母而已。所以才会有UTF-8,UTF-16等等, 要不然大同世界多好,省了这许多麻烦。


zh_CN.GB2312到底是在说什么?
Locale是软件在运行时的语言环境, 它包括语言(Language), 地域 (Territory) 和字符集(Codeset)。
一个locale的书写格式为:
语言[_地域[.字符集]]。
   所以说呢,locale总是和一定的字符集相联系的。下面举几个例子:

  • 1、我说中文,身处中华人民共和国,使用国标2312字符集来表达字符。zh_CN.GB2312=中文_中华人民共和国+国标2312字符集。
  • 2、我说中文,身处中华人民共和国,使用国标18030字符集来表达字符。zh_CN.GB18030=中文_中华人民共和国+国标18030字符集。
  • 3、我说英文,身处大不列颠,使用ISO-8859-1字符集来表达字符。 en_GB.ISO-8859-1=英文_大不列颠.ISO-8859-1字符集
  • 4、我说德语,身处德国,使用UTF-8字符集,习惯了欧洲风格。de_DE.UTF-8@euro=德语_德国.UTF-8字符集@按照欧洲习惯加以修正,
  •      注意不是de_DE@euro.UTF-8,所以完全的locale表达方式是 [语言[_地域][.字符集] [@修正值]。 


其中,与中文输入关系最密切的就是LC_CTYPE,LC_CTYPE规定了系统内有效的字符以及这些字符的分类,
诸如什么是大写字母,小写字母,大小写转换,标点符号、可打印字符和其他的字符属性等方面。而locale定 义zh_CN中
最最重要的一项就是定义了汉字(Class“hanzi”)这一个大类,当然也是用Unicode描述的,这就让中文字符在Linux系统中
成为合法的有效字符,而且不论它们是用什么字符集编码的。


根据以上说明,可这样来理解
查看zh_CN的locale定义:
  less   /usr/share/i18n/locales/zh_CN        #在此文件中就可看到"hanzi"的定义. 这个文件其实就相当于locale的定义的源代码.
  zcat   /usr/share/i18n/charmaps/UTF-8.gz | less  #而此文件是具有UTF-8这种字符集的定义源代码.

但是系统不可能将所有的locale和字符集都集成到系统中,况且我们平时能使用到的字符集也是非常有限的几个.
所以默认字符集是在安装系统是设置好的.若需要修改默认字符集,我们就需要重新编译上面提到的源代码,来生成新的locale.
系统中默认提供了一些预先编译好的locale:
  locale -a | grep zh_CN
可看到系统预先编译的locale,这些是可以直接使用的. 如: export LANG=zh_CN.utf8

设定locale的规则如下:
          设定locale就是设定12大类的locale分类属性,即12个LC_*。除了这12个变量可以设定以外,
  为了简便起见,还有两个变量:LC_ALL和LANG。它们之间有一个优先级的关系:LC_ALL > LC_* >LANG。
  可以这么说,LC_ALL是最上级设定或者强制设定,而LANG是默认设定值。

  • 1、如果你设定了LC_ALL=zh_CN.UTF-8,那么不管LC_*和LANG设定成什么值,它们都会被强制服从LC_ALL的设定,成为 zh_CN.UTF-8。
  • 2、假如你设定了LANG=zh_CN.UTF-8,而其他的LC_*=en_US.UTF-8,并且没有设定LC_ALL的话,那么系统的locale设定以LC_*=en_US.UTF-8。
  • 3、假如你设定了LANG=zh_CN.UTF-8,而其他的LC_*,和LC_ALL均未设定的话,系统会将LC_*设定成默认值,也就是LANG的值zh_CN.UTF-8。
  • 4、假如你设定了LANG=zh_CN.UTF-8,而其他的LC_CTYPE=en_US.UTF-8,其他的LC_*,和LC_ALL均未设定的话,
  •   那么系统的locale设定将是:LC_CTYPE=en_US.UTF-8,其余的 LC_COLLATE,LC_MESSAGES等等均会采用默认值,
  •   也就是 LANG的值,也就是LC_COLLATE=LC_MESSAGES=……= LC_PAPER=LANG=zh_CN.UTF-8。

所以,locale是这样设定的:
  1、如果你需要一个纯中文的系统的话,设定LC_ALL= zh_CN.XXXX,或者LANG=zh_CN.XXXX都可以,
        当然你可以两个都设定,但正如上面所讲,LC_ALL的值将覆盖所有其他的locale设定,不要作无用功。
  2、如果你只想要一个可以输入中文的环境,而保持菜单、标题,系统信息等等为英文界面,那么只需要
    设定 LC_CTYPE=zh_CN.XXXX,LANG=en_US.XXXX就可以了。这样LC_CTYPE=zh_CN.XXXX,
    而LC_COLLATE=LC_MESSAGES=……= LC_PAPER=LANG=en_US.XXXX。
  3、假如你高兴的话,可以把12个LC_*一一设定成你需要的值,打造一个古灵精怪的系统:
    LC_CTYPE=zh_CN.GBK/GBK(使用中文编码内码GBK字符集);
    LC_NUMERIC=en_GB.ISO-8859-1(使用大不列颠的数字系统)
    LC_MEASUREMEN=de_DE@euro.ISO-8859-15(德国的度量衡使用ISO-8859-15字符集)
    罗马的地址书写方式,美国的纸张设定……。估计没人这么干吧。
  4、假如你什么也不做的话,也就是LC_ALL,LANG和LC_*均不指定特定值的话,系统将采用POSIX作为lcoale,
    也就是C locale。


知道了locale的设置规则,那么如何为一个用户专门指定一个字符集?

  当执行下面命令时,我们实际是创建了一个myzh.UTF8的locale
    localedef -f UTF-8 -i zh_CN myzh.UTF8
  此locale的含义是 让zh_CN这个 "locale类" 默认使用myzh.UTF8这个locale字符集.而locale myzh.UTF8 使用的字符集是UTF-8.

  localedef实际就是读取了 /usr/share/i18n/locales/zh_CN 和  /usr/share/i18n/charmaps/UTF-8.gz 并对其做编译生成myzh.UTF8的locale
  但需要注意,系统对locale的名字是不区分大小写的, 编译生成的信息会存储到 /usr/lib/locale/locale-archive 此文件中.它是一个二进制文件。
  若要查看:

    hexdump -C   /usr/lib/local/locale-archive  | grep  myzh
    但实际上,UTF-8这个字符集具体支不支持中文,我不能确定,我在RHEL7.0上测试,似乎不支持.



所以测试可这样测试:
  localedef  -f  GB2312   -i  zh_CN    myzh.GB2312
  locale -a |grep myzh    #此命令可查看locale-archive中的locale.

其实上面的操作仅是让系统帮你创建了locale,这个locale实际上它所依赖的locale文件
系统并不会自动创建.locale文件就是上面提到的12个变量值. 在locale中,它们实际是以文件的
形式存在的,并且这些文件都是编译好的数据文件,无法直接查看.


如何让系统生成这些数据文件那?
  mkdir   $HOME/.locale    #假如我们创建一个叫.locale的目录.用来存储专用的locale
  cd $HOME/.locale
  localedef  -f  GB2312   -i   zh_CN    $PWD/myzh.GB2312
    #这样就在 $HOME/.locale创建了一个myzh.GB2312的目录,此目录下存储的就是上面说的12个变量值的数据文件.
    

 

看上去,好像很清楚系统的字符集了,但事实上,这不是全部。
系统使用locale时,它根据 $LANG 的值,来确定当前系统的语言是什么.
假如 LANG=myzh.GB2312, 但其他LC_* 的值都为空, 则这些值将使用 LANG 的值.
但是,系统并不能使用 $HOME/.locale/myzh.GB2312 此目录中的12个参数值.
我们还需要设置 LOCPATH="$HOME/.locale:$LOCPATH"
同时还要设置 ln -s    $HOME/.locale/myzh.GB2312    $HOME/.locale/myzh.gb2312
因为系统查找这12个变量值的数据文件时,使用的是小写,所以要么你创建时,就写为小写,否则就需要做软连接.
  yum install strace
  strace -eopen ls xx   #可查看系统调用字符集文件时,访问的路径.

通过 strace 命令,你会发现,创建myzh.GB2312中还是有很多文件找不到,这是怎么回事?
  其实 localedef 帮我们创建的 locale 是依据zh_CN这locale类来创建的,可认为myzh.GB2312
是zh_CN locale类的子实例.但是由于创建zh_CN的子实例时,没有安照标准的命名格式 zh_CN.GB2312
即 父locale名.字符集 ,而是随便写了一个 myzh.GB2312 那么系统就以为,这个locale实例是myzh这个
父locale的子实例,因为系统按照 /usr/share/i18n/locales/zh_CN 和 /usr/share/i18n/charmaps/GB2312.gz
来编译生成myzh.GB2312 locale时,并不会将父myzh中的所有字体相关文件都创建,放到myzh.GB2312中的
系统在使用到这些相同的文件时,发现myzh.GB2312这个实例中没有,就自动到myzh中去查找,但我并没有
myzh这父locale,只有zh_CN这个父locale, 因此还需要创建一个软连接将myzh 和 zh_CN关联起来.
如:

  

   终于,系统在查找字体相同文件时,可以正确找到相关文件了.

   接着使用 export LANG=myzh.GB2312 时,一切都正常了。

  

  系统可以正常显示中文报错信息了。


但实际上,中文显示乱码问题,依然没有完全解决.
因为 若你直接登录linux物理机上,执行命令,依然会出现中文乱码, 这个问题我还没有搞清楚.
客户端使用xshell,等工具登录到linux上时, 通过设置 xshell默认使用指定字符集显示,就可以
正常显示中文,但在物理Linux主机上怎么设置?

localectl   set-locale   LANG=zh_CN.utf8  ? 这可以吗? 其实不可以, localectl实际设置的X Window
  启动时,默认使用的locale的, 即我们启动Linux的图形界面时,它使用的默认locale.
  所以,在Linux 字符界面下,显示中文的问题,该如何解决?
  目前我还不知道.
  希望,知道的朋友可告知,谢谢!

 

posted @ 2019-05-09 11:45  张朝锋  阅读(3518)  评论(0编辑  收藏  举报