Linux下编码转换(iconv函数族)

转自:http://www.linuxdiyf.com/viewarticle.php?id=45164

在Linux上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现(针对文件进行转换)

一、利用iconv函数族进行编码转换

iconv函数族的头文件是iconv.h

使用前需包含之:#include <iconv.h>

iconv函数族有三个函数,原型如下:

(1) iconv_open()

函数原型:

iconv_t iconv_open(const char *tocode, const char *fromcode);

函数功能:

该函数分配一个编码转换句柄

参数:

1> tocode是目标编码

2> fromcode是原编码

(具体可以使用的编码方案可以百度查找)

支持的内码包括:Unicode相关编码,如UTF-8、UTF-16等等;各国采用的ANSI编码,其中包括GB2312、BIG5等中文编码方式。

返回值:

调用成功,则该函数返回一个转换句柄,供以下两个函数使用;

调用失败,返回-1,并且设置errno

可能的错误类型:

EINVAL The conversion from fromcode to tocode is not supported by theimplementation.

(2) iconv()

函数功能:进行实际的编码转换

函数原型:

size_t iconv(iconv_t cd, char **inbuf, size_t *inbytesleft, char **outbuf, size_t *outbytesleft);

参数介绍:

1> cd是方法iconv_open()调用返回的转码句柄;

2> inbuf指向需要转码的缓冲区;

3> inbytesleft是inbuf所保存的需要转码的字节数;

4> outbuf存放转码结果;

5> outbytesleft存放outbuf空间的大小。

(不足之处:由于没有办法获取转换之后需要的内存大小,所以会造成内存空间的浪费!)

返回值:

调用成功,返回转换的字节数(不可逆转调用的字节数,可逆转调用的字节数不包括在内)

调用失败,返回-1,并设置相应的errno。

注意:

iconv()是逐步扫描inbuf,每转换一个字符,就增加inbuf,减少inbytesleft,并将结果存入outbuf,结果字节数存入outbytesleft

常见的三种情况:

情况一: inbuf不为空,而且*inbuf也不为空

此时,进行正常的编码转换

遇到下列情况将停止扫描并返回:

(1)inbuf中碰到非法的多字节序

这种状况下,会设置errno为EILSEQ,并返回-1;

(2)inbuf字节被完全转换

这种状况下,返回转换的字节数

(3)inbuf中碰到不完整的多字节序

这种状况下,设置errno为EINVAL,并返回-1;

(4)outbuf中没有足够的空间以进行下一次的字符转换

这种状况下,设置errno为E2BIG,并返回-1;

情况二:inbuf == NULL,或者*inbuf == NULL;但outbuf != NULL,且*outbuf != NULL

iconv会设置转换状态为初始状态,并保存转换序列到*outbuf。如果outbuf空间不足,errno会设置为E2BIG,返回(size_t) (-1);

情况三:INBUF == NULL,或者*inbuf == NULL; 并且outbuf == NULL,*out == NULL

iconv设置转换状态为初始状态

(3) iconv_close()

函数原型:

int iconv_close(iconv_t cd);

函数功能:

此函数用于关闭转换句柄,释放资源。

示例代码:

封装一个转换类型:

class CCodeConverter{ public:    CCodeConverter(const char * fromCode, const char * toCode)    {        hCodeConverter=iconv_open(toCode, fromCode);    }    ~CCodeConverter()    {        iconv_close(hCodeConverter);    }    //进行转换    int convert(char * srcBuf, int srcLen, char * destBuf, int destLen)    {        //返回转换的字符个数        int nConv=iconv(hCodeConverter, &srcBuf, (size_t *)&srcLen, &destBuf, (size_t *)&destLen);        //如果错误,则获取错误码        nErr=errno;        return nConv;    }    //获取错误信息    int getErrInfo()    {        switch(nErr)            {            case E2BIG:                {                    printf("errno:E2BGI(OutBuf空间不够)\n");                    break;                }            case EILSEQ:                {                    printf("errno:EILSEQ(InBuf多字节序无效)\n");                    break;                }            case EINVAL:                {                    printf("errno:EINVAL(有残留的字节未转换)\n");                    break;                }            default:                break;            }        return nErr;    } private:    //转换句柄    iconv_t hCodeConverter;    int nErr;};

以utf-8转为utf-16为例

int main(){    int srcLen=12;    char * srcBuf=new char[srcLen];    memset(srcBuf, 0, srcLen);    strcpy(srcBuf, "BaiSe");    int destLen=2*srcLen;    char * destBuf=new char[destLen];    memset(destBuf, 0, destLen);    CCodeConverter cv=CCodeConverter("utf-8", "utf-16");    int nRet=cv.convert(srcBuf, srcLen, destBuf, destLen);    if(nRet<0)    {        cv.getErrInfo();        return -1;    }    printf("转换成功\n");   }

调试,查看内存,destBuf内容如下:

(gdb) print destBuf$1 = 0x804b018 "\377\376B"(gdb) print destBuf+1$2 = 0x804b019 "\376B"(gdb) print destBuf+2$3 = 0x804b01a "B"(gdb) print destBuf+3$4 = 0x804b01b ""(gdb) print destBuf+4$5 = 0x804b01c "a"(gdb) print destBuf+5$6 = 0x804b01d ""(gdb) print destBuf+6

$7 = 0x804b01e "i"

问题:不明白为什么前面有"\377\376",是用来标识编码类型的么?

二、iconv命令

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

用法: iconv [选项…] [文件…]

有如下选项可用:

输入/输出格式规范:

-f, –from-code=名称 原始文本编码-t, –to-code=名称 输出编码信息:-l, –list 列举所有已知的字符集输出控制:-c 从输出中忽略无效的字符-o, –output=FILE 输出文件-s, –silent 关闭警告–verbose 打印进度信息-?, –help 给出该系统求助列表–usage 给出简要的用法信息

-V, –version 打印程序版本号

例子:

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

走走停停,不要害怕错过什么,

Linux下编码转换(iconv函数族)

相关文章:

你感兴趣的文章:

标签云: