abh fyrir 20 árum, 6 mánuðum Fjöldi lestra: 2400

Stafakóðanir í textaskjölum.

Þeir sem hafa verið að vandræðast með textaskrár í .NET umhverfinu hafa eflaust lent í vandræðum tengdum íslenskum stöfum og fleira því líkt. Ástæðan fyrir þessu er mismunandi kóðun á stöfunum. .NET notast við UTF-8 sem sjálfgefna stafakóðun sem er mjög gott mál, en vandamálið er að Windows XP og Windows 2000 að ég held, notast við UTF-7 ef Ísland er valið í “regional settings”.

.Net inniheldur ágætis aðferð til að styðja flest allar kóðanir, og einfalt mál er að sækja “default” kóðun stýrikerfisins, t.d. með því að keyra System.Text.Encoding.Default en það skilar okkur til baka kóðara sem Windowsið notar sem “Default”.

Þetta er ekki vandamál í flestum tilfellum, en þar sem er komið ósamræmi við kóðun í .NET og svo í Windows, þá getur reynst nauðsynlegt að styðja báðar kóðanirnar. Ég hef ekki fundið aðferð í .NET til að fatta sjálfvirkt hvaða kóðun textaskjal notar, og hefur því oft reynst vandamál að fá þessi skjöl til að birtast rétt.

Windows API-ið inniheldur aftur á móti fall sem reynir að fatta þetta, það er ekki 100% öruggt, en það í það minnsta betra en ekkert :D Nú ætla ég að sýna hvernig hægt er að nota þetta fall.

Í fyrsta lagi þarf að bæta við using klausuna:

using System.Runtime.InteropServices;

og svo skilgreina nokkrar breytur. Ég set þær sem member breytur á klasann.

public static int IS_TEXT_UNICODE_ASCII16 = 0x1;
public static int IS_TEXT_UNICODE_CONTROLS = 0x4;
public static int IS_TEXT_UNICODE_DBCS_LEADBYTE = 0x400;
public static int IS_TEXT_UNICODE_ILLEGAL_CHARS = 0x100;
public static int IS_TEXT_UNICODE_NOT_ASCII_MASK = 0xF000;
public static int IS_TEXT_UNICODE_NOT_UNICODE_MASK = 0xF00;
public static int IS_TEXT_UNICODE_NULL_BYTES = 0x1000;
public static int IS_TEXT_UNICODE_ODD_LENGTH = 0x200;
public static int IS_TEXT_UNICODE_REVERSE_ASCII16 = 0x10;
public static int IS_TEXT_UNICODE_REVERSE_CONTROLS = 0x40;
public static int IS_TEXT_UNICODE_REVERSE_MASK = 0xF0;
public static int IS_TEXT_UNICODE_REVERSE_SIGNATURE = 0x80;
public static int IS_TEXT_UNICODE_REVERSE_STATISTICS = 0x20;
public static int IS_TEXT_UNICODE_SIGNATURE = 0x8;
public static int IS_TEXT_UNICODE_STATISTICS = 0x2;
public static int IS_TEXT_UNICODE_UNICODE_MASK = 0xF;

Svo þarf að skilgreina fallið, sem er í “advapi32.dll”.

[DllImport("advapi32.dll")]
pub lic static extern int IsTextUnicode(char[] pBuffer, int cb, ref int lpi);

Þarna eru þrjár breytur sem fallið þarf að fá, í fyrsta lagi er það texti sem á að athuga, við notum char array þar sem ef við búum til strengja breytu, þá er .NET þegar búið að kóða textann í UTF-8, og það viljum við alls ekki. Næsta breyta er stærðin á pBuffer og síðasta breytan er eitthvað af IS_TEXT_UNICODE_* breytunum, auðvitað er hægt að blanda þeim saman með and og or.

Hér er svo dæmi um hvernig ég nota fallið til að lesa inn texta skrá í textabox. Þetta dæmi notar System.Text; og System.IO; í using klausunni.

FileStream fs = File.OpenRead(filename);
try
{
    byte[] buffer = new byte[fs.Length];
    // Lesa textann inn í byte arrayinn.
    fs.Read(buffer, 0, buffer.Length);
    char[] chars = new char[buffer.Length];
    // Færa byte arrayinn yfir í char array
    Array.Copy(buffer, chars, chars.Length);
    // Skilgreina eftir hverju á að leita í textanum.
    int unicodeTest = IS_TEXT_UNICODE_ILLEGAL_CHARS;
    IsTextUnicode(chars, chars.Length, ref unicodeTest);
    // Ef textinn inniheldur illegal chars, þá geri ég ráð fyrir
    // að textinn sé kóðaður í UTF-7, annars UTF-8
    if (unicodeTest == IS_TEXT_UNICODE_ILLEGAL_CHARS)
        enc = Encoding.UTF7; // Betra að hafa Encoding.Default !
    else
        enc = Encoding.UTF8;
    // Svo lesa efnið úr skránni inn í textaboxið.
    textBox1.Text = enc.GetString(buffer);
}
finally
{
    // Aldrei gleyma að loka filestream-um var mér einhvern tímann
    // sagt, en auðvitað lokar .NET þessu fyrir mig þegar fs breytan
    // er komin úr “scope”, en betra að hlýða bara ;)
    fs.Close();
}

Auðvitað er þetta dæmi mitt ekki öflugt, en þetta er bara spurning um að bæta aðeins við unicodeTest breytinu og henda svo inn fleiri if skipunum ;)

Vona að einhverjir njóti góðs af.

abh fyrir 20 árum, 6 mánuðum

Ég fattaði ekki fyrr en ég var búinn að ýta á senda, að betra hefði verið að hafa með útskýringar á þessum breytum þarna :D

Ég leyfi mér því að copy/paste-a aðeins af msdn síðunum og vona að Microsoft verði mér ekki reiðir ;)

Þetta er á: http://msdn.microsoft.com/library/default.asp?url=/libr ary/en-us/intl/unicode_81np.asp

IS_TEXT_UNICODE_ASCI I16
The text is Unicode, and contains onlyzero-extended ASCII values/characters.

IS_TEXT_UNICODE_REVERSE_ASCII16
Same as the preceding, except that the Unicode text is byte-reversed.

IS_TEXT_UNICODE_STATISTICS
The text is probably Unicode, with the determination made by applying statistical analysis. Absolute certainty is not guaranteed. See the following Remarks section.

IS_TEXT_UNICODE_REVERSE_STATISTICS
Same as the preceding, except that the probably-Unicode text is byte-reversed.

IS_TEXT_UNICODE_CONTROLS
The text contains Unicode representations of one or more of these nonprinting characters: RETURN, LINEFEED, SPACE, CJK_SPACE, TAB.

IS_TEXT_UNICODE_REVERSE_CONTROLS
Same as the preceding, except that the Unicode characters are byte-reversed.

IS_TEXT_UNICODE_BUFFER_TOO_SMALL
There are too few characters in the buffer for meaningful analysis (fewer than two bytes).

IS_TEXT_UNICODE_SIGNATURE
The text contains the Unicode byte-order mark (BOM) 0xFEFF as its first character.

IS_TEXT_UNICODE_REVERSE_SIGNATURE
The text contains the Unicode byte-reversed byte-order mark (Reverse BOM) 0xFFFE as its first character.

IS_TEXT_UNICODE_ILLEGAL_CHARS
The text contains one of these Unicode-illegal characters: embedded Reverse BOM, UNICODE_NUL, CRLF (packed into one WORD), or 0xFFFF.

IS_TEXT_UNICODE_ODD_LENGTH
The number of characters in the string is odd. A string of odd length cannot (by definition) be Unicode text.

IS_TEXT_UNICODE_NULL_BYTES
The text contains null bytes, which indicate non-ASCII text.

IS_TEXT_UNICODE_UNICODE_MASK
This flag constant is a combination of IS_TEXT_UNICODE_ASCII16, IS_TEXT_UNICODE_STATISTICS, IS_TEXT_UNICODE_CONTROLS, IS_TEXT_UNICODE_SIGNATURE.

IS_TEXT_UNICODE_REVERSE_MASK
This flag constant is a combination of IS_TEXT_UNICODE_REVERSE_ASCII16, IS_TEXT_UNICODE_REVERSE_STATISTICS, IS_TEXT_UNICODE_REVERSE_CONTROLS, IS_TEXT_UNICODE_REVERSE_SIGNATURE.

IS_TEXT_UNICODE_NOT_UNICODE_MASK
This flag constant is a combination of IS_TEXT_UNICODE_ILLEGAL_CHARS, IS_TEXT_UNICODE_ODD_LENGTH, and two currently unused bit flags.

IS_TEXT_UNICODE_NOT_ASCII_MASK
This flag constant is a combination of IS_TEXT_UNICODE_NULL_BYTES and three currently unused bit flags.

Fyrra álit

superflyer fyrir 20 árum, 6 mánuðum

100111011101011000101011101110010111011101110
11101000 1010101010110000101110100011010100110110

Fyrra álit

dermann fyrir 20 árum, 6 mánuðum

Gerir StreamReaderinn þetta ekki fyrir mann bara:

public StreamReader(
Stream stream,
Encoding encoding,
bool detectEncodingFromByteOrderMarks
);

þar sem detectEncodingFromByteOrderMarks:

The detectEncodingFromByteOrderMarks parameter detects the encoding by looking at the first three bytes of the stream. It automatically recognizes UTF-8, little-endian Unicode, and big-endian Unicode text if the file starts with the appropriate byte order marks. Otherwise, the user-provided encoding is used. See the Encoding.GetPreamble method for more information.

Væri þá ekki hægt að gera þetta bara svona:
System.IO.StreamReader sr = new System.IO.StreamReader(“c:\test.txt”, System.Text.Encoding.Default, true);

/dm

Fyrra álit

abh fyrir 20 árum, 6 mánuðum

Sorry, en virkar allavega ekki fyrir mig.

Ég geri bara textaskrá í notepad, og vista með ANSI encoding, og þegar ég opna hana með þessari aðferð, þá virðist hún alltaf notast við System.Encoding.UTF8 í stað System.Encoding.Default (UTF7) sem ég gef fallinu, þar af leiðandi virka ekki íslensku stafirnir.

Fyrra álit

dermann fyrir 20 árum, 6 mánuðum

Skrýtið, þetta birtir íslensku stafina rétt hjá mér:

private void Form1_Load(object sender, System.EventArgs e)
{
System.IO.StreamReader sr = new System.IO.StreamReader(“c:\\test.txt”, System.Text.Encoding.Default, true);
try
{
string s;
s = sr.ReadToEnd();
MessageBox.Show(s);
}
finally
{
sr.Close();
}
}

Sam a hvort ég vista skrána sem ANSI, Unicode/Unicode big endian eða UTF8

/dm

Fyrra álit

jonrh fyrir 20 árum, 6 mánuðum

using System;

namespace _3x2x5x
{
class Strengur
{
private string einka_strengur;

public Strengur()
{ this.strengur= “x”; }
public Strengur(string val)
{ this.strengur = val; }

public string strengur
{
get{ return this.einka_strengur; }
set{ this.einka_strengur = value; }
}

static public Strengur operator+ ( Strengur x, Strengur y)
{
Strengur result = new Strengur();
//result.strengur = (char)(orig.ch + val);
result.strengur=“5x”;
return result;
}

}

class Class1
{

static void Main()
{
Strengur s1,s2;
Strengur sum=new Strengur();
string val1,val2;

Console.WriteLine(“þetta forrit leggur saman tvo strengi dæmi 2x +3x=5x”);
Console.WriteLine(“sláðu inn streng eitt”);
val1=Console.ReadLine();
s1=new Strengur(val1);
Console.WriteLine(“sláðu inn streng tvö”);
val2=Console.ReadLine();
s2=new Strengur(val2);
Console.WriteLine(“Slegin hafa verið inn gildin: {0}, {1}”, s1.strengur,s2.strengur);
sum =s1+s2;
Console.WriteLine(“Niðurstaðan er {0} + {1} = {2} ”,s1.strengur,s2.strengur,sum.strengur);
Console.R eadLine();

}
}
}

Fyrra álit

Forritun

Forritun

Ofurhugar

Stjórnendur

Hverjir eru inni

Greinar

Stafakóðanir í textaskjölum.

Dýr

Dægurmál

Fræði

Leikir

Lífið

Lífsstíll

Margmiðlun

Menning

Skjár

Sport

Tónlist

Tækni

Vélar

Hugi