‫try, catch, write‬ http://heblog.ronklein.co.il ‫הבלוג של רון קליין, תכנות, OOP ועוד עניינים‬ Fri, 12 Feb 2010 21:04:45 +0000 http://wordpress.org/?v=2.9.1 he hourly 1 ‫Chainsaw Session at ALT.NET tools meeting‬ http://heblog.ronklein.co.il/2010/02/chainsaw-session-at-alt-net-tools-meeting/ http://heblog.ronklein.co.il/2010/02/chainsaw-session-at-alt-net-tools-meeting/#comments Fri, 12 Feb 2010 21:04:45 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=273

לפני שבועיים בערך הייתי במפגש של קבוצת ALT.NET ישראל.
מה זה ALT.NET? הנה העקרון הכללי:

We are a self-organizing, ad-hoc community of developers bound by a desire to improve ourselves, challenge assumptions, and help each other pursue excellence in the practice of software development.

(מתוך אתר ALT.NET)
בקיצור, כן מתכנתים בדוט נט, אבל לא עם הראש בקיר (ובעיקר לא "כי ככה אמרו במיקרוסופט"). כן להיפגש, אבל לא בהרצאות מובנות, אלא בשיחה פתוחה.

המפגש שבו השתתפתי עסק יותר בכלים שונים שיכולים ללוות את המתכנת או לשנות את צורת העבודה שלו. אוהד ישראלי מתאר את זה בפוסט משלו. תודה לחן אגוזי על הארגון ולחברת Delver על האירוח :-)

אני נתתי session על Chainsaw, מתוך כוונה ברורה "להפיץ את הבשורה" ולאפשר למתכנתים נוספים להכיר את ה viewer החביב הזה. בהפסקה נגשו אלי פה ושם אנשים שאמרו שזה באמת מחדש להם והם ינסו את זה. אשריני. אפשר לצפות בוידאו, אבל בעיקר שומעים אותי, וגם זה בקושי. אז הנה, למיטיבי השמיעה שביניכם:

בהזדמנות אני אוסיף לפוסט את המצגת ואת קבצי המקור.

ניסור נעים!

]]> http://heblog.ronklein.co.il/2010/02/chainsaw-session-at-alt-net-tools-meeting/feed/ 0 ‫We're Hiring‬ http://heblog.ronklein.co.il/2010/01/we-are-hiring/ http://heblog.ronklein.co.il/2010/01/we-are-hiring/#comments Wed, 13 Jan 2010 11:25:45 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=262

החברה שבה אני עובד, אקסייטס מדיה, מגייסת בימים אלה עובדים/ות למשרות פיתוח.

בגדול מדובר בשלוש משרות פיתוח:

  1. Server Side Developer
  2. Web Developer
  3. Junior Developer

לתיאור המשרות ולפרטים נוספים – לחצו כאן.

]]> http://heblog.ronklein.co.il/2010/01/we-are-hiring/feed/ 0 ‫Locking by Decorator‬ http://heblog.ronklein.co.il/2010/01/locking-by-decorator/ http://heblog.ronklein.co.il/2010/01/locking-by-decorator/#comments Sat, 09 Jan 2010 08:00:21 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=252

בפוסט הזה:

  • הקדמה
  • הגדרת החוזה
  • מימוש רגיל ללא נעילות
  • נעילה באמצעות Decorator
  • יישום

הקדמה

לא מזמן כתבתי פוסט שמציע להפריד בין לוגיקה של רכיב ללוגיקה של נעילה ע"י אבסטרקציה. בפוסט הזה אני מציע דרך נוספת לעטוף רכיב בנעילה, תוך שימוש ב Design Pattern שנקרא Decorator. המטרה היא שוב להפריד בין לוגיקת רכיב ללוגיקת נעילה, כדי ליצור קוד נקי יותר וגמיש יותר לפי צרכי הפרויקט.

הגדרת החוזה

כדי לא להסתבך יותר מדי, אני אמשיך את הרעיון מהפוסט ההוא, ולכן דוגמת ה Counter תלווה אותנו גם כאן. נמיר את ה Counter שלנו מ class ל interface באופן הבא:

public interface ICounter
{
    void Hit();
    int Current { get; }
}

מימוש רגיל ללא נעילות

המימוש הרגיל והמיידי ל interface הנ"ל:

public class Counter : ICounter
{
    private int counter = 0;

    public void Hit()
    {
        ++counter;
    }

    public int Current
    {
        get { return counter; }
    }        
}

עד כאן טוב ויפה, אבל המימוש הוא כמובן לא thread-safe. עם זאת, הלוגיקה שבמימוש הזה ברורה וקריאה, ונוכל לכתוב unit tests שמתייחסים למימוש הזה בצורה פשוטה ומהירה. זה יתרון חשוב.

נעילה באמצעות Decorator

קצת הקדמה: מה זה Decorator?

אז ככה: בגדול, Decorator זה Design Pattern שמתייחס ל interface-ים ולהוספת פונקציונליות בזמן ריצה, לא על ידי ירושה. אפשר לקרוא עוד בויקיפדיה. במקרה שלפנינו, נוסיף פונקציונליות של נעילה על המימוש של ICounter. או, בניסוח אחר: "נקשט" את הפונקציונליות של Counter בנעילה, אבל נשמור על ה interface. כלומר החוזה נשמר אבל נקבל עוד משהו במימושים.

ניגש לקוד עצמו של ה Decorator שלנו:

public class CounterLockDecorator : ICounter
{
    private readonly ICounter core;
    private readonly object syncObject = new object();

    public CounterLockDecorator(ICounter coreCounter)
    {
        if (null == coreCounter)
            throw new ArgumentNullException("coreCounter");

        core = coreCounter;
    }

    public void Hit()
    {
        lock (syncObject)
        {
            core.Hit();
        }
    }

    public int Current
    {
        get
        {
            lock (syncObject)
            {
                return core.Current;
            }
        }
    }
}

כפי שניתן לראות, ה Decorator מממש בעצמו את החוזה ICounter. אבל הוא לא עושה את כל העבודה – הוא מצפה לקבל בקונסטרקטור שלו מימוש קיים ל ICounter ו"מגלגל" אליו את הקריאות לפי הצורך. כך, למשל, במימוש של המתודה Hit: ה Decorator רק עוטף בנעילה את הקריאה למתודת ה Hit של המימוש הקיים שהוא מחזיק.

יישום

הקריאה ל Counter הרגיל, ללא נעילות, יכולה להתבצע כך:

ICounter myCounter = new Counter();

ואם רוצים את הפונקציונליות של הנעילות, נוכל לקבל ICounter באופן הבא:

ICounter myCounter = new CounterLockDecorator(new Counter());

סיכום

גם בפוסט הזה הראיתי כיצד ניתן להפריד בין הלוגיקה של הרכיב לבין הנעילות שלו. יש להפרדה הזו גם יתרונות וגם חסרונות. היתרונות העיקריים הם קוד גמיש וטסטבילי (כלומר כזה שניתן לבדיקות בצורה קלה). גם הקוד של הרכיב עצמו קריא וברור. עם זאת, יש אי אילו חסרונות להפרדה הזו: פתאום יש שלושה קבצים לתחזק (החוזה, המימוש הרגיל וה decorator) במקום אחד, והקריאה הופכת להיות קצת יותר מורכבת (אפשר לפתור את זה עם factory). יש פתרון נוסף לעניין הזה, והוא שימוש ב dynamic proxy. אם יהיה לי זמן אני ארחיב על זה, אבל הרעיון הכללי הוא ליצור את ה Decorator בזמן ריצה באמצעות הכלים הסטנדרטיים של דוט נט כמו CodeDOM או באמצעות פריימוורק שהוא קצת יותר high level כמו Dynamic Proxy של Castle.

אגב, אפשר להשתמש בנעילה האבסטרקטית שהצעתי בפוסט ההוא בתוך ה Decorator וכך "להרוויח" עוד קצת גמישות בבחירת מנגנון הנעילה עצמו, אבל זה כבר עניין אחר :-)

כל הקוד נמצא כאן, ושיהיה קישוט נעים!

]]> http://heblog.ronklein.co.il/2010/01/locking-by-decorator/feed/ 0 ‫Tip: Setting a startup project in the .sln file‬ http://heblog.ronklein.co.il/2010/01/tip-setting-a-startup-project-in-the-sln-file/ http://heblog.ronklein.co.il/2010/01/tip-setting-a-startup-project-in-the-sln-file/#comments Fri, 08 Jan 2010 08:38:01 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=233

הכנתי פרויקט Lib מסוג Class Library והכנתי פרויקט Demo (שמשתמש ב Lib) מסוג Console Application, ושניהם באותו solution.
שמרתי הכל, והגדרתי שה Demo יהיה ה startup project. הגיוני.
ועכשיו רציתי לשים את הכל כדוגמה לפוסט, אז כיווצתי הכל ל zip.

רק שניה, לפני שאני מעלה את זה, רק כדי לוודא שהכל עובד, אני פותח את הזיפ בתיקיה חדשה וריקה, ומשם פותח את ה Visual Studio 2008 ולוחץ F5 כדי להריץ… ופתאום הוא בוכה שאי אפשר להריץ Class Library, ואני הרי זוכר שממש לפני דקה הגדרתי שה startup project יהיה ה Demo. :mad:

טוב, בטח אני לא הראשון שנתקל בזה, אז קדימה לגגל!
הגעתי (איך לא) לדיון דומה ב stackoverflow.com, וגם לפוסט בנושא בבלוג של Arian Kulp.
מה מסתבר? שההגדרה של ה startup project לא נשמרת ב sln, אלא ב suo. :shock:
יש דרך לעקוף את זה:
פותחים את קובץ ה sln באיזה text editor כמו notepad (אני אישית מעריץ נלהב של NPP), ושם יש שורות כמו אלו:

Microsoft Visual Studio Solution File, Format Version 10.00
# Visual Studio 2008
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Lib", "Lib\Lib.csproj", "{F959D3D9-052F-4C62-B957-BF6459CB2209}"
EndProject
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Demo", "Demo\Demo.csproj", "{852E3624-B5EB-40DF-A2EE-481037C8F47B}"
EndProject
…

פשוט מעבירים את החלק של Project…EndProject של הפרוייקט הרצוי להיות הראשון. בהמשך לדוגמה הזו, המצב הרצוי הוא:

Microsoft Visual Studio Solution File, Format Version 10.00
# Visual Studio 2008
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Demo", "Demo\Demo.csproj", "{852E3624-B5EB-40DF-A2EE-481037C8F47B}"
EndProject
Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Lib", "Lib\Lib.csproj", "{F959D3D9-052F-4C62-B957-BF6459CB2209}"
EndProject
…

וזה עושה את העבודה.

שימושי כשרוצים להוסיף פרויקט דוגמה לפוסט, ו/או בפרויקטים של קוד פתוח ברשת.
תוכלו לנסות בעצמכם :-)

]]> http://heblog.ronklein.co.il/2010/01/tip-setting-a-startup-project-in-the-sln-file/feed/ 0 ‫From lock to abstract locker‬ http://heblog.ronklein.co.il/2010/01/from-lock-to-abstract-locker/ http://heblog.ronklein.co.il/2010/01/from-lock-to-abstract-locker/#comments Wed, 06 Jan 2010 18:15:36 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=214

כמו שמשתמע מהכותרת של הפוסט הזה, לא חייבים לנעול דווקא עם lock (כלומר נעילה שמבוססת על Monitor).
יש נעילות נוספות (למשל, Spin-Lock), ולכן אני מציע כאן אבסטרקציה לנעילה.

במילים אחרות, במקום הקוד הזה:

lock(locker)
{
    // do something
}

אני מציע משהו כזה:

locker.Enter();
// do something
locker.Exit();

אלא שזה קצת מעצבן, ולכן אפשר לשכלל את זה אם נשתמש ב IDisposable וניצור משהו יותר נחמד עם ה using שהוא סוג של מאקרו בדוט נט:

using(locker.EnterLock())
{
    // do something
}

אז בפוסט הזה יש:

  • קצת אבסטרקציה
  • קצת מוטיבציה
  • קוד בסיס
  • 2 ירושות
  • וקצת אינטגרציה :-)

קצת מוטיבציה

מתי זה שימושי?
-בעיקר אם נרצה לכתוב class שיכול להיות שימושי גם בסביבה שהיא single-threaded וגם בסביבה שהיא multi-threaded.

קצת קוד בסיס

ניגש לקוד עצמו. הנה ה base class עם תוספת פנימית בשביל ה using הנכסף:

using System;

public abstract class LockerBase
{
    public abstract void Enter();
    public abstract void Exit();

    public class DisposableLocker : IDisposable
    {
        private readonly LockerBase locker;

        public DisposableLocker(LockerBase locker)
        {
            this.locker = locker;
        }

        public void Dispose()
        {
            locker.Exit();
        }
    }

    public DisposableLocker EnterLock()
    {
        Enter();
        return new DisposableLocker(this);
    }
}

המתודות Enter ו Exit הן אבסטרקטיות, וכל מי שירצה לרשת מה base class הזה יצטרך לממש אותן.
אגב, אני לא מת על ירושה (לא בתכנות, לפחות), אבל כאן זה נראה יותר מתאים, כי יש איזה state לשמור עליו.

ירושה – המימוש ה"רגיל"

בואו נראה למשל, את המימוש המתבקש לנעילה "שגרתית":

using System.Threading;

public class MonitorLocker : LockerBase
{
    private readonly object syncRoot;

    public MonitorLocker(object syncObject)
    {
        syncRoot = syncObject;
    }

    public MonitorLocker() : this(new object())
    {
    }

    public override void Enter()
    {
        Monitor.Enter(syncRoot);
    }

    public override void Exit()
    {
        Monitor.Exit(syncRoot);
    }        
}

בקונסטרקטור נשים אובייקט שתפקידו להיות המשאב המשותף שעליו מבוססים השיתוף והנעילה.

ירושה – המימוש הריק

ועכשיו לקוד קצת אחר: class שלמעשה לא נועל. מעין dummy class שרק שומר על הפונקציונליות כלפי חוץ:

public class DummyLocker : LockerBase
{
    public override void Enter()
    {
    }

    public override void Exit()
    {
    }
}

בעקרון ה class הזה לא ישבור קומפילציה, אבל הוא לא באמת נועל כלום. זה ה dummy שלנו למקרה שמריצים את הקוד בסביבה שהיא single-threaded.

קצת אינטגרציה

אחרי כל הקוד הזה, נראה שימוש לאבסטרקציה הזו. נניח שיש לנו class בשם Counter. כל מה שיש שם זה מתודה בשם Hit ופרופרטי בשם Current.
וכל מה שצריך לקרות זה שכל קריאה ל Hit מעלה ב 1 את הערך של Current (שערכו ההתחלתי הוא 0).
אנחנו יודעים מראש שיהיו מצבים שבהם ה class הזה יהיה שימושי בסביבה שהיא single-threaded וכן בסביבה שהיא multi-threaded. לכן נשתמש בנעילה האבסטרקטית:

public class Counter
{
    private readonly LockerBase locker;
    private int counter = 0;

    public Counter(LockerBase locker)
    {
        this.locker = locker;
    }

    public void Hit()
    {
        using (locker.EnterLock())
        {
            ++counter;
        }

    }

    public int Current
    {
        get
        {
            using (locker.EnterLock())
            {
                return counter;
            }
        }
    }
}

הקוד די פשוט: כל התייחסות ל counter הפנימי "עטופה" בנעילה, אבל אנחנו לא יודעים מה יהיה המנעול שאיתו נעבוד.
המנעול עצמו יכנס ל class דרך הקונסטרקטור (ולזה קוראים Dependency Injection).
כך, למשל, ניצור instance של Counter לסביבה שהיא single-threaded (כלומר ללא צורך בנעילות):

Counter myCounter = new Counter(new DummyLocker());

אבל, כדי לא לעצבן את המתכנת שישתמש ב class הזה, אולי כדאי שנוסיף overload עם ה dummy-locker שלנו כברירת מחדל לקונסטרקטור ריק:

public Counter() : this(new DummyLocker())
{
}

ואז השימוש יהיה קל יותר:

Counter myCounter = new Counter();

נוכל גם להוסיף מתודה סטאטית שתפקידה ליצור instance שהוא thread-safe באופן הבא:

public static Counter Synchronized()
{
    return new Counter(new MonitorLocker());
}

והקריאה:

Counter myCounter = Counter.Synchronized();

סיכום

מה שהצעתי כאן זה אבסטרקציה למנגנון הנעילה, תוך שימוש במאקרו של using כדי לכתוב קוד שמתנהג קרוב ככל האפשר ל lock המוכר.
האבסטרקציה הזו שימושית אם יודעים מראש שיש איזה class שיהיה שימושי גם בסביבה שהיא multi-threaded וגם בסביבה שהיא single-threaded.
עם זאת, יש דרכים נוספות להשיג את התוצאה הזו.
למשל, לכתוב interface ל Counter וליצור decorator שהוא יעטוף כל פעולה בנעילה, או dynamic proxy שיעשה את זה באופן אוטומטי. אולי אני ארחיב על זה בהזדמנות.
בכל מקרה, מה שאנחנו משיגים כאן זו הפרדה של הלוגיקה של הקוד עצמו מהלוגיקה של הנעילה, וזה נחמד לכשעצמו, וגם נותן לנו יתרון משמעותי אם נרצה לכתוב unit testing לקוד הזה.

ניתן להוריד את הקוד של הפוסט הזה מהלינק הזה.

]]> http://heblog.ronklein.co.il/2010/01/from-lock-to-abstract-locker/feed/ 2 ‫log4net – המדריך למלגלג (חלק 3 – למצוא viewer נורמלי)‬ http://heblog.ronklein.co.il/2009/12/log4net-part3/ http://heblog.ronklein.co.il/2009/12/log4net-part3/#comments Sat, 12 Dec 2009 19:48:41 +0000 ‫רון קליין‬ http://heblog.ronklein.co.il/?p=99

בפוסט הזה:

  • למה צריך viewer ללוג
  • קריטריונים ל viewer נורמלי
  • איזה viewerים קיימים
  • Chainsaw – ה viewer המועדף עלי (מאיפה מורידים, איך מגדירים וכו')

למה צריך Viewer ללוג

אז עשית try/catch (ואולי גם finally), וכתבת ללוג את ה exception. נפלא.
עכשיו מה?
הרי עכשיו, אם אתה יודע שיש איזו שגיאה אי שם בלוג, צריך להתחיל לבדוק מה הסיפור שלה, מה גרם לה להתרחש, מה ומה ומה.
לכל error יש סיפור מאחוריו, עלילה שלמה. בשביל זה צריך viewer – תוכנה שבעזרתה ניתן לראות את הלוג ולנסות להבין את הסיפור.

Log Viewer זו תוכנה די יבשה, שמציגה שורות על גבי שורות, כל שורה היא הודעה ללוג.
הנה כמה תמונות מסך מ viewers שונים:

log4view Kiwi Log Viewer Chainsaw

קריטריונים ל Viewer

כל viewer חייב מערת סינון (filter), כך שמתוך כל ההודעות בלוג יוצגו רק אלו שעונות לתנאי/ם מסויימ/ים.
יהיה נחמד אם ב viewer תהיה גם אפשרות "לקפוץ" להודעה הבאה שמקיימת תנאי מסויים (כמו Find או Search בעורכי טקסט)
יהיה מאוד נחמד לקבל צביעת שורות לפי תנאים מסויימים (לאו דווקא אותם תנאים של הסינון)
אז בואו נפרסם הודעת "דרושים" ל-viewer האידיאלי
לפרויקט עם log4net דרוש viewer לצפיה בלוג:
יודע לקרוא קבצי לוג, גם סגורים וגם פתוחים
יודע לתת חתכי "וגם" (and) – חובה
יודע לתת חתכי "או" (or) – חובה
יודע לתת חתכי טקסט חלקי (like) – חובה
יודע לבצע חיפוש (קפיצות) ע"פ הקריטריונים הנ"ל – יתרון
צביעת שורות על פי תנאים – יתרון
תיעוד טוב – יתרון

אז מה כבר קיים בשוק?

קודם כל, אפשר לכתוב הודעות לוג ל DB. נכון שזה חתיכת overhead לרשום הודעות לוג ל DB, אבל זה אפשרי ב live, ואפשר גם לקחת קובץ לוג, לקרוא אותו, ו"לשפוך" את ההודעות ל DB. מה זה נותן לנו? הרבה כוח לבצע חיתוכים כמה ואיך שאנחנו רוצים. כל מי שהתעסק פעם עם SQL יודע שאפשר ליצור שאילתות פשוטות בזמן קצר. ואפשר להעזר בכל designer כדי לכתוב שאילתות מורכבות יותר. גם ה SQL Management Studio שבא יחד עם MS-SQL-Server עובד יפה.
במילים פשוטות, אם רוצים, אז אפשר לבנות שאילתות מול DB ובאמצעותן לקבל כמעט את כל מה שרוצים. אמנם לא בצבעים יפים, אבל תכלס זה אפשרי ופרקטי.

כמו שסבתא שלי היתה אומרת: נו, וחוץ מזה?

או, אז באמת יש כמה דברים:

אתם מוזמנים לבדוק כל כלי בנפרד. אני בדקתי, ולמרות שמצאתי פיצ'רים חביבים פה ושם, רק Chainsaw עונה על הקריטריון הכי משמעותי מבחינתי: ביצוע חתכי "או". לדוגמה: אני מעוניין לצפות בכל הודעות הלוג שמופיעה בהן המילה "session" ו/או בהודעות הלוג שהגיעו מ class שנקרא "MailSender". כמה טריויאלי, כמה נחוץ, וכמה לא קיים כמעט בשום מקום.

שום מקום חוץ מ Chainsaw, כאמור. הפרויקט הזה, Chainsaw, הוא בכלל ב Java ולמען לוגים בפורמט של log4j. כן, כמו הרבה דברים שקשורים בדוט נט, גם כאן זה התחיל ב Java. אלא מה, הפעם אין שום מקבילה ראויה ל Chainsaw בדוט נט. כך שה look and feel אמנם קצת צולע, אבל הי, חכו תראו איזה מנוע שאילתות מגיע עם הקביים!

Chainsaw – ה Viewer המועדף עלי

הורדות והתקנות

1. הורדות: כדי להריץ את ה Chainsaw הלז צריך שיהיה לכם מותקן על המחשב JRE. וכמובן, צריך להוריד את המסור מהאתר הרשמי של Apache. אני ממליץ להוריד את גרסת ה Unix/Dos Standalone. ה Chainsaw חינמי ברשיון Apache גירסה 2.
2. הורדתם? יופי. עכשיו תתקינו. פשוט לעשות Unzip של גירסת ה Standalone לתיקיה מספיק נוחה לגישה בהארד דיסק. תסלחו לי על הנאיביות, אבל אצלי זה מותקן ב C:\chainsaw-bundle. פשוט ככה, כמו בימי DOS העליזים, כששיחקנו Doom ושאר משחיתי-נוער.
3. התקנתם? יופי, עכשיו תפעילו (פשוט תריצו את הקובץ chainsaw.bat) ומיד תקבלו ניג'וס ראשון "זאת הפעלה ראשונה שלך, בלה-בלה, לא מוגדרים receiver-ים". לא נורא, נגדיר ידנית (ראו תמונה).

ויש עוד ניג'וס כללי: החלון של ה bat – פשוט נמצא שם, מכוער במלוא תפארתו. לא חייבים להשלים עם המונומנט המכוער, אפשר להוריד Launcher ל Java ולעטוף הכל יפה יפה. אני ממליץ על jsmooth (עוד על זה בפוסט נפרד).

הגדרות ב log4net

זה נחמד שמותקן ה Chainsaw, אבל לא מספיק. כמו שציינתי, במקור ה Chainsaw מגיע מעולם ה Java, וזה אומר שהוא מצפה לקרוא את ההודעות בפורמט של log4j. אז כדי שה log4net יוציא הודעות כאלו, צריך לשנות קצת את ההגדרות. אם נתייחס לדוגמה מהפוסט הקודם, אז נשנה את קובץ ה config באופן הבא:

<log4net>
  <appender name="WowItsTheLog4jFileAppender" type="log4net.Appender.FileAppender">
    <file value="mylog.txt" />
    <appendToFile value="true" />
    <layout type="log4net.Layout.XmlLayoutSchemaLog4j" >
      <locationInfo value="true" />
    </layout>
  </appender>

  <root>
    <level value="DEBUG" />
    <appender-ref ref="WowItsTheLog4jFileAppender" />
  </root>
</log4net>

לפני שנחזור ל Chainsaw, נכתוב תוכנית קטנה ש"עובדת קשה" ונותנת הודעות ללוג מכל מיני classים ובת'רדים שונים, כולל exceptions ייזומים. בקיצור, תוכנית שעושה שמח. אני לא ארשום כאן את הקוד של התוכנית, כי זה לא מה שמעניין. מה שמעניין זה איך התוכנית כותבת ללוג ואיך משתמשים ב Chainsaw כדי לצפות בהודעות שמתקבלות. בכל מקרה, התוכנית מצורפת כולל כל ה source.

עובדים עם Chainsaw – למנסרים הידד

עכשיו נחזור ל Chainsaw שלנו. התוכנית שלנו שמרה את הודעות הלוג בקובץ. פשוט נגרור אותו לתוך ה Chainsaw, ואחרי כמה שניות טובות (תלוי כמה המחשב שלכם סוחב Java), הכל נפתח ומוצג. קודם כל, צריך להתרגל קצת למסך הראשי. החלק העיקרי מציג את הודעות הלוג עצמן, עם עמודות מתאימות. העץ שמשמאל מתאר את היררכיית הלוגרים בקונטקסט הנוכחי. לצערנו, גם הלוגרים של ה Chainsaw עצמו מוצגים שם :-( אלא מה, אפשר להעביר את הפוקוס ללוגר הרצוי, ואז יוצגו רק ההודעות הרלוונטיות במסך הראשי.

כדי לבצע שאילתות על ההודעות המוצגות, צריך להשתמש בתחביר של מנוע השאילתות של Chainsaw, ולהקליד באזור של Refine focus on. נטעם קצת ע"י דוגמאות:

MSG ~= 'email' מציג רק את ההודעות שמכילות את המילה email
MSG ~= 'email' && LOGGER ~= 'sender' רק הודעות שמכילות את המילה email ששם הלוגר שלהן מכיל את המילה sender
MSG ~= 'go' || MSG ~= 'before' מציג הודעות שמכילות את המילה go ו/או הודעות שמכילות את המילה before
( LOGGER == 'mylogger' && MSG ~= 'cat' ) || ( THREAD == 1234 ) מציג הודעותשהגיעו מת'רד מספר 1234 ו/או הודעות שמכילות את המילה cat שהגיעו מלוגר שנקרא mylogger
PROP.log4jid >= 400 מציג את כל ההודעות החל משורה 400
LEVEL >= 'warn' מציג רק הודעות מסוג Warn או גבוה ממנו (למשל Error יוצג, אבל Info לא יוצג)

שימו לב שיש רווח לפני ואחרי פתח/סגור סוגריים וכן לפני/אחרי אופרטורים וכד'. בקיצור, צריך רווחים, וה Chainsaw לא סולח ולא שוכח. אם משהו בתחביר השאילתה לא תקין, ה Chainsaw פשוט מתעלם ממנה, ולא מציג שום הודעת שגיאה. כזה הוא, לא משהו ביחס למשתמשים. שיהיה.

קבלת הודעות ב UDP

ב Chainsaw, כמו גם ב viewerים אחרים, יש אפשרות של קבלת הודעות לוג באמצעות תקשורת TCP וכן UDP. כלומר, כמו שה log4net כותב הודעות לוג לקובץ, הוא יכול לשלוח אותם בפרוטוקול TCP או UDP לאן שנרצה. וככה אפשר לצפות בהודעות תוך כדי ריצה של כמה תוכנות במקביל. כשעובדים בסביבה מבוזרת זה פיצ'ר מאוד חזק. אגב, ב UDP לא ניתן לשלוח הודעות לוג ארוכות. מה לעשות, ככה זה.

אז איך?

1. בכל תוכנה רלוונטית, מגדירים ב log4net שליחת הודעות לוג ב UDP:

<appender name="HeyLetsGoWithUdp" type="log4net.Appender.UdpAppender">
  <remoteAddress value="localhost" />
  <remotePort value="48899" />
  <layout type="log4net.Layout.XmlLayoutSchemaLog4j" >
    <locationInfo value="true" />
  </layout>
</appender>

2. מגדירים receiver ב Chainsaw שיאזין להודעות ב UDP באותו פורט שהגדרנו קודם. התמונות הבאות מסבירות את זה:

מוסיפים ומגדירים

זהו.

ועוד כמה דברים על ה Chainsaw

הסקירה כאן היא רק ברמה של היכרות, ויש עוד כמה דברים חביבים ב Chainsaw הפרחח:

אפשר לצבוע שורות לפי אותו מנוע שאילתות, כולל תיעדוף צביעה (במידה שאותה שורה עונה על שני תנאי צביעה שונים). זה פיצ'ר קצת חבוי, אבל מגיעים אליו די מהר.

ניתן לבצע Find

אפשר למיין את ההודעות (המיון הדיפולטי הוא סדר ההודעות כפי שנרשמו ללוג או כפי שהתקבלו ע"י ה Chainsaw, וזה לא בהכרח ה Timestamp שלהן)

הגדרות – מציע לכם לשנות בהגדרות שה Cyclic buffer size יהיה, נניח, 50000. ובאותו מקום אפשר גם להסיר את הסימון מ Confirm Exit.

ה Chainsaw יכול להיתקע בגלל מחסור בזכרון. כדי להתגבר על זה, רצוי להגדיר בקובץ bat הקצאת זיכרון גדולה יותר. פשוט להוסיף את הטקסט -Xms32m -Xmx1024m אחרי ה java. כך שהתוצאה היא

java -Xms32m -Xmx1024m -Dorg.apache.commons.logging.Log=org.apache.commons.logging.impl.Log4JLogger -classpath jakarta-oro-2.0.6.jar;jmdns.jar;log4j-1.3alpha-7.jar;log4j-chainsaw-2.0alpha-1.jar;log4j-optional-1.3alpha-7.jar;log4j-oro-1.3alpha-7.jar;log4j-smtp-1.3alpha-7.jar;log4j-xml-1.3alpha-7.jar;log4j-zeroconf.jar;xstream-1.1.2.jar org.apache.log4j.chainsaw.LogUI

סיכום

זהו, עד כאן לענייני Chainsaw ו log4net. יש, כמובן, כלים נוספים, ויש תשתיות לוג כאלו ואחרות (יש למשל את SmartInspect – אני לא מת על הקונספט שלהם, כי זה להכניס business logic לתוך תשתית הלוג, אבל שווה בדיקה). אני לא מתיימר לקבוע ש log4net טובה יותר מתשתיות אחרות. אבל אני כן חושב ש log4net היא תשתית מצויינת ללוג, עושה את העבודה בצורה טובה, מאפשרת הגדרות מתקדמות כמו סינונים, ומאפשרת הרחבות. בנוסף לכל, log4net היא open source, וזה אומר שגם אם יש באג, אפשר בקלות להכנס לקוד ולראות מה קורה גם בפנים. כדי לצפות בתוצרי הלוג אני משתמש ב Chainsaw, שהוא כלי מצוין לחתכים ולשאילתות, אבל מצריך קצת סבלנות בעבודה.

אם יש להשיג viewer טוב יותר ל log4net – תנו לי פינג.

ועד אז, לגלוג נעים!

]]> http://heblog.ronklein.co.il/2009/12/log4net-part3/feed/ 8 ‫log4net – המדריך למלגלג (חלק 2 – הגדרות וקוד)‬ http://heblog.ronklein.co.il/2009/10/log4net-part2/ http://heblog.ronklein.co.il/2009/10/log4net-part2/#comments Wed, 28 Oct 2009 20:36:40 +0000 ‫ronklein‬ http://heblog.ronklein.co.il/?p=48

הרעיון של הפוסט הזה הוא פשוט: מעין cookbook שמסביר איך להתחיל עם log4net מההתחלה, מתוך הנחה שכבר יש לכם Visual Studio 2005 ומעלה (או כל IDE אחר לפיתוח בדוט נט בגירסה 2.0 ומעלה)

אז מה יהיה לנו:

  • הורדה של log4net
  • דוגמה פשוטה של כתיבה ללוג באמצעות log4net ע"י שמירה לקובץ טקסט
  • כתיבה של exception
  • ומה עוד?

מת-חי-לים!

הורדה והתקנה של log4net

דבר ראשון – ההורדה של log4net – כדי להוריד את גירסה 1.2.10 אפשר פשוט ללחוץ כאן. לפרטים נוספים – כאן תמצאו את דף ההורדות של log4net ב Apache.

הורדתם? יופי. עכשיו לעשות unzip לתיקיה חביבה (שתשרת אתכם די הרבה). נניח C:\oss\log4net.

תוכנית ראשונה עם log4net

נמשיך:

ניצור פרוייקט פשוט ב VS, נניח Console Application, ונכתוב בו את ה hello world המפורסם:

static void Main(string[] args)
{
  Console.WriteLine("Hello world");
  Console.ReadLine();
}

עכשיו נכניס פנימה שירותי logging ע"י log4net:

1. נוסיף רפרנס ל log4net תוך שימוש בתיקיה ההיא, לנתיב bin\net\2.0\release\log4net.dll

2. כדי להגדיר את log4net דרך קובץ חיצוני (ולא דרך קוד):

א. נוסיף קובץ app.config (מה שנקרא "Application Configuration File")

ב. נערוך את ה app.config באופן הבא:

<configuration>
    <configSections>
        <section name="log4net" type="System.Configuration.IgnoreSectionHandler"/>
    </configSections>

    <log4net>

        <appender name="OhMyGodItsTheFileAppender" type="log4net.Appender.FileAppender">
            <file value="mylog.txt" />
            <appendToFile value="true" />
            <layout type="log4net.Layout.PatternLayout">
                <conversionPattern value="%date [%thread] %-5level %logger [%property{NDC}] – %message%newline" />
            </layout>
        </appender>

        <root>
            <level value="DEBUG" />
            <appender-ref ref="OhMyGodItsTheFileAppender" />
        </root>
    </log4net>
</configuration>

3. כדי ש log4net יתחיל לעבוד ויצא מתרדמת החורף שלו, צריך איזה טריגר שיעיר אותו. אפשר לעשות את זה דרך הקוד, ואפשר בצורה קצת יותר שקופה, ע"י שימוש בקובץ די ביישן בשם AssemblyInfo.cs. זה קובץ שנמצא מתחת ל Properties. שם צריך להוסיף את השורה הבאה (אחרי כל ה using שיש שם, במיקום כלשהו):

[assembly: log4net.Config.XmlConfigurator(Watch = true)]

4. עכשיו, כדי לכתוב ללוג, אנחנו צריכים להשתמש באיזה אובייקט שיתן לנו את שירותי ה logging. את זה עושים, למשל, ע"י הוספת שדה סטטי ל class שלנו (ולכל class שבו נצטרך logging):

א. להוסיף בחלק של ה using את שני הבחורים הבאים (אם אינם):

using System.Reflection;
using log4net;

ב. להוסיף את השדה הסטטי עצמו:

private static readonly ILog Logger = LogManager.GetLogger(MethodBase.GetCurrentMethod().DeclaringType);

זהו, עכשיו אפשר להשתמש ב logger שלנו. הפעולות 1-3 הנ"ל הן פעולות חד פעמיות לפרויקט שלנו. פעולה מספר 4 חוזרת על עצמה בכל class בפרויקט. הנה קצת תוספות לקוד:

static void Main(string[] args)
{
  Logger.Debug("starting up");
  Console.WriteLine("Hello world");
  Logger.Debug("done");
  Console.ReadLine();
}

נריץ את הפרויקט. ונראה את ה hello world הידוע לשמצה. ואיפה כל ההודעות שרשמנו ללוג? הן נמצאות בתוך הקובץ mylog.txt, שנמצא במיקום של ה exe של הפרוייקט שלנו: בד"כ בנתיב bin\debug או bin\release. אפשר לשנות את שם הקובץ mylog.txt לכל שם אחר. ויש עוד הרבה הגדרות, לא לדאוג…

בשלב זה יש לנו תוכנית עם logger, שמבצעת כתיבות ללוג, שלמעשה נשמרות לקובץ. זה הבסיס ל-log4net. זה המתכון, אם תרצו, להוספת log4net לפרוייקט שלכם בצורה יחסית פשוטה ופורטבילית.

כתיבת exception ללוג

לכתוב exception ללוג זה לא סיפור גדול: זה כמעט אותו הדבר כמו כתיבה רגילה, רק משתמשים בחתימה שכוללת אובייקט מסוג Exception. מן הסתם, זה יהיה בתוך try/catch. הנה דוגמה קטנה:

static void Main(string[] args)
{
  Logger.Debug("starting up");
  string fileName = "file-does-not-exist.txt";
  try
  {
    string contents = System.IO.File.ReadAllText(fileName);
  }            
  catch (Exception ex)
  {
    Logger.Error("cannot read contents of file " + fileName, ex);
    Console.WriteLine("oops, an error occured. see log for details");
  }

  Logger.Debug("done");
  Console.ReadLine();
}

מומלץ מאוד להשתמש במתודות עם חתימת ה Exception, כי ה exception נשמר קצת אחרת, וזה מאפשר לבצע חתכים אחרים ולתצוגה שונה דרך ה viewer (בפוסט הבא).

לאן ממשיכים מכאן

אפשר לכתוב ל-EventLog. שימו לב שזה דורש הרשאות גבוהות יחסית.

אפשר לכתוב ל-Trace ולעקוב אחריו עם כלים חיצוניים כמו DebugView של SysInternals. זה שקול ל-System.Diagnostics.Trace.WriteLine

ואפשר עוד הרבה דברים, כמו לכתוב ל DB, לכתוב ל TCP, ל UDP, לשלוח מייל ועוד. גשו לדף הדוגמאות ב Apache ותהנו.

אגב, לפי ההגדרות שבפוסט הזה, אפשר לשנות בזמן ריצה את ההגדרות של ה log4net – וההתנהגות של ה logging תשתנה בהתאם. מאגניביישן.

לסיכום, זה פוסט שכל המטרה שלו היא לתת מתכון פשוט לשימוש ב log4net. בפוסט הבא נראה איך אפשר לנתח את הלוגים, ע"י viewer כמו Chainsaw.

לגלגו ותהנו :-)

פרויקט דוגמה

]]> http://heblog.ronklein.co.il/2009/10/log4net-part2/feed/ 0 ‫log4net – המדריך למלגלג (חלק 1 – מבוא)‬ http://heblog.ronklein.co.il/2009/10/log4net-part1/ http://heblog.ronklein.co.il/2009/10/log4net-part1/#comments Fri, 23 Oct 2009 20:05:20 +0000 ‫ronklein‬ http://heblog.ronklein.co.il/?p=40

בפוסט הזה:

  • מבוא
  • למה בכלל לכתוב ללוג?
  • סוגי הודעות לפי רמות חוּמרה
  • מה כותבים ללוג

מבוא

חלק בלתי נפרד מאפליקציה רצינית הוא הלוג – שירות שמאפשר כתיבת הודעות.
בזמן שהאפליקציה חיה ונושמת היא יכולה לכתוב הודעות שונות ללוג. ההודעות יכולות להיות בסגנון "עכשיו מתבצע כך וכך" או "יש כאן שגיאה לא צפויה".
הלוג עצמו יכול להישמר כקובץ, או קבצים, או כרשומות ב DB.
או שהלוג יכול לא להישמר כלל, אלא רק סוג של Console.WriteLine או Debug.WriteLine או Trace.WriteLine.
או שהלוג שולח את ההודעות באמצעות TCP או UDP למקום אחר.
או שהלוג שולח מייל למישהו…
בקיצור, יש את העניין של לכתוב ללוג ("יש כאן שגיאה לא צפויה"), ויש את העניין של מה תהיה התוצאה של הכתיבה ללוג (ההודעות נשמרות/מוצגות וכד').
בנוסף לכל זה, גם אם כתבנו ללוג והכל טוב ויפה, נרצה אח"כ גם לצפות בתוצאה, ולעשות חיתוכים שונים. במילים אחרות, נרצה איזה Viewer – תוכנה נורמלית עם UI חביב שתאפשר לנו את התצוגה והחיתוכים.
אה, ועוד משהו. נרצה גם לוג מספיק חכם כך שאם נרצה לשנות את ההגדרות שלו לא נצטרך להוריד את האפליקציה ולטעון אותה מחדש.

אז מה היה לנו: הודעות ללוג ואיך הן "נכתבות", תוכנת viewer, טעינה חכמה אחרי שינוי ההגדרות.
כל זה ניתן למימוש בקלות עם log4net – תשתית מוכחת ועובדת ללוג, שהיא open source. אבל לפני הכל, עוד קצת מבוא.

למה בכלל לכתוב ללוג?

שאלה טובה.

לא חייבים.

אבל הנסיון שלי מראה שכתיבה מושכלת ללוג מאפשרת למפתחים להבין באגים (ולפתור אותם) מהר יותר, בהשפעה אפסית על הביצועים.

בנוסף, קהל היעד של הלוג הוא לא רק מפתחים. גם אנשי IT או אנשים שמתחזקים את האפליקציה יכולים להעזר בו.

בשורה התחתונה, כתיבה ללוג היא גם כדי לוודא שהאפליקציה עובדת כמצופה וגם כדי לתעד מצבים לא תקינים ואת אפשרויות הטיפול בהם.

סוגי הודעות לפי רמות חוּמרה

רגע לפני שמתחילים, כמה מילים על ההודעות השונות שאנחנו מכניסים ללוג.

ב log4net, ולא רק שם, ההודעות ללוג מתחלקות לסוגים הבאים:

  • Debug
  • Info
  • Warn
  • Error
  • Fatal

נרחיב קצת…

הודעות Debug (ורק הן) מיועדות למפתחים עצמם, ואפשר להשתולל איתן כמה שרוצים. כפי שנראה מאוחר יותר, אפשר לשנות את ההגדרות כך ש log4net יתעלם מהן לחלוטין. בד"כ כותבים ל Debug הודעות כמו "עכשיו לפני פתיחת חיבור ל DB" ו"התחברתי בהצלחה ל DB" וכו'. בקיצור, אבני דרך למפתחים עצמם.

הודעות Info מכילות מידע מתומצת על המצב של האפליקציה, שהוא בחזקת "טוב לדעת". לדוגמה, כמעט כל service (או console שמדמה service) שכתבתי בדוט נט קורא את הקונפיגורציה ומיד אח"כ כותב הודעת info ללוג בנוסח "שירות xyz עלה בהצלחה עם ההגדרות הבאות: …".

הודעות Warn מתייחסות למקרים שבהם האפליקציה נתקלה ב exception או במצב לא תקין, אבל היא יודעת להתאושש ממנו. למשל, המערכת שלנו לא מצליחה להוציא מייל כרגע. לא נורא, היא תנסה שוב עוד דקה.

הודעות Error מתייחסות למקרים שבהם האפליקציה נתקלת ב exception או במצב לא תקין והיא לא יודעת להתאושש ממנו. זה יכול להשפיע רק על המשתמש הנוכחי (נניח אם זו אפליקציית web) וזה יכול להיות משהו יותר תשתיתי.

הודעות Fatal מתייחסות למקרי קצה שבהן האפליקציה שלנו לא יכולה להתאושש ממשהו לא תקין וכדאי שמישהו יסדר את זה בהקדם האפשרי. כלומר יש כאן גם הנחיה לגבי ניתוח הלוג וטיפול בשגיאות. הודעות Fatal צריכות להיות בודדות כדי לא ליצור מצב של "זאב-זאב".

מה כותבים ללוג

אם אתם לוקחים אתכם משהו מהפוסט הזה – קחו את זה: לא רק כותבים ללוג "היתה כאן שגיאה" ומצרפים את האובייקט של ה exception. כותבים את כל הקונטקסט הרלוונטי כדי שאח"כ נוכל להבין טוב יותר מה קרה. למשל "לא הצלחתי לקרוא את התוכן של הקובץ X כאשר הבקשה היתה Y" בצירוף ה exception. כן, זה לוקח עוד דקה, אבל זה כל כך שווה את זה.

אלא שלפעמים, מטעמי security או privacy לא כדאי לכתוב ממש הכל. למשל, "לא הצלחתי להתחבר ל SQL Server שנמצא בכתובת X עם שם משתמש U וסיסמה P" נשמע לי רעיון לא טוב, כי זה חושף את פרטי ההתחברות ל DB כולל הסיסמה. אפשר אולי במקום לכתוב את הסיסמה לכתוב את ה hash שלה לפי הדוט נט (GetHashCode), או לפי סטנדרט חזק יותר כמו MD5, כאשר כותבים את ערך ה hash ב base64 (וגם אז, אפשר לכתוב רק את N התוים הראשונים מטעמי חסכון ונוחות קריאה).

זהו, עד כאן המבוא. בפוסטים הבאים – איך משתמשים ב log4net כדי לכתוב ללוג, איזה viewer-ים קיימים ועוד.

]]> http://heblog.ronklein.co.il/2009/10/log4net-part1/feed/ 0 ‫System.String is UTF16‬ http://heblog.ronklein.co.il/2009/09/system-string-is-utf16/ http://heblog.ronklein.co.il/2009/09/system-string-is-utf16/#comments Sat, 26 Sep 2009 10:01:47 +0000 ‫ronklein‬ http://heblog.ronklein.co.il/?p=50

והפעם, טיפה Encoding :-)

תדע כל מתכנתת עבריה: כל string בדוט נט הוא ב encoding של UTF16.

ואגב, זו הסיבה שסיריאליזציה ל XML היא כברירת מחדל UTF16.

"ואם אני רוצה string עם encoding אחר?"

-אין.

אין כזה דבר בדוט נט.

רוצה string? -יש רק ב encoding של UTF16.

רוצה משהו אחר (נניח, UTF32)? יש בייצוגים אחרים של הטקסט: byte array למשל.

הנה קצת קוד:

using System;
using System.Text;
namespace Playing.With.Strings
{
  class Program
  {
    static void Main(string[] args)
    {
      string myText = "hello";

      byte[] asciiBytes = Encoding.ASCII.GetBytes(myText);
      Console.WriteLine("ASCII bytes:");
      Console.WriteLine(ByteArrayToString(asciiBytes));
      Console.WriteLine(Encoding.ASCII.GetString(asciiBytes));

      byte[] unicodeBytes = Encoding.Unicode.GetBytes(myText);
      Console.WriteLine("Unicode bytes:");
      Console.WriteLine(ByteArrayToString(unicodeBytes));
      Console.WriteLine(Encoding.Unicode.GetString(unicodeBytes));

      byte[] utf32Bytes = Encoding.UTF32.GetBytes(myText);
      Console.WriteLine("UTF32 bytes:");
      Console.WriteLine(ByteArrayToString(utf32Bytes));
      Console.WriteLine(Encoding.UTF32.GetString(utf32Bytes));

      Console.WriteLine("done, press *enter* to quit…");
      Console.ReadLine();
    }

    public static string ByteArrayToString(byte[] source)
    {
      StringBuilder sb = new StringBuilder();
      sb.Append("[");
      int sourceLength = source.Length;
      for (int k = 0; k < sourceLength; k++)
      {
        sb.Append(source[k]);
        if (k != sourceLength - 1)
          sb.Append(", ");
      }
      sb.Append("]");
      string result = sb.ToString();
      return result;
    }
  }
}

והתוצאה היא:

ASCII bytes:
[104, 101, 108, 108, 111]
hello
Unicode bytes:
[104, 0, 101, 0, 108, 0, 108, 0, 111, 0]
hello
UTF32 bytes:
[104, 0, 0, 0, 101, 0, 0, 0, 108, 0, 0, 0, 108, 0, 0, 0, 111, 0, 0, 0]
hello
done, press *enter* to quit...

בשורה התחתונה, כדי לייצג טקסט עם encoding אחר, אני בד"כ משתמש ב byte array.

]]> http://heblog.ronklein.co.il/2009/09/system-string-is-utf16/feed/ 1 ‫תור מקבילי – Concurrent Queue‬ http://heblog.ronklein.co.il/2009/06/concurrent-queue/ http://heblog.ronklein.co.il/2009/06/concurrent-queue/#comments Sun, 28 Jun 2009 21:00:05 +0000 ‫ronklein‬ http://www.ronklein.co.il/qwe/?p=4

רוב המתכנתים מכירים מבני נתונים בסיסיים, כמו מערך, רשימה מקושרת, וגם תור ומחסנית. הבעיה מתחילה כשרציתי למקבל תור. כלומר, ליצור מחלקה עם התכונות של תור, לצד העובדה שיכולים לגשת אליה במספר ת'רדים במקביל (אני לא מת על התרגום ל"חוטים", ומי שרוצה לתת תרגום אחר – תעירו חופשי).

נשמע פשוט, נכון? כולה לעטוף תור קיים ומוכח בנעילה קטנה, ויש לך תור מקבילי.

אז זהו, שלא.

כדי להמחיש את העניין, הנה המימוש הנאיבי ("כולה לעטוף תור קיים" וכו' וגו') של תור מקבילי:

public class NaiveConcurrentQueue<T>
{
  private Queue<T> queue = new Queue<T>();

  public void Enqueue(T item)
  {
    lock (queue)
    {
      queue.Enqueue(item);
    }
  }

  public T Dequeue()
  {
    lock (queue)
    {
      return queue.Dequeue();
    }
  }
}

בכוונה אין כאן את כל המתודות והממברים של תור, רק את השתיים האלו, כי זאת רק דוגמה. אז כאמור, רק נעילה סביב כל מתודה/ממבר של התור הפנימי, ויש לנו מקבול. אבל חבר'ה חבר'ה, רגע רגע, מה זה בדיוק נעילה? (לא, מוטל, התפילה המסיימת ביום כיפור זה לא מה שהתכוונתי)

נעילה בקוד, או lock, זה סוג של מאקרו ברמת הקומפיילר, שמאפשר לנו, המתכנתים העצלנים, לכתוב קוד שאמור לרוץ ע"י ת'רד אחד בכל פעם. למה מאקרו? כי פיסת הקוד הבאה:

lock (x)
{
  DoSomething();
}

למעשה הופכת להיות הקוד הבא:

System.Object obj = (System.Object)x;
System.Threading.Monitor.Enter(obj);
try
{
  DoSomething();
}
finally
{
  System.Threading.Monitor.Exit(obj);
}

נו, אז? סה"כ עטיפה נוחה ל Monitor.Enter ול Monitor.Exit.

אז בואו נקרא עוד קצת על Monitor.Enter. מתוך MSDN, כל עוד מדובר במערכת Win32, הוא ממופה לפקודה EnterCriticalSection. יופי, בואו נקרא עוד קצת על EnterCriticalSection, שוב מתוך MSDN. נתמקד במשפט אחד:

There is no guarantee about the order in which waiting threads will acquire ownership of the critical section

הממממם. מעניין. אז בואו נסתכל רגע על המצב הבא:

בזמן T0, הת'רד הנוכחי נועל משאב X, ומבצע משימה שלוקחת 5 שניות.

אחרי 2 שניות (נקרא לזה זמן T2), ת'רד נוסף, שנקרא לו מנדל, גם רוצה לנעול את משאב X, ולבצע משימה קטנטונת, שלוקחת 0.01 שניה. מכיוון ש X כבר נעול, מנדל מחכה.

שניה אחרי T2 (נקרא לזה זמן T3), ת'רד נוסף, שנקרא לו צביקי, גם רוצה לנעול את משאב X, ולבצע משימה קטנטונת, שלוקחת 0.01 שניה. שוב, מכיוון ש X כבר נעול, גם צביקי מחכה.

שניה אחרי T3 (נקרא לזה זמן T4), ת'רד נוסף, שנקרא לו פושקש, גם רוצה לנעול את משאב X, ולבצע משימה קטנטונת, שלוקחת 0.01 שניה. ושוב, מכיוון ש X עדיין נעול, גם פושקש מחכה.

עכשיו, סוף סוף עברו 5 שניות מאז T0, ומשאב X משתחרר. יש כרגע שלושה ת'רדים שממתינים ל X: מנדל, צביקי ופושקש. לפי התיעוד למעלה, סדר הביצוע של הת'רדים הוא לא בהכרח סדר ההגעה שלהם. כלומר, זה יכול להיות מנדל-צביקי-פושקש, וזה יכול גם להיות מנדל-פושקש-צביקי, וכל קומבינציה אחרת. בדקתי את העניין, וכתבתי תוכנית קטנה שממחישה את זה. ברוב ההרצות הסדר נשמר. בחלק מההרצות הסדר השתנה. זה מספיק כדי להמחיש שהסדר לא בהכרח נשמר.

בעיה. כי בדיוק רציתי תור, כלומר מבנה נתונים שישמור גם על סדר ההגעה של הת'רדים. מעין message queue.

"ב retlang יש את זה מובנה", אמר לי רשף. בדקתי. retlang זו ספריה בדוט נט שהופכת את התיכנות האסינכרוני להרבה יותר פשוט, מבוסס הודעות, בלי הצורך המעיק בנעילות. כלומר, הספריה הזו עושה בשביל המתכנת את כל הנעילות שהוא צריך. המתכנת, מאידך, צריך ללמוד איך משתמשים בזה. אחרי כמה דוגמאות ומספר נסיונות – זה ממש בסדר. ובאמת יש שם channel שנקרא QueueChannel. הסתכלתי בקוד עצמו. יש שם שימוש ב lock. כלומר, גם שם יש את הבעיה הזו.

כמה מיילים לעולם, ומישהו הציע להסתכל על PLinq, שיש שם מימוש כזה. אבל אני לא יכול להסתכן בספריה כמו Plinq היא עדיין CTP, ועוד לא יצאה לאור באופן רשמי. פעם נכוויתי מספריה לא בשלה (Atlas, למי שזוכר), ומאז כבר למדתי את הלקח.

גוגל! גוגל יעזור לי. רק צריך לבקש, ובעיקר לדעת מה לבקש. אז גיגלתי lock free queue, וחיפשתי גם ב stackoverflow, ומצאתי עולם ומלואו. עולם שלם של אלגוריתמים ומבני נתונים שמיועדים לסביבה שהיא Multi-Threaded ושאין בהם נעילות רגילות, אלא לכל היותר Interlock. אז גיגלתי וריאציות של lock free queue, והנה כמה דברים שמצאתי:

קודם כל, כבר עשו את זה. בכנס שנקרא בקיצור PODC96 ובאריכות Fifteenth ACM Symposium on Principles of Distributed Computing, מתואר מבנה נתונים שמספק את דרישת FIFO, במאמר בעל השם הקצרצר: Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms. כותבי המאמר, מייקל וסקוט, או בקיצור MS, מתארים איך אפשר להשתמש בטכניקות קלות יותר מאשר נעילות (כמו CAS, שבדוט נט זה Interlocked.CompareExchange) כדי לקבל את התוצאה הרצויה. התור (או הרעיון המרכזי שלו) נקרא בהרבה מקומות אחרים MS-Queue. לשם שינוי ה MS מציין את שמות המשפחה מייקל וסקוט, ולא חברת תוכנה ענקית.

יש כבר מימוש לזה בשפות רבות, וגם בדוט נט (C# ליתר דיוק). הבחורצ'יק הזה נותן לנו מימוש מלא.

שני ישראלים, אחד בשם ניר שביט ואחת בשם Edya Ladan Mozes (ואיך מתרגמים את זה לעברית?) מציגים במאמר בשם An Optimistic Approach to Lock-Free FIFO Queues שאפשר לייעל את האלגוריתם המקורי של MS-Queue ולהגיע ל throughput גבוה יותר (בין השאר). מה שנקרא, אנחנו על המפה. אה כן, הנה הלינק לרשימת המאמרים המלאה באתר של ניר שביט.

מה שנקרא, החכמנו.

Edya Ladan Mozes

]]> http://heblog.ronklein.co.il/2009/06/concurrent-queue/feed/ 3