תוכנת חקר טקסט SEO (חזרת ביטויים)

כתבתי איזה תוכנה קטנה ברובי שבודקת חזרה של ביטויים בטקסט , נגיד יש לי את הטקסט הבא....
"משה הלך לגן, קנה לו פנקס צ'קים. כחלון הלך לגן , קנה לו פרחים"
התוצאה:
הלך לגן 2
קנה לו 2

אפשר להגדיר כמה מילים שבא בביטויים , אבל בטקסטים ממש גדולים תהיה איטיות
הרצתי את התוכנה על טקסט של 6000 מילים כשהיא בודקת את כל הביטויים מ6 מילים ומטה וזה לקח 1.8 שניות (הרבה בזמן מחשב, למי שמעוניין לדעת I3 4G-RAM)

הלינק לתוכנה שכתבתי:
https://github.com/solekiller/Programming/blob/master/ruby/ngrams.rb

מה שהאלגוריטם שלי עושה הוא, שהוא בצורה יעילה עושה טבלאות גיבוב מהביטויים שבטקסט ולכל שדה של ביטוי מעלה את הקאונטר פעם אחת כשהוא נפגש איתו בטקסט... אנשים אחרים היו מנסים שיטות אחרות, אבל בעולם האמיתי הן איטיות מאוד.
נראה לי (תקנו אותי אם אפשר יותר מהר) שזו השיטה הכי מהירה לחקור טקסט.

לדעתי זה האלגוריטם הכי מהיר שאפשר לפתח (לפחות ברובי), מי שיש לו הצעות אני אשמח לשמוע, ומי שרוצה שאני אצור ממשק משתמש ולא רק ממשק למתכנתים יכול לבקש ממני אני אשמח להוסיף משהו קטן ודבילי :)

גנבו סרטיפיקט SSL של גוגל והוא הגיע לידי איראן

או במילים אחרות, עכשיו אפשר לפרוץ לכם לחשבון ג'ימייל בלי שתהיה אזהרה ולו הכי קטנה של הדפדפן :)
בעזרת סרטיפיקט שנראה לגיטימי התוקף יכול לגרום לכם לחשוב שהחיבור לג'ימייל מאובטח כרגיל ואף לדפדפן ולכן לא תצוץ שום הזהרה, בהחלט החיבור יהיה מוצפן אבל הוא יצא מהצפנה כשיגיע לידיו של התוקף ויחזור שוב להצפנה אחריו וממנו יזוז לג'ימייל
או במילים אחרות, גם אחרי המתקפה לא תדעו מה קרה :)


פתרון?
בנתיים אין פאטש אז כל מה שאפשר לעשות זה להוריד את הסטריפיקט ידנית מהרשימה של הסרטיפיקטים המאושרים של הדפדפן שלכם ולמנוע מאיראנים "חביבים" להכנס לכם לחיים :)

שם הסרטיפיקט הוא digiNotar
בפיירפוקס: -

Edit -> Preferences -> View Certificates

גללו עד הסרטיפיקט המתאים והסירו אותו (delete or distruct)

(השם digiNotar יופיע)
אם לא בא לכם להסירו אפשר גם לערוך את האמון בו edit trust
אבל אני די בטוח שזה לא מספיק (לא רוצה להתחייב עד שלא בדקתי)

מצאתי משהו מעניין ב carnal0wnage

זו ספריה של רובי שמסוגלת לקחת כתובת של אתר ו\או מילון וליצור רשימת מילים עם אפשרויות לאופי שוני (מוטציות) מוגדר מאוד.

require 'wordlist/builders/website'
Wordlist::Builders::Website.build('list.txt','www.example.com')

list = Wordlist::FlatFile.new('list.txt')
list.mutate 'o', '0'
list.mutate '@', 0x41
list.mutate(/[hax]/i) { |match| match.swapcase }
list.each_mutation { |word| puts word }

ניצול חולשה של וינדוס במערכות קבצים NTFS

לאחרונה ראיתי סרטון של בחור העונה לשם crashoverron שמדבר על חולשה מעניינת של מערכת הקבצים NTFS

מסתבר שיש למערכת הקבצים פונקציונאליות העונה לשם ADS המאפשרת תמיכה במערכות קבצים של אפל הנקראות- HFS

אותו בחור אמר בסיקור שלו שהפגיעה קיימת בוינדוס אקס פי וגרסאות נמוכות יותר, אני העמדתי את הטענה במבחן ונוכחתי לדעת שהחולשה קיימת גם בוינדוס 7


איך יוכל פורץ לנצל את החולשה הזו אתם וודאי שואלים.....

תמונה שווה אלף מילים :)




נ.ב
זו לא באמת חולשה זו תכונה, תכונה די בעייתית אבל תכונה

אפשר להגיד שהעובדה ש dir /a לא מראה את הקובץ היא בעיה רצינית שלא אמורה להיות :)
אז אולי זו כן חולשה? אתם תשפטו

באיזה פורט משתמשת התוכנה שלי?

תמיד כששאלתם בפורום את השאלה לעיל נענתם ב- תעשו netstat -na
לא עוד!
lsof -i

איזו רשימה יפה הא?

עכשיו נסו את lsof -i TCP
כן זה מה שאתם חושבים שזה

עכשיו נסו אותו דבר בתור root

ועכשיו נסו
lsof -i TCP:ssh


lsof כי netstat כבר לא אלגנטי :)

הורדת סרטוני אופק אל המחשב האישי (סרטונים של האונ הפתוחה)

התקשרתי לקול האופ ואמרו לי שזה בסדר להוריד למחשב שלי תוכן שאני משלם עליו ומקבל אליו גישה אונליין וכל עוד אני לא מפיל את האתר אני יכול לעשות כרצוני (מלבד כמובן להפיץ את ההרצאות של הקורסים שלי לאחרים).

אז אזהרה מראש, השתמשו במידע שאני כותב פה באחריותכם בלבד, אל תהיו פזיזים ושמרו את הסרטונים רק לעצמכם כי הם נועדו בשביל זה ובשביל זה בלבד.



היתרונות בעותק אופליין של אופק די ברורים:
1. אתה לא תלוי בחיבור שלך ואתה יכול לראות את הסרטון בכל מקום אם שמרת אותו על DOK למשל, אתה יכול לראות את הסרטון אצל הסבתא או בספריה בלי לסכן את הססמא שלך
2. אין לאגים (תקיעות)
3. אפשר לערוך את הוידאו שירוץ יותר מהר יותר לאט ולחתוך החוצה חלקים לא חשובים כמו השומר מסך וההפסקות
4. אפילו האונ הפתוחה נהנית כי אתה לא מעמיס על השרתים שלהם, הורדת פעם אחת ואם אתה רוצה לצפות שוב אין צורך להוריד שוב ושוב ושוב את אותו סרטון (שלא לדבר על הקפיצות)
ועוד הרבה ייתרונות שאני לא יכול לחשוב עליהם כרגע


אז לטכלס,


אני אסביר איך לעשות את זה גם בלינוקס וגם בוינדוס




השלב השישי משתנה ממערכת הפעלה למערכת הפעלה


לינוקס:

1. הורד את קובץ ה asx
2. פתח את הקובץ עם עורך טקסט
3. העתק את הלינק השני בקובץ (זהה אותו לפי ה http://)
4.העתק את הלינק לדפדפן וגלוש לשם
5. העתק את הלינק שרשום בדף האינטרנט (זהו לינק mms)
6. כתוב את הפקודה הבאה:

mplayer -dumpstream -dumpfile lecture.wmv '{link}'

במקום {link} שימו את הלינק שקיבלתם בשלב 5

הסטרים ישמר לקובץ lecture.wmv


וינדוס:

1. הורד את קובץ ה asx
2. פתח את הקובץ עם עורך טקסט
3. העתק את הלינק השני בקובץ (זהה אותו לפי ה http://)
4.העתק את הלינק לדפדפן וגלוש לשם
5. העתק את הלינק שרשום בדף האינטרנט (זהו לינק mms)
6. התקן את התוכנה hidownload
התוכנה מאפשרת להוריד סטרימים של mms למחשב , קח את הלינק משלב 5 ותן לה לעשות את העבודה :)

שתהיה לכולנו שנת לימודים פוריה :)

דפצר וים - לבקשת ענבר תרגמתי את VIM cheatsheet לעברית

למי שאין כוח לקרוא ולגלות את מקור המלה דפצר:
דפצר = cheatsheet
שידלג לדפצר עצמו

בהתחלה חשבתי סתם לתרגם את הדף לעברית כבקשת ענבר חובב הלא היא - ipink

אבל אחרי שיחה ארוכה שהייתה לנו בלילה בה הרצנו בדיחות מפגרות על כל מני מושגים שהמצאנו בעברית לשרתים כגון
דחס"פ - DHCP
דנס - DNS
וכו וכו , הגעתי למסקנה ששם שיהיה ממש שמיש לחיפוש בגוגל אם הוא ישגר בפי בלוגרים הוא שם למונח cheatsheet
מונח ששימש אותי שנים בתור דובר אנגלית למציאת פתרונות זריזים לבעיות שלי כשהייתי קצר בזמן ולא היו לי המשאבים לעבוא על המדריך המלא (RTFM נשמע מוכר?)

טוב אז חיפשתי שמות קליטים למושג cheatsheet שהוא מושג שגור בפי הרבה אנשי תוכנה ולינוקס אונליין, זה מונח מקצועי מאוד חשוב ולדעתי תרגומו לעברית יפתח חלון חדש לכל מי שמחפש בגוגל מדריך עברי קצרצר ותמציתי למה שמעניין אותו.

המלה שאני מצאתי שלא תעלה יותר מדי תוצאות בגוגל וגם תהיה קשורה באופן ישיר היא "דפצר" הלחם המילים "דף"+"קצר"
אם תחפשו כיום את המלה דפצר בגוגל כנראה תגיעו לשמואל ב' ולכן זו בחירה מאוד טובה שתוביל לדפים ענייניים עם הזמן.
הרי היא לא שגורה כמו מילים נוחות אחרות שעלו בראשי.
(קיצקץ, טכלס, תקציר, בראשי פרקים וכו')
באנגלית יש לזה מושג משלו למה שלא בעברית?



דפצר וים

פקודות כלליות

:vs -חלוקה אנכית של חלון הוים לשני חלונות כאשר באחד מהם הקובץ הנוכחי והשני חלון חדש

:sb -אותו הדבר רק במאוזן

:s/lalala/bar/ -תחליף את המלה להלהלה הראשונה שתופיע במלה בר

:%s/lalala/bar/gc -תחליף את כל החזרות של המלה להלהלה במלה בר ותשאל בכל אחת מהמילים אם אותה תרצו להחליף
:%s/lalala/bar/g - תחליף את כל החזרות של המלה להלהלה במלה בר ללא שאלות מיותרות
:e inbar.txt - תפתח את הקובץ טקסט ענבר לעריכה

:explore - תאפשר לך לטייל במערכת הקבצים ולחפש איזה קובץ ברצונך לערוך

:.,.+22s/^// - מסיר רווחים מה21 שורות הבאות כולל הנוכחית שעליה הסמן נמצא

:.,.+22s/$/f/ מוסיף לסוף ה21 שורות הבאות את האות אף וגם לשורה הנוכחית

קיצורי מקשים

Ctrl-c רוב האנשים לא מכירים את הקיצור הזה אבל אני עצלן מדי להגיע לאסקייפ במקלדת :P

Esc עובר למצב פקודה

v עובר למצב ויזואלי

V עובר למצב ויזואלי פר שורה
ctrl + v עובר למצב ויזואלי פר תו
y העתק במצב פקודה
p הדבק במצב פקודה
P הדפק לפני סמן , במצב פקודה
hjkl במצב פקודה זזים איתם במקום החיצים במצב קלט
u בטל פעולה אחרונה

> הזחה ימינה

< הזחה שמאלה

לך לסוף הקובץ [
לך לתחילת הקובץ ]
דלג פסקה למטה (
דלג פסקה למעלה )
וכמובן הפקודה הגדולה מכולן "נקודה" כן נקודה זו הפקודה, אם תלחצו נקודה תחזרו על הפקודה האחרונה שניתנה

פקודות ללשוניות

:tabnew יצירת לשונית חדשה
:tabnew foofoo.txt פתיחת קובץ הטקסט פופו בלשונית חדשה
:tabn עובר ללשונית הבאה
:tabp עובר ללשונית הקודמת

טריק העתקה מהמערכת חלונות

"+p במצב פקודה להדבקה מקונטרול סי
"+y במצב פקודה בשביל להעתיק

ולאחר מכן להדביק עם ctrl+v