Difference between revisions of "Speeding Simplified Script Language"

From air
Jump to navigation Jump to search
Line 18: Line 18:
   
 
= Divers =
 
= Divers =
  +
== Notes ==
  +
* L'indentation ne peut pas être traiter par un parser de type PEG (qui ne traite que ''context-free grammar'',
  +
les langages comme Python sont ''context-sensitive grammar'' )
  +
- Voir http://stackoverflow.com/questions/4205442/peg-for-python-style-indentation
  +
  +
- On peurrendre explicite les blocs de code avec le module token avant de passer par le parser:
  +
  +
from tokenize import tokenize, untokenize, NAME, INDENT, DEDENT
  +
from io import BytesIO
  +
  +
def indentation_explicitation(s):
  +
"""
  +
"""
  +
result = []
  +
g = tokenize(BytesIO(s.encode('utf-8')).readline) # tokenize the string
  +
for toknum, tokval, _, _, _ in g:
  +
if toknum == INDENT: # replace NUMBER tokens
  +
result.extend([
  +
(NAME, '<INDENT>')
  +
])
  +
elif toknum == DEDENT:
  +
result.extend([
  +
(NAME, '<DEDENT>')
  +
])
  +
else:
  +
result.append((toknum, tokval))
  +
return untokenize(result).decode('utf-8')
  +
  +
s = '''
  +
def a(b):
  +
if b:
  +
print('yop')
  +
else:
  +
print('poy')
  +
  +
b = b + 1
  +
  +
a(true)
  +
'''
  +
print(indentation_explicitation(s))
  +
  +
Ce qui donne:
  +
  +
(env3.4)auguste@akira:~/work/15-16/kael (master)> python token_ex.py
  +
  +
def a (b ):
  +
<INDENT> if b :
  +
<INDENT> print ('yop')
  +
<DEDENT> else :
  +
<INDENT> print ('poy')
  +
  +
<DEDENT> b =b +1
  +
  +
<DEDENT> a (true )
  +
 
== Liens utiles ==
 
== Liens utiles ==
 
* AST: https://docs.python.org/3.4/library/ast.html
 
* AST: https://docs.python.org/3.4/library/ast.html

Revision as of 10:51, 13 February 2016

Objectif

Le but à long terme de ce projet est de pouvoir partager des codes sources simples de différent langage de scripts, de permettre une execution efficace de ces codes par traduction en langage compilable et permettre l'interaction avec ce code compilé depuis les différents langages de script.

Dans un premier temps on se propose d'identifier un langage de script minimal proche de Python et Ruby. De traduire ce language dans un langage compilable (C++ ou le langage Go) et de permettre l'interaction entre les langages de script et le version compilée.

Les contraintes technologigues

Plan de travail

Divers

Notes

  • L'indentation ne peut pas être traiter par un parser de type PEG (qui ne traite que context-free grammar,

les langages comme Python sont context-sensitive grammar ) - Voir http://stackoverflow.com/questions/4205442/peg-for-python-style-indentation

- On peurrendre explicite les blocs de code avec le module token avant de passer par le parser:

from tokenize import tokenize, untokenize, NAME, INDENT, DEDENT
from io import BytesIO

def indentation_explicitation(s):
    """
    """
    result = []
    g = tokenize(BytesIO(s.encode('utf-8')).readline)  # tokenize the string
    for toknum, tokval, _, _, _ in g:
        if toknum == INDENT:  # replace NUMBER tokens
            result.extend([
                (NAME, '<INDENT>')
            ])
        elif toknum == DEDENT:
            result.extend([
                (NAME, '<DEDENT>')
            ])
        else:
            result.append((toknum, tokval))
    return untokenize(result).decode('utf-8')

s = 
def a(b):
   if b:
       print('yop')
   else:
       print('poy')

   b = b + 1

a(true)

print(indentation_explicitation(s))

Ce qui donne:

(env3.4)auguste@akira:~/work/15-16/kael (master)> python token_ex.py 

def a (b ):
<INDENT> if b :
<INDENT> print ('yop')
<DEDENT> else :
<INDENT> print ('poy')

<DEDENT> b =b +1 

<DEDENT> a (true )

Liens utiles

Installation d'Astmonkey

  • Python 3.4
  • Installation de pydot
  • Récupérer une archive de https://github.com/nlhepler/pydot
  • Décompresser (unzip) et installer par python setup.py install
  • Installer Astmonkey par pip install astmonkey