JULY SOFT .NET BLOG

About GEYSIR ENTERPRISE SEARCH, .NET, TECHNOLOGY and MORE

Apogeus Com a ales soluția July Soft Hekla pentru Managementul Flotei de Transport

Puteti citi articolul original aici.

 

Transportatorul român APOGEUS COM SRL – firmă autohtonă de transport intern și internațional de marfă – cu sediul în România, jud. Brăila, a ales în 2019 să implementeze propriul sistem de Management de Flota Auto (TMS) folosind soluția July Soft Hekla® DMS, dezvoltată și promovată de către JULY SOFT SRL – un start-up cu sediul in București.

Implementarea Hekla® DMS s-a concretizat intr-o soluție completă de Management a Flotei de Transport a APOGEUS COM, flotă având aproximativ 60 capete tractor, 63 șoferi si 4 dispeceri. Implementarea – cu tot cu analiză - a durat o luna, testarea o luna, iar la final s-a intrat in producție, sistemul fiind pînă în prezent un succes ce a arătat că e posibil să se implementeze un sistem de Management Flota („TMS”) complet, colaborând cu un start-up autohton, avantajele fiind nu numai costul scăzut al implementării ca timp si bani, dar mai ales al gradului extrem de mare al personalizării implementării la nevoile specifice APOGEUS COM și implicit al utiliății finale a sistemului prin automatizarea si digitalizarea unor procese manuale care, deși sunt caracteristice oricărui transportator, au inevitabil particularități de la caz la caz, precum:

  • Managementul Flotei (Auto, Remorci, Șoferi, Revizii, Asigurări, ITP etc)

  • Contractare Prestatori

  • Facturare (RON, EUR, USD), generare Borderouri transport asociate facturilor etc

  • Control Costuri Reparații, Combustibil etc

  • Raportare Venituri, Costuri, Profitabilitate per mașina

  • Management Alimentări Carburant, Consum etc

  • Integrare cu Sistemul GPS de urmărire a Flotei existent

“Folosim Sistemul de Management Transport (TMS) implementat cu Hekla DMS din 2019 și suntem extrem de mulțumiți de aportul adus în cadrul APOGEUS COM dar mai ales de ușurința cu care se poate adapta Hekla la cerințe noi de business. Modulul Hekla TMS a fost dezvoltat prima dată pentru noi în aproximativ o lună după o analiză preliminară împreună cu echipa July Soft și am fost plăcut surprinși de viteza de implementare, de calitatea suportului și usurința în utilizare” declară Popa Ionel, Director General APOGEUS COM, operator transport intern și internațional de marfă.

 

Platforma Hekla® DMS este cea mai importantă componentă a suitei JULY SOFT Geysir® și care permite implementări rapide și ieftine de digitalizare a celor mai complicate procese operaționale pe care orice companie trebuie să le implementeze pentru a fi competitivă în acest mediu globalizat și din ce în ce mai concurențial. Pe lângă Hekla® DMS, JULY SOFT oferă la pachet cu implementarea și o licență anuală a Geysir® ES – un sistem de tip Enterprise Search – integrat cu Hekla® DMS și care vă ajută în regăsirea informației din rețeaua locală a companiei dvs., așa cum motoarele de căutare moderne o fac pentru navigarea Internet.

 

Suita Geysir® este bazata pe platforma Microsoft .NET și Microsoft SQL Server, oferind implicit cele mai bune standarde de securitate a datelor și nu în ultimul rând facilitând conformitatea GDPR.

 

JULY SOFT SRL are mai multe implementări de succes ale Hekla® DMS la diverși operatori de transport de marfă autohtoni, fiecare implementare fiind extrem de diferită de la caz la caz intrucât soluția Hekla® DMS permite, cu costuri relativ mici de bani și timp personalizări conforme nevoilor fiecărui client din acest domeniu atât de important al transportului de marfă intern și internațional.

 

Hekla® DMS a fost folosită cu succes la implementari din multe domenii de business, ca:

  • Transport (TMS) – cateva implementari de Sisteme de Management Flota – personalizate

  • Control Facturi Furnizori („Invoice Controlling”) – Flux Management Automat Facturi Furnizor

  • Logistica – Management Programari Camioane la Rampe („Gate Management”)

  • Evaluări Bunuri Mobile și Imobile („Appraisal & Valuation”) - Contractare, Ofertare, Facturare

  • Industrie și Producție Piese Metalice – Devize și Fișe de Urmărire Produse

  • Instalații, montaje și echipamente – Managementul Proiectelor și Tipizate Lucrări

  • Constucții și Inchirieri Utilaje etc

De asemenea, cu Hekla® DMS se pot implementa rapid:

  • Ofertare, Contractare, Facturare pentru orice afacere de Servicii sau Productie

  • WMS (Warehouse Mangement System)

  • CRM (Customer Relationship Management), urmărire vînzări

  • CRM pt. Case de Expediții – procesare și generare automată documente vamale și facturare

 

Pentru mai multe detalii despre cum poate JULY SOFT să vă asiste în digitalizarea și automatizarea proceselor firmei dvs., precum și pentru un eventual demo gratuit nu ezitați să ne contactați aici ( www.julysoft.net/contact ).

 

„Soluțiile din suita Geysir se adresează clienților care vor să poată alege între Hekla „on-premises” (licentă nelimitată in timp) sau Hekla Cloud/SAAS,sau care vor să discute in prealabil cu echipa noastră despre ce își doresc să automatizeze beneficiind de ghidaj tehnic în implementare și analiză personalizată si unică chiar și pentru clienții cu aceeași activitate de business, care vor sa aiba o soluție de digitalizare nelimitată la nici un criteriu(nr. de utilizatori, nr. de documente, etc).

Deși tendința în piata este mutarea sistemelor IT in Cloud/SAAS, echipa JulySoft s-a adaptat cerințelor tuturor clienților săi, oferind atît licențe on-premises cât și cloud/SAAS.

Noi nu ne adresăm doar companiilor de transport și logistică, avem mai multe implementari în acest domeniu și putem să spunem că nu există două companii de transport cu aceleași nevoi de digitalizare – deci nu există o singură rețetă de sistem TMS care să poată satisface nevoile extrem de diferite ale fiecărui operator de transport. Concret, există în realitate cazuri în care un transportator să fie obligat să completeze manual pentru fiecare client pe lângă factura de format diferit – specific clientului – și un borderou atașat facturii cu un format extrem de diferit de la un client la alt client – ceea ce duce la multă muncă în Excel a dispecerilor, erori umane și nu de puține ori la curse nefacturate. Pe lângă facturi, borderouri de curse atașate facturilor transporatorii trebuie sa facă management la contractele cu prestatorii – și aici fiind foarte mult timp consumat de aceștia. Și evident, după facturare, orice CEO al unui operator de transport de marfă iși dorește unul sau mai multe rapoarte complexe de control costuri și profitabilitate per cap tractor/șofer, care și acestea consuma foarte mult timp și necesită foarte multă muncă din partea dispecerilor și centralizarea datelor din multe surse eterogene – consum, carduri carburant de la mai multe companii, taxe, reparații etc.

Exact la aceste probleme noi dam soluția – un sistem centralizat care oferă automat facturarea, și generarea borderourilor în format personalizat per client, generarea automată a contracteror prestator, avize, tichete cantar etc – dar mai ales la partea de integrare automată cu sistemele GPS și cu borderourile și facturile furnizor, precum și preluarea automata a cheltuielilor cu taxele de drum, carburant, și integrarea lor automata în sistemul de raportare complet care ofera acuratețe managementului și deci ocazia unor decizii corecte, proactive, dar și a eliberării dispecerilor de corvoada unor activități repetitive și unde pot apare erori – soluție concretizată prin automatizare și digitalizare, lasîndu-le dispecerilor și managementului mai mult timp activităților de valoare adăugată mai ridicată – ceea ce nu poate fi decît benefic lor și companiei„

 

PatriotFest Editia 2018 – Locul 1 la “Optimizarea Peformantei Umane”: Geysir Enterprise Search by JulySoft.Net inmanat de D-ul Andrei Oprina, Directorul ITA din cadrul SRI

Tocmai s-a incheiat PatriotFest Editia 2018, concurs national organizat de MApN, MAI, SRI, STS, SPP in parteneriat cu asociatia New Strategy Center. Un eveniment fascinant, in cadrul caruia romanii inovatori de pretutindeni au avut ocazia sa-si prezinte proiectele funtionale in mai multe domenii.

Felicitari tuturor organizatorilor PatriotFest pentru reala sursa de inspiratie oferita noua tuturor romanilor precum si sansa oferita participantilor!

 

Popa Dumitru-Stelian a participat la sectiunea “Optimizarea performantei umane” cu produsul “July Soft Geysir Enterprise Search”.

Participarea a inceput cu discutii interesante in cadrul forumului PatriotFest si apoi a urmat o demostratie detaliata a produsului “Geysir Enterprise Search”, exemplificand functionalitatile si beneficiile aduse de acest motor de cautare in cadrul oricarei institutii care l-ar implementa.

 

Popa Dumitru-Stelian a obtinut succesul maxim si recunoasterea PatriotFest, primind locul 1 la categoria “Optimizarea performantei umane” pentru produsul “Geysir Enterprise Search” - puteti vizualiza acordarea premiului la gala PatriotFest aici (minutul 47).

 

Ne face o deosebita onoare si ii multumim mult D-nului Andrei Oprina, Directorul Institutului pentru Tehnologii Avansate (ITA) din cadrul SRI(Serviciul Roman de Informatii) pentru frumoasa inmanare a premiului 1 pentru "Geysir Enterprise Search" - Popa Stelian la sectiunea "Optimizarea performantei umane".

Puteti vizualiza inmanarea premiului aici.

Multumim Simonei care a fost prezenta sa ridice premiul in locul lui Stelian.

 

 

Multumim PatriotFest pentru sansa oferita de a participa la acest eveniment national, precum si pentru increderea oferita si premierea lui Geysir cu locul 1 in optimizarea performantei umane!

Felicitari Stelian! July Soft iti multumeste pentru intreaga contributie la crearea si promovarea lui “Geysir Enterprise Search”!

 

 

Alte informatii despre PatriotFest Editia 2018 gasiti la:

 

Depuneti toate eforturile si pasiunea pe care o aveti si visele pot deveni realitate!

La multi ani, Romania! Multumim PatriotFest! Felicitari Stelian!

 

Iulia de la JulySoft.Net

General Data Protection Regulation (DGPR) – What You Should Know

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

General Data Protection Regulation (GDPR)

- What You Should Know - Opportunities & Risks For Your Company

 

Who is this for?

 

If you own or work for (IT or legal dep.) a small business or a multinational group of companies that process or stores personal data of persons from EU, regardless your company or processing of personal data takes place or not in EU, or simply you are interested in your data privacy rights as person – please read on!

 

Issue

Personal Data Protection is a legal regulation your company must comply with. Failing to do so may put your company at risks of fines up to 20M EUR.

 

Solution

Know your DGPR obligations and invest in data security, data-governance and management tools that help you prove and enforce your company's compliance with GDPR. July Soft offers such tools as:

Geysir Enterprise Search, Hekla DMS, Hekla CRM or Laki Extranet tools.

 

Disclaimer

Note that I'm a Technical IT person with extensive experience in big-data, automated data processing, data governance and management, but without any formal legal background.

This paper is "as is" (with no warranties or guaratees, express or implied and we don't assume any resposibility of any loss or damage – directly or indirectly to you/your business involving present).

This is a general guide – summary – of GDPR – that may help you – and we strongly encourage you to do so – while getting professional legal assistance.

 

Definitions:

PD - Personal Data – any information regarding a person (identified or identifiable)

REG - Regulation 2016/679 on Personal Data Protection

Controller - person or legal entity that decides purposes and means of PD processing

Processor - PD processor on Controller's behalf (Ex: Cloud Provider)

 

While Personal Data Protection by authorities is regulated by Directive 2016/680, Personal Data Protection in general and free movement of personal data within EU is regulated by Regulation 2016/679.

The difference between Directive and Regulation is that while Directive will be "cloned" in every member state with more or less accuracy while Regulation applies exactely as is to all member states automatically!

 

Scope of REG:

a) Material scope: "This Regulation applies to the processing of personal data wholly or partly by automated means and to the processing other than by automated means of personal data which form part of a filing system or are intended to form part of a filing system." - Art. 2, p.1

 

b) Territorial scope: "This Regulation applies to the processing of personal data in the context of the activities of an establishment of a Controller or a Processor in the Union, regardless of whether the processing takes place in the Union or not" – Art. 3, p. 1

As a general rule REG includes in its scope any PD processing on EU citizens regardless the place of processing or Controller/Processor!

 

Opportunities for businesses:

a) "The free movement of personal data within the Union shall be neither restricted nor prohibited for reasons connected with the protection of natural persons with regard to the processing of personal data." - Chapter 1, Art. 1, 3rd p. of REG

 

This implies your business group can, starting 25th May 2018 from when REG will apply, move without any restriction PD between its entities from EU - given it comply with all other requirements REG imposes.

 

b) Simpler, cheaper compliancy / legal costs – Obviously, as before REG if your company/group operates in 5 member states then you need to hire 5 law firms just to make sure you comply with all national specific regulations, now starting REG will apply you have to deal with only 1 law – namely REG.

 

c) Many may see this as an expense but is in fact an opportunity. Being REG compliant implies you have to invest in security, data governance and audit tools, because as you will see, not doing so will place your company in a great risk of non-compliance with REG and this can expose your company to risk of fines up to 20M EUR or up to 4% of your global yearly turnover!

But, if instead you decide to buy / implement a CRM (like Julysoft Hekla DMS CRM) and/or an Enterprise Search (like Julysoft Geysir Enterprise Search) not only your company has data privacy by default / data privacy by design implemented but also your company data governance is more efficient, your operational costs decrease and in fact your business may grow just using better and faster its data – being it personal or no. Bottom line is: REG will force companies see security and data governance as an important compliance task and not only an afterthought – and this in itself is a benefical aspect or REG!

 

Rights of data subject that Controller must support:

- "Information and access to personal data": When asked by data subject, in maximum 1 month, Controller must reply to requestor, free of charge, in paper or electronical form all PD he has on data subject, along a list of other data, like:contact data of Protection Data Officer (employee or contractor of Controller that REG - in some conditions – requires to exist), the purposes of the processing, list of third parties that PD has been transmitted and why, etc. Failing to comply with this request may allow to data subject to fill a compliant to EU Data Protection Authority and also can ask material compensations under REG terms (Art. 12, Art. 13).

- "Rectification and erasure": When asked by a subject, Controller must without undue delay delete parts or modify data as asked by the subject.

- "Right to be forgotten" - "The data subject shall have the right to obtain from the Controller the erasure of personal data concerning him or her without undue delay and the Controller shall have the obligation to erase personal data without undue delay.." Art. 17, p.1

- "Right to restriction of processing" – subject can ask Controller that its PD not to be processed – Art. 18

- "Notification obligation regarding rectification or erasure of personal data or restriction of processing" – Art. 19 – Controller must notificate data subject after any data deletion or update has been done under terms of any of articles: 16, 17, 18

- "Right to data portability" : "The data subject shall have the right to receive the personal data concerning him or her, which he or she has provided to a Controller, in a structured, commonly used and machine-readable format and have the right to transmit those data to another Controller without hindrance from the Controller to which the personal data have been provided..." (Art. 20, p.1)

General obligations of Controller and Processor:

"Taking into account the nature, scope, context and purposes of processing as well as the risks of varying likelihood and severity for the rights and freedoms of natural persons, the Controller shall implement appropriate technical and organisational measures to ensure and to be able to demonstrate that processing is performed in accordance with this Regulation. Those measures shall be reviewed and updated where necessary" – Art. 24, p.1

 

In plain english the general large above statement implies Controller must ensure PD security and privacy namely prevent its availability to an indeterminate number of persons – PD must be kept technically private. Also for any PD Controller collects must have a resonable processing reasons he can demonstrate and any processing by Controller and or its Processor must be traceable!

 

Other obligations are:

- Notification of a personal data breach to the supervisory authority – Art. 33

- Communication of a personal data breach to the data subject – Art. 34

- Data protection impact assessment and prior consultation – Art 35, Art. 36

- Data Protection Officer – Art. 37, Art. 38, Art. 39

- Codes of conduct – Art. 40, Art. 41, Art. 42

 

References:

http://ec.europa.eu/justice/data-protection/

http://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32016R0679&from=EN

 

Stelian from www.JulySoft.net - Bucharest, 27 Nov 2017

July Soft participated at Indagra 2017

I'm honored to share with you this article published, as well as below image, after July Soft's participation at Indagra 2017 and to emphasize the importance of working with our partners on the development of BlueBus software application for remote management and control of industrial equipment for irrigation.

Geysir software suite offers you the ability to streamline your operations at minimal cost!
We would be honored to serve your urgent IT needs and generate a real positive impact on your business,

Iulia from www.julysoft.net

July Soft a participat la Indagra 2017

Sunt onorata sa va impartasesc acest articol publicat, precum si imaginea de mai jos, in urma participarii July Soft la Indagra 2017 si sa subliniez importanta colaborarii cu partenerii nostri la realizarea aplicatiei software BlueBus care permite managementul si controlul la distanta al echipamentelor industriale de irigat.

Aplicatiile software din suita Geysir va ofera posibilitatea eficientizarii operatiunilor dvs. cu costuri minime!
 Ne-ar onora sa servim nevoilor dvs. urgente IT si sa generam un real impact pozitiv in activitatea dvs.
,

Iulia de la www.JulySoft.Net
 

Hadoop 1 Master & 2 Slaves Setup

Why Hadoop is important in handling Big Data?

Hadoop provides excellent big data management provision, supports the processing of large data sets in a distributed computing environment. It is designed to expand from single servers to thousands of machines, each providing computation and storage. Its distributed file system facilitates rapid data transfer rates among nodes and allows the system to continue operating uninterrupted in case of a node failure, which minimizes the risk of catastrophic system failure, even if a significant number of nodes become out of action. Hadoop is very valuable for large scale businesses.

Hadoop installation scenario on 3 Ubuntu machines:

ub1 is server node and ub2 and ub3 are the slaves nodes.

Steps:

  1. We will install Hadoop on master node ub1

  2. Hadoop is based on java framework, so we will install java first:

      • sudo add-apt-repository ppa:webupd8team/java

      • sudo apt-get update

      • sudo apt-get install default-jdk

      • sudo apt-get install oracle-java8-installer

  • Last command will install java at "/usr/lib/jvm/java-8-oracle". In order to check if the installation was Ok use next command:

      • /usr/lib/jvm/java-8-oracle

  • Create a hadoop group and "hduser" user as system user:

      • sudo addgroup hadoop

      • sudo adduser --ingroup hadoop hduser

  • Install SSH for secure accessing one machine from another(used by Hadoop for acceing slaves nodes):

      • sudo apt-get install openssh-server

  • Configure SSH. Login with hduser:

      • sudo su hduser

  • Generate SSH key for hduser:

      • ssh-keygen -t rsa -P ""

  • Copy id_rsa.pub to authorized keys from hduser:

      • cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

  • Add "hduser" to sudoers:

      • sudo adduser hduser sudo

  • Hadoop doesn’t work on IPv6, so Ipv6 must be disabled:

      • sudo apt install gksu

      • sudo apt install gedit

      • sudoedit /etc/sysctl.conf

    • Add into above file below settings:

# disable ipv6

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

net.ipv6.conf.lo.disable_ipv6 = 1

      • CRTL+X -> yes

  • Locate hadoop installation parent directory:

      • cd /usr/local/

  • Download Hadoop:

      • sudo wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

  • Extract Hadoop sources:

      • sudo tar -xzvf hadoop-2.7.3.tar.gz

  • Move hadoop-2.7.3 to hadoop folder:

      • sudo mv hadoop-2.7.3 /usr/local/hadoop

  • Assign ownership of this folder to Hadoop user hduser:

      • sudo chown hduser:hadoop -R /usr/local/hadoop

  • Create Hadoop temp dirs for namenode and datanode:

      • sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode

      • sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode

  • Assign ownership of this Hadoop temp folder to Hadoop user:

      • sudo chown hduser:hadoop -R /usr/local/hadoop_tmp/

  • Check JAVA_HOME path:

      • update-alternatives --config java

  • Edit hadoop configuration files. Edit ".bashrc" file:

      • sudoedit .bashrc

      • add into it:

# -- HADOOP ENVIRONMENT VARIABLES START -- #

export JAVA_HOME=/usr/lib/jvm/java-8-oracle

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOMEi

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# -- HADOOP ENVIRONMENT VARIABLES END -- #

  • Edit "hadoop-env.sh":

      • cd /usr/local/hadoop/etc/hadoop

      • sudoedit hadoop-env.sh

      • add into above file:

        JAVA_HOME=/usr/lib/jvm/java-8-oracle

  • Edit "core-site.xml":

      • cd /usr/local/hadoop/etc/hadoop

      • sudoedit core-site.xml

      • Add into above file:

        <property>

        <name>fs.default.name</name>

        <value>hdfs://UB1:9000</value>

        </property>

  • Edit "hdfs-site.xml":

    • cd /usr/local/hadoop/etc/hadoop

    • sudoedit hdfs-site.xml

    • add into above file:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop_tmp/hdfs/namenode</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop_tmp/hdfs/datanode</value>

</property>

  • Edit "yarn-site.xml":

    • cd /usr/local/hadoop/etc/hadoop

    • sudoedit yarn-site.xml

    • Add into above file:

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

  • Copy template of mapred-site.xml.template file:

      • cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

  • Edit "mapred-site.xml":

    • cd /usr/local/hadoop/etc/hadoop

    • sudoedit mapred-site.xml

    • Add into above file it:

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

  • Reset the PC & open again the terminal with hduser. Format namenode:

      • cd /usr/local/hadoop/etc/hadoop

      • hdfs namenode -format

  • Start all hadpop daemons:

      • cd /usr/local/hadoop/

      • start-dfs.sh

      • start-yarn.sh

  • Verify hadoop daemons:

      • jps

  • Now we will extend setup hadoop on slaves nodes.

  • Add all host names to /etc/hosts directory in all Machines (Master and Slave nodes). You can find each PC IP using ifconfig command

    • on UB1 / then on UB2 / then on UB3:

      • sudo vim /etc/hosts

      • if vim is not installed you will intall it using:

          • sudo apt-get update

          • sudo apt-get install vim

      • Add into above file:

10.0.3.15 UB1

10.0.3.16 UB2

10.0.3.17 UB3

  • Create hadoop as group and hduser as user in all slaves Pcs

      • sudo addgroup hadoop

      • sudo adduser --ingroup hadoop hduser

      • sudo usermod -a -G sudo hduser (or edit "/etc/sudoers/" and add hduser ALL=(ALL:ALL) ALL) )

  • Install rsync for sharing hadoop source on all PCs

      • sudo apt-get install rsync

      • sudo reboot

  • Edit core-site.xml on master PC:

      • cd /usr/local/hadoop/etc/hadoop

      • sudo vim core-site.xml

      • replace localhost with UB1

  • Edit hdfs-site.xml on master and replace replication factor from 1 to 3

  • Edit yarn-site.xml on master:

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>UB1:8025</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>UB2:8035</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>UB3:8050</value>

</property>

  • Edit mapred-site.xml on master and add new entry:

    <property>

<name>mapreduce.job.tracker</name>

<value>UB1:5431</value>

</property>

  • Edit on master node the master:

      • cd /usr/local/hadoop/etc/hadoop

      • sudo vim masters

      • add line:

        ## Add name of master nodes

        UB1

  • Update slaves on master:

    • cd /usr/local/hadoop/etc/hadoop

    • sudo vim slaves

## Add name of slave nodes

UB2

UB3

  • Use rsync on master:

    • First install SSH on each slave PC

        • sudo apt-get install openssh-server

        • Generate SSH key for hduser:

          • ssh-keygen -t rsa -P ""

          • Copy id_rsa.pub to authorized keys from hduser:

            • cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

            • disable Ipv6 as above

            • cd /usr/local

            • sudo mkdir hadoop

            • sudo chown hduser:hadoop -R /usr/local/hadoop

    • sudo rsync -avxP /usr/local/hadoop/ hduser@UB1:/usr/local/hadoop/

    • sudo rsync -avxP /usr/local/hadoop/ hduser@UB2:/usr/local/hadoop/

  • On master:

      • sudo rm -rf /usr/local/hadoop_tmp/

      • sudo mkdir -p /usr/local/hadoop_tmp/

      • sudo mkdir -p /usr/local/hadoop_tmp/hdfs/namenode

      • sudo chown hduser:hadoop -R /usr/local/hadoop_tmp/

  • On each slave node:

      • sudo rm -rf /usr/local/hadoop_tmp/

      • sudo mkdir -p /usr/local/hadoop_tmp/

      • sudo mkdir -p /usr/local/hadoop_tmp/hdfs/datanode

      • sudo chown hduser:hadoop -R /usr/local/hadoop_tmp/

  • Execute on master:

      • ssh-copy-id -i $HOME/.ssh/id_rsa.pub hduser@UB2

      • ssh-copy-id -i $HOME/.ssh/id_rsa.pub hduser@UB3

      • If there are errors at any step, then you should first install java on each node and re-execute above commands

  • Execute on master:

      • usr/local/hadoop/

      • hdfs namenode -format

      • start-dfs.sh

      • start-yarn.sh

      • jps

  • Excute on each slave:

      • jps

  • Test:

  • In order to configure WebHDFS, we need to hdfs-site.xml as follows:

        <property>
           <name>dfs.webhdfs.enabled</name>
           <value>true</value>
        </property>
  • Copy local folder to hadoop: