lib/agent/projects.go

   1 /*
   2  * Copyright (C) 2017 "IoT.bzh"
   3  * Author Sebastien Douheret <sebastien@iot.bzh>
   4  *
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at
   8  *
   9  *   http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 package agent
  19
  20 import (
  21         "fmt"
  22         "log"
  23         "os"
  24         "path/filepath"
  25         "strings"
  26         "time"
  27
  28         "github.com/franciscocpg/reflectme"
  29         "github.com/iotbzh/xds-agent/lib/syncthing"
  30         "github.com/iotbzh/xds-agent/lib/xaapiv1"
  31         common "github.com/iotbzh/xds-common/golib"
  32         "github.com/iotbzh/xds-server/lib/xsapiv1"
  33         "github.com/syncthing/syncthing/lib/sync"
  34 )
  35
  36 // Projects Represent a an XDS Projects
  37 type Projects struct {
  38         *Context
  39         SThg     *st.SyncThing
  40         projects map[string]*IPROJECT
  41 }
  42
  43 // Mutex to make add/delete atomic
  44 var pjMutex = sync.NewMutex()
  45
  46 // NewProjects Create a new instance of Project Model
  47 func NewProjects(ctx *Context, st *st.SyncThing) *Projects {
  48         return &Projects{
  49                 Context:  ctx,
  50                 SThg:     st,
  51                 projects: make(map[string]*IPROJECT),
  52         }
  53 }
  54
  55 // Init Load Projects configuration
  56 func (p *Projects) Init(server *XdsServer) error {
  57         svrList := make(map[string]*XdsServer)
  58         // If server not set, load for all servers
  59         if server == nil {
  60                 svrList = p.xdsServers
  61         } else {
  62                 svrList[server.ID] = server
  63         }
  64         errMsg := ""
  65         for _, svr := range svrList {
  66                 if svr.Disabled {
  67                         continue
  68                 }
  69                 xFlds := []xsapiv1.FolderConfig{}
  70                 if err := svr.GetFolders(&xFlds); err != nil {
  71                         errMsg += fmt.Sprintf("Cannot retrieve folders config of XDS server ID %s : %v \n", svr.ID, err.Error())
  72                         continue
  73                 }
  74                 p.Log.Debugf("Connected to XDS Server %s, %d projects detected", svr.ID, len(xFlds))
  75                 for _, prj := range xFlds {
  76                         newP := svr.FolderToProject(prj)
  77                         if _, err := p.createUpdate(newP, false, true); err != nil {
  78                                 errMsg += "Error while creating project id " + prj.ID + ": " + err.Error() + "\n "
  79                                 continue
  80                         }
  81                 }
  82         }
  83
  84         p.Log.Infof("Number of loaded Projects: %d", len(p.projects))
  85
  86         if errMsg != "" {
  87                 return fmt.Errorf(errMsg)
  88         }
  89         return nil
  90 }
  91
  92 // ResolveID Complete a Project ID (helper for user that can use partial ID value)
  93 func (p *Projects) ResolveID(id string) (string, error) {
  94         if id == "" {
  95                 return "", nil
  96         }
  97
  98         match := []string{}
  99         for iid := range p.projects {
 100                 if strings.HasPrefix(iid, id) {
 101                         match = append(match, iid)
 102                 }
 103         }
 104
 105         if len(match) == 1 {
 106                 return match[0], nil
 107         } else if len(match) == 0 {
 108                 return id, fmt.Errorf("Unknown id")
 109         }
 110         return id, fmt.Errorf("Multiple IDs found with provided prefix: " + id)
 111 }
 112
 113 // Get returns the folder config or nil if not existing
 114 func (p *Projects) Get(id string) *IPROJECT {
 115         if id == "" {
 116                 return nil
 117         }
 118         fc, exist := p.projects[id]
 119         if !exist {
 120                 return nil
 121         }
 122         return fc
 123 }
 124
 125 // GetProjectArr returns the config of all folders as an array
 126 func (p *Projects) GetProjectArr() []xaapiv1.ProjectConfig {
 127         pjMutex.Lock()
 128         defer pjMutex.Unlock()
 129
 130         return p.GetProjectArrUnsafe()
 131 }
 132
 133 // GetProjectArrUnsafe Same as GetProjectArr without mutex protection
 134 func (p *Projects) GetProjectArrUnsafe() []xaapiv1.ProjectConfig {
 135         conf := []xaapiv1.ProjectConfig{}
 136         for _, v := range p.projects {
 137                 prj := (*v).GetProject()
 138                 conf = append(conf, *prj)
 139         }
 140         return conf
 141 }
 142
 143 // Add adds a new folder
 144 func (p *Projects) Add(newP xaapiv1.ProjectConfig, fromSid, requestURL string) (*xaapiv1.ProjectConfig, error) {
 145         prj, err := p.createUpdate(newP, true, false)
 146         if err != nil {
 147                 return prj, err
 148         }
 149
 150         // Create xds-project.conf file
 151         prjConfFile := filepath.Join(prj.ClientPath, "xds-project.conf")
 152         if !common.Exists(prjConfFile) {
 153                 fd, err := os.OpenFile(prjConfFile, os.O_CREATE|os.O_TRUNC|os.O_WRONLY, 0666)
 154                 if err != nil {
 155                         return prj, fmt.Errorf("Cannot create xds-project.conf: %v", err.Error())
 156                 }
 157                 fd.WriteString("# XDS project settings\n")
 158                 fd.WriteString("export XDS_AGENT_URL=" + requestURL + "\n")
 159                 fd.WriteString("export XDS_PROJECT_ID=" + prj.ID + "\n")
 160                 if prj.DefaultSdk != "" {
 161                         fd.WriteString("export XDS_SDK_ID=" + prj.DefaultSdk + "\n")
 162                 } else {
 163                         fd.WriteString("#export XDS_SDK_ID=???\n")
 164                 }
 165                 fd.Close()
 166         }
 167
 168         // Notify client with event
 169         if err := p.events.Emit(xaapiv1.EVTProjectAdd, *prj, fromSid); err != nil {
 170                 p.Log.Warningf("Cannot notify project deletion: %v", err)
 171         }
 172
 173         return prj, err
 174 }
 175
 176 // CreateUpdate creates or update a folder
 177 func (p *Projects) createUpdate(newF xaapiv1.ProjectConfig, create bool, initial bool) (*xaapiv1.ProjectConfig, error) {
 178         var err error
 179
 180         pjMutex.Lock()
 181         defer pjMutex.Unlock()
 182
 183         // Sanity check
 184         if _, exist := p.projects[newF.ID]; create && exist {
 185                 return nil, fmt.Errorf("ID already exists")
 186         }
 187         if newF.ClientPath == "" {
 188                 return nil, fmt.Errorf("ClientPath must be set")
 189         }
 190         if newF.ServerID == "" {
 191                 return nil, fmt.Errorf("Server ID must be set")
 192         }
 193         var svr *XdsServer
 194         var exist bool
 195         if svr, exist = p.xdsServers[newF.ServerID]; !exist {
 196                 return nil, fmt.Errorf("Unknown Server ID %s", newF.ServerID)
 197         }
 198
 199         // Check type supported
 200         b, exist := svr.ServerConfig.SupportedSharing[string(newF.Type)]
 201         if !exist || !b {
 202                 return nil, fmt.Errorf("Server doesn't support project type %s", newF.Type)
 203         }
 204
 205         // Create a new folder object
 206         var fld IPROJECT
 207         switch newF.Type {
 208         // SYNCTHING
 209         case xaapiv1.TypeCloudSync:
 210                 if p.SThg != nil {
 211                         fld = NewProjectST(p.Context, svr)
 212                 } else {
 213                         return nil, fmt.Errorf("Cloud Sync project not supported")
 214                 }
 215
 216         // PATH MAP
 217         case xaapiv1.TypePathMap:
 218                 fld = NewProjectPathMap(p.Context, svr)
 219         default:
 220                 return nil, fmt.Errorf("Unsupported folder type")
 221         }
 222
 223         var newPrj *xaapiv1.ProjectConfig
 224         if create {
 225                 // Add project on server
 226                 if newPrj, err = fld.Add(newF); err != nil {
 227                         newF.Status = xaapiv1.StatusErrorConfig
 228                         log.Printf("ERROR Adding project: %v\n", err)
 229                         return newPrj, err
 230                 }
 231         } else {
 232                 // Just update project config
 233                 if newPrj, err = fld.Setup(newF); err != nil {
 234                         newF.Status = xaapiv1.StatusErrorConfig
 235                         log.Printf("ERROR Updating project: %v\n", err)
 236                         return newPrj, err
 237                 }
 238         }
 239
 240         // Sanity check
 241         if newPrj.ID == "" {
 242                 log.Printf("ERROR project ID empty: %v", newF)
 243                 return newPrj, fmt.Errorf("Project ID empty")
 244         }
 245
 246         // Add to folders list
 247         p.projects[newPrj.ID] = &fld
 248
 249         // Force sync after creation
 250         // (need to defer to be sure that WS events will arrive after HTTP creation reply)
 251         if create {
 252                 go func() {
 253                         time.Sleep(time.Millisecond * 500)
 254                         fld.Sync()
 255                 }()
 256         }
 257
 258         return newPrj, nil
 259 }
 260
 261 // Delete deletes a specific folder
 262 func (p *Projects) Delete(id, fromSid string) (xaapiv1.ProjectConfig, error) {
 263         var err error
 264
 265         pjMutex.Lock()
 266         defer pjMutex.Unlock()
 267
 268         fld := xaapiv1.ProjectConfig{}
 269         fc, exist := p.projects[id]
 270         if !exist {
 271                 return fld, fmt.Errorf("Unknown id")
 272         }
 273
 274         prj := (*fc).GetProject()
 275
 276         if err = (*fc).Delete(); err != nil {
 277                 return *prj, err
 278         }
 279
 280         delete(p.projects, id)
 281
 282         // Notify client with event
 283         if err := p.events.Emit(xaapiv1.EVTProjectDelete, *prj, fromSid); err != nil {
 284                 p.Log.Warningf("Cannot notify project deletion: %v", err)
 285         }
 286
 287         return *prj, err
 288 }
 289
 290 // ForceSync Force the synchronization of a folder
 291 func (p *Projects) ForceSync(id string) error {
 292         fc := p.Get(id)
 293         if fc == nil {
 294                 return fmt.Errorf("Unknown id")
 295         }
 296         return (*fc).Sync()
 297 }
 298
 299 // IsProjectInSync Returns true when folder is in sync
 300 func (p *Projects) IsProjectInSync(id string) (bool, error) {
 301         fc := p.Get(id)
 302         if fc == nil {
 303                 return false, fmt.Errorf("Unknown id")
 304         }
 305         return (*fc).IsInSync()
 306 }
 307
 308 // Update Update some field of a project
 309 func (p *Projects) Update(id string, prj xaapiv1.ProjectConfig, fromSid string) (*xaapiv1.ProjectConfig, error) {
 310
 311         pjMutex.Lock()
 312         defer pjMutex.Unlock()
 313
 314         fc, exist := p.projects[id]
 315         if !exist {
 316                 return nil, fmt.Errorf("Unknown id")
 317         }
 318
 319         // Copy current in a new object to change nothing in case of an error rises
 320         newFld := xaapiv1.ProjectConfig{}
 321         reflectme.Copy((*fc).GetProject(), &newFld)
 322
 323         // Only update some fields
 324         dirty := false
 325         for _, fieldName := range xaapiv1.ProjectConfigUpdatableFields {
 326                 valNew, err := reflectme.GetField(prj, fieldName)
 327                 if err == nil {
 328                         valCur, err := reflectme.GetField(newFld, fieldName)
 329                         if err == nil && valNew != valCur {
 330                                 err = reflectme.SetField(&newFld, fieldName, valNew)
 331                                 if err != nil {
 332                                         return nil, err
 333                                 }
 334                                 dirty = true
 335                         }
 336                 }
 337         }
 338
 339         if !dirty {
 340                 return &newFld, nil
 341         }
 342
 343         upPrj, err := (*fc).Update(newFld)
 344         if err != nil {
 345                 return nil, err
 346         }
 347
 348         // Notify client with event
 349         if err := p.events.Emit(xaapiv1.EVTProjectChange, *upPrj, fromSid); err != nil {
 350                 p.Log.Warningf("Cannot notify project change: %v", err)
 351         }
 352         return upPrj, err
 353 }