lib/agent/projects.go

   1 /*
   2  * Copyright (C) 2017 "IoT.bzh"
   3  * Author Sebastien Douheret <sebastien@iot.bzh>
   4  *
   5  * Licensed under the Apache License, Version 2.0 (the "License");
   6  * you may not use this file except in compliance with the License.
   7  * You may obtain a copy of the License at
   8  *
   9  *   http://www.apache.org/licenses/LICENSE-2.0
  10  *
  11  * Unless required by applicable law or agreed to in writing, software
  12  * distributed under the License is distributed on an "AS IS" BASIS,
  13  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  14  * See the License for the specific language governing permissions and
  15  * limitations under the License.
  16  */
  17
  18 package agent
  19
  20 import (
  21         "fmt"
  22         "log"
  23         "os"
  24         "path/filepath"
  25         "strings"
  26         "time"
  27
  28         "github.com/franciscocpg/reflectme"
  29         "github.com/iotbzh/xds-agent/lib/syncthing"
  30         "github.com/iotbzh/xds-agent/lib/xaapiv1"
  31         common "github.com/iotbzh/xds-common/golib"
  32         "github.com/iotbzh/xds-server/lib/xsapiv1"
  33         "github.com/syncthing/syncthing/lib/sync"
  34 )
  35
  36 // Projects Represent a an XDS Projects
  37 type Projects struct {
  38         *Context
  39         SThg     *st.SyncThing
  40         projects map[string]*IPROJECT
  41 }
  42
  43 // Mutex to make add/delete atomic
  44 var pjMutex = sync.NewMutex()
  45
  46 // NewProjects Create a new instance of Project Model
  47 func NewProjects(ctx *Context, st *st.SyncThing) *Projects {
  48         return &Projects{
  49                 Context:  ctx,
  50                 SThg:     st,
  51                 projects: make(map[string]*IPROJECT),
  52         }
  53 }
  54
  55 // Init Load Projects configuration
  56 func (p *Projects) Init(server *XdsServer) error {
  57         svrList := make(map[string]*XdsServer)
  58         // If server not set, load for all servers
  59         if server == nil {
  60                 svrList = p.xdsServers
  61         } else {
  62                 svrList[server.ID] = server
  63         }
  64         errMsg := ""
  65         for _, svr := range svrList {
  66                 if svr.Disabled {
  67                         continue
  68                 }
  69                 xFlds := []xsapiv1.FolderConfig{}
  70                 if err := svr.GetFolders(&xFlds); err != nil {
  71                         errMsg += fmt.Sprintf("Cannot retrieve folders config of XDS server ID %s : %v \n", svr.ID, err.Error())
  72                         continue
  73                 }
  74                 p.Log.Debugf("Connected to XDS Server %s, %d projects detected", svr.ID, len(xFlds))
  75                 for _, prj := range xFlds {
  76                         newP := svr.FolderToProject(prj)
  77                         if _, err := p.createUpdate(newP, false, true); err != nil {
  78                                 // Don't consider that as an error (allow support config without CloudSync support)
  79                                 if p.Context.SThg == nil && strings.Contains(err.Error(), "Server doesn't support project type CloudSync") {
  80                                         continue
  81                                 }
  82
  83                                 errMsg += "Error while creating project id " + prj.ID + ": " + err.Error() + "\n "
  84                                 continue
  85                         }
  86                 }
  87         }
  88
  89         p.Log.Infof("Number of loaded Projects: %d", len(p.projects))
  90
  91         if errMsg != "" {
  92                 return fmt.Errorf(errMsg)
  93         }
  94         return nil
  95 }
  96
  97 // ResolveID Complete a Project ID (helper for user that can use partial ID value)
  98 func (p *Projects) ResolveID(id string) (string, error) {
  99         if id == "" {
 100                 return "", nil
 101         }
 102
 103         match := []string{}
 104         for iid := range p.projects {
 105                 if strings.HasPrefix(iid, id) {
 106                         match = append(match, iid)
 107                 }
 108         }
 109
 110         if len(match) == 1 {
 111                 return match[0], nil
 112         } else if len(match) == 0 {
 113                 return id, fmt.Errorf("Unknown id")
 114         }
 115         return id, fmt.Errorf("Multiple IDs found with provided prefix: " + id)
 116 }
 117
 118 // Get returns the folder config or nil if not existing
 119 func (p *Projects) Get(id string) *IPROJECT {
 120         if id == "" {
 121                 return nil
 122         }
 123         fc, exist := p.projects[id]
 124         if !exist {
 125                 return nil
 126         }
 127         return fc
 128 }
 129
 130 // GetProjectArr returns the config of all folders as an array
 131 func (p *Projects) GetProjectArr() []xaapiv1.ProjectConfig {
 132         pjMutex.Lock()
 133         defer pjMutex.Unlock()
 134
 135         return p.GetProjectArrUnsafe()
 136 }
 137
 138 // GetProjectArrUnsafe Same as GetProjectArr without mutex protection
 139 func (p *Projects) GetProjectArrUnsafe() []xaapiv1.ProjectConfig {
 140         conf := []xaapiv1.ProjectConfig{}
 141         for _, v := range p.projects {
 142                 prj := (*v).GetProject()
 143                 conf = append(conf, *prj)
 144         }
 145         return conf
 146 }
 147
 148 // Add adds a new folder
 149 func (p *Projects) Add(newP xaapiv1.ProjectConfig, fromSid, requestURL string) (*xaapiv1.ProjectConfig, error) {
 150         prj, err := p.createUpdate(newP, true, false)
 151         if err != nil {
 152                 return prj, err
 153         }
 154
 155         // Create xds-project.conf file
 156         prjConfFile := filepath.Join(prj.ClientPath, "xds-project.conf")
 157         if !common.Exists(prjConfFile) {
 158                 fd, err := os.OpenFile(prjConfFile, os.O_CREATE|os.O_TRUNC|os.O_WRONLY, 0666)
 159                 if err != nil {
 160                         return prj, fmt.Errorf("Cannot create xds-project.conf: %v", err.Error())
 161                 }
 162                 fd.WriteString("# XDS project settings\n")
 163                 fd.WriteString("export XDS_AGENT_URL=" + requestURL + "\n")
 164                 fd.WriteString("export XDS_PROJECT_ID=" + prj.ID + "\n")
 165                 if prj.DefaultSdk != "" {
 166                         fd.WriteString("export XDS_SDK_ID=" + prj.DefaultSdk + "\n")
 167                 } else {
 168                         fd.WriteString("#export XDS_SDK_ID=???\n")
 169                 }
 170                 fd.Close()
 171         }
 172
 173         // Notify client with event
 174         if err := p.events.Emit(xaapiv1.EVTProjectAdd, *prj, fromSid); err != nil {
 175                 p.Log.Warningf("Cannot notify project deletion: %v", err)
 176         }
 177
 178         return prj, err
 179 }
 180
 181 // CreateUpdate creates or update a folder
 182 func (p *Projects) createUpdate(newF xaapiv1.ProjectConfig, create bool, initial bool) (*xaapiv1.ProjectConfig, error) {
 183         var err error
 184
 185         pjMutex.Lock()
 186         defer pjMutex.Unlock()
 187
 188         // Sanity check
 189         if _, exist := p.projects[newF.ID]; create && exist {
 190                 return nil, fmt.Errorf("ID already exists")
 191         }
 192         if newF.ClientPath == "" {
 193                 return nil, fmt.Errorf("ClientPath must be set")
 194         }
 195         if newF.ServerID == "" {
 196                 return nil, fmt.Errorf("Server ID must be set")
 197         }
 198         var svr *XdsServer
 199         var exist bool
 200         if svr, exist = p.xdsServers[newF.ServerID]; !exist {
 201                 return nil, fmt.Errorf("Unknown Server ID %s", newF.ServerID)
 202         }
 203
 204         // Check type supported
 205         b, exist := svr.ServerConfig.SupportedSharing[string(newF.Type)]
 206         if !exist || !b {
 207                 return nil, fmt.Errorf("Server doesn't support project type %s", newF.Type)
 208         }
 209
 210         // Create a new folder object
 211         var fld IPROJECT
 212         switch newF.Type {
 213         // SYNCTHING
 214         case xaapiv1.TypeCloudSync:
 215                 if p.SThg != nil {
 216                         fld = NewProjectST(p.Context, svr)
 217                 } else {
 218                         return nil, fmt.Errorf("Cloud Sync project not supported")
 219                 }
 220
 221         // PATH MAP
 222         case xaapiv1.TypePathMap:
 223                 fld = NewProjectPathMap(p.Context, svr)
 224         default:
 225                 return nil, fmt.Errorf("Unsupported folder type")
 226         }
 227
 228         var newPrj *xaapiv1.ProjectConfig
 229         if create {
 230                 // Add project on server
 231                 if newPrj, err = fld.Add(newF); err != nil {
 232                         newF.Status = xaapiv1.StatusErrorConfig
 233                         log.Printf("ERROR Adding project: %v\n", err)
 234                         return newPrj, err
 235                 }
 236         } else {
 237                 // Just update project config
 238                 if newPrj, err = fld.Setup(newF); err != nil {
 239                         newF.Status = xaapiv1.StatusErrorConfig
 240                         log.Printf("ERROR Updating project: %v\n", err)
 241                         return newPrj, err
 242                 }
 243         }
 244
 245         // Sanity check
 246         if newPrj.ID == "" {
 247                 log.Printf("ERROR project ID empty: %v", newF)
 248                 return newPrj, fmt.Errorf("Project ID empty")
 249         }
 250
 251         // Add to folders list
 252         p.projects[newPrj.ID] = &fld
 253
 254         // Force sync to get an initial sync status
 255         // (need to defer to be sure that WS events will arrive after HTTP creation reply)
 256         go func() {
 257                 time.Sleep(time.Millisecond * 500)
 258                 fld.Sync()
 259         }()
 260
 261         return newPrj, nil
 262 }
 263
 264 // Delete deletes a specific folder
 265 func (p *Projects) Delete(id, fromSid string) (xaapiv1.ProjectConfig, error) {
 266         var err error
 267
 268         pjMutex.Lock()
 269         defer pjMutex.Unlock()
 270
 271         fld := xaapiv1.ProjectConfig{}
 272         fc, exist := p.projects[id]
 273         if !exist {
 274                 return fld, fmt.Errorf("Unknown id")
 275         }
 276
 277         prj := (*fc).GetProject()
 278
 279         if err = (*fc).Delete(); err != nil {
 280                 return *prj, err
 281         }
 282
 283         delete(p.projects, id)
 284
 285         // Notify client with event
 286         if err := p.events.Emit(xaapiv1.EVTProjectDelete, *prj, fromSid); err != nil {
 287                 p.Log.Warningf("Cannot notify project deletion: %v", err)
 288         }
 289
 290         return *prj, err
 291 }
 292
 293 // ForceSync Force the synchronization of a folder
 294 func (p *Projects) ForceSync(id string) error {
 295         fc := p.Get(id)
 296         if fc == nil {
 297                 return fmt.Errorf("Unknown id")
 298         }
 299         return (*fc).Sync()
 300 }
 301
 302 // IsProjectInSync Returns true when folder is in sync
 303 func (p *Projects) IsProjectInSync(id string) (bool, error) {
 304         fc := p.Get(id)
 305         if fc == nil {
 306                 return false, fmt.Errorf("Unknown id")
 307         }
 308         return (*fc).IsInSync()
 309 }
 310
 311 // Update Update some field of a project
 312 func (p *Projects) Update(id string, prj xaapiv1.ProjectConfig, fromSid string) (*xaapiv1.ProjectConfig, error) {
 313
 314         pjMutex.Lock()
 315         defer pjMutex.Unlock()
 316
 317         fc, exist := p.projects[id]
 318         if !exist {
 319                 return nil, fmt.Errorf("Unknown id")
 320         }
 321
 322         // Copy current in a new object to change nothing in case of an error rises
 323         newFld := xaapiv1.ProjectConfig{}
 324         reflectme.Copy((*fc).GetProject(), &newFld)
 325
 326         // Only update some fields
 327         dirty := false
 328         for _, fieldName := range xaapiv1.ProjectConfigUpdatableFields {
 329                 valNew, err := reflectme.GetField(prj, fieldName)
 330                 if err == nil {
 331                         valCur, err := reflectme.GetField(newFld, fieldName)
 332                         if err == nil && valNew != valCur {
 333                                 err = reflectme.SetField(&newFld, fieldName, valNew)
 334                                 if err != nil {
 335                                         return nil, err
 336                                 }
 337                                 dirty = true
 338                         }
 339                 }
 340         }
 341
 342         if !dirty {
 343                 return &newFld, nil
 344         }
 345
 346         upPrj, err := (*fc).Update(newFld)
 347         if err != nil {
 348                 return nil, err
 349         }
 350
 351         // Notify client with event
 352         if err := p.events.Emit(xaapiv1.EVTProjectChange, *upPrj, fromSid); err != nil {
 353                 p.Log.Warningf("Cannot notify project change: %v", err)
 354         }
 355         return upPrj, err
 356 }